Đang tải... (xem toàn văn)
Trong xã hội hiện đại, việc tìm kiếm, truy cập các thông tin đã trở thành nhu cầu không thể thiếu trong công việc của mọi người và trong cuộc sống hàng ngày. Cùng với nhu cầu tìm kiếm văn bản, nhu cầu tìm kiếm ảnh cũng nhận được nhiều quan tâm của người sử dụng. Với số lượng ngày càng tăng của các hình ảnh kỹ thuật số trên Internet và trong các thư viện kỹ thuật số, nhu cầu về các công cụ để quản lý và khai thác hiệu quả cơ sở dữ liệu ảnh lớn đã phát triển nhanh chóng. Việc phát triển các hệ thống tra cứu ảnh để tìm những ảnh quan tâm trong trong số lượng lớn các ảnh được lưu trữ đã trở thành lĩnh vực nghiên cứu nhận được nhiều sự quan tâm những năm gần đây. Nói chung, có hai phương pháp tra cứu ảnh cơ bản, tra cứu ảnh dựa trên từ khóa và tra cứu ảnh dựa trên nội dung. Tra cứu ảnh dựa trên từ khóa nhằm mục đích tìm hình ảnh tương tự với ảnh truy vấn theo các từ khóa hoặc chú thích. Phương pháp này đòi hỏi một lượng lớn lao động thủ công để chú thích ảnh trong cơ sở dữ liệu thông qua việc gán một số từ khóa có liên quan. Kết quả tra cứu dựa vào việc đối sánh từ khóa được chú thích cho các ảnh trong cơ sở dữ liệu với các từ khóa truy vấn dựa trên văn bản do người sử dụng đưa vào. Yêu cầu cơ bản của hệ thống sử dụng phương pháp này là các ảnh phải được chú thích trước khi chúng được thêm vào cơ sở dữ liệu lưu trữ. Nếu không, chúng sẽ không bao giờ được tra cứu khi một truy vấn dựa trên văn bản được yêu cầu. Tuy nhiên, để mô tả những ảnh với mức độ một cách cụ thể và chi tiết thì cần phải có một hệ thống từ khoá lớn và tinh vi. Một trở ngại khác của phương pháp này là cần phải cónhân viên được đào tạo tốt không chỉ để chú thích từ khoá cho mỗi ảnh mà còn phải lựa chọn những từ khoá thích hợp cho việc chú thích này. Việc chú thích thủ công không những tiêu phí rất nhiều thời gian công sức mà nó còn phụ thuộc nhiều vào sự cảm nhận chủ quan của con người. Chẳng hạn như cùng nội dung ảnh nhưng với người dùng khác nhau có thể cảm nhận nội dung trực quan của ảnh là khác nhau. Sự cảm nhận chủ quan và sự chú thích không chính xác có thể dẫn tới sự đối sánh không cân xứng trong quá trình tra cứu tiếp theo. Hơn nữa, một hệ thống dựa trên từ khoá rất khó để thay đổi sau này. Vì vậy, các nhà nghiên cứu đã xem xét đến kỹ thuật thực hiện chú thích tự động cho ảnh số. Các kỹ thuật chú thích tự động thường sử dụng các kỹ thuật học máy thống kê để huấn luyện mô hình bằng cách sử dụng các ảnh đã được chú thích đầy đủ. Với sự trợ giúp của các mô hình đã được huấn luyện, hệ thống sau đó thực hiện chú thích tự động cho các ảnh khác. Nhược điểm của kỹ thuật này là mô hình đào tạo phụ thuộc rất nhiều vào chất lượng và số lượng của các ảnh được chú thích để huấn luyện. Nếu các ảnh đã được chú thích không chính xác, không đầy đủ, phân bố không đều, hoặc chất lượng chú thích thấp thì các mô hình thống kê được huấn luyện sẽ không thể cung cấp chú thích chính xác cho các ảnh khác. Hơn nữa, các mô hình thống kê được huấn luyện sẽ không thể học khái niệm ngữ nghĩa của ảnh chính xác hơn nếu thông tin phản hồi của con người về các từ khóa được chú thích tự động không được cung cấp. Hệ thống thử nghiệm tra cứu ảnh kỹ thuật số đầu tiên với các ảnh được chú thích tự động được các nhà nghiên cứu tại Viện Công nghệ Massachusetts phát triển vào đầu những năm 1990 [83]. Từ đầu những năm 2000, lĩnh vực chú thích ảnh tự động đã trở thành một chủ đề nghiên cứu phổ biến và thu hút ngày càng nhiều các nhànghiên cứu để xây dựng hệ thống tra cứu ảnh. Song song với phương pháp tra cứu dựa trên kỹ thuật chú thích tự động là sự ra đời của của phương pháp tra cứu ảnh dựa trên nội dung (CBIR). Trong phương pháp này, ảnh được biểu diễn bởi các đặc trưng thị giác với các kiểu đặc trưng cơ bản bao gồm màu sắc, kết cấu và hình dạng. Các đặc trưng này được trích chọn một cách tự động, do vậy, nội dung của ảnh được mô tả một cách nhất quán, không phụ thuộc vào cảm nhận chủ quan của con người. Một số hệ thống tra cứu ảnh dựa trên phương pháp CBIR đã được phát triển như: QBIC [31] năm 1995, Virage [37] năm 1997 và NEC AMORE [72] năm 1999. Đây là các hệ thống được phát triển sớm nhất cho mục đích thương mại. Cũng trong khoảng thời gian này, một số hệ thống CBIR khác đã phát triển cho mục đích nghiên cứu như MIT Photobook [82], Columbia VisualSEEK và WebSEEK [98], UCSB Netra [64], và Standford WBIIS [113]. Những ưu điểm của hệ thống CBIR đã được các nhà nghiên cứu chỉ ra trong một số ứng dụng tiêu biểu [50]: kiến trúc và thiết kế kỹ thuật, bộ sưu tập nghệ thuật, phòng chống tội phạm, thông tin địa lý, sở hữu trí tuệ, điều trị nội khoa, quân sự, tìm kiếm sản phẩm, . . .
BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - NGÔ TRƯỜNG GIANG NÂNG CAO HIỆU QUẢ TRA CỨU ẢNH DỰA TRÊN HIỆU CHỈNH ĐỘ ĐO TƯƠNG TỰ VÀ PHẢN HỒI LIÊN QUAN LUẬN ÁN TIẾN SỸ TOÁN HỌC HÀ NỘI – 2017 LỜI CÁM ƠN Luận án thực Học viện Khoa học Công nghệ, Viện Hàn lâm Khoa học Công nghệ Việt Nam hướng dẫn khoa học PGS.TS Ngô Quốc Tạo TS Nguyễn Đức Dũng Tôi xin bày tỏ lòng biết ơn sâu sắc tới Thầy quan tâm, hướng dẫn từ kỹ đến định hướng khoa học, tạo điều kiện thuận lợi để hoàn thành luận án Tôi xin cảm ơn tới tập thể Thầy Cô Viện Công nghệ Thông tin có ý kiến đóng góp phản biện suốt trình nghiên cứu hoàn chỉnh luận án Xin chân thành cảm ơn nhà khoa học, tác giả công trình công bố trích dẫn luận án cung cấp nguồn tư liệu quý báu, kiến thức liên quan trình nghiên cứu hoàn thành luận án Tôi xin trân trọng cảm ơn Lãnh đạo Viện Công nghệ Thông tin, Học Viện Khoa học Công nghệ tạo điều kiện tốt để nghiên cứu sinh có môi trường nghiên cứu hoàn thành chương trình nghiên cứu Xin chân thành cám ơn Phòng Nhận dạng Công nghệ Tri thức, phòng ban Viện Công nghệ Thông tin hỗ trợ tạo điều kiện cho suốt trình thực luận án Tôi xin gửi lời cảm ơn tới Ban giám hiệu Trường Đại học Dân lập Hải Phòng, Khoa Công nghệ Thông tin tạo nhiều điều kiện thuận lợi hỗ trợ cho có đủ điều kiện thực luận án Xin cảm ơn tất bạn bè đồng nghiệp, người chia sẻ, cổ vũ lúc khó khăn, động viên khích lệ để thực hoàn thành luận án Cuối cùng, xin bày tỏ lòng biết ơn vô hạn người thân gia đình ủng hộ động viên, tạo nguồn lực tinh thần to lớn để thực hoàn thành luận án ii Mục lục Mục lục iii Danh sách hình vẽ v Danh sách bảng vii Danh sách chữ viết tắt viii MỞ ĐẦU 1 TRA CỨU ẢNH DỰA TRÊN NỘI DUNG 1.1 Một số vấn đề CBIR 1.1.1 Trích chọn đặc trưng mức thấp 1.1.2 Độ đo tương tự 1.1.3 Đánh giá hiệu hệ thống 1.2 Độ đo tương tự kết hợp đặc trưng 1.3 Phản hồi liên quan CBIR 1.3.1 Kỹ thuật cập nhật truy vấn 1.3.2 Những kỹ thuật học thống kê 1.4 Tổng kết chương ĐỘ ĐO TƯƠNG TỰ HÌNH DẠNG DỰA TRÊN ĐỐI SÁNH ĐỒ THỊ XƯƠNG 2.1 Giới thiệu 2.2 Bài toán đối sánh đồ thị 2.3 Biểu diễn đồ thị xương 2.3.1 Trục trung vị - Xương 2.3.2 Biểu diễn đồ thị xương 2.4 Độ đo tương tự hình dạng dựa đối sánh đồ thị xương 2.4.1 Khoảng cách đỉnh sử dụng đường dẫn xương 2.4.2 Đối sánh đồ thị xương sử dụng cụm đỉnh cuối 2.4.3 Thực nghiệm đánh giá 2.5 Tổng kết chương 8 12 22 25 28 29 33 34 37 38 39 42 46 46 50 52 52 54 64 69 TÍCH HỢP ĐẶC TRƯNG TRONG PHẢN HỒI LIÊN QUAN 72 3.1 Giới thiệu 73 iii 3.2 3.3 3.4 Độ đo mờ tích phân Choquet 3.2.1 Độ đo mờ (Fuzzy measures) 3.2.2 Tích phân Choquet Độ đo tương tự kết hợp nhiều đặc trưng 3.3.1 Phát biểu toán 3.3.2 Học trọng số liên quan đặc trưng 3.3.3 Thực nghiệm đánh giá Tổng kết chương 75 75 77 78 78 82 85 92 HỌC CHỦ ĐỘNG SVM DỰA TRÊN PHẢN HỒI LIÊN QUAN 93 4.1 Học chủ động 94 4.2 Học chủ động SVM với phản hồi liên quan 94 4.2.1 Học chủ động SVM 94 4.2.2 Các nghiên cứu liên quan 97 4.3 Phản hồi liên quan CBIR 101 4.3.1 Phát biểu toán 101 4.3.2 Xây dựng hàm lựa chọn tập huấn luyện 101 4.3.3 Thực nghiệm đánh giá 103 4.4 Tổng kết chương 106 KẾT LUẬN 108 Danh mục công trình tác giả 111 Tài liệu tham khảo 112 iv Danh sách hình vẽ 1.1 1.2 1.3 1.4 1.5 1.6 1.7 Kiến trúc chung hệ thống CBIR Không gian màu RGB Không gian màu HSV Ví dụ tính toán mẫu nhị phân [79] Các điểm ảnh lân cận đường tròn với tâm điểm ảnh khảo sát Các điểm ảnh lân cận không rơi xác vào lưới điểm ảnh nội suy Recall Precision cho kết truy vấn Ví dụ khoảng cách ngữ nghĩa CBIR, cột (a) hai ảnh ngữ nghĩa khác có đặc trưng (biểu đồ màu) giống nhau, cột (b) hai ảnh ngữ nghĩa giống có đặc trưng (biểu đồ màu) khác Sơ đồ tổng quan CBIR với phản hồi liên quan Hai đối tượng lớp có kiến trúc tô pô xương khác 2.2 Đối tượng (a) (b) khác lớp có kiến trúc tô pô xương (c) giống 2.3 Các láng giềng điểm ảnh vị trí [i,j]: (a) 4-láng giềng (b) 8-láng giềng 2.4 Ảnh nhị phân với đường bao: (a) ảnh gốc (b) đường bao với điểm màu đen đậm 2.5 Ví dụ xương 2.6 Xương ảnh bị nhiễu Cột bên trái ảnh đối tượng với dòng ảnh gốc, dòng ảnh bị nhiễu cột bên phải xương tương ứng 2.7 Xương thu sau cắt tỉa với ngưỡng khác [4] 2.8 Biểu diễn đồ thị xương 2.9 Sự không ổn định điểm xương giao 2.10 Xây dựng siêu đồ thị xương Bên trái siêu đồ thị xương với đỉnh {v1 , , v7 } siêu cạnh {e1 , e2 , e3 } Bên phải ma trận liên thuộc siêu đồ thị xương 2.11 Đối sánh bất biến tỷ lệ sử dụng độ tương tự bậc cao (δ = 3) Độ tương tự bậc ba tính toán so sánh hai tam giác theo sin góc tương ứng 14 15 19 26 30 32 2.1 v 40 40 46 47 48 48 49 50 52 55 57 2.12 Ví dụ xây dựng siêu đồ thị kết hợp [57] (a) có hai đỉnh đồ thị GP đỉnh đồ thị GQ Có sáu mối tương quan hai đồ thị (b) Siêu đồ thị kết hợp gồm sáu đỉnh tương ứng với sáu tương quan Có năm siêu cạnh kết nối từ tương quan tương ứng 2.13 Một số ảnh mẫu tập liệu Kimia99 2.14 Một số ảnh mẫu tập liệu Kimia216 2.15 Một số ảnh mẫu tập liệu MPEG-7 2.16 Sự tương quan hai hình dạng ngựa, biến đổi từ lại 2.17 Sự tương quan hai hình dạng người với số chân khác 2.18 Mối tương quan hình dạng hai voi có cấu trúc hình học không giống 2.19 Hiệu tra cứu số lớp riêng tập liệu MPEG-7 3.1 3.2 3.3 3.4 3.5 4.1 4.2 4.3 4.4 4.5 Kết hợp đặc trưng cho mục đích CBIR Hiệu tra cứu sử dụng độ đo mờ khác tập liệu Caltech101 Hiệu tra cứu sử dụng độ mờ khác tập liệu Corel15K Hiệu tra cứu sử dụng mô hình kết hợp khác tập liệu Caltech101 Hiệu tra cứu sử dụng mô hình kết hợp khác tập liệu Corel15K 59 64 65 65 66 66 67 70 74 89 90 91 91 Minh họa học chủ động SVM Một phân lớp tuyến tính tính toán để phân lớp liệu liên quan(vòng rỗng) không liên quan (vòng tròn đặc) 98 Kết tra cứu phản hồi 105 Kết tra cứu sau vòng phản hồi 106 Mối quan hệ trung bình độ xác tốp ảnh trả vòng phản hồi: (a) Vòng phản hồi thứ nhất, (b) Vòng phản hồi thứ hai, (c) Vòng phản hồi thứ ba, (d) vòng phản hồi thứ bốn107 Mối quan hệ trung bình độ xác số lần lặp tốp ảnh trả về: (a) Tốp 20 ảnh trả về, (b) Tốp 40 ảnh trả về, (c) Tốp 60 ảnh trả về, (d) tốp 80 ảnh trả 107 Danh sách bảng 2.1 2.2 2.3 3.1 3.2 3.3 Số lượng ảnh tra cứu vị trí gần với truy vấn tập liệu Kimia’s 99 Giá trị tốt 99 68 Số lượng ảnh tra cứu vị trí gần với truy vấn tập liệu Kimia’s 216 Giá trị tốt 216 68 Hiệu tra cứu số lớp ảnh tập liệu MPEG7 69 Độ đo tương tự kết hợp sử dụng Độ đo tương tự kết hợp sử dụng Các mô tả thuộc tính thí nghiệm mô hình công thức (3–9) 79 tích phân Choquet 82 đặc trưng sử dụng 87 vii Danh sách chữ viết tắt Từ viết tắt Diễn giải tiếng Anh Diễn giải tiếng Việt ARG Attribute-Relational Graphs Đồ thị quan hệ thuộc tính AP Average Precision Độ xác trung bình CBIR Content-Based Image Retrieval Tra cứu ảnh dựa nội dung EM Expectation–Maximization Ước lượng EM FSVM Fuzzy Support Vector Machine Máy véc tơ hỗ trợ mờ GCM Grid Color Moment Mô men màu GWT Gabor Wavelets Texture Biến đổi kết cấu dạng sóng HSV Hue Saturation Value Không gian màu HSV MAP Mean Average Precision ĐTrung bình AP MPEG-7 Moving Picture Experts Chuẩn MPEG-7 Group–7 MRBIR Manifold Ranking Based Image Tra cứu ảnh dựa xếp hạng Retrieval đa tạp MWR Markov Random Walk Bước ngẫu nhiên Markov LBP Local Binary Pattern Mẫu nhị phân cục OSB Optimal Subsequence Bijection Chuỗi song ánh tối ưu RGB Red Green Blue Không gian màu RGB RF Relevance Feedback Phản hồi liên quan RW Random Walk Bước ngẫu nhiên RWR Random Walk Restart Bước ngẫu nhiên khởi động lại SHG Skeleton Hyper-Graph Siêu đồ thị xương SVM Support Vector Machine Phân lớp SVM viii MỞ ĐẦU Trong xã hội đại, việc tìm kiếm, truy cập thông tin trở thành nhu cầu thiếu công việc người sống hàng ngày Cùng với nhu cầu tìm kiếm văn bản, nhu cầu tìm kiếm ảnh nhận nhiều quan tâm người sử dụng Với số lượng ngày tăng hình ảnh kỹ thuật số Internet thư viện kỹ thuật số, nhu cầu công cụ để quản lý khai thác hiệu sở liệu ảnh lớn phát triển nhanh chóng Việc phát triển hệ thống tra cứu ảnh để tìm ảnh quan tâm trong số lượng lớn ảnh lưu trữ trở thành lĩnh vực nghiên cứu nhận nhiều quan tâm năm gần Nói chung, có hai phương pháp tra cứu ảnh bản, tra cứu ảnh dựa từ khóa tra cứu ảnh dựa nội dung Tra cứu ảnh dựa từ khóa nhằm mục đích tìm hình ảnh tương tự với ảnh truy vấn theo từ khóa thích Phương pháp đòi hỏi lượng lớn lao động thủ công để thích ảnh sở liệu thông qua việc gán số từ khóa có liên quan Kết tra cứu dựa vào việc đối sánh từ khóa thích cho ảnh sở liệu với từ khóa truy vấn dựa văn người sử dụng đưa vào Yêu cầu hệ thống sử dụng phương pháp ảnh phải thích trước chúng thêm vào sở liệu lưu trữ Nếu không, chúng không tra cứu truy vấn dựa văn yêu cầu Tuy nhiên, để mô tả ảnh với mức độ cách cụ thể chi tiết cần phải có hệ thống từ khoá lớn tinh vi Một trở ngại khác phương pháp cần phải có nhân viên đào tạo tốt không để thích từ khoá cho ảnh mà phải lựa chọn từ khoá thích hợp cho việc thích Việc thích thủ công tiêu phí nhiều thời gian công sức mà phụ thuộc nhiều vào cảm nhận chủ quan người Chẳng hạn nội dung ảnh với người dùng khác cảm nhận nội dung trực quan ảnh khác Sự cảm nhận chủ quan thích không xác dẫn tới đối sánh không cân xứng trình tra cứu Hơn nữa, hệ thống dựa từ khoá khó để thay đổi sau Vì vậy, nhà nghiên cứu xem xét đến kỹ thuật thực thích tự động cho ảnh số Các kỹ thuật thích tự động thường sử dụng kỹ thuật học máy thống kê để huấn luyện mô hình cách sử dụng ảnh thích đầy đủ Với trợ giúp mô hình huấn luyện, hệ thống sau thực thích tự động cho ảnh khác Nhược điểm kỹ thuật mô hình đào tạo phụ thuộc nhiều vào chất lượng số lượng ảnh thích để huấn luyện Nếu ảnh thích không xác, không đầy đủ, phân bố không đều, chất lượng thích thấp mô hình thống kê huấn luyện cung cấp thích xác cho ảnh khác Hơn nữa, mô hình thống kê huấn luyện học khái niệm ngữ nghĩa ảnh xác thông tin phản hồi người từ khóa thích tự động không cung cấp Hệ thống thử nghiệm tra cứu ảnh kỹ thuật số với ảnh thích tự động nhà nghiên cứu Viện Công nghệ Massachusetts phát triển vào đầu năm 1990 [83] Từ đầu năm 2000, lĩnh vực thích ảnh tự động trở thành chủ đề nghiên cứu phổ biến thu hút ngày nhiều nhà khác giúp đánh giá tổng quan hiệu truy vấn kỹ thuật đề xuất luận án Nhìn chung, luận án tổng hợp công trình công bố quan trọng có liên quan đến hướng nghiên cứu, có đề xuất xây dựng độ đo tương tự hiệu chỉnh đồ đo tương tự, kiểm chứng hiệu đề xuất thông qua thực nghiệm với kết cải tiến Luận án cho kết nghiên cứu đạt thiết thực có đóng góp cụ thể, đạt mục tiêu đề Tuy vậy, kết trình bày luận án khiêm tốn cần cải tiến nghiên cứu thêm công trình nghiên cứu khác thời gian tới 110 Danh mục công trình tác giả CT1 Ngô Trường Giang, Ngô Quốc Tạo, Nguyễn Đức Dũng, “Applying Random Walks for Shape Matching”, Kỷ yếu hội thảo Quốc gia lần thứ 15 “Một số vấn đề chọn lọc Công nghệ thông tin truyền thông”, Hà Nội, 12-2012 CT2 Ngô Trường Giang, Ngô Quốc Tạo, Nguyễn Đức Dũng, “Shape Similarity Based on Skeleton Hyper-Graph Matching” Hội nghị quốc gia lần thứ VI “Nghiên cứu ứng dụng Công nghệ thông tin – FAIR(Fundamental and Applied IT Research)”, Huế, 6-2013 CT3 Giang, N.T., Tao, N.Q., Dung, N.D and The, N.T., “Skeleton Based Shape Matching Using Reweighted Random Walks” Proc of IEEE on 9th International Conference on Information, Communications and Signal Processing (ICICS), pp 1-5, Dec, 2013 CT4 Giang, N.T., Tao, N.Q., Dung, N.D and The, N.T., “Batch Mode Active Learning for Interactive Image Retrieval”, Proc of IEEE on International Symposium on Multimedia (ISM 2014) CT5 Giang, N.T., Tao, N.Q., Dung, N.D , “Image Retrieval with Relevance Feedback using SVM Active Learning” International Journal of Electrical and Computer Engineering, Vol.6, No.6, 2016, (Scopus) CT6 Giang, N.T.,The, N.T., Tao, N.Q., Dung, N.D., Chu, S.C., “Similarity Shape Based on Skeleton Graph Matching” Journal of Information Hiding and Multimedia Signal Processing, Vol.7, No.6, 2016, (Scopus) CT7 Giang, N.T., Tao, N.Q., Dung, N.D , Huy, N.H, “Learning Interaction Measure with Relevance Feedback in Image Retrieval” Journal of Computer Science and Cybernetics, Vol.32, No.2, 2016 111 Tài liệu tham khảo [1] A Frome, Y S., and Malik, J Image retrieval and classification using local distance functions In Advanc es in Neural Information Processing Systems, 2006 Proceedings Conference on (December 2006), pp 417–424 [2] Ambika, P., and Samath, J Unsupervised neural network for content based image retrieval by utilizing content and model annotations Research Journal of Information Technology (2013), 468–472 [3] Arevalillo-Herráez, M., Ferri, F J., and Domingo, J A naive relevance feedback model for content-based image retrieval using multiple similarity measures Pattern Recognition 43, (2010), 619–629 [4] Bai, X., Latecki, L., and yu Liu, W Skeleton pruning by contour partitioning with discrete curve evolution IEEE Transactions on Pattern Analysis and Machine Intelligence 29, (2007), 449–462 [5] Bai, X., and Latecki, L J Path similarity skeleton graph matching IEEE Transactions on Pattern Analysis and Machine Intelligence 30, (2008), 1282–1292 [6] Baseski, E., Erdem, A., and Tari, S Dissimilarity between two skeletal trees in a context Pattern Recognition 42, (2009), 370–385 [7] Beliakov, G Fitting fuzzy measures by linear programming programming library fmtools In Fuzzy Systems, 2008 FUZZ-IEEE 2008 (IEEE World Congress on Computational Intelligence) IEEE International Conference on (June 2008), pp 862–867 [8] Belongie, S., Malik, J., and Puzicha, J Shape matching and object recognition using shape contexts IEEE Transactions on Pattern Analysis and Machine Intelligence 24, (2002), 509–522 112 [9] Belongie, S., Malik, J., and Puzicha, J Shape matching and object recognition using shape contexts IEEE Trans Pattern Anal Mach Intell 24, (Apr 2002), 509–522 [10] Blum, H Biological shape and visual science (part i) Journal of Theoretical Biology 38, (1973), 205–287 [11] B.Sebastian, T., and B.Kimia, B Curves vs skeletons in object recognition Signal Processing 85, (2005), 247–263 [12] Carson, C., Belongie, S., Greenspan, H., and Malik, J Blobworld: image segmentation using expectation-maximization and its application to image querying IEEE Transactions on Pattern Analysis and Machine Intelligence 24, (Aug 2002), 1026–1038 [13] Chen, Y., Wang, J Z., and Krovetz, R Clue: Cluster-based retrieval of images by unsupervised learning IEEE Transactions on Image Processing 14 (2003), 2005 [14] Chen, Z., and Fu, B On the Complexity of Rocchio’s Similarity-Based Relevance Feedback Algorithm Springer Berlin Heidelberg, Berlin, Heidelberg, 2005, pp 216–225 [15] Chen, Z., and Zhu, B Some formal analysis of rocchio’s similarity-based relevance feedback algorithm Inf Retr 5, (Jan 2002), 61–86 [16] Chertok, M., and Keller, Y Efficient high order matching IEEE Transactions on Pattern Analysis and Machine Intelligence 32, 12 (2010), 2205–2215 [17] Cho, M., Lee, J., and Lee, K M Reweighted random walks for graph matching In Proceedings of the 11th European conference on Computer vision: Part V (2010), pp 492–505 [18] Choi, Y., Kim, D., and Krishnapuram, R Relevance feedback for content-based image retrieval using the choquet integral In Multimedia and Expo, 2000 ICME 2000 2000 IEEE International Conference on (2000), vol 2, pp 1207–1210 vol.2 [19] Conte, D., Foggia, P., Sansone, C., and Vento, M Thirty years of graph matching in pattern recognition International journal of pattern recognition and artificial intelligence 18, (2004), 265–298 113 [20] Cox, I J., Miller, M L., Minka, T P., Papathomas, T V., and Yianilos, P N The bayesian image retrieval system, pichunter: theory, implementation, and psychophysical experiments IEEE Transactions on Image Processing 9, (Jan 2000), 20–37 [21] da S Torres, R., Falcão, A X., Gonc ¸ alves, M A., Papa, J P., Zhang, B., Fan, W., and Fox, E A A genetic programming framework for content-based image retrieval Pattern Recognition 42, (2009), 283–292 Learning Semantics from Multimedia Content [22] Datta, R., Joshi, D., Li, J., and Wang, J Z Image retrieval: Ideas, influences, and trends of the new age ACM Comput Surv 40, (May 2008), 5:1–5:60 [23] Daugman, J G Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters J Opt Soc Am A 2, (Jul 1985), 1160–1169 [24] Demirci, M F., Osmanlioglu, Y., Shokoufandeh, A., and Dickinson, S Efficient many-to-many feature matching under the l1 norm Computer Vision and Image Understanding 115, (July 2011), 976–983 [25] Do, M N., and Vetterli, M Wavelet-based texture retrieval using generalized gaussian density and kullback-leibler distance Trans Img Proc 11, (Feb 2002), 146–158 [26] Donald, K M., and Smeaton, A F A Comparison of Score, Rank and Probability-Based Fusion Methods for Video Shot Retrieval Springer Berlin Heidelberg, Berlin, Heidelberg, 2005, pp 61–70 [27] Douze, M., Jégou, H., Sandhawalia, H., Amsaleg, L., and Schmid, C Evaluation of gist descriptors for web-scale image search In Proceedings of the ACM International Conference on Image and Video Retrieval (New York, NY, USA, 2009), CIVR ’09, ACM, pp 19:1–19:8 [28] Duchenne, O., Bach, F., Kweon, I.-S., and Ponce, J A tensor-based algorithm for high-order graph matching IEEE Transactions on Pattern Analysis and Machine Intelligence 33, 12 (2011), 2383–2395 [29] Fei-Fei, L., Fergus, R., and Perona, P Learning generative visual models from few training examples: An incremental bayesian approach tested 114 on 101 object categories Comput Vis Image Underst 106, (Apr 2007), 59–70 [30] Felzenszwalb, P., and Schwartz, J Hierarchical matching of deformable shapes In Computer Vision and Pattern Recognition, 2007 CVPR ’07 IEEE Conference on (2007), pp 1–8 [31] Flickner, M., Sawhney, H., Niblack, W., Ashley, J., Huang, Q., Dom, B., Gorkani, M., Hafner, J., Lee, D., Petkovic, D., Steele, D., and Yanker, P Query by image and video content: The qbic system Computer 28, (Sept 1995), 23–32 [32] FOGGIA, P., PERCANNELLA, G., and VENTO, M Graph matching and learning in pattern recognition in the last 10 years International Journal of Pattern Recognition and Artificial Intelligence 28, 01 (2014) [33] Frigui, H Interactive image retrieval using fuzzy sets Pattern Recognition Letters 22, (2001), 1021–1031 [34] Goh, W B Strategies for shape matching using skeletons Computer Vision and Image Understanding 110, (June 2008), 326–345 [35] Grabisch, M The application of fuzzy integrals in multicriteria decision making European Journal of Operational Research 89, (1996), 445–456 [36] Grabisch, M., Kojadinovic, I., and Meyer, P A review of methods for capacity identification in choquet integral based multi-attribute utility theory: Applications of the kappalab r package European Journal of Operational Research 186, (2008), 766–785 [37] Gupta, A., and Jain, R Visual information retrieval Commun ACM 40, (May 1997), 70–79 [38] Han, L., Wilson, R., and Hancock, E A supergraph-based generative model In Proceedings of the 2010 20th International Conference on Pattern Recognition (2010), pp 1566–1569 [39] Han, Y., Xu, Z., Ma, Z., and Huang, Z Image classification with manifold learning for out-of-sample data Signal Processing 93, (2013), 2169–2177 Indexing of Large-Scale Multimedia Signals 115 [40] Haveliwala, T H Topic-sensitive pagerank In Proceedings of the 11th International Conference on World Wide Web (New York, NY, USA, 2002), WWW ’02, ACM, pp 517–526 [41] He, J., Li, M., Zhang, H.-J., Tong, H., and Zhang, C Manifoldranking based image retrieval In Proceedings of the 12th Annual ACM International Conference on Multimedia (New York, NY, USA, 2004), MULTIMEDIA ’04, ACM, pp 9–16 [42] Ho, S.-S., and Wechsler, H Query by transduction IEEE Trans Pattern Anal Mach Intell 30, (Sept 2008), 1557–1571 [43] Hoi, S C H., Jin, R., Zhu, J., and Lyu, M R Semisupervised svm batch mode active learning with applications to image retrieval Journal ACM Transactions on Information Systems 27, (May 2009), 16:1–16:29 [44] Hoi, S C H., and Lyu, M R A semi-supervised active learning framework for image retrieval In Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05)Volume 2-Volume 02 (2005), CVPR ’05, pp 302–309 [45] Huijsmans, D P., and Sebe, N How to complete performance graphs in content-based image retrieval: add generality and normalize scope IEEE Transactions on Pattern Analysis and Machine Intelligence 27, (Feb 2005), 245–251 [46] Huiskes, M J., and Lew, M S Performance evaluation of relevance feedback methods In Proceedings of the 2008 International Conference on Content-based Image and Video Retrieval (New York, NY, USA, 2008), CIVR ’08, ACM, pp 239–248 [47] Jiang, B., Tang, J., Luo, B., Chen, Z., and Chen, Z Skeleton graph matching based on a novel shape tree In Computing, Communication, Control, and Management, 2009 CCCM 2009 ISECS International Colloquium on (2009), vol 4, pp 636–639 [48] Jing, F., Li, M., Zhang, L., Zhang, H.-J., and Zhang, B Learning in Region-Based Image Retrieval Springer Berlin Heidelberg, Berlin, Heidelberg, 2003, pp 206–215 116 [49] Ko, B., and Byun, H Integrated region-based image retrieval using region’s spatial relationships In Pattern Recognition, 2002 Proceedings 16th International Conference on (2002), vol 1, pp 196–199 vol.1 [50] Kokare, M., Chatterji, B N., and Biswas, P K A survey on current content based image retrieval methods IETE Journal of Research 48, 3-4 (2002), 261–271 [51] Krishnan, A R., Kasim, M M., and Bakar, E M N E A A short survey on the usage of choquet integral and its associated fuzzy measure in multiple attribute analysis Procedia Computer Science 59 (2015), 427–434 [52] Kushki, A., Androutsos, P., Plataniotis, K N., and Venetsanopoulos, A N Query feedback for interactive image retrieval IEEE Transactions on Circuits and Systems for Video Technology 14, (May 2004), 644–655 [53] Kushki, A., Androutsos, P., Plataniotis, K N., and Venetsanopoulos, A N Retrieval of images from artistic repositories using a decision fusion framework IEEE Transactions on Image Processing 13, (March 2004), 277–292 [54] Latecki, L., Wang, looikonomou, V Q., Koknar-Tezel, Optimal subsequence bijection S., and Mega- In Proceedings of the Seventh IEEE International Conference on Data Mining (2007), pp 565–570 [55] Latecki, L J., Lakamper, R., and Eckhardt, T Shape descriptors for non-rigid shapes with a single closed contour In Computer Vision and Pattern Recognition, 2000 Proceedings IEEE Conference on (2000), vol 1, pp 424–429 vol.1 [56] Lee, J., Cho, M., and Lee, K.-M A graph matching algorithm using data-driven markov chain monte carlo sampling In Proceedings of the 20th International Conference on Pattern Recognition (2010), pp 2816–2819 [57] Lee, J., Cho, M., and Lee, K M Hyper-graph matching via reweighted random walks In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2011), CVPR ’11, pp 1633–1640 117 [58] Leordeanu, M., and Hebert, M A spectral technique for correspondence problems using pairwise constraints In Proceedings of the Tenth IEEE International Conference on Computer Vision-Volume (2005), pp 1482– 1489 [59] Lew, M S., Sebe, N., Djeraba, C., and Jain, R Content-based multimedia information retrieval: State of the art and challenges ACM Trans Multimedia Comput Commun Appl 2, (Feb 2006), 1–19 [60] Ling, H., and Jacobs, D Shape classification using the inner-distance IEEE Transactions on Pattern Analysis and Machine Intelligence 29, (2007), 286–299 [61] Liu, R., Wang, Y., Baba, T., Masumoto, D., and Nagata, S Svmbased active feedback in image retrieval using clustering and unlabeled data Pattern Recognition 41, (2008), 2645–2655 [62] Liu, X., Yao, H., Ji, R., Xu, P., and Sun, X Bidirectional-isomorphic manifold learning at image semantic understanding & representation Multimedia Tools and Applications 64, (2013), 53–76 [63] Liu, Y., Zhang, D., Lu, G., and Ma, W.-Y A survey of content-based image retrieval with high-level semantics Pattern Recogn 40, (Jan 2007), 262–282 [64] Ma, W Y., and Manjunath, B S Netra: a toolbox for navigating large image databases In Image Processing, 1997 Proceedings., International Conference on (Oct 1997), vol 1, pp 568–571 vol.1 [65] MacArthur, S D., Brodley, C E., and Shyu, C.-R Relevance feedback decision trees in content-based image retrieval In Content-based Access of Image and Video Libraries, 2000 Proceedings IEEE Workshop on (2000), pp 68–72 [66] Macrini, D., Dickinson, S., Fleet, D., and Siddiqi, K Object categorization using bone graphs Computer Vision and Image Understanding 115, (Aug 2011), 1187–1206 [67] Macrini, D., Dickinson, S J., Fleet, D J., and Siddiqi, K Bone graphs: Medial shape parsing and abstraction Computer Vision and Image Understanding 115, (2011), 1044–1061 118 [68] Macrini, D., Siddiqi, K., and Dickinson, S From skeletons to bone graphs: Medial abstraction for object recognition In Computer Vision and Pattern Recognition, 2008 CVPR 2008 IEEE Conference on (2008), pp 1– [69] Manjunath, B S., Ohm, J R., Vasudevan, V V., and Yamada, A Color and texture descriptors IEEE Transactions on Circuits and Systems for Video Technology 11, (Jun 2001), 703–715 [70] Michel, G K-order additive discrete fuzzy measures and their representation Fuzzy Sets Syst 92, (Dec 1997), 167–189 [71] Min, R., and Cheng, H Effective image retrieval using dominant color descriptor and fuzzy support vector machine Pattern Recognition 42, (2009), 147–157 [72] Mukherjea, S., Hirata, K., and Hara, Y Amore: A world wide web image retrieval engine World Wide Web 2, (1999), 115–132 ¨ ller, W., Squire, D M., Marchand-Maillet, S., [73] Muller, H., Mu and Pun, T Performance evaluation in content-based image retrieval: overview and proposals Pattern Recognition Letters 22, (2001), 593–601 Image/Video Indexing and Retrieval [74] Muneesawang, P., and Guan, L An interactive approach for cbir using a network of radial basis functions IEEE Transactions on Multimedia 6, (Oct 2004), 703–716 [75] Munkres, J Algorithms for the assignment and transportation problems Journal of the Society for Industrial and Applied Mathematics 5, (1957), 32–38 [76] Murofushi, T., and Sugeno, M An interpretation of fuzzy measures and the choquet integral as an integral with respect to a fuzzy measure Fuzzy Sets and Systems 29, (1989), 201–227 [77] Narukawa, Y., and Murofushi, T Choquet integral and Sugeno integral as aggregation functions Springer Berlin Heidelberg, Berlin, Heidelberg, 2003, pp 27–39 119 [78] Nematipour, S., S J M R Relevance feedback optimization in content based image retrieval via enhanced radial basis function networ In Multi conference of Engineers and Computer Scientists, Proceedings Proceedings of the International Multi conference on (2011), vol [79] Ojala, T., Pietikainen, M., and Maenpaa, T Multiresolution grayscale and rotation invariant texture classification with local binary patterns IEEE Transactions on Pattern Analysis and Machine Intelligence 24, (Jul 2002), 971–987 [80] Oliva, A., and Torralba, A Modeling the shape of the scene: A holistic representation of the spatial envelope International Journal of Computer Vision 42, (2001), 145–175 [81] Ortega, M., Rui, Y., Chakrabarti, K., Porkaew, K., Mehrotra, S., and Huang, T S Supporting ranked boolean similarity queries in mars IEEE Transactions on Knowledge and Data Engineering 10, (Nov 1998), 905–925 [82] Pentland, A., Picard, R W., and Sclaroff, S Photobook: ContentBased Manipulation of Image Databases Springer US, Boston, MA, 1996, pp 43–80 [83] Prasad, B E., Gupta, A., Toong, H M D., and Madnick, S E A microcomputer-based image database management system IEEE Transactions on Industrial Electronics IE-34, (Feb 1987), 83–88 [84] Rahman, M M., Bhattacharya, P., and Desai, B C A framework for medical image retrieval using machine learning and statistical similarity matching techniques with relevance feedback IEEE Transactions on Information Technology in Biomedicine 11, (Jan 2007), 58–69 [85] Regalia, P A., and Kofidis, E The higher-order power method revisited: convergence proofs and effective initialization In 2000 IEEE International Conference on Acoustics, Speech, and Signal Processing Proceedings (Cat No.00CH37100) (2000), vol 5, pp 2709–2712 vol.5 [86] Rubner, Y., Tomasi, C., and Guibas, L J The earth mover’s distance as a metric for image retrieval International Journal of Computer Vision 40, (2000), 99–121 120 [87] Rui, Y., and Huang, T Optimizing learning in image retrieval In Computer Vision and Pattern Recognition, 2000 Proceedings IEEE Conference on (2000), vol 1, pp 236–243 vol.1 [88] Rui, Y., Huang, T S., Ortega, M., and Mehrotra, S Relevance feedback: a power tool for interactive content-based image retrieval IEEE Transactions on Circuits and Systems for Video Technology 8, (Sep 1998), 644–655 [89] Santini, S., and Jain, R Similarity measures IEEE Transactions on Pattern Analysis and Machine Intelligence 21, (Sep 1999), 871–883 ¨ lkopf, B., Platt, J., and Hofmann, T [90] Scho pergraphs: Clustering, Classification, and Embedding Learning with HyMIT Press, 2007, pp 1601–1608 [91] Sebastian, T., Klein, P., and Kimia, B Recognition of shapes by editing their shock graphs IEEE Transactions on Pattern Analysis and Machine Intelligence 26, (2004), 550–571 [92] Shen, W., Bai, X., Hu, R., Wang, H., and Jan Latecki, L Skeleton growing and pruning with bending potential ratio Pattern Recogn 44, (2011), 196–209 [93] Shen, W., Wang, Y., Bai, X., Wang, H., and Latecki, L J Shape clustering: Common structure discovery Pattern Recognition 46, (2013), 539–550 [94] SHIH, J.-L., and CHEN, L.-H A context-based approach for color image retrieval International Journal of Pattern Recognition and Artificial Intelligence 16, 02 (2002), 239–255 [95] Siddiqi, K., Shokoufandeh, A., Dickinson, S., and Zucker, S Shock graphs and shape matching International Journal of Computer Vision 35, (1999), 13–32 [96] Silvia, A., Salvatore, G., Fabio, L., and Benedetto, M Assessing non-additive utility for multicriteria decision aid European Journal of Operational Research 158, (2004), 734–744 [97] Smith, A R Color gamut transform pairs SIGGRAPH Comput Graph 12, (Aug 1978), 12–19 121 [98] Smith, J R., and Chang, S.-F Visualseek: A fully automated contentbased image query system In Proceedings of the Fourth ACM International Conference on Multimedia (New York, NY, USA, 1996), MULTIMEDIA ’96, ACM, pp 87–98 [99] Snoek, C G M., Worring, M., and Smeulders, A W M Early versus late fusion in semantic video analysis In Proceedings of the 13th Annual ACM International Conference on Multimedia (New York, NY, USA, 2005), MULTIMEDIA ’05, ACM, pp 399–402 [100] Stricker, M A., and Orengo, M Similarity of color images In Storage and Retrieval for Image and Video Databases (1995), pp 381–392 [101] Su, Z., Zhang, H., Li, S., and Ma, S Relevance feedback in contentbased image retrieval: Bayesian framework, feature subspaces, and progressive learning IEEE Transactions on Image Processing 12, (Aug 2003), 924–937 [102] Sunao, H., Joo Kooi, T., Hyoungseop, K., and Seiji, I A media-art employing virtual shadows with shape recognition International Journal of Innovative Computing, Information and Control 5, (2009), 601–607 [103] Swain, M J., and Ballard, D H Color indexing International Journal of Computer Vision 7, (1991), 11–32 [104] T Murofushi, M S An interpretation of fuzzy measure and the choquet integral as an integral with respect to a fuzzy measure Fuzzy Sets and Systems 29 (1989), 201–227 [105] Thomee, B., and Lew, M S Interactive search in image retrieval: a survey International Journal of Multimedia Information Retrieval 1, (2012), 71–86 [106] Tieu, K., and Viola, P Boosting image retrieval International Journal of Computer Vision 56, (2004), 17–36 [107] Tong, S., and Chang, E Support vector machine active learning for image retrieval In Proceedings of the10th ACM International Conference on Multimedia (2001), pp 107–118 122 [108] Torralba, A., Fergus, R., and Freeman, W T 80 million tiny images: A large data set for nonparametric object and scene recognition IEEE Transactions on Pattern Analysis and Machine Intelligence 30, 11 (Nov 2008), 1958–1970 [109] Vailaya, A., Figueiredo, M A., Jain, A K., and Zhang, H.-J Image classification for content-based indexing Trans Img Proc 10, (Jan 2001), 117–130 [110] Vapnik, V N The Nature of Statistical Learning Theory Springer-Verlag New York, Inc., New York, NY, USA, 1995 [111] Wang, F., Er, G., and Dai, Q Inequivalent manifold ranking for contentbased image retrieval In 2008 15th IEEE International Conference on Image Processing (Oct 2008), pp 173–176 [112] Wang, X.-Y., Chen, J.-W., and Yang, H.-Y A new integrated svm classifiers for relevance feedback content-based image retrieval using em parameter estimation Applied Soft Computing 11, (2011), 2787–2804 [113] Wang, Z J., Wiederhold, G., Firschein, O., and Xin Wei, S Content-based image indexing and searching using daubechies’ wavelets International Journal on Digital Libraries 1, (1998), 311–328 [114] Wei Han, C., Ming Cheng, C., Chung Ming, K., Nai Chung, Y., and Ding Shun, H An efficient contour-based layered shape descriptor for image retrieval International Journal of Innovative Computing, Information and Control 7, 7(A) (2011), 3903–3922 [115] Wu, K., and Yap, K.-H Fuzzy svm for content-based image retrieval: a pseudo-label support vector machine framework IEEE Computational Intelligence Magazine 1, (May 2006), 10–16 [116] Wu, R.-S., and Chung, W.-H Ensemble one-class support vector machines for content-based image retrieval Expert Systems with Applications 36, 3, Part (2009), 4451–4459 [117] Xu, B., Bu, J., Chen, C., and Cai, D A bregman divergence optimization framework for ranking on data manifold and its new extensions In Proceedings of the Twenty-Sixth AAAI Conference on Artificial Intelligence (2012), AAAI’12, AAAI Press, pp 1190–1196 123 [118] Xu, B., Bu, J., Chen, C., Wang, C., Cai, D., and He, X Emr: A scalable graph-based ranking model for content-based image retrieval IEEE Transactions on Knowledge and Data Engineering 27, (Jan 2015), 102–114 [119] Zaboli, H., and Rahmati, M An improved shock graph approach for shape recognition and retrieval In Modelling Simulation, 2007 AMS ’07 First Asia International Conference on (2007), pp 438–443 [120] Zass, R., and Shashua, A Probabilistic graph and hypergraph matching In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2008), pp 1–8 [121] Zhang, X., Cheng, J., Xu, C., Lu, H., and Ma, S A dynamic batch sampling mode for svm active learning in image retrieval In Recent Advances in Computer Science and Information Engineering, vol 128 of Lecture Notes in Electrical Engineering 2012, pp 399–406 [122] Zhou, S X., and Huang, S T Relevance feedback in image retrieval: A comprehensive review Multimedia Systems 8, (2003), 536–544 [123] Zhu, J., Hoi, S C., Lyu, M R., and Yan, S Near-duplicate keyframe retrieval by nonrigid image matching In Proceedings of the 16th ACM International Conference on Multimedia (New York, NY, USA, 2008), MM ’08, ACM, pp 41–50 124 ... dựng độ đo tương tự để thu hẹp khoảng cách ngữ nghĩa tra cứu ảnh 3) Đề xuất kỹ thuật lựa chọn liệu học chủ động với phản hồi liên quan để tăng độ xác tra cứu ảnh theo nội dung với vòng phản hồi. .. ảnh dựa hiệu chỉnh độ đo tương tự phản hồi liên quan Các mục tiêu cụ thể bao gồm tiến hành nghiên cứu hai vấn đề lĩnh vực CBIR là: 1) Xây dựng độ đo tương tự, 2) Thu hẹp khoảng cách ngữ nghĩa dựa. .. tự Trong tra cứu ảnh dựa nội dung, độ đo độ tương tự phù hợp với tương tự nhận thức người vấn đề định đến khả đáp ứng yêu cầu từ người dùng hệ thống Một cách đơn giản để đo độ tương tự hình ảnh