ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thị Hồn PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG ẢNH TRONG THUẬT TỐN HỌC MÁY TÌM KIẾM ẢNH ÁP DỤNG VÀO BÀI TỐN TÌM KIẾM SẢN PHẨM KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng Nghệ Thông Tin Hà Nội – 2010 i ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thị Hồn PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG ẢNH TRONG THUẬT TỐN HỌC MÁY TÌM KIẾM ẢNH ÁP DỤNG VÀO BÀI TỐN TÌM KIẾM SẢN PHẨM KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng Nghệ Thơng Tin Cán hướng dẫn: PGS.TS Hà Quang Thụy Cán đồng hướng dẫn: Ths Nguyễn Cẩm Tú Hà Nội - 2010 ii Lời cảm ơn Trước tiên, xin gửi lời cảm ơn lòng biết ơn sâu sắc tới Phó Giáo sư Tiến sĩ Hà Quang Thụy Thạc sĩ Nguyễn Cẩm Tú, người tận tình bảo hướng dẫn tơi suốt q trình thực khố luận tốt nghiệp Tơi chân thành cảm ơn thầy, cô tạo điều kiện thuận lợi cho học tập nghiên cứu trường Đại học Công nghệ Tôi xin gửi lời cảm ơn tới anh chị, bạn em sinh viên phịng nghiên cứu SIS-KTLab giúp tơi nhiều việc hỗ trợ kiến thức chun mơn để hồn thành tốt khố luận Cuối cùng, tơi muốn gửi lời cảm vơ hạn tới gia đình bạn bè, người thân yêu bên cạnh động viên suốt q trình thực khóa luận tốt nghiệp Tôi xin chân thành cảm ơn ! Sinh viên Nguyễn Thị Hồn iii Tóm tắt Sự phát triển mạnh mẽ công nghệ ảnh số làm lượng ảnh lưu trữ web tăng lên cách nhanh chóng địi hỏi phải có cơng cụ hỗ trợ tìm kiếm ảnh hiệu tiện lợi Mặc dù công cụ tìm kiếm ảnh theo văn kèm ảnh đời cho phép người dùng tìm kiếm ảnh với thời gian đáp ứng nhanh, nhiên, công cụ hạn chế việc giải nhập nhằng nội dung câu truy vấn nội dung hiển thị ảnh trả Sự đời cơng cụ tìm kiếm ảnh theo nội dung ảnh giải nhập nhằng Mục tiêu khóa luận nghiên cứu phương pháp biểu diễn đặc trưng ảnh để nâng cao chất lượng tìm kiếm ảnh Đầu tiên, khóa luận khảo sát phương pháp trích chọn đặc trưng ảnh tìm kiếm xếp hạng ảnh Tiếp đó, dựa theo phương pháp lượng tử hóa tích Hervé Jégou cộng [12], khóa luận đưa mơ hình tìm kiếm k láng giềng gần kết hợp độ đo tương đồng khoảng cách vector đặc trưng tiến hành thực nghiệm mơ hình Thực nghiệm ban đầu cho thấy, từ ảnh truy vấn đầu vào hệ thống trả 10 ảnh tương đồng truy vấn với độ xác 80.4% kết khả quan iv Mục lục Mở đầu Chương Khái quát trích chọn đặc trưng ảnh tìm kiếm theo đặc trưng ảnh 1.1 Đặt vấn đề 1.2 Đặc trưng văn kèm ảnh tìm kiếm ảnh theo văn kèm ảnh 1.3 Đặc trưng nội dung ảnh tìm kiếm theo đặc trưng nội dung Tổng kết chương Chương Các phương pháp lựa chọn đặc trưng độ đo tương đồng ảnh 10 2.1 Đặt vấn đề 10 2.2 Đặc trưng màu sắc 11 2.2.1 Đặc trưng màu sắc 11 2.2.2 Độ đo tương đồng cho màu sắc 11 2.3 Đặc trưng kết cấu 12 2.3.1 Đặc trưng kết cấu 12 2.3.2 Độ đo tương đồng cho kết cấu 12 2.4 Đặc trưng hình dạng 13 2.4.1 Đặc trưng hình dạng 13 2.4.2 Độ đo tương đồng cho hình dạng 13 2.5 Đặc trưng cục bất biến 13 2.5.1 Đặc trưng cục bất biến 14 2.5.2 Độ đo tương đồng cho đặc trưng cục bất biến 18 2.6 Lựa chọn đặc trưng 18 Tổng kết chương 20 Chương Một số phương pháp tìm kiếm ảnh theo nội dung 21 3.1 Phương pháp PageRank cho tìm kiếm ảnh sản phẩm 21 3.2 CueFlik: Một phương pháp xếp hạng lại ảnh dựa luật người dùng 22 v 3.3 Phương pháp tìm kiếm ảnh dựa màu sắc, hình dạng, kết cấu ảnh 24 3.3.1 Lưới 25 3.3.2 Tích hợp đối sánh ảnh 25 3.3.3 Hình dạng: 26 3.4 Phương pháp tìm kiếm ảnh dựa vào nội dung sử dụng phân vùng ảnh mẫu truy vấn 26 Tổng kết chương 27 Chương Mơ hình k láng giềng gần sử dụng lượng tử hóa 28 4.1 Đặt vấn đề 28 4.2 Cơ sở lý thuyết 28 4.2.1 Các ký hiệu khái niệm 28 4.2.2 Tìm kiếm sử dụng lượng tử hóa 30 4.2.3 Tìm kiếm khơng tồn 31 4.3 Mơ hình tốn 33 4.3.1 Trích chọn đặc trưng ảnh 33 4.3.2 Tìm kiếm K láng giềng gần 34 Tổng kết chương 35 Chương Thực nghiệm đánh giá 36 5.1 Môi trường công cụ sử dụng cho thực nghiệm 36 5.2 Xây dựng tập liệu ảnh 37 5.3 Quy trình, phương pháp thực nghiệm 38 5.4 Kết thực nghiệm 38 Tổng kết chương 41 Kết luận 42 Tài liệu tham khảo 43 vi Danh sách bảng Bảng Cấu hình phần cứng sử dụng thực nghiệm 36 Bảng Công cụ phần mềm sử dụng thực nghiệm 36 Bảng Một số thư viện sử dụng thực nghiệm 37 Bảng Kết độ xác trung bình 10 truy vấn 40 Bảng Độ xác mức k số truy vấn 40 Danh sách hình vẽ Hình Ví dụ hiển thị ảnh Hình Ví dụ truy vấn Google Hình Ví dụ truy vấn Google Hình Ví dụ số lọai kết cấu Hình Một kết trả Google Image Swirl Hình Một kết trả Tiltomo Hình Một kết trả Byo Image Search Hình Biểu đồ mơ việc tính toán DoG ảnh từ ảnh kề mờ 15 Hình Mỗi điểm ảnh so sánh với 26 láng giềng 16 Hình 10 Quá trình lựa chọn điểm hấp dẫn 17 Hình 11 Biểu diễn vector đặc trưng 18 Hình 12 Ví dụ ảnh sản phẩm trả từ hệ thống Jing 22 Hình 13 Tổng quan mơ hình hệ thống tìm kiếm theo màu sắc, kết cấu hình dạng 25 Hình 14 Mơ hình hệ thống IVFADC 33 Hình 15 Mơ hình giải tốn 34 Hình 16 10 kết trả hệ thống với truy vấn Apple 41 vii Danh sách từ viết tắt STT 10 11 12 13 Từ viết tắt ADC AP BDA CBIR DoG IVFADC JSD MAP MDA QBIC SDC SIFT SMMS Từ viết đầy đủ Asymmetric distance computation Average Precision Biased Discriminant analysis Content Based Images Retrieval Difference of Gaussian Inverted file asymmetric distance Computation Jensen-Shannon divergence Mean Average Precision Multiple Discriminant analysis Query Based Image Content Symmetric distance computation Scale Invariant feature transform Symmetric maximized minimal distance in subspace viii Danh sách tham chiếu thuật ngữ Anh – Việt STT Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 Asymmetric distance Biased Discriminant analysis Boosting manner Content Based Images Retrieval Co-occurrence matrix Cotourlet transform Discriminant analysis Distribution based method Feature contrast Model Feature selection Gabor Wavelet transform Global texture descriptor Image Segment Interest point Inverted file asymmetric distance computation Inverted list Local features Local interest Point Local scale – invariant feature Mean Average Precision Metadata Non exhausitive search Product quantization Quantization code Query Based Image Content Similarity measurment Symmetric distance Texture The complex directional fillter The steerable pyramid Khoảng cách bất đối xứng Phân tích biệt thức khơng đối xứng Tăng khuyếch đại Tìm kiếm ảnh theo nội dung Ma trân đồng xuất Biến đổi đường viền Phân tích biệt thức Phương pháp dựa vào phân phối Mơ hình tương phản đặc trưng Lựa chọn đặc trưng Biến đổi sóng Gabor Đặt tả kết cấu tồn cục Phân vùng ảnh Điểm hấp dẫn Tính tốn khoảng cách bất đối xứng file mục ngược Danh sách mục ngược Đặc trưng cục Điểm hấp dẫn cục Đặc trưng cục bất biến Độ xác trung bình Siêu liệu Tìm kiếm khơng tồn Lượng tử hóa tích Mã lượng tử hóa Truy vấn theo nội dung ảnh Độ đo tương đồng Khoảng cách đối xứng Kết cấu Bộ lọc định hướng phức tạp Kim tự tháp lái 31 Visual hyperlinks Siêu liên kết trực quan ix Mở đầu Cùng với bùng nổ thông tin web phát triển công nghệ kỹ thuật số, lượng ảnh lưu trữ Web tăng cách nhanh chóng Vì vậy, việc xây dựng hệ thống tìm kiếm xếp hạng ảnh cần thiết thực tế có nhiều cơng cụ tìm kiếm ảnh thương mại xuất Các cơng cụ tìm kiếm ảnh thường dựa vào hai đặc trưng văn kèm ảnh nội dung ảnh Một số công cụ tìm kiếm ảnh theo văn kèm Google Image Search, Yahoo!, MSN,…Một số cơng cụ tìm kiếm ảnh dựa vào nội dung ảnh Google Image Swirl, Bing, Tiltomo, Tineye,…Tuy nhiên, việc tìm kiếm dựa vào văn kèm cịn có nhiều nhập nhằng nội dung hiển thị ảnh nội dung văn kèm ảnh q tình tìm kiếm Ví dụ, với truy vấn “Apple”, máy tìm kiếm khó phân biệt người dùng muốn tìm hình ảnh táo hay logo hãng Apple Những cơng cụ tìm kiếm ảnh theo nội dung ảnh đời tỏ ưu hạn chế nhập nhằng Tìm kiếm ảnh theo nội dung nhận nhiều quan tâm nhà khoa học Nhiều cơng trình nghiên cứu tìm kiếm ảnh theo nội dung đăng tạp chí International Journal of Computer Vision, IEEE conference… Nhóm nghiên cứu chúng tơi tiến hành số nghiên cứu bước đầu liên quan đến xếp hạng ảnh dựa vào độ tương đồng theo nội dung ảnh công tác sinh viên nghiên cứu khoa học Khóa luận “Phương pháp trích chọn đặc trưng ảnh học máy tìm kiếm ảnh ứng dụng trong tìm kiếm sản phẩm” nhằm khảo sát, phân tích số phương pháp trích chọn đặc trưng ảnh phổ biến tìm kiếm ảnh theo ảnh mẫu, thử nghiệm hệ thống ứng dụng tìm kiếm sản phẩm Ngồi phần MỞ ĐẦU này, khóa luận bao gồm nội dung sau:  Chương Khái quát lựa chọn đặc trưng cho tìm kiếm ảnh Các đặc trưng về văn kèm ảnh đặc trưng nội dung ảnh  Chương Các phương pháp lựa chọn đặc trưng độ đo tương tự ảnh Trình bày số đặc trưng nội dung ảnh số độ đo tương đồng tương ứng với đặc trưng Với q p lượng tử hóa thứ i Cũng giống phương pháp ADC, với i lượng tử hóa q p , khoảng cách vector dư u j ( x  qc ( x) tất trọng tâm i c j ,i q pi tính tốn sơ bơ lưu trữ lại 4.2.3.3 Cấu trúc mục thuật tốn tìm kiếm  Đánh mục vector y : Lượng tử hóa y thành qc ( y ) Tính tốn vector dư r ( y)  y  qc ( y ) Lượng tử hóa vector dư r(y) thành q p (r ( y )) để thực lượng tử hóa tích cách gán u j ( y) thành q j (u j ( y )) với j = 1, …,m Lưu trữ vector đặc trưng mã biểu diễn mục lượng tử hóa tích mục danh sách mục ngược  Tìm kiếm láng giềng gần truy vấn x : Lượng tử hóa x thành w láng giềng gần codebook qc Tính tốn bình phương khoảng cách d (u j (r ( x)), c j ,i )2 cho lượng tử hóa j trọng tâm c j ,i Tính bình phương khoảng cách r(x) tất vector mục danh sách mục ngược Lựa chọn k lân cận gần x dựa vào đánh giá khoảng cách sử dụng giải thuật Maxheap 32 Mơ hình hệ thống IVFADC : Hình 14 Mơ hình hệ thống IVFADC Hệ thống bên trái: chèn vector vào danh sách mục ngược; hệ thống bên phải: tìm kiếm k láng giềng gần 4.3 Mơ hình tốn Trong phần (4.2), khóa luận trình bày hệ thống tìm kiếm k láng giềng gần sử dụng tính khoảng cách bất đối xứng danh sách mục ngược (IVFADC) Hervé Jégou cộng [12] Mơ hình tốn xây dựng dựa cách tính tốn khoảng cách bất đối xứng hệ thống kết hợp với độ đo tương đồng khoảng cách vector đặc trưng 4.3.1 Trích chọn đặc trưng ảnh Đặc trưng cục bất biến SIFT bất biến với việc thay đổi tỉ lệ ảnh, quay ảnh, đơi thay đổi điểm nhìn thêm nhiễu ảnh hay thay đổi cường độ chiếu sáng ảnh Các đặc trưng SIFT thường sử dụng nhận dạng tìm kiếm đối tượng[17] Yushi Jing dùng đặc trưng SIFT ảnh nghiên cứu tìm kiếm ảnh sản phẩm sử dụng phương pháp PageRank[30] Khóa luận sử dụng đặc trưng SIFT tốn tìm kiếm K láng giềng gần ứng dụng tìm kiếm ảnh sản phẩm Mỗi ảnh được đặc trưng vector đặc trưng SIFT 128 chiều Q trình phương pháp trích chọn đặc trưng SIFT khóa luận trình bày chi tiết phần 2.6 33 4.3.2 Tìm kiếm K láng giềng gần Sau trích chọn đặc trưng ảnh, khóa luận đưa mơ hình tìm kiếm k láng giềng gần dựa đặc trưng vừa trích chọn Mơ hình dựa phương pháp tìm kiếm k láng giềng gần sử dụng lượng tử hóa Hervé Jégou sử dụng phương pháp ADC kết hợp thêm độ đo khoảng cách Ơclit vector đặc trưng Mơ hình giải tốn : Hình 15 Mơ hình giải tốn Mơ hình tốn gồm giai đoạn Giai đoạn 1-Tìm N ảnh tương đồng với ảnh truy vấn : Giai đoạn tiến hành việc trích chọn vector đặc trưng ảnh truy vấn ảnh sở liệu (vector đặc trưng SIFT), sau tìm top N ảnh tương đồng với ảnh truy vấn từ tập ảnh sở 34 liệu theo phương pháp tìm kiếm sử dụng lượng tử hóa với phương pháp tính tốn khoảng cách bất đối xứng trình bày phần 4.2 Các vector sở liệu lượng tử hóa tập vector truy vấn giữ nguyên Khoảng cách vector truy vấn vector sở liệu tính theo cơng thức (30) Tập N ảnh tương đồng trả theo độ đo khoảng cách vector truy vấn vector sở liệu Tập N ảnh đầu vào cho giai đoạn Giai đoạn –Tìm K láng giềng gần với ảnh truy vấn: Sau tiến hành trích chọn đặc trưng từ tập N ảnh tương đồng trả từ giai đoạn 1, tính tốn độ tương đồng ảnh truy vấn ảnh trả dựa độ đo Ơclit vector đặc trưng ảnh Khoảng cách Ơclit vector đặc trưng x y tính : n d ( x, y )   x y i (34) i i 1 Tập K láng giềng gần với ảnh truy vấn trả dựa độ đo tương đồng Ảnh gần ảnh có độ khoảng cách vector đặc trưng với ảnh truy vấn ngắn Tổng kết chương Chương khóa luận trình bày phương pháp tìm kiếm k láng giềng gần sử dụng lượng tử hóa Hervé Jégou cộng [12], đồng thời đưa mơ hình tốn tìm kiếm k láng giềng gần dựa theo mơ hình sử dụng phương pháp tính khoảng cách bất đối xứng (ADC) kết hợp với độ đo tương đồng khoảng cách vector đặc trưng Trong chương 5, khóa luận trình bày mơ hình thử nghiệm tốn, kết đạt nhận xét, đánh giá kết thực nghiệm 35 Chương Thực nghiệm đánh giá Dựa vào sở lý thuyết mơ hình đề xuất chương 4, khóa luận tiến hành thực nghiệm việc trích chọn vector đặc trưng SIFT từ ảnh truy vấn ảnh sở liệu, áp dụng mơ hình k láng giềng gần với tập đặc trưng vừa trích chọn để tìm tập k ảnh gần với ảnh truy vấn  Đầu vào hệ thống : Một ảnh truy vấn người dùng nhập vào  Đầu hệ thống : Tập k ảnh gần với ảnh truy vấn 5.1 Môi trường công cụ sử dụng cho thực nghiệm  Cấu hình phần cứng Bảng Cấu hình phần cứng sử dụng thực nghiệm Thành phần Chỉ số CPU Pentium IV 3.06 GHz RAM GB OS WindowsXP Service Pack Bộ nhớ 80GB  Công cụ phần mềm sử dụng Bảng Công cụ phần mềm sử dụng thực nghiệm STT Tên phần mềm Matlab R2009b Tác giả Nguồn http://www.mathworks.com/products/ 36  Một số thư viện sử dụng Bảng Một số thư viện sử dụng thực nghiệm STT Tên phần mềm Tác giả Nguồn SiftDemoV4 David Lowe http://people.cs.ubc.ca/~lowe/keypoints/ Pqsearch_matlab Hervé Jégou, Matthij Douze http://lear.inrialpes.fr/~jegou/ann.php Kmeans_fast.tar Hervé Jégou, Matthij Douze http://lear.inrialpes.fr/~jegou/ann.php#m atlla FlickrSearcher Nguyễn Cẩm Tú http://www.dais.is.tohoku.ac.jp/%7Enca mtu/software.htm Ngồi cơng cụ trên, chúng tơi cịn tiến hành xây dựng module xử lý dựa ngôn ngữ Matlab bao gồm file sau: - Similar_Euclide: tính toán khoảng cách Ơclit tập vector đặc trưng - Pq_test: Kết hợp module con, tìm kiếm trả k láng giềng gần với truy vấn từ tập liệu 5.2 Xây dựng tập liệu ảnh Trong khóa luận này, chúng tơi thực nghiệm với tập liệu ảnh liên quan đến sản phẩm, sử dụng kết từ Flickr Google product Search  Ảnh truy vấn: Do người dùng nhập vào Trong khóa luận này, chúng tối trọng đến số truy vấn có nhập nhằng giữa nội dung ảnh văn kèm ảnh  Tập ảnh sở liệu: Với truy vấn, tập diệu ảnh gồm 30 ảnh trộn từ tập ảnh lấy từ Google Product Search Flickr Chúng tiến hành thu thập ảnh truy vấn text tương ứng với ảnh truy vấn từ Google Product Search Sau bổ xung nhiễu ảnh thu thập từ Flickr theo truy vấn text tương ứng với ảnh truy vấn 37  Tập ảnh huấn luyện: Trong trình lượng tử hóa vector, cần tập liệu ảnh huấn luyện để xác định tham số lượng tử hóa (4.2) Tập ảnh huấn luyện gồm 20 ảnh khác lấy từ kết trả Google Product Search  Tập ảnh trả về: Gồm k ảnh gần giống với ảnh truy vấn Các ảnh xếp giảm dần theo mức độ gần với truy vấn Chúng thử nghiệm với giá trị k=10 5.3 Quy trình, phương pháp thực nghiệm Quy trình thực nghiệm tiến hành sau: Thực truy vấn: Người dùng nhập vào truy vấn dạng tên đường dẫn đầy đủ đến ảnh truy vấn Trích chọn đặc trưng tìm kiếm k ảnh tương đồng nhất: Quá trình trải qua hai giai đoạn chính: Giai đoạn 1: Giai đoạn tiến hành trích chọn đặc trưng ảnh truy vấn ảnh sở liệu sử dụng công cụ SiftDemoV4[39] trả N ảnh tương đồng sử dụng lượng tử hóa với phương pháp ADC Tập đặc trưng SIFT sau trích chọn lưu dạng ma trận nx128 với n số vector đặc trưng Sau đó, đặc trưng lượng tử hóa sử dụng cơng cụ pqsearch_matlab[40] tính khoảng cách vector sử dụng phương pháp ADC N ảnh tương đồng trả dựa độ đo khoảng cách Trong đó, ảnh gần ảnh có khoảng cách nhỏ đến ảnh truy vấn N ảnh lấy làm đầu vào cho giai đoạn Giai đoạn 2: Giai đoạn nhận đầu vào N (N=20) ảnh tương đồng trả từ giai đoạn Sử dụng vector đặc trưng ảnh trích xuất giai đoạn để tính tốn khoảng cách cách Ơclit vector đặc trưng với vector đặc trưng ảnh truy vấn K ảnh gần với ảnh truy vấn trả theo khoảng cách tính, ảnh gần ảnh có khoảng cách ngắn đến truy vấn 5.4 Kết thực nghiệm Chúng tơi sử dụng độ xác trung bình (Average Precision) [1]để đánh giá kết xếp hạng hệ thống Giả sử ta có đối tượng là: a, b, c, d, e Trong a, b, c đối tượng phù hợp d, e đối tượng không phù hợp 38 Một xếp hạng đối tượng cần đánh giá là: c, a, d, b, e Độ xác trung bình định nghĩa sau:  AP  n k 1 P @ K  I (K )  n j 1 (35) I (J ) Trong đó: n số đối tượng xét P@ K  Match @ K (Match@K = số đối tượng phù hợp K vị trí đầu tiên) K I(K) = đối tượng vị trí K, ngược lại I(K) = Ví dụ: P@1 = 1/1, P@2 = 2/2, P@3 = 2/3, P@4 = 3/4 Thì độ xác trung bình là: 1  1  1  0.92 AP  (36) Ngồi chúng tơi sử dụng Mean Average Precision (MAP) để đánh giá hệ thống Giá trị trung bình m xếp hạng:  MAP  m i 1 APi (37) m Chúng thử nghiệm hệ thống với 10 truy vấn liệu thử nghiệm đánh giá kết trả 10 kết trả Kết độ xác trung bình cho 10 ảnh trả 10 truy vấn: 39 Bảng Kết độ xác trung bình 10 truy vấn STT Truy vấn AP 10 Apple Coca cola D80 CD-Rom Iphone Mouse Nokia N97 Cooker Ring Printer 0.875 0.747 0.804 0.737 0.885 0.869 0.883 0.748 0.746 0.753 Bảng Độ xác mức k số truy vấn Từ kết thống kê trên, chúng tơi tính tốn độ trung bình 10 truy vấn hệ thống là: MAP=0.804 Có thể thấy rằng, độ xác trung bình 10 truy vấn hệ thống cao, ví dụ Iphone 0.885, Nokia N97 0.883 Đặc biệt, theo khảo sát thực nghiệm, hệ thống cho kết xác với kết trả Độ xác mức truy vấn thường Đối với tập liệu có chứa ảnh giống hệt so với ảnh truy vấn, khả ảnh thứ trả 40 giống hệt với ảnh truy vấn cao Trong 10 truy vấn thực nghiệm truy vấn trả ảnh giống hệt so với ảnh truy vấn Ví dụ tốp 10 kết với truy vấn Iphone: Hình 16 10 kết trả hệ thống với truy vấn Iphone Tổng kết chương Chương 5, Khóa luận trình bày mơ hình thực nghiệm hệ thống Các công cụ, phần mềm, mã nguồn hệ thống sử dụng Khóa luận trình bày trình tiến hành thực nghiệm, kết đạt hệ thống với 10 truy vấn số nhận xét độ xác hệ thống đạt Từ kết ban đầu đạt cho thấy tính khả thi đắn hệ thống 41 Kết luận Lượng ảnh số web tăng lên cách nhanh chóng địi hỏi phải có hệ thống tìm kiếm ảnh hiệu tiện lợi Tuy cơng cụ tìm kiếm ảnh theo văn kèm ảnh cho phép người dùng tìm kiếm ảnh với thời gian đáp ứng nhanh chưa giải vấn đề nhập nhằng văn kèm nội dung hiển thị ảnh trả Khóa luận tập trung nghiên cứu số phương pháp trích chọn đặc trưng ảnh xây dựng hệ thống tìm kiếm k láng giềng gần với ảnh truy vấn dựa theo nội dung ảnh Khóa luận đạt kết sau : Khóa luận tìm hiểu đặc trưng ảnh bao gồm đặc trưng văn kèm ảnh đặc trưng nội dung ảnh Đồng thời, tìm hiểu phương pháp trích chọn đặc trưng nội dung ảnh số độ đo tương đồng tương ứng với đặc trưng Khóa luận tìm hiểu số phương pháp tìm kiếm xếp hạng ảnh theo nội dung ảnh Dựa theo mơ hình tìm kiếm k láng giềng sử dụng lượng tử hóa Hervé Jégou cộng [12], khóa luận đưa mơ hình tìm kiếm k láng giềng gần sử dụng lượng tử hóa phương pháp tính khoảng cách bất đối xứng kết hợp với độ đo tương đồng vector đặc trưng Khóa luận tiến hành thử nghiệm mơ hình với 10 truy vấn Kết có độ xác trung bình 80.4% cho 10 kết trả hệ thống 10 truy vấn Từ kết bước đầu cho thấy tính khả quan đắn mơ hình Một số vấn đề hạn chế hướng nghiên cứu : Do hạn chế mặt thời gian kiến thức sẵn có, khóa luận dừng lại mức thử nghiệm mơ hình đặc trưng SIFT ảnh với tập liệu nhỏ truy vấn Trong thời gian tới, tiến hành thử nghiệm mơ hình với đặc trưng nội dung khác ảnh Đồng thời, mở rộng tập liệu truy vấn nhiều miền khác để xây dựng mô hình tìm kiếm láng giềng gần theo nội dung ảnh hoàn thiện 42 Tài liệu tham khảo Tài liệu tiếng Việt : [1] Nguyễn Thu Trang (2009) Học xếp hạng tính hạng đối tượng phân cụm tài liệu, Luận văn Thạc sỹ, Trường Đại Học Công Nghệ Tài liệu tiếng Anh : [2] Alex Holub, Pierre Moreels, Pietro Perona (2008) Unsupervised clustering for google searches of celebrity images, IEEE International Conference on Automatic Face and Gesture Recognition , 2008 [3] Alexandre Noma, Ana Beatriz V Graciano, Luís Augusto Consularo, Roberto M Cesar, Isabelle Bloch (2008) A New Algorithm for Interactive Structural Image Segmentation, CoRR abs/0805.1854 [4] D N F Awang Iskandar James A Thom S M M Tahaghoghi (2008) Content-based Image Retrieval Using Image Regions as Query Examples CRPIT Volume 75- Database technologies [5] Deselaers T, Keysers D, Ney H (2005) Discriminative Training for Object Recognition using Image Patches IEEE Conference on Computer Vision and Pattern Recognition (CVPR 05) 2:157-162 San Diego, CA; 2005 [6] Florian Schroff, Antonio Criminisi, Andrew Zisserman (2007) Harvesting Image Databases from the Web, ICCV 2007: 1-8 [7] G Shakhnarovich, T Darrell, and P Indyk(2006) Nearest-Neighbor Methods in Learning and Vision: Theory and Practice, MIT Press, March 2006 ISBN 0262-19547-X [8] Hao Zhang Alexander C Berg Michael Maire Jitendra Malik (2007) SVMKNN: Discriminative Nearest Neighbor Classification for Visual Category Recognition Computer Science Division, EECS Department Univ of California, Berkeley, CA 94720 [9] Herve’ Jégou, Matthijs Douze, and Cordelia Schmid (2008) Hamming embedding and weak geometric consistency for large scale image search The 10th European Conference on Computer Vision: Part I [10] Hervé Jégou, Matthijs Douze, Cordelia Schmid(2009) Product quantization for nearest neighbor search, IEEE Transactions on Pattern Analysis & Machine Intelligence – 2010 43 [11] Hervé Jégou, Matthijs Douze, Cordelia Schmid(2008) Recent Advances in Large Scale Image Search, ETVC 2008: 305-326 (2008) [12] Hervé Jégou, Matthijs Douze, Cordelia Schmid(2009) Searching with quantization: approximate nearest neighbor search using short codes and distance estimators Technical Report RR-7020, INRIA [13] J Friedman, J L Bentley, and R A Finkel() An algorithm for finding best matches in logarithmic expected time ACM Transaction on Mathematical Software, vol 3, no 3, pp 209–226, 1977 [14] James Fogarty, Desney S Tan, Ashish Kapoor, Simon A J Winder(2008) CueFlik: interactive concept learning in image search The twenty-sixth annual SIGCHI conference on Human factors in computing system [15] Jun Zhao, Guo-Yin Wang, Hong Tang, Hua Li – the study on technologies for feature selection Tthe 1st Int Nat Conf On Machine Learning and Cybernetics (ICMLC02), 2002, Beijing, 689-693 [16] Kamarul Hawari Ghazali(2007) Feature Extraction technique using SIFT keypoints descriptors The International Conference on Electrical and Engineering and Informatics Institut technology Bandung, Indonesia, june 17-19, 2007 [17] Lowe David(2004) Distinctive image features from scale-invariant keypoints International Journal of Computer Vision 2004;60(2):91–110 [18] Michele Saad (2008) Low-Level Color and Texture Feature Extraction for Content-Based Image Retrieval EE 381K: Multi-Dimensional Digital Signal Processing [19] Mitsuru Ambai Denso(2009) Multiclass VisualRank: Image Ranking Method in Clustered Subsets Based on Visual Features SIGIR’09, July 19–23, 2009, Boston, Massachusetts, USA [20] P.S Hirematch, Jagadeesh Puijari (2007) Content base image retrieval base on color, texture and shape feature using Image and its complement IJCSS, International journal of computer science and security, vol 1, issue 4, Dec 2007,pp 25-35 [21] Ritendra Datta, Dhiraj Joshi, Jia Li, and James Z Wang (2008): Image Retrieval: Ideas, Influences, and Trends of the New Age ACM Computing Surveys, 40 (2) [22] Shuhui Wang, Qingming Huang, Shuqiang Jiang(2009) Visual ContextRank for Web Image Re-ranking The First ACM workshop on Large-scale multimedia retrieval and mining 44 [23] Tee Cheng Siew(2008) Feature selection for content-based image retrieval using statistical discriminant analysis PhD thesis Faculty of Computer Science and Information System Universiti Teknologi Malaysia 2008 [24] Thomas Deselaers1, Daniel Keysers2, and Hermann Ney1: Features for Image Retrieval: An Experimental Comparison Information Retrieval vol 11, issue 2, Kluwer Academic Publishers Hingham, MA, USA [25] W Jiang, G Er, Q Dai and J Gu (2006) Similarity-Based Online Feature Selection In Content-Based Image Retrieval IEEE Trans Image Processing, 15 (3), pp.702-712 [26] W Jiang M Li, H Zhang, J Gu (2004 Online feature Selection based on Generalized Feature Contrast Model IEEE International Conference on Multimedia and Expo(ICME) pp 1995-1998 [27] Yossi Rubner, an Puzicha,Carlo Tomasi and Joachim M Buhmann Empirical: Evaluation of Dissimilarity Measures for Color and Texture Computer Vision and Image Understanding, vol 84, issue Elsivier Science Ins [28] Yushi Jing, Shumeet Baluja, Henry A Rowley(2007) Canonical image selection from the web, CIVR 2007: 280-287 [29] Yushi Jing(2008) VisualRank: Applying PageRank to Large-Scale Image Search IEEE Trans Pattern Anal Mach Intell [30] Yushi Jing(2008) PageRank for images products search Reafered Track: Rich media, April 21-25, 2008 Beijing, China [31] V Shiv Naga Prasad A.G Faheema, Subrata Rakshi(2002) Feature Selection in Example-Based Image Retrieval Systems Indian Conference on Vision Graphics and Image Processing [32] C V Jawahar, P J Narayanan, and S Rakshit(2000) A flexible scheme for representation, matching, and retrieval of images ICVGIP 2000, pages 271–277 Allied Publishers Ltd., 2000 [33] Mohamed Aly(2006) Face Recognition using SIFT Features AlyCNS186 Term Project Winter [34] Globerson, A and Roweis, S (2005) Metric Learning by Collapsing Classes Conference on Neural Information Processing Systems (NIPS 2005), 451-458 45 Website tham khảo : [35] Website: http://www.searchenginejournal.com/7-similarity-based-image-searchengines/8265/ [36] Website: http:/www.thongtincongnghe.com/article/9703 [37] Website: http://www.hori.ecei.tohoku.ac.jp [38] Website: http://www.flickr.com/search/ [39] Website: http://people.cs.ubc.ca/~lowe/keypoints/ [40] Website:http://lear.inrialpes.fr/~jegou/ann.php [41] Website: http://www.freeseamlesstextures.com/texture_gallery/index.htm 46 ...ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thị Hồn PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG ẢNH TRONG THUẬT TỐN HỌC MÁY TÌM KIẾM ẢNH ÁP DỤNG VÀO BÀI TỐN TÌM KIẾM SẢN PHẨM KHỐ LUẬN... cứu phương pháp biểu diễn đặc trưng ảnh để nâng cao chất lượng tìm kiếm ảnh Đầu tiên, khóa luận khảo sát phương pháp trích chọn đặc trưng ảnh tìm kiếm xếp hạng ảnh Tiếp đó, dựa theo phương pháp. .. Khái qt trích chọn đặc trưng ảnh tìm kiếm theo đặc trưng ảnh 1.1 Đặt vấn đề 1.2 Đặc trưng văn kèm ảnh tìm kiếm ảnh theo văn kèm ảnh 1.3 Đặc trưng nội dung ảnh tìm kiếm