LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng Các số liệu, kết nêu Luận văn trung thực chƣa đƣợc công bố công trình khác Tôi xin cam đoan giúp đỡ cho việc thực Luận văn đƣợc cảm ơn thông tin trích dẫn Luận văn đƣợc rõ nguồn gốc HọcviênthựchiệnLuậnvăn Nguyễn Thị Lanh -1- LỜI CẢM ƠN Trƣớc tiên, muốn gửi lời cảm ơn sâu sắc đến thầy giáo, Tiến sĩ Nguyễn Hữu Tuân, ngƣời tận tình hƣớng dẫn suốt trình thực luận văn Tôi xin bày tỏ lời cảm ơn sâu sắc đến thầy cô giáo giảng dạy hai năm qua, kiến thức mà nhận đƣợc từ thầy cô hành trang giúp vững bƣớc tƣơng lai Tôi muốn gửi lời cảm ơn đến anh chị bạn lớp giúp đỡ cho lời khuyên bổ ích chuyên môn trình nghiên cứu Cuối cùng, muốn gửi lời cảm ơn sâu sắc đến tất bạn bèvà đặc biệt chồng kịp thời động viên giúp đỡ vƣợt qua khó khăn sống để hoàn thành đƣợc luận văn HọcviênthựchiệnLuậnvăn Nguyễn Thị Lanh -2- MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH MỞ ĐẦU 10 CHƢƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH DỰA TRÊN NỘI DUNG 11 1.1 Tổng quan 11 1.1.1 Giới thiệu truy vấn ảnh dựa nội dung 11 1.2 Mô hình xử lý 11 1.1.3 Các thành phần hệ thống CBIR 11 1.1.4 Các chức hệ thống CBIR 12 1.1.5 Mộtsốhệthốngtracứuảnhdựatrênnội dung 12 1.1.6 Mô hình hệ thống truy vấn ảnh 12 1.2 Giới thiệu thuật toán 13 1.2.1 Thuật toán SIFT (Scale Invariant Feature Transform) 13 1.2.2 Thuật toán SURF 13 1.2.3 Thuật toán ORB 14 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT THUẬT TOÁN 16 2.1 Thuật toán SIFT 16 2.1.1 Giới thiệu 16 2.1.2 Các nghiên cứu liên quan 17 2.1.3 Phát cực trị không gian tỉ lệ 18 2.1.3.1 Phát cực trị địa phƣơng 21 2.1.3.2 Tần suất lấy mẫu tỉ lệ 22 2.1.3.3 Tần suất lấy mẫu miền không gian 24 2.1.4 Định vị xác Keypoint 25 2.1.5 Gán hƣớng 28 2.1.6 Bộ mô tả hình ảnh cục 29 2.1.6.1 Bộ mô tả 30 -3- 2.1.6.2 Kiểm thử Descriptor 31 2.1.6.3 Độ nhạy với biến đổi Affine 33 2.1.6.4 Kết hợp với sở liệu lớn 34 2.1.7 Ứng dụng cho nhận dạng đối tƣợng 35 2.1.7.1 Khớp Keypoint 36 2.1.7.2 Hiệu việc đánh số điểm láng giềng gần 37 2.1.7.3 Cụm biến đổi Hough 38 2.1.7.4 Giải pháp cho thông số Affine 39 2.1.8 Ví dụ nhận dạng 41 2.2 Thuật toán SURF (Speeded Up Robust Features) 43 2.2.1 Giới thiệu thuật toán SURF 43 2.2.2 Công việc nghiên cứu liên quan 43 2.2.3 Bộ dò Fast- Hessian 46 2.2.4 Bộ mô tả SURF 48 2.2.4.1 Gán hƣớng 49 2.2.4.2 Thành phần mô tả 49 2.2.5 Kết thực nghiệm 52 2.3 Thuật toán ORB 54 2.3.1 Công trình nghiên cứu liên quan 55 2.3.2 oFAST: hƣớng keypoint FAST 56 2.3.2.1 Bộ dò FAST 56 2.3.2.2 Hƣớng cƣờng độ trọng tâm 57 2.3.3 Phép quay: rBRIEF 58 2.3.3.1 Hiệu phép quay BRIEF 58 2.3.4 Biến thể tƣơng quan 60 2.3.5 Phƣơng pháp học cho thuộc tính nhị phân 61 2.3.6 Đánh giá 62 2.3.7 Ƣớc lƣợng đối sánh thuộc tính nhị phân 65 2.3.7.1 Hàm băm cục tốt cho rBRIEF 65 2.3.7.2 Tƣơng quan Cân 66 2.3.7.3 Đánh giá 66 2.3.8 Ứng dụng 66 -4- 2.3.8.1 Điểm chuẩn 66 2.3.8.2 Phát đối tƣợng vân 67 2.3.8.3 Theo dõi nhúng thuộc tính hệ thống thời gian thực 68 CHƢƠNG 3: XÂY DỰNG HỆ TRUY VẤN ẢNH 69 3.1 Mô hình hệ truy vấn ảnh (CBIR) 69 3.1.1 Cơ sở liệu sử dụng 69 3.1.2 Giới thiệu thƣ viện OpenCV 69 3.1.2.1 Những điểm đặc trưng 70 3.1.2.2 Cách tổ chức 70 3.1.3 Một vài nét chƣơng trình OpenCV 72 3.1.3.1 Những thứ cần biết Header Library 72 3.1.3.2 Đọc ghi hình ảnh 72 3.1.3.3 Nhập video trực tiếp 73 3.1.3.4 Chuyển đổi màu 73 3.1.3.5 Làm để lƣu trữ ảnh 74 3.1.3.6 Truy nhập giá trị điểm ảnh 74 3.1.4 Cài đặt chƣơng trình 74 3.1.4.1 Cách thực thuật toán SIFT 74 3.1.4.2 Kết chạy từ chƣơng trình SIFT 75 Kết truy vấn ảnh 75 3.1.4.3 Cách thực thuật toán SURF 76 3.1.4.4 Kết chạy thuật toán SURF 76 3.1.4.5 Kết chạy thuật toán ORB 77 3.1.4.6 Kết chạy chƣơng trình với ORB 78 4.1 Kết luận chung 79 4.2 Kiến nghị 79 -5- DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU Chữ viết tắt Giải thích CBIR Viết tắt thuật ngữ “Content-Based Image Retrieval” CSDL Cơ sở liệu QBIC Viết tắt thuật ngữ “Query By Image Content”: SIFT Viết tắt thuật ngữ “Scale Invariant Feature Transform” SURF Viết tắt thuật ngữ “Speeded Up Robust Features” ORB Viết tắt thuật ngữ “ORB (Oriented FAST and Rotated BRIEF” Keypoint Những điểm đặc trƣng dùng trình nhận dạng ảnh BRIEF Viết tắt thuật ngữ “Binary Robust Independent Elementary Features”: Gaussian Hàm Gauss (Biểu đồ hàm Gauss đƣờng cong đối xứng đặc trƣng "hình chuông") DoG Viết tắt thuật ngữ “Difference-of-Gaussian”: -6- DANH MỤC CÁC BẢNG Bảng 2.1: Ngƣỡng, số lƣợng điểm phát thời gian tính toán cho máy dò 53 Bảng 2.2: Thời gian tính toán cho việc triển khai máy dò 53 Bảng 2.3: Bảng đo lƣờng hiệu suất ORB liên quan đến SIFT SURE 64 Bảng 2.4: Bảng so sánh thời gian máy dò ORB 67 Bảng 2.5: Bảng so sánh thời gian máy dò ORB, SURE, SIFT 67 Bảng 2.6: Bảng so sánh thời gian nhận dạng ảnh thuật toán 68 -7- DANH MỤC CÁC HÌNH Hình 1.1: Mô hình hệ truy vấn ảnh 12 Hình 2.1: Mô tả hàm Gaussian hàm Difference-of-Gaussian (DoG) 20 Hình 2.2: Phát cực trị hàm DoG 21 Hình 2.3: Số lƣợng mẫu tỷ lệ Octave 22 Hình 2.4: Thứ tự làm mịn cho Octave 23 Hình 2.5: Các giai đoạn lựa chọn điểm Keypoint 26 Hình 2.6: Đồ thị độ nhiễu ảnh 29 Hình 2.7: Hƣớng phân bố ảnh mô tả điểm Keypoint 30 Hình 2.8: Độ rộng mô tả (góc 50 độ, đỗ nhiễu ảnh 4%) 33 Hình 2.9: Sự ổn định việc phát vị trí Keypoint 34 Hình 2.10: Số lƣợng Keypoint sở liệu 35 Hình 2.11: Tỷ lệ khoảng cách từ điểm điểm lân cận tới điểm 37 Hình 2.12: Ví dụ minh họa vê thuật toán SIFT 40 Hình 2.13: Ví dụ nhận dạng đối tƣợng 41 Hình 2.14: Ví dụ nhận dạng đối tƣợng 42 Hình 2.15: Sự biến đổi hàm Gaussian theo giai đoạn 47 Hình 2.16: Phát điểm Keypoint thuật toán SURF 48 Hình 2.17: Mô tả đặc trƣng ảnh cƣờng độ 51 Hình 2.18: So sánh điểm Keypoint tìm đƣợc với phép dò nhanh Hessian 51 Hình 2.19: Hình ảnh ví dụ từ tập tài liệu tham khảo tập kiểm tra 54 Hình 2.20: Ví dụ số điểm lặp lại cho chuỗi ảnh 54 Hình 2.21: Ví dụ kết đối sánh ảnh sử dụng thuật toán ORB 55 Hình 2.22: Đồ thị cƣờng độ nhiễu ảnh 58 Hình 2.23: Sự phân phối cân vector thuộc tính 59 Hình 2.24: Phân phối giá trị riêng phân ly PCA 100k keypoint ba vectơ thuộc tính: BRIEF, hƣớng BRIEF rBRIEF 60 Hình 2.25: Khoảng cách phát vector thuộc tính 61 Hình 2.26: Xác định tập điểm kiểm tra nhị phân 63 Hình 2.27: Hiệu suất đối sánh SIFT, SURF, BRIEF với FAST ORB 63 Hình 2.28: Thao tác đối sánh có nhiễu cho SIFT rBRIEF 64 -8- Hình 2.29: Ví dụ thực tế đối sánh ảnh ORB 64 Hình 2.30: Đào tạo LSH BRIEF, rBRIEF mô tả BRIEF 65 Hình 2.31: Thử nghiệm phiên biến dạng hình ảnh huấn luyện 66 Hình 2.32: Nhận dạng đối tƣợng theo vân 68 Hình 3.1: Mô hình truy vấn ảnh 69 -9- MỞ ĐẦU Cùng với phát triển ngày mạnh mẽ khoa học kỹ thuật thập kỷ gần đây, lĩnh vực xử lý ảnh ngành khoa học mẻ so với ngành khoa học khác nhƣng lĩnh vực thu hút đông đảo nhà khoa học quan tâm phát triển, thúc đẩy lĩnh vực nghiên cứu chuyên sâu lĩnh vực Xử lý ảnh đóng vai trò quan trọng nhiều ứng dụng thực tế khoa học kỹ thuật nhƣ: giám sát an ninh, nhận dạng đối tƣợng, nhận dạng khuôn mặt, phát chuyển động, theo dõi chuyển động, nhận dạng khối u y học, hiệu chỉnh ảnh video,… Một toán quan trọng xử lý ảnh toán truy vấn ảnh Tuy nhiên bùng nổ thông tin ngày nay, khối lƣợng liệu khổng lồ làm cho toán truy vấn ảnh vô phức tạp, mà toán truy vấn ảnh theo nội dung đời khắc phục nhƣợc điểm phƣơng pháp tìm kiếm truyền thống Tìm kiếm ảnh theo nội dung đƣợc nhiều nhà khoa học quan án Khóa luận “Truy vấn thông tin dựa việc đối sánh ảnh qua đặc điểm bất biến” nhằm khảo sát, phân tích số phƣơng pháp trích chọn đặc trƣng ảnh phổ biến để tìm kiếm ảnh Khóa luận bao gồm nội dung sau: Chƣơng Tổng quan toán truy vấn ảnh thuật toán Chƣơng Cơ sở lý thuyết thuật toán Chƣơng Cài đặt hệ truy vấn ảnh Chƣơng 4: Kết luận kiến nghị Phần tổng kết kết khóa luận phƣơng hƣớng nghiên cứu -10- hợp sức mạnh đối sánh Điểm mạnh kỹ thuật nằm khả tìm láng giềng gần với xác suất cao cho đủ bảng băm Đối với thuộc tính nhị phân, hàm băm đơn giản tập hợp bit chữ ký: ngăn bảng băm chứa mô tả với chữ ký chung Khoảng cách khoảng cách Hamming 2.3.7.2 Tương quan Cân rBRIEF cải thiện tốc độ LSH cách làm cho ngăn bảng băm nhiều hơn: nhƣ bit tƣơng quan, hàm băm làm công việc tốt việc phân vùng liệu Nhƣ thể hình 10, ngăn nhỏ mức trung bình so với rBRIEF BRIEF bình thƣờng Hình 2.31: Thử nghiệm phiên biến dạng hình ảnh huấn luyện 2.3.7.3 Đánh giá Khi so sánh hiệu suất rBRIEFLSH với kd thuộc tính SIFT sử dụng Flann, ta huấn luyện mô tả khác tập liệu Pascal 2009 thử nghiệm chúng phiên mẫu bị biến dạng hình ảnh cách sử dụng biến đổi Affine 2.3.8 Ứng dụng 2.3.8.1 Điểm chuẩn Điểm nhấn ORB hiệu phát mô tả CPU chuẩn Quy tắc chuẩn phát ORB sử dụng dò oFAST mô tả rBRIEF, tính toán riêng lẻ tỉ lệ ảnh với tỉ lệ 2, ta tiến hành nội suy theo vùng cho hiệu thập phân -66- Hệ thống ORB chia thành nhiều thời điểm sau khung hình điển hình có kích thƣớc 640x480 Mã lệnh đƣợc thực cho luồng đơn chạy xử lý Intel i7 2,8 GHz: Bảng 2.4: Bảng so sánh thời gian máy dò ORB ORB Pyramid oFAST rBRIEF Thời gian (ms) 4.43 8.68 2.12 Khi tính toán ORB tập hợp 2686 hình ảnh tỉ lệ, phát tính toán 2×106 thuộc tính 42 giây So với SIFT SURF liệu, cho số thuộc tính (khoảng 1000) tỉ lệ, tacó bảng thời gian sau: Bảng 2.5: Bảng so sánh thời gian máy dò ORB, SURE, SIFT Máy dò Thời gian cho khung hình (ms) ORB 15.3 SURF 217.3 SIFT 5228.7 Những lần tính đƣợc tính trung bình 24640x480 hình ảnh từ tập liệu Pascal ORB cho thấy nhanhhơn SURFvà hai lần so với SIFT 2.3.8.2 Phát đối tượng vân Áp dụng rBRIEF để nhận dạng đối tƣợng cách thực quy tắc nhận dạng đối tƣợng pipeline Đầu tiên ta phát thuộc tính oFAST mô tả rBRIEF, đối sánh chúng với sở liệu sau thực PROSAC EPnP để có ƣớc tính tƣ ảnh Cơ sở liệu có 49 đối tƣợng hộ gia đình, đối tƣợng lấy 24 khung hình với máy ảnh 2D thiết bị Kinect Microsoft Các liệu thử nghiệm bao gồm hình ảnh 2D tập đối tƣợng giống theo hƣớng nhìn khác lƣu lại Để có đối sánh, mô tả đƣợc đối sánh tƣ Cuối cùng, pipeline lấy đƣợc 61% đối tƣợng nhƣ hình12 Các thuật toán xử lý sở liệu 1.2M mô tả 200MB (14 ms để phát 17ms cho LSH so khớp mức trung bình) Các pipeline đƣợc tăng tốc lên đáng kể với đối sánh không phù hợp tất truy vấn -67- liệu tới tập huấn luyện nhƣng mục tiêu ta thấy tính khả thi việc phát đối tƣợng với ORB 2.3.8.3 Theo dõi nhúng thuộc tính hệ thống thời gian thực Việc theo dõi điện thoại bao gồm việc đối sánh với khung hình trực tiếp đến keyframe chụp trƣớc Mô tả đƣợc lƣu trữ với keyframe, đƣợc giả định có chứa bề mặt phẳng nhiều vân Ta chạy ORB khung đến xử lý với mộtbộ mô tả mạnh đối sánh với khung hình Các đối sánh giả định từ khoảng cách mô tả đƣợc sử dụng PROSAC tốt phù hợp homography H Hình 2.32: Nhận dạng đối tượng theo vân ORB chạy với độ phân giải 640×480 với 7Hz điện thoại di động với chip 1GHz ARM 512 MB RAM Các cổng OpenCV cho Android đƣợc sử dụng cho công việc Đây tiêu chuẩn cho khoảng 400 điểm cho hình ảnh: Bảng 2.6: Bảng so sánh thời gian nhận dạng ảnh thuật toán Thuật toán ORB Matching H Fit Thời gian (ms) 66.6 72.8 20.9 -68- CHƯƠNG 3: XÂY DỰNG HỆ TRUY VẤN ẢNH 3.1 Mô hình hệ truy vấn ảnh (CBIR) Hình 3.1: Mô hình truy vấn ảnh Ảnh đầu vào (còn gọi ảnh truy vấn) đƣợc trích chọn đặc trƣng việc truy vấn ảnh trở thành truy vấn đặc trƣng ảnh Các ảnh sở liệu lần lƣợt đƣợc trích chọn đặc trƣng lƣu đặc trƣng sở liệu Việc truy vấn ảnh trở thành việc đối sánh độ tƣơng đồng đặc trƣng cần truy vấn với đặc trƣng lƣu sở liệu ảnh có độ tƣơng đồng nhỏ với ảnh cần tìm ảnh kết Thông thƣờng ảnh tƣơng đồng độ tƣơng đồng thƣờng =50%, ngƣợc lại không tƣơng đồng 3.1.4.2 Kết chạy từ chương trìnhSIFT Kết truy vấn ảnh Đây kết chạy thuật toán SIFT sở liệu có 70 ảnh Ảnh truy vấn ảnh sau: Chƣơng trình lọc ảnh có độ tƣơng đồng cao với ảnh truy vấn -75- Kết so khớp ảnh tìm kiếm ảnh khớp là: Từ kết ta thấy thuật toán SIFT tìm kiếm tốt với ảnh có bất biến Affine 3.1.4.3 Cách thực thuật toán SURF SURF thực gần giống SIFT Các ảnh màu sau đọc chuyển sang ảnh xám ta thực trích rút đặc trƣng đối sánh thông qua ảnh xám Cách thực SURF khác Shift SURF thực tính độ tƣơng đồng hai ảnh thông qua mô tả Một giá trị minHessian = 400 đƣợc khởi tạo để dò keypoint cho ảnh detector.detect( img_scene, keypoints_scene ); 3.1.4.4 Kết chạy thuật toán SURF Kết truy vấn ảnh Chƣơng trình thực sở liệu có 70 ảnh lọc ảnh có độ tƣơng đồng cao nhât với ảnh truy vấn Kết lọc ảnh có độ tƣơng đồng cao nhƣ sau: -76- Với độ tƣơng đồng 0.18 Nhƣ ta thấy kết SIFT SURF trƣờng hợp giống SURF có khả tốt truy vấn ảnh có bất biến Affine 3.1.4.5 Kết chạy thuật toán ORB Kết truy vấn ảnh Chƣơng trình thực sở liệu có 70 ảnh lọc ảnh có độ tƣơng đồng cao nhât với ảnh truy vấn Kết lọc ảnh có độ tƣơng đồng cao nhƣ sau: -77- Nhƣ ta thấy kết SIFT SURF trƣờng hợp giống SURF có khả tốt truy vấn ảnh có bất biến Affine 3.1.4.6 Kết chạy chương trình với ORB Kết đối sánh với ảnh có độ tƣơng đồng cao -78- CHƯƠNG 4: KẾT LUẬNVÀ KIẾN NGHỊ 4.1 Kết luận chung Luận văn em trình bày phƣơng pháp truy vấn ảnh theo đặc điểm bất biến dựa thuật toán SIFT, SURF, ORB ORB thuật toán tốt tốc độ nhanh, nhiên tốt với ảnh nhị phân ORB hoạt động tốt trƣờng hợp có nhiễu, SIFT hiệu với nhiễu tốc độ thƣờng chậm, SURFtốt SIFTvà tìm kiếm tốt với ảnh có biến dạng Affine Tuy nhiên, thuật toán chƣa thật hiệu Các thuật toán đƣợc đánh giá tốt nhƣ Akaze, Feme… 4.2 Kiến nghị Luận văn nghiên cứu chi tiết thuật toán, cách thức hoạt động ƣu nhƣợc điểm thuật toán Tuy nhiên vấn đề phép hợp chƣa đƣợc xem xét sử dụng Trong thời gian tới tác giả cố gắng nghiên cứu cài đặt để đánh giá hiệu áp dụng phép hợp thuật toán để tận dụng ƣu điểm hạn chế nhƣợc điểm thuật toán -79- DANH MỤC TÀI LIỆU THAM KHẢO [1] Arya, S., and Mount, D.M 1993 Approximate nearest neighbor queries in fixed dimensions InFourth Annual ACM-SIAM Symposium on Discrete Algorithms (SODA’93), pp 271-280 [2] Arya, S., Mount, D.M., Netanyahu, N.S., Silverman, R., and Wu, A.Y 1998 An optimal algorithm for approximate nearest neighbor searching Journal of the ACM, 45:891-923 [3] Ballard, D.H 1981 Generalizing the Hough transform to detect arbitrary patterns Pattern Recogni- tion, 13(2):111-122 [4] Lindeberg, T.: Feature detection with automatic scale selection IJCV 30(2) (1998) 79 – 116 [5] Lowe, D.: Distinctive image features from scale-invariant keypoints, cascade filtering approach IJCV 60 (2004) 91 – 110 [6] Mikolajczyk, K., Schmid, C.: An affine invariant interest point detector In: ECCV (2002) 128 – 142 [7] Ke, Y., Sukthankar, R.: PCA-SIFT: A more distinctive representation for local image descriptors In: CVPR (2) (2004) 506 – 513 [8] Harris, C., Stephens, M.: A combined corner and edge detector In: Proceedings of the Alvey Vision Conference (1988) 147 – 151 [9] Mikolajczyk, K., Schmid, C.: Indexing based on scale invariant interest points In: ICCV Volume (2001) 525 – 531 -80- ... 1.1.6 Mô hình hệ thống truy vấn ảnh Hình 1.1: Mô hình hệ truy vấn ảnh -12- Bài toán đối sánh ảnh toán toán truy vấn ảnh Đối sánh ảnh đối sánh đặc trƣng bất biển tỉ lệ ảnh Trong luận văn chủ yếu... khắc phục nhƣợc điểm phƣơng pháp tìm kiếm truy n thống Tìm kiếm ảnh theo nội dung đƣợc nhiều nhà khoa học quan án Khóa luận Truy vấn thông tin dựa việc đối sánh ảnh qua đặc điểm bất biến nhằm khảo... thuộc tínhbất biến đặc biệt từ hình ảnh đƣợc sử dụng để thực đối sánh tin cậy khung nhìn khác đối tƣợng hay cảnh Các thuộc tính bất biến phép thay đổi tỉ lệ phép quay ảnh thể rõ nét việc đối sánh