1 LỜI CẢM ƠN Trước hết em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo hướng dẫn Ths Ngô Trường Giang tận tình giúp đỡ em nhiều suốt trình tìm hiểu nghiên cứu hoàn thành báo cáo tốt nghiệp Em xin chân thành cảm ơn thầy cô Khoa Công nghệ Thông tin thầy cô trường trang bị cho em kiến thức cần thiết để em hoàn thành đồ án Xin gửi lời cảm ơn đến bạn bè người bên em động viên tạo điều kiện thuận lợi cho em, tận tình giúp đỡ bảo em em thiếu sót trình làm báo cáo tốt nghiệp Cuối em xin bày tỏ lòng biết ơn sâu sắc tới người thân gia đình giành cho em quan tâm đặc biệt động viên em Vì thời gian có hạn, trình độ hiểu biết thân nhiều hạn chế Cho nên đồ án không tránh khỏi thiếu sót, em mong nhận đóng góp ý kiến tất thầy cô giáo bạn bè để đồ án em hoàn thiện Em xin chân thành cảm ơn! MỤC LỤC LỜI CẢM ƠN MỞ ĐẦU CHƢƠNG 1: Tổng quan tra cứu ảnh dựa nội dung 1.1 Tra cứu thông tin trực quan 1.2 Những thành phần hệ thống tra cứu ảnh dựa nội dung 1.3 Các phương pháp tra cứu ảnh dựa nội dung 1.3.1 Tra cứu ảnh dựa màu sắc 1.3.1.1 Biểu đồ màu toàn cục (Global Color Histogram) 1.3.1.2 Biểu đồ màu cục (Local Color Histogram) 1.3.1.3 Biểu đồ màu tương quan (Color Correlogram Histogram)8 1.3.1.4 Vector liên kết màu (Color Cohenrence Vector) 1.3.1.5 Tương quan màu (Color Correlogram) 1.3.1.6 Độ đo tương đồng màu sắc 1.3.2 Tra cứu ảnh dựa kết cấu 10 1.3.2.1 Phương pháp ma trận đồng mức xám (Gray-Level Co-occurrence Matrices) 11 1.3.2.2 Phương pháp Gray-Level Difference (GLD) 12 1.3.2.3 Độ đo tương đồng cho kết cấu ảnh 13 1.3.3 Tra cứu ảnh dựa hình dạng 13 1.3.3.1 Phương pháp trích chọn đặc trưng dựa đường biên 13 1.3.3.2 Phương pháp trích chọn đặc trưng dựa vùng 16 1.3.3.3 Các phương pháp đối sánh dựa hình dạng 17 1.3.4 Tra cứu ảnh dựa đặc trưng bất biến 19 1.4 Các hệ thống tra cứu ảnh dựa nội dung 19 1.4.1 Google Image Search 19 1.4.2 Bing Image Search 20 1.4.3 Yahoo Image Search 20 1.4.4 PicSearch 21 1.5 Các ứng dụng tra cứu ảnh dựa nội dung 21 CHƢƠNG 2: Đối sánh ảnh dựa đặc trƣng SIFT 23 2.1 Giới thiệu 23 2.2 Trích chọn đặc trưng SIFT 23 2.2.1 Phát điểm cực trị 25 2.2.2 Định vị điểm hấp dẫn: 28 2.2.3 Xác định hướng cho điểm hấp dẫn 31 2.2.4 Mô tả điểm hấp dẫn 32 2.3 Đối sánh đặc trưng SIFT 33 2.3.1 Độ đo khoảng cách độ đo tương tự 33 2.3.2 Đối sánh đặc trưng cục bất biến 34 2.3.2.1 Đối sánh vector đặc trưng 34 2.3.2.2 SIFT Một số độ đo tương đồng cho ảnh sử dụng đặc trưng 35 CHƢƠNG 3: Thực nghiệm 36 3.1 Môi trường công cụ sử dụng thực nghiệm 36 3.2 Xây dựng tập liệu ảnh 36 3.3 Giao diện chương trình 38 3.4 Một số kết 39 KẾT LUẬN 41 TÀI LIỆU THAM KHẢO 42 MỞ ĐẦU Sự phát triển mạnh mẽ công nghệ ảnh số làm lượng ảnh lưu trữ web tăng lên cách nhanh chóng Mỗi ngày, có hàng triệu ảnh đăng tải trang ảnh trực tuyến như: Flickr, Photobucket, Facebook Theo thống kê có 30 tỉ ảnh Facebook, tỉ ảnh Flickr, 6.2 tỉ ảnh Photobucket Cùng với nhu cầu tìm kiếm văn bản, nhu cầu tìm kiếm ảnh nhận nhiều quan tâm người sử dụng Tuy nhiên, với số lượng ảnh lớn Internet công việc tìm kiếm trở nên vô khó khăn Để giải vấn đề này, hệ thống tìm kiếm ảnh đời như: Yahoo, Google Image Search, Bing,… Các hệ thống cho phép người sử dụng nhập truy vấn ảnh cần quan tâm Thông qua việc phân tích văn kèm ảnh, hệ thống gửi trả ảnh tương ứng với truy vấn người dùng Ngoài số hệ thống cho phép người dùng nhập câu hỏi dạng ảnh Google Image Search, Tineye, Tiltomo…Đây hướng nghiên cứu nhận quan tâm nhiều công trình khoa học giới Hiện giới việc tra cứu ảnh bước sang thời kỳ mới, thời kỳ tra cứu ảnh dựa vào nội dung Tra cứu liệu hình ảnh dựa vào nội dung ảnh ngày phát triển mạnh mẽ, khắc phục khuyết điểm việc truy tìm ảnh dựa vào văn kí tự Dữ liệu đầu vào mô gần gũi với người, kết ảnh trả mang ngữ nghĩa gần với ảnh truy vấn Nằm xu đó, đồ án em trình bày mô hình tra cứu thông tin hình ảnh dựa đặc trưng bất biến ảnh Nội dung đề tài bao gồm ba chương:  Chương 1: Tổng quan tra cứu ảnh dựa nội dung  Chương 2: Đối sánh ảnh dựa đặc trưng SIFT  Chương 3: Thực nghiệm CHƢƠNG 1: Tổng quan tra cứu ảnh dựa nội dung 1.1 Tra cứu thông tin trực quan Tra cứu thông tin trực quan chủ đề nghiên cứu lĩnh vực công nghệ thông tin Tương tác với nội dung trực quan cách thiết yếu để truy tìm thông tin trực quan Các yếu tố trực quan màu sắc, kết cấu, hình dáng đối tượng yếu tố không gian trực tiếp liên quan đến khía cạnh cảm nhận nội dung ảnh, với khái niệm mức cao ý nghĩa đối tượng, khung cảnh ảnh, dùng manh mối cho tìm kiếm hình ảnh với nội dung tương tự từ sở liệu Tra cứu ảnh dựa vào nội dung đòi hỏi phải có đóng góp từ lĩnh vực nghiên cứu khác lớn đặt nhiều thử thách nghiên cứu nhà khoa học kỹ sư Các lĩnh vực nghiên cứu khác nhau, phát triển cách độc lập, đóng góp lớn cho chủ đề nghiên cứu mẻ 1.2 Những thành phần hệ thống tra cứu ảnh dựa nội dung Về hệ thống phân tích nội dung nguồn thông tin truy vấn sử dụng, đem so sánh nội dung để tra cứu mục tin liên quan Một hệ thống tra cứu ảnh bao gồm chức sau :  Phân tích nội dung nguồn thông tin, biểu diễn nội dung nguồn phân tích theo cách thích hợp cho việc so sánh truy vấn sử dụng  Phân tích truy vấn người sử dụng biểu diễn chúng dạng thích hợp cho so sánh với sở liệu nguồn  Định nghĩa chiến lược để so sánh truy vấn tìm kiếm với thông tin sở liệu lưu trữ  Thực điều chỉnh cần thiết hệ thống dựa phản hồi từ người sử dụng ảnh tra cứu Người sử Tạo truy dụng vấn Trích chọn đặc trưng Cơ sở liệu Phản hổi Véc tơ đặc Cơ sở liệu liên quan trưng đặc trưng Đánh số So sánh độ tương tự Kết tra cứu Ảnh Hình 1.1 : Mô hình hệ thống tra cứu ảnh dựa nội dung 1.3 Các phƣơng pháp tra cứu ảnh dựa nội dung 1.3.1 Tra cứu ảnh dựa màu sắc Tìm kiếm ảnh theo màu sắc phương pháp phổ biến sử dụng nhiều hệ thống tìm kiếm ảnh theo nội dung Đây phương pháp đơn giản, tốc độ tìm kiếm tương đối nhanh nhiên kết tìm kiếm có độ xác không cao Nếu coi thông tin màu ảnh tín hiệu một, hai, ba chiều đơn giản việc phân tích tín hiệu sử dụng ước lượng mật độ xác xuất cách dễ để mô tả thông tin màu ảnh Có ba kỹ thuật truyền thống sử dụng tra cứu ảnh dựa màu sắc biểu đồ màu toàn cục (Global Color Histogram), biểu đồ màu cục (Local Color Histogram) biểu đồ màu tương quan (Color Correlogram Histogram) Những kỹ thuật thích hợp với kiểu truy vấn khác 1.3.1.1 Biểu đồ màu toàn cục (Global Color Histogram) Biểu đồ màu loại mô tả phân bố màu sử dụng tập màu Việc sử dụng biểu đồ màu toàn cục ảnh mã hóa với biểu đồ màu khoảng cách hai ảnh xác định khoảng cách biểu đồ màu chúng Với kỹ thuật sử dụng thước đo khác để tính toán khoảng cách hai biểu đồ màu Ví dụ mô tả hoạt động kỹ thuật này: Trong biểu đồ màu mẫu có màu : black, white and grey Ta kí hiệu biểu đồ màu ảnh A:{25%, 25%, 50%}; biểu đồ màu ảnh B: {18.75%, 37.5%, 43.75%} ảnh C có biểu đồ màu ảnh B Nếu sử dụng thước đo khoảng cách Euclidean để tính toán khoảng cách biểu đồ khoảng cách hai ảnh A B cho biểu đồ màu toàn là: √ [1.1] Biểu đồ màu toàn cục phương pháp truyền thống cho việc tra cứu ảnh dựa màu sắc Mặc dù vậy, không chứa thông tin liên quan đến phân bố màu vùng Vì khoảng cách ảnh khác thực ảnh Ví dụ khoảng cách ảnh Avà C khác so với khoảng cách ảnh A B việc xây dựng biểu đồ màu toàn cục lại thu khoảng cách tương tự Ngoài có trường hợp hai ảnh khác có biểu đồ màu toàn cục giống ví dụ ảnh B C hạn chế biểu đồ màu toàn Hình 1.2: Ba ảnh biểu đồ màu chúng ảnh A:{25%, 25%, 50%}; ảnh B: {18.75%, 37.5%, 43.75%}; ảnh C: {18.75%, 37.5%, 43.75%} 1.3.1.2 Biểu đồ màu cục (Local Color Histogram) Biểu đồ màu cục bao gồm thông tin liên quan đến phân bố màu vùng Trước tiên phân đoạn ảnh thành nhiều khối sau biểu diễn biểu đồ màu cho khối, ảnh biểu diễn biểu đồ màu Khi so sánh hai hình ảnh, khoảng cách tính toán cách sử dụng biểu đồ chúng vùng ảnh vùng tương ứng ảnh khác Khoảng cách hai ảnh xác định tổng tất khoảng cách Nếu sử dụng bậc hai khoảng cách Euclidean để tính toán khoảng cách biểu đồ khoảng cách hai ảnh Q I cho biểu đồ màu cục là: ∑ √∑ [1.2] Ở M số vùng phân đoạn ảnh, N số màu biểu đồ màu H[i] giá trị màu i biểu đồ màu đại diện cho vùng k ảnh 1.3.1.3 Biểu đồ màu tƣơng quan (Color Correlogram Histogram) Quan sát thấy lược đồ màu thiếu thông tin cách mà màu sắc phân bố theo không gian, đặc trưng giới thiệu gọi lược đồ tương quan màu Lược đồ tương quan màu hứa hẹn mô tả không phân phối màu điểm ảnh mà tương quan không quan cặp màu Lược đồ quan tâm đến tương quan không gian màu giống giảm số chiều chi phí tính toán Cách tính lược đồ tương quan màu : Gọi [D] tập gồm D khoảng cách d1 , d , , d D đo độ đo L Lược đồ tương quan màu ảnh I xác định với cặp màu ci , c j khoảng cách d sau: [1.3] Trong I ảnh, kích thước MxN (Điểm ảnh), I c p I | Ipc, lược đồ tương quan màu thể xác suất cặp điểm ảnh p1 p2 chịu ràng buộc màu (p1 có màu ci, p2 có màu c j ) vị trí (p1p2|Ld) 1.3.1.4 Vector liên kết màu (Color Cohenrence Vector) Vector liên kết màu đề xuất phân ngăn lược đồ thành hai loại: liên kết thuộc vùng màu đồng lớn không liên kết không thuộc vùng màu đồng lớn Cho αi biểu thị số pixel gắn kết ngăn thứ i βi biểu thị số pixel không gắn kết ảnh vector liên kết màu ảnh định nghĩa vector Trong đó: < (α1+β1), (α2+ β2),…, (αN+βN)> lược đồ màu ảnh Việc thông tin không gian kết hợp vào biểu đồ màu sắc làm cho Vector liên kết màu cung cấp kết tra cứu tốt lược đồ màu, đặc biệt với ảnh có phần lớn màu đồng có kết cấu theo khu vực 1.3.1.5 Tƣơng quan màu (Color Correlogram) Tương quan màu không để mô tả phân bố màu pixel, mà tương quan không gian cặp màu Một tương quan màu bảng đánh số cặp màu Với pixel có màu i ảnh, xác suất tìm thấy pixel có màu j pixel ban đầu khoảng cách k Cho I biểu diễn toàn tập pixel ảnh Ic(i) biểu diễn tập pixel có màu C(i) tương quan màu định nghĩa bằng: [1.4] Trong đó: p1 Є Ic(i) , p2 Є I i, j Є {1,2,…,N} k Є {1,2,…,d} |p1-p2| khoảng cách pixel p1 p2 Kích thước Correlogram O(N2d) Khi chọn d để tính Correlogram ta cần ý vấn đề sau: Giá trị d lớn cần nhiều chi phí tính toán không gian lưu trữ Giá trị d nhỏ giảm giá trị lưu trữ đặc trưng So sánh với lược đồ màu vector liên kết màu, tương quan màu cho kết tra cứu tốt hơn, cho chi phí tính toán cao có chiều cao 1.3.1.6 Độ đo tƣơng đồng màu sắc Một số độ đo tương đồng sử dụng như: Độ đo khoảng cách Euclidean, độ đo Jensen-Shannon divergence (JSD) Gọi h(I) h(M) tương ứng 10 lượt đồ màu hai ảnh I ảnh M Khi loại độ đo màu định nghĩa số nguyên (hoặc số thực) theo loại độ đo tương ứng sau:  Khoảng cách Euclidean: Đây khoảng cách Euclidean thông thường K bin: ∑ √ [1.5] Hoặc: ∑  [1.6] Độ đo Jensen-Shannon divergence (JSD) : Độ đo Jensen-Shannon divergence sử dụng lược độ màu RGB để tính toán độ tương đồng màu sắc ảnh: ∑ [1.7] Trong : H H’ biểu đồ màu so sánh, m H bin thứ m biểu đồ H 1.3.2 Tra cứu ảnh dựa kết cấu Kết cấu đặc tính quan trọng khác ảnh Các biểu diễn kết cấu đa dạng nghiên cứu nhận dạng mẫu thị giác máy tính Kết cấu sử dụng rộng rãi trực quan định nghĩa xác tính biến thiên rộng Mặc dù khái niệm chung cho kết cấu tất nhànghiên cứu tập trung thống hai điểm chính:  Trong phạm vi kết cấu có biến đổi đáng kể mức độ cường độ điểm ảnh liền kề, giới hạn độ phân giải, đồng  Kết cấu thuộc tính đồng vài không gian lớn độ phân giải ảnh, hàm ý thuộc tính cấu trúc ảnh có độ phân giải định Khác với màu sắc, kết cấu diễn vùng điểm, thường định nghĩa mức xám hiểu màu sắc Các phương pháp phân tích kết cấu bao gồm : phương pháp Gray-Level Co-occurrence Matrices(GLC), phương pháp Gray-Level Difference (LGD) 28 Hình 2.3 : Quá trình tìm điểm cực trị hàm sai khác DoG (X điểm tại, vòng tròn màu xanh láng giềng nó) X đánh dấu điểm hấp dẫn cực đại cực tiểu tất 26 láng giềng Thông thường, vị trí không cực đại không cực tiểu qua tất 26 kiểm tra Một vài kiểm tra ban đầu thường đủ để loại bỏ Vì số lượng cực trị lớn, để tăng hiệu dò tìm điểm cực trị (dò điểm cực trị tốt thay phải dò hết), ta cần xác định tần số lấy mẫu không gian đo tần số lấy mẫu không gian quan sát (không gian ảnh) Thật không may ta xác định loại tần số cách động tiến trình dò tìm Thay vậy, tần số xác định thông qua phương pháp thử nghiệm Sau thử nghiệm với nhiều nguồn liệu ảnh khác nhau, tác giả tần số lấy mẫu không gian đo tốt (giữ lại lớp lớp), tần số lấy mẫu  = 1.6 2.2.2 Định vị điểm hấp dẫn: Sau bước thu nhiều điểm tiềm làm điểm đặc biệt, nhiên số chúng không cần thiết bước loại bỏ điểm có độ tương phản (nhạy cảm với nhiễu) tính đặc trưng cục điểm khác có xu hướng đường biên đối tượng Bước thực gồm công đoạn : a Phép nội suy lân cận cho vị trí điểm tiềm năng: Phép nội suy lân cận sử dụng mở rộng Taylor cho hàm Difference-ofGaussian D(x,y,σ): 29 [2.6] Trong đó: D đạo hàm tính điểm tiềm X = (x,y,σ) khoảng cách từ điểm Vị trí điểm cực trị ̂ xác định cách lấy đạo hàm hàm với đối số X tiến dần đến 0: Hình 2.4 : Mô sử dụng công thức mở rộng Taylor cho hàm DoG : độ dịch so với điểm lân cận điểm lấy mẫu Vùng chứa điểm hấp dẫn xác định qua ̂ ̂ [2.7] Nếu ̂ > 0.5 theo chiều có số cực trị không gần với điểm tiềm khác, bị thay đổi phép nội suy thay vai trò điểm khác gần Thực tiếp tục với điểm lấy mẫu khác b Loại trừ điểm có tính tƣơng phản : Những điểm có ̂ thỏa mãn (< 0.5) thêm vào tập hợp mẫu tốt nhất, tiếp tục phân tích tiếp ̂ để loại điểm cực trị không ổn định (độ tương phản Dùng thấp) Thay ̂ vào ̂ Nếu ̂ ta được: ̂ ̂ [2.8] điểm lấy mẫu bị loại c Loại bỏ điểm dƣ thừa theo biên : 30 Sử dụng hàm DoG cho tác động mạnh đến biên vị trí biên khó xác định điểm tiềm biên không bất biến bị nhiễu Và để tăng ổn định cho điểm chọn làm điểm đặc biệt ta loại trừ điểm tiềm khó định vị (tức vị trí dễ thay đổi có nhiễu nằm biên) Sau áp dụng hàm DoG làm đường biên ảnh không rõ ràng độ cong có giá trị lớn nhiều so với độ cong dọc theo biên cần loại bỏ bớt điểm đặc biệt dọc theo biên Giải pháp cho việc sử dụng giá trị ma trận Hessian cấp : [ ] [2.9] Các giá trị riêng H tỉ lệ thuận với độ cong D, phần tử H Dxx Dyy Hình 2.5 : Quá trình lựa chọn điểm hấp dẫn a.Ảnh gốc, b Các điểm hấp dẫn phát hiện, c Ảnh sau loại bỏ điểm hấp dẫn có độ tương phản thấp, d Ảnh sau loại bỏ điểm hấp dẫn dọc theo cạnh Trong bước số điểm hấp dẫn giảm, điều giúp tăng hiệu mạnh mẽ thuật toán Điểm hấp dẫn bị loại bỏ có độ tương phản thấp nằm cạnh 31 2.2.3 Xác định hƣớng cho điểm hấp dẫn Sau bước trên, có điểm hấp dẫn có độ ổn định Chúng ta biết quy mô mà điểm hấp dẫn phát hiện, có quy mô bất biến Điều xác định định hướng cho điểm hấp dẫn Bằng cách định hướng phù hợp cho điểm hấp dẫn dựa thuộc tính hình ảnh cục bộ, dựa vào hướng điểm hấp dẫn ta biết điểm hấp dẫn bất biến với phép quay ảnh Cách tiếp cận trái ngược với mô tả định hướng bất biến Schmid and Mohr (1997) Bất lợi cách tiếp cận giới hạn mô tả sử dụng loại bỏ thông tin hình ảnh cách không yêu cầu tất biện pháp cần phải dựa quy trình phù hợp Sau thử nghiệm với số phương pháp tiếp cận để xác định hướng, phương pháp sau tìm thấy cho kết ổn định Tại điểm hấp dẫn người ta tính toán biểu đồ hướng Gradient vùng láng giềng điểm hấp dẫn Độ lớn hướng điểm hấp dẫn xác định theo công thức: √ [2.10] [2.11] Trong : : Độ lớn vector định hướng : Hướng vector định hướng (biểu diễn qua góc ) Một biểu đồ hướng hình thành từ định hướng gradient điểm lấy mẫu khu vực xung quanh điểm hấp dẫn Đỉnh biểu đồ hướng tương ứng với hướng chủ đạo gradient Đỉnh cao biểu đồ phát hiện, sau điểm khác có cao điểm 80% so với đỉnh cao sử dụng tạo điểm hấp dẫn với định hướng Vì vậy, địa điểm có nhiều đỉnh cường độ tương tự có nhiểu điểm hấp dẫn tạo vị trí tỷ lệ, có hướng khác 32 Hình 2.6: Tính độ lớn hướng Gradient 2.2.4 Mô tả điểm hấp dẫn Các phép xử lý thực dò tìm gán tọa độ, kích thước, hướng cho điểm hấp dẫn Các tham số yêu cầu hệ thống tọa độ cục chiều lặp lại để mô tả vùng ảnh cục nhờ tạo bất biến tham số Bước tính toán mô tả cho môt vùng ảnh cục mà có tính đặc trưng cao (bất biến với thay đổi khác độ sáng, thu - phóng ảnh, xoay) Một cách tiếp cận đơn giản lấy mẫu mật độ ảnh cục lân cận điểm đặc trưng độ đo thích hợp, đối sánh mật độ sử dụng độ đo tương quan chuẩn Tuy nhiên, số tương quan đơn giản lại nhạy cảm với thay đổi mà gây đăng ký nhầm mẫu, chẳng hạn biến đổi Affine, phối cảnh chiều, bóp méo mềm Cách tiếp cận tốt nhiều đưa Edelman, Intrator Poggio (1997) Cách tiếp cận dựa mô hình thị giác sinh học, cụ thể mô hình noron phức tạp hệ thống não Các noron tương ứng với gradient hướng tần số không gian cụ thể, vị trí gradient võng mạc phép trượt phạm vi nhỏ khung nhìn 33 Hình 2.7 : Tạo mạng lưu lược đồ định hướng Điểm hấp dẫn sau xác định hướng biểu diễn dạng vector 4x4x8=128 chiều (Số chiều = hướng × (4×4) điểm hấp dẫn = 128 chiều) cách tổng hợp vector định hướng điểm khu vực, vector có đặc điểm :  Chung gốc  Độ dài vector tương ứng độ lớn gradient m 2.3 Đối sánh đặc trƣng SIFT 2.3.1 Độ đo khoảng cách độ đo tƣơng tự Độ đo tương tự phương pháp tốt để máy tính phân biệt hình ảnh qua nội dung chúng Thông thường hệ thống tra cứu ảnh theo nội dung truy vấn hình ảnh phương pháp đo tương tự dựa đặc trưng, việc xác định nhiều hình thức phát biên, màu sắc, vị trí điểm ảnh phương pháp histogram, màu sắc phân tích histogram dòng cột sử dụng biểu đồ để xác định độ tương tự Do đó, độ đo có ý nghĩa quan trọng tra cứu ảnh dựa theo nội dung Độ đo mang ý nghĩa định kết tìm kiếm nào, mức độ xác Nhiều phép đo khoảng cách khai thác việc tra cứu ảnh chúng bao gồm: khoảng cách Euclide, khoảng cách Cosin, khoảng cách giao biểu đồ histogram, khoảng cách Minkowski…Trong mục này, vài phép đo khoảng cách mô tả ước lượng Mục đích việc ước lượng để tìm phép đo tương đồng cho mô tả ước lượng hình dạng khác 34 2.3.2 Đối sánh đặc trƣng cục bất biến 2.3.2.1 Đối sánh vector đặc trƣng Trước hết để đối sánh ảnh với cần trích xuất tập keypoint tương ứng từ ảnh bước Sau việc đối sánh thực tập keypoint Bước kĩ thuật đối sánh thực tìm tập keypoint so khớp hai ảnh, để thực việc tìm cặp keypoint trùng hai ảnh Tập keypoint so khớp vùng ảnh tương đồng Việc đối sánh hai tập hợp điểm đặc trưng quy toán tìm láng giềng gần điểm đặc trưng (hình 2.8) Hình 2.8 : Đối sáng hai ảnh quay đối sánh hai tập điểm đặc trưng không gian đặc trưng Có vấn đề cần quan tâm :  Tổ chức tập hợp điểm cho phép tìm kiếm láng giềng cách hiệu  Việc đối sánh phải đạt độ xác định Một phương pháp đề xuất D Mount cho phép tìm kiếm nhanh điểm lân cận sử dụng[7], ANN viết tắt Approximative Nearest Neibour Nó cho phép tổ chức liệu dạng kd-tree , việc tìm kiếm láng giềng gần mang tính xấp xỉ kd-tree Cụ thể hai điểm không gian đặc trưng coi giống khoảng cách Euclidean hai điểm nhỏ tỉ số khoảng cách gần với khoảng cách gần nhì phải nhỏ ngưỡng cho trước Giả sử cặp keypoint có mô tả là: Thì khoảng cách Euclidean A B tính công thức: ∑ [2.12] 35 2.3.2.2 Một số độ đo tƣơng đồng cho ảnh sử dụng đặc trƣng SIFT  Độ đo Cosin : ‖ ‖‖ ‖  [2.13] Khoảng cách góc : [2.14]  Độ đo Euclidean : √∑  [2.15] Độ đo Jensen-Shannon divergence : ∑ Với H, H’ biểu đồ biểu diễn vector đặc trưng SIFT [2.16] 36 CHƢƠNG 3: Thực nghiệm 3.1 Môi trƣờng công cụ sử dụng thực nghiệm  Cấu hình phần cứng Bảng 3.1 : Cấu hình phần cứng sử dụng thực nghiệm Thành phần Thông số CPU E2180 2x2.0 GHz RAM 2GB Hệ điều hành Windows7 32bit Service Pack Bộ nhớ 160 GB  Công cụ phần mềm sử dụng Bảng 3.2 : Công cụ phần mềm sử dụng thực nghiệm STT Tên phần mềm Matlab 7.0 Nguồn http://www.mathworks.com/products/ 3.2 Xây dựng tập liệu ảnh Tập liệu ảnh gồm 30 ảnh đối tượng bị thay đổi độ chiếu sáng, góc nhìn, co dãn, bị che lấp phần…Các ảnh có kích thước từ 100x100 đến 800x600 (pixel) với nhiều chủ đề khác 37 Hình 3.1 : Tập ảnh liệu sử dụng thực nghiệm 38 3.3 Giao diện chƣơng trình Hình 3.2 : Giao diện chương trình Hình 3.3 : Giao diện đối sánh 39 3.4 Một số kết Hình 3.4 : Ảnh gốc Hình 3.5 : Các điểm hấp dẫn phát Hình 3.6: Các điểm hấp dẫn gán hướng 40 Hình 3.7 : Thực đối sánh ảnh Với ảnh bị biến đổi phép xoay, co dãn che lấp phần, chương trình đối sánh xác 145 cặp điểm đặc trưng Điều cho thấy SIFT bất biến với phép xoay, thu phóng không yêu cầu tính toàn vẹn ảnh Hình 3.8 : Với ảnh chụp ống kính Fisheye chương trình nhận xác đối tượng 41 KẾT LUẬN Có thể nói SIFT thuật toán mạnh phức tạp lớp toán đối sánh ảnh Trong đồ án em tìm hiểu cài đặt thuật toán với đầy đủ bước SIFT xây dựng chương trình ứng dụng mô việc đối sánh ảnh tương tự sử dụng SIFT Thuật toán SIFT cài đặt bước đầu cho kết tốt với tập liệu thử nghiệm Tuy nhiên, tra cứu ảnh chủ đề phức tạp, cộng với khả kinh nghiệm hạn chế nên em gặp số khó khăn việc tìm hiểu nghiên cứu kỹ thuật tra cứu ảnh Vì em mong nhận đóng góp ý kiến quý báu thầy cô giáo bạn bè để đồ án em hoàn thiện Em xin chân thành cảm ơn! 42 TÀI LIỆU THAM KHẢO [1] Bùi Thị Thúy Nga, Tìm hiểu số phương pháp trích chọn đặc trưng ứng dụng tra cứu ảnh dựa nội dung, đồ án tốt nghiệp CNTT 2011, ĐHDL Hải Phòng [2] Đổng Nam Hà, Tra cứu ảnh dựa đặc trưng kết cấu, đồ án tốt nghiệp ngành CNTT 2010, ĐHDL Hải Phòng [3] Nguyễn Thị Hoàn, Phương pháp trích chọn đặc trưng ảnh thuật toán học máy tìm kiếm ảnh áp dụng vào toán tìm kiếm sản phẩm, Đại học quốc gia Hà Nội [4] Trần Thị Thanh Hải, Eric Marchand, Một số phương pháp đối sánh ảnh thời gian thực, Trung tâm MICA, Đại học Bách Khoa Hà Nội [5] AI Shack, Scale Invariant Feature Transform, www.aishack.in [6] Andrea Vedaldi, An implementation of SIFT detector and descriptor, University of California at Los Angeles [7] David G Lowe, Distinctive Image Featuresfrom Scale-Invariant Keypoints, Computer Science Department, University of British Columbia [8] Faraj Alhwarin, Chao Wang, Danijela Risti -Durrant, Axel Gräser, Improved SIFT-Features Matching for Object Recognition, Institute of Automation, University of Bremen [...]... 2: Đối sánh ảnh dựa trên đặc trƣng SIFT 2.1 Giới thiệu Trong đối sánh ảnh dựa trên nội dung, việc trích chọn dấu hiệu đặc trưng có ý nghĩa hết sức quan trọng Với ảnh tự nhiên việc đối sánh gặp nhiều khó khăn do phải đối mặt với các thách thức do các thay đổi của ảnh như độ chiếu sáng, co dãn, chồng lấp, thay đổi góc nhìn nên ảnh hưởng nhiều đến độ chính xác Phương pháp đối sánh ảnh dựa trên đặc trưng. .. xuất từ dữ liệu ảnh gốc Sau đó với mỗi ảnh đối tượng đem nhận dạng ta dùng giải thuật SIFT trích xuất tập đặc trưng từ ảnh và đem đối sánh với hệ dữ liệu đặc trưng để tìm ra tập keypoint giống nhau, từ đó nhận dạng đối tượng trong cơ sở dữ liệu ảnh ban đầu Tuy nhiên việc đối sánh này cần chi phí đối sánh rất lớn đối với cơ sở dữ liệu ảnh có số lượng lớn do số lượng các đặc trưng ở mỗi ảnh là lớn 25... Tra cứu ảnh dựa trên đặc trƣng bất biến Phương pháp tra cứu này có tên là Scale-Invariant Feature Transform (SIFT) và đặc trưng trích rút đựợc gọi là đặc trưng SIFT Phương pháp này trích rút các đặc trưng cục bộ bất biến của ảnh Các đặc trưng này bất biến với việc thay đổi tỉ lệ ảnh, quay ảnh, đôi khi là thay đổi điểm nhìn và thêm nhiễu ảnh hay thay đổi cường độ chiếu sáng của ảnh Các đặc trưng này... Các đặc trưng này được trích rút ra từ các điểm đặc trưng cục bộ Điểm đặc trưng: Là vị trí (điểm ảnh) "đặc trưng" trên ảnh "Đặc trưng" ở đây có nghĩa là điểm đó có thể có các đặc trưng bất biến với việc quay ảnh, co giãn ảnh hay thay đổi cường độ chiếu sáng của ảnh 1.4 Các hệ thống tra cứu ảnh dựa trên nội dung Những năm gần đây, có nhiều hệ thống tra cứu ảnh, các hệ thống nghiên cứu và hệ thống thương... lượt ở hai ảnh Tập con các keypoint so khớp chính là vùng ảnh tương đồng Việc đối sánh hai tập hợp điểm đặc trưng quy về bài toán tìm láng giềng gần nhất của mỗi điểm đặc trưng (hình 2.8) Hình 2.8 : Đối sáng hai ảnh quay về đối sánh hai tập điểm đặc trưng trong không gian đặc trưng Có 2 vấn đề cần được quan tâm :  Tổ chức tập hợp điểm cho phép tìm kiếm láng giềng một cách hiệu quả  Việc đối sánh phải... hình dạng khác nhau 34 2.3.2 Đối sánh đặc trƣng cục bộ bất biến 2.3.2.1 Đối sánh các vector đặc trƣng Trước hết để đối sánh các ảnh với nhau thì cần trích xuất tập keypoint tương ứng từ mỗi ảnh bằng các bước đã chỉ ra ở trên Sau đó việc đối sánh sẽ thực hiện trên các tập keypoint này Bước chính trong kĩ thuật đối sánh sẽ thực hiện tìm tập con keypoint so khớp nhau ở hai ảnh, để thực hiện việc này sẽ... lượng các điểm đặc trưng có một tầm quan trọng trong vấn đề nhận dạng đối tượng, để nhận dạng một đối tượng nhỏ trong một ảnh chứa tập hợp các đối tượng hỗn độn thì cần ít nhất 3 điểm đặc trưng giống nhau để phát hiện và và bóc tách đối tượng Đối với vấn đề xây dựng một cơ sở dữ liệu ảnh và thực hiện nhận dạng đối tượng bất kì thì ban đầu thường sử dụng SIFT để tạo một hệ dữ liệu các đặc trưng (keypoints)... các điểm đặc biệt thu được thường phụ thuộc rất ít vào các phép biến đổi cơ bản như xoay, phóng to, thu nhỏ, tăng giảm cường độ sáng, vì vậy có thể xem đây là các đặc trưng mang tính cục bộ của ảnh Để đối sánh và nhận dạng hai ảnh thì ta tìm tập keypoint giống nhau trong hai ảnh, dựa vào hướng và tỉ lệ để có thể biết đối tượng trong ảnh gốc đã xoay, thu phóng bao nhiêu so với ảnh đem đối sánh Cách... phóng ảnh và xoay ảnh  Định vị các điểm đặc trưng (keypoint localization): Từ những điểm tiềm năng ở trên sẽ lọc và lấy ra tập các điểm đặc trưng tốt nhất (keypoints)  Xác định hướng cho các điểm đặc trưng (Orientation assignment): Mỗi điểm đặc trưng sẽ được gán cho một hoặc nhiều hướng dựa trên hướng gradient của ảnh Mọi phép toán xử lý ở các bước sau này sẽ được thực hiện trên những dữ liệu ảnh mà... trưng bất biến SIFT được David Lowe[7] đề xuất có thể khắc phục một số khó khăn trên 2.2 Trích chọn đặc trƣng SIFT Một thuật toán tiêu biểu và có hiệu quả khá cao dựa theo các đặc trưng cục bộ bất biến trong ảnh: SIFT (Scale-invariant Feature Transform) do David Lowe[7] đưa ra từ năm 2004 và đến nay đã có nhiều cải tiến trong thuật toán Đặc trưng được trích chọn trong SIFT là các điểm đặc trưng (keypoint),