ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ LOAN ĐIỂM BẤT ĐỘNG VÀ ỨNG DỤNG TRONG NHẬN DẠNG ĐỐI TƢỢNG LUẬN VĂN THẠC SĨ CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN: TS ĐỖ NĂNG TOÀN NĂM 2007 LỜI CẢM ƠN Luận văn đƣợc hồn thành dƣới hƣớng dẫn nhiệt tình chu đáo thầy Đỗ Năng Toàn Lời em xin gởi lời cảm ơn chân thành sâu sắc đến thầy Em bày tỏ lòng biết ơn đến thầy giáo, cô giáo trƣờng Đại học Quy Nhơn, trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội bảo, giúp đỡ nhƣ có ý kiến đóng góp quý báu cho em trình học tập trƣờng Cuối tơi chân thành cảm ơn gia đình tất bạn bè động viên giúp đỡ lúc khó khăn Hà Nội, ngày 02 tháng 11 năm 2007 Tác giả Nguyễn Thị Loan CÁC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT Auto-correlation matrix Co-variance matrix CSDL Differentiation Scale DoG Integration Scale LoG Scale Second moment matrix SIFT Ma trận tƣơng quan tự động Ma trận đồng biến Cơ sở liệu Tỷ lệ vi phân Difference-of-Gaussian Tỷ lệ tích phân Laplacian-of-Gaussian Tỷ lệ Ma trận moment cấp hai Scale Invariant Feature Transform DANH MỤC CÁC HÌNH VẼ Hình 1.1 Sơ đồ tổng quát hệ nhận dạng Hình 1.2 Hai đối tƣợng mặt phẳng Error! Bookmark not defined Hình 1.3 Các tứ giác hình trịn mặt phẳng hai chiềuError! Bookmark not defined Hình 1.4 Ví dụ bất biến hình học đối phép quay tịnh tiến Error! Bookmark not defined Hình 2.1 Một thể đa tỷ lệ tín hiệu Error! Bookmark not defined Hình 2.2 Các mức khác thể không gian tỷ lệ Error! Bookmark not defined Hình 2.3 Ví dụ tỷ lệ đặc trƣng Error! Bookmark not defined Hình 2.4 Phát điểm quan tâm bất biến tỷ lệ Error! Bookmark not defined Hình 2.5 Điểm quan tâm bất biến tỷ lệ ảnh bị biến đổi affine Error! Bookmark not defined Hình 2.6 Biểu đồ giải thích phép chuẩn hóa affineError! Bookmark not defined Hình 2.7 Phát lặp lại điểm quan tâm bất biến affine Error! Bookmark not defined Hình 2.8 Phát điểm quan tâm bất biến affineError! Bookmark not defined Hình 2.9 Xây dựng thể khơng gian tỷ lệError! Bookmark not defined Hình 2.10 Các giá trị cực đại cực tiểu ảnh DoGError! Bookmark not defined Hình 2.11 Các giai đoạn lựa chọn điểm khóa Error! Bookmark not defined Hình 2.12 Bộ mơ tả điểm khóa Error! Bookmark not defined Hình 3.1 Ví dụ tốn nhận dạng đối tƣợng: xác định xem đối tƣợng Error! Bookmark not defined ảnh (b) có ảnh (a) khơng? Error! Bookmark not defined Hình 3.2 Sơ đồ chức nhận dạng đối tƣợng Error! Bookmark not defined Hình 3.3 Giao diện chƣơng trình Error! Bookmark not defined 4 Hình 3.4 (a) Ảnh truy vấn chứa nhiều đối tƣợng; (b) Ảnh huấn luyện; Error! Bookmark not defined (c) Kết nhận dạng Error! Bookmark not defined Hình 3.5 (a) Ảnh truy vấn chứa nhiều đối tƣợng;Error! Bookmark not defined (b) Ảnh chứa đối tƣợng cần nhận dạng; (c) Kết nhận dạng Error! Bookmark not defined Hình 3.6 Không nhận dạng đƣợc đối tƣợng Error! Bookmark not defined 5 MỞ ĐẦU Trong sống ngày, thƣờng xuyên cần phải nhận dạng phân biệt vô số đối tƣợng kể đối tƣợng quen thuộc đối tƣợng lạ Các đối tƣợng biến đổi đơi chút hình thức, màu sắc, kết cấu, v.v… Các đối tƣợng đƣợc nhận dạng từ nhiều tƣ khác (từ phía trƣớc, bên cạnh phía sau), nhiều nơi nhiều kích thƣớc khác Các đối tƣợng chí đƣợc nhận dạng chúng bị che khuất phần đối tƣợng khác Vì vậy, việc nhận dạng đối tƣợng cách tự động vấn đề thiết thực xã hội đại Ngày nay, với phát triển mạnh mẽ ngành Khoa học máy tính nhƣ bùng nổ lĩnh vực Công nghệ thông tin đẩy nhanh phát triển nhiều lĩnh vực xã hội nhƣ quân sự, y học, giáo dục, kinh tế, giải trí v.v… Sự phát triển phần cứng phƣơng diện thu nhận, hiển thị, với tốc độ xử lý mở nhiều hƣớng cho phát triển phần mềm, đặc biệt Công nghệ xử lý ảnh phát triển nhanh Nó giải đƣợc toán phát hiện, nhận dạng tự động loại đối tƣợng thực tế, chẳng hạn tạo hệ thống phát kẻ gian đột nhập vào quan cần đƣợc giám sát sau hành nhƣ Kho bạc, Ngân hàng v.v thay cần phải có đội bảo vệ canh gác cẩn thận Nhận dạng mặt ngƣời ảnh có nhiều ý nghĩa quân sự, an ninh v.v Rõ ràng toán phát đối tƣợng nhƣ nhận dạng đối tƣợng ngày quan trọng phát triển xã hội, đặc biệt quan trọng cho xã hội Việt Nam Bài toán nhận dạng đối tƣợng toán cốt yếu lĩnh vực nhận dạng hay thị giác máy, sở cho nhiều ứng dụng quan trọng Nhận dạng đối tƣợng có nhiều cách tiếp cận để giải quyết, loại đối tƣợng có kỹ thuật cụ thể, song chúng có sở chung Một nguyên nhân định cho chất lƣợng nhận dạng đối tƣợng ảnh việc trích chọn đặc trƣng Các đặc trƣng đƣợc trích chọn thƣờng dựa vào đặc trƣng bất biến Lý thuyết điểm bất động đƣợc nghiên cứu nhiều toán học vật lý Việc nghiên cứu áp dụng lý thuyết để trích chọn đặc điểm phục vụ cho nhận dạng xử lý ảnh hƣớng tiếp cận có nhiều hứa hẹn đối tƣợng có biến đổi kích thƣớc, hình dạng, đối tƣợng bị che khuất số phận đối tƣợng chuyển động v.v Nhƣ toán nhận dạng đối tƣợng dựa vào đặc trƣng bất biến mà tảng dựa vào điểm bất động cách tiếp cận khoa học nhận dạng, sở để xây dựng nhiều ứng dụng quan trọng cần thiết Trên điểm qua tầm quan trọng toán nhận dạng đối tƣợng, đặc biệt đối tƣợng bị biến đổi cho ta thấy rõ tính cần thiết nhƣ tính thời đồng thời ý nghĩa khoa học thực tiễn vấn đề Nhận thức đƣợc điều này, chọn đề tài luận văn: “Điểm bất động ứng dụng nhận dạng đối tượng” Bố cục luận văn bao gồm phần mở đầu, phần kết luận ba chƣơng nội dung đƣợc tổ chức nhƣ sau: Chƣơng 1: Tổng quan bất biến nhận dạng đối tƣợng Chƣơng trình bày định nghĩa loại bất biến, lý thuyết điểm bất động, nhƣ toán nhận dạng đối tƣợng cách giải Chƣơng 2: Các phƣơng pháp xác định điểm bất động ảnh Chƣơng trình bày kỹ thuật xác định điểm bất động ảnh để xây dựng đặc trƣng bất biến đối tƣợng sử dụng đặc trƣng cho việc so khớp nhận dạng đối tƣợng Chƣơng 3: Ứng dụng điểm bất động nhận dạng đối tƣợng Trong phần luận văn trình bày ứng dụng nhận dạng đối tƣợng dựa vào đặc trƣng bất biến đƣợc xây dựng từ điểm bất động, cài đặt thử nghiệm phƣơng pháp trình bày chƣơng 7 Chƣơng – TỔNG QUAN VỀ BẤT BIẾN VÀ NHẬN DẠNG ĐỐI TƢỢNG Chương trình bày tổng quan toán nhận dạng đối tượng ảnh, đề cập đến hai vần đề dạng bất biến ảnh lý thuyết điểm bất động 1.1 Tổng quan nhận dạng Trong lý thuyết nhận dạng nói chung nhận dạng ảnh nói riêng có cách tiếp cận khác nhau: - Nhận dạng dựa vào phân hoạch không gian - Nhận dạng cấu trúc - Nhận dạng dựa vào kỹ thuật mạng nơron Hai cách tiếp cận đầu kỹ thuật kinh điển Các đối tƣợng ảnh đƣợc quan sát thu nhận đƣợc phải trải qua giai đoạn tiền xử lý nhằm tăng cƣờng chất lƣợng, làm chi tiết, trích chọn biểu diễn đặc trƣng cuối qua giai đoạn nhận dạng Cách tiếp cận thứ ba hồn tồn khác Nó dựa vào chế đoán nhận, lƣu trữ phân biệt đối tƣợng mô theo hoạt động hệ thần kinh ngƣời Do chế đặc biệt, đối tƣợng thu nhận thị giác ngƣời không cần qua giai đoạn cải tiến mà chuyển sang giai đoạn tổng hợp, đối sánh mẫu lƣu trữ để nhận dạng Nhận dạng trình phân loại đối tƣợng đƣợc biểu diễn theo mơ hình gán cho chúng lớp (gán cho đối tƣợng tên gọi) dựa theo quy luật mẫu chuẩn Quá trình nhận dạng dựa vào mẫu học biết trƣớc gọi nhận dạng có thầy hay học có thầy; trƣờng hợp ngƣợc lại gọi học khơng có thầy 8 1.1.1 Khơng gian biểu diễn đối tƣợng, không gian diễn dịch 1.1.1.1 Không gian biểu diễn đối tƣợng Các đối tƣợng quan sát hay thu nhận đƣợc, thƣờng đƣợc biểu diễn tập đặc trƣng hay đặc tính Nhƣ trƣờng hợp xử lý ảnh, ảnh sau đƣợc tăng cƣờng để nâng cao chất lƣợng, phân vùng trích chọn đặc tính đƣợc biểu diễn đặc trƣng nhƣ biên, miền đồng nhất, v.v Ngƣời ta thƣờng phân đặc trƣng theo loại nhƣ: đặc trƣng tôpô, đặc trƣng hình học đặc trƣng chức Việc biểu diễn ảnh theo đặc trƣng tùy thuộc vào ứng dụng Ở ta đƣa cách hình thức cho việc biểu diễn đối tƣợng Giả sử đối tƣợng X đƣợc biểu diễn n thành phần (n đặc trƣng): X={x 1, x2,…,xn}; xi biểu diễn đặc trƣng Không gian biểu diễn đối tƣợng thƣờng gọi tắt không gian đối tƣợng X đƣợc định nghĩa: X = { X1, X2,…, Xm} Xi biểu diễn đối tƣợng Không gian vơ hạn Để xem xét xét tập X hữu hạn 1.1.1.2 Không gian diễn dịch Không gian diễn dịch tập tên gọi đối tƣợng Kết thúc trình nhận dạng ta xác định đƣợc tên gọi cho đối tƣợng tập khơng gian đối tƣợng hay nói cách khác nhận dạng đƣợc đối tƣợng Một cách hình thức gọi  tập tên đối tƣợng:  = {w1, w2, …, wk} với wi, i = 1, 2,…, k tên đối tƣợng Quá trình nhận dạng đối tƣợng f ánh xạ f: X   với f tập quy luật để định phần tử X ứng với phần tử  1.1.2 Mơ hình chất q trình nhận dạng 1.1.2.1 Mơ hình Việc lựa chọn q trình nhận dạng có liên quan mật thiết đến kiểu mô tả mà ngƣời ta sử dụng để đặc tả đối tƣợng Trong nhận dạng, ngƣời ta phân chia làm hai họ lớn: - Họ mô tả theo tham số - Họ mô tả theo cấu trúc Cách mô tả đƣợc lựa chọn xác định mô hình đối tƣợng Nhƣ vậy, có hai loại mơ hình: mơ hình theo tham số mơ hình theo cấu trúc * Mơ hình tham số: sử dụng vectơ để đặc tả đối tƣợng Mỗi phần tử vectơ mơ tả đặc tính đối tƣợng Ví dụ đặc trƣng chức năng, ngƣời ta sử dụng sở trực giao để biểu diễn Và nhƣ vậy, ảnh đƣợc biểu diễn chuỗi hàm trực giao Giả sử C đƣờng bao ảnh C(i,j) điểm thứ i đƣờng bao, i = 1, 2,…, N (đƣờng bao gồm N điểm) Giả sử tiếp: x0  N  xi N i1 N y   yi N i1 tọa độ tâm điểm Nhƣ vậy, moment trung tâm bậc p, q đƣờng bao là: μ pq  N (x i -x )p (yi -y0 )q  N i1 Vectơ tham số trƣờng hợp moment ij với i = 1, 2,…, p j = 1, 2,…, q Cịn số đặc trƣng hình học, ngƣời ta sử dụng chu tuyến, đƣờng bao, diện tích tỷ lệ T = 4S/p2, với S diện tích, p chu tuyến Việc lựa chọn phƣơng pháp biểu diễn làm đơn giản cách xây dựng Tuy nhiên, việc lựa chọn đặc trƣng hoàn toàn phụ thuộc vào ứng dụng * Mơ hình cấu trúc: cách tiếp cận mơ hình dựa vào việc mơ tả đối tƣợng nhờ số khái niệm biểu thị đối tƣợng sở ngôn ngữ tự nhiên Để mô tả đối tƣợng, ngƣời ta dùng số dạng nguyên thủy nhƣ đoạn thẳng, cung, v.v… Trong mô hình này, ngƣời ta sử dụng ký hiệu kết thúc Vt, ký hiệu không kết thúc gọi Vn Ngồi có dùng tập luật sản xuất để mô tả cách xây dựng đối tƣợng phù hợp dựa đối tƣợng đơn giản đối tƣợng nguyên thủy (tập Vt) Trong cách tiếp cận này, ta chấp nhận khẳng định là: cấu trúc dạng kết việc áp dụng luật sản xuất theo nguyên tắc xác định dạng gốc bắt đầu Một 10 cách hình thức, ta coi mơ hình tƣơng đƣơng văn phạm G = (V t, Vn, P, S) với: - Vt ký hiệu kết thúc, - Vn ký hiệu không kết thúc, - P luật sản xuất, - S dạng (ký hiệu bắt đầu) 1.1.2.2 Bản chất trình nhận dạng Quá trình nhận dạng gồm giai đoạn chính: - Lựa chọn mơ hình biểu diễn đối tƣợng - Lựa chọn luật định (phƣơng pháp nhận dạng) suy diễn trình học - Học nhận dạng Khi mơ hình biểu diễn đối tƣợng đƣợc xác định, định lƣợng (mơ hình tham số) hay định tính (mơ hình cấu trúc), q trình nhận dạng chuyển sang giai đoạn học Học giai đoạn quan trọng Thao tác học nhằm cải thiện, điều chỉnh việc phân hoạch tập đối tƣợng thành lớp Việc nhận dạng tìm quy luật thuật tốn để gán đối tƣợng vào lớp hay nói cách khác gán cho đối tƣợng tên Nhìn chung, dù mơ hình kỹ thuật nhận dạng sao, hệ thống nhận dạng tóm tắt theo sơ đồ sau: Trích chọn đặc trƣng biểu diễn đối tƣợng Phân lớp định Quá trình tiền xử lý trả lời Đánh giá Khối nhận dạng Hình 1.1 Sơ đồ tổng quát hệ nhận dạng 1.1.3 Bài toán nhận dạng đối tƣợng ảnh Cho trƣớc đối tƣợng hai chiều Tồn nhiều toán nhận dạng khác đối tƣợng ảnh hai chiều 11 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Thanh Thủy, 2002, “Nhập môn xử lý ảnh số”, Trƣờng Đại học Bách khoa Hà Nội Tiếng Anh [2] Basri, R., and Jacobs, D.W 1997 Recognition using region correspondences International Journal of Computer Vision, 25(2):145- 166 [3] Baumberg, A 2000 Reliable feature matching across widely separated views In Conference on Computer Vision and Pattern Recognition, Hilton Head, South Carolina, pp 774-781 [4] Brown, M and Lowe, D.G 2002 Invariant features from interest point groups In The 13th British Machine Vision Conference, Cardiff University, UK, pp 253–262 [5] Harris, C and Stephens, M.J 1988 A combined corner and edge detector In Alvey Vision Conference, pages 147–152 [6] Lindeberg, T 1994 Scale-space theory: A basic tool for analysing structures at different scales Journal of Applied Statistics, 21(2):224-270 [7] Lowe, D.G 1999 Object recognition from local scale-invariant features In International Conference on Computer Vision, Corfu, Greece, pp 1150-1157 [8] Lowe, D.G 2004 Distinctive image features from Scale-Invariant keypoints International Journal of Computer Vision [9] Mikolajczyk, K 2002 Detection of local features invariant to affine transformations, Ph.D thesis, Institut National Polytechnique de Grenoble, France [10] Mikolajczyk, K., and Schmid, C 2004 Scale & affine invariant interest point detectors International Journal of Computer Vision 60(1), 63-86 12 [11] Mikolajczyk, K and Schmid, C 2005 A performance evaluation of local descriptors In IEEE Transactions on Pattern Analysis and Machine Intelligence [12] Rothganger, F., Lazebnik, S., Schmid, C and Ponce J 2005 Object modeling and recognition using local affine-invariant image descriptors and multi-view spatial consraints In International Journal of Computer Vision [13] http://en.wikipedia.org/wiki/Fixed-point_theorem [14] http://signal.ece.utexas.edu/seminars/dsp_seminars/02spring/danilo.html [15] http://www.hindawi.com/journals/fpta/guidelines.html [16] http://www.icassp2003.com/archives/5 13 MỤC LỤC CÁC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ MỞ ĐẦU Chƣơng  TỔNG QUAN VỀ BẤT BIẾN VÀ NHẬN DẠNG ĐỐI TƢỢNG 1.1 Tổng quan nhận dạng 1.1.1 Không gian biểu diễn đối tƣợng, không gian diễn dịch 1.1.1.1 Không gian biểu diễn đối tƣợng 1.1.1.2 Không gian diễn dịch 1.1.2 Mơ hình chất trình nhận dạng 1.1.2.1 Mơ hình 1.1.2.2 Bản chất trình nhận dạng 1.1.3 Bài toán nhận dạng đối tƣợng ảnh 1.2 Tổng quan bất biến vai trò bất biến nhận dạng Error! Bookmark not defined 1.2.1 Bất biến moment thống kê Error! Bookmark not defined 1.2.2 Bất biến hình học Error! Bookmark not defined 1.2.3 Bất biến đại số Error! Bookmark not defined 1.2.4 Vai trò bất biến nhận dạng Error! Bookmark not defined 1.3 Điểm bất động vai trò điểm bất động nhận dạng Error! Bookmark not defined 1.3.1 Lý thuyết điểm bất động Error! Bookmark not defined 1.3.2 Vai trò điểm bất động nhận dạng đối tƣợng Error! Bookmark not defined 1.3.2.1 Trích chọn đặc trƣng bất biến từ điểm bất động Error! Bookmark not defined 1.3.2.2 So khớp đặc trƣng Error! Bookmark not defined Chƣơng  CÁC PHƢƠNG PHÁP XÁC ĐỊNH ĐIỂM BẤT ĐỘNG Error! Bookmark not defined 14 TRONG ẢNH Error! Bookmark not defined 2.1 Phƣơng pháp Harris Error! Bookmark not defined 2.2 Phƣơng pháp Harris-Laplace Error! Bookmark not defined 2.2.1 Sự thể không gian tỷ lệ Error! Bookmark not defined 2.2.2 Hàm Harris thích nghi tỷ lệ Error! Bookmark not defined 2.2.3 Sự lựa chọn tỷ lệ tự động Error! Bookmark not defined 2.2.3 Thuật toán phát điểm bất biến Harris-LaplaceError! Bookmark not defined 2.2.3.1 Thuật toán Harris-Laplace Error! Bookmark not defined 2.2.3.2 Thuật tốn Harris-Laplace đơn giản Error! Bookmark not defined 2.2.3.3 Ví dụ điểm bất biến Error! Bookmark not defined 2.3 Phƣơng pháp xác định điểm bất biến Harris-Affine Error! Bookmark not defined 2.3.1 Động thúc đẩy Error! Bookmark not defined 2.3.2 Ma trận moment cấp hai affine Error! Bookmark not defined 2.3.2.1 Phép biến đổi affine ma trận moment cấp hai Error! Bookmark not defined 2.3.2.2 Phép đo tính đẳng hƣớng Error! Bookmark not defined 2.3.3 Phƣơng pháp phát điểm bất biến Harris-Affine Error! Bookmark not defined 2.4 Phƣơng pháp “Phép biến đổi đặc trƣng bất biến tỷ lệ” Error! Bookmark not defined 2.4.1 Phát cực trị không gian tỷ lệ Error! Bookmark not defined 2.4.1.1 Tần số lấy mẫu theo tỷ lệ Error! Bookmark not defined 2.4.1.2 Tần số lấy mẫu vùng không gian Error! Bookmark not defined 2.4.2 Định vị xác điểm khóa Error! Bookmark not defined 2.4.3 Gán hƣớng cho điểm khóa Error! Bookmark not defined 2.4.4 Bộ mơ tả ảnh cục Error! Bookmark not defined 2.5 Kết luận Error! Bookmark not defined Chƣơng  ỨNG DỤNG ĐIỂM BẤT ĐỘNG TRONGError! Bookmark not defined NHẬN DẠNG ĐỐI TƢỢNG Error! Bookmark not defined 15 3.1 Bài toán nhận dạng đối tƣợng Error! Bookmark not defined 3.1.1 Mơ hình tốn nhận dạng đối tƣợng Error! Bookmark not defined 3.1.2 Thuật toán Error! Bookmark not defined 3.2 Cài đặt thử nghiệm Error! Bookmark not defined 3.2.1 Cài đặt chƣơng trình Error! Bookmark not defined 3.2.2 Một số kết thực nghiệm Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 10 ... thuật xác định điểm bất động ảnh để xây dựng đặc trƣng bất biến đối tƣợng sử dụng đặc trƣng cho việc so khớp nhận dạng đối tƣợng Chƣơng 3: Ứng dụng điểm bất động nhận dạng đối tƣợng Trong phần luận... bày tổng quan toán nhận dạng đối tượng ảnh, đề cập đến hai vần đề dạng bất biến ảnh lý thuyết điểm bất động 1.1 Tổng quan nhận dạng Trong lý thuyết nhận dạng nói chung nhận dạng ảnh nói riêng... bày ứng dụng nhận dạng đối tƣợng dựa vào đặc trƣng bất biến đƣợc xây dựng từ điểm bất động, cài đặt thử nghiệm phƣơng pháp trình bày chƣơng 7 Chƣơng – TỔNG QUAN VỀ BẤT BIẾN VÀ NHẬN DẠNG ĐỐI