Đại học Thái Nguyên Khoa công nghệ thông tin Lê Hồng Phong Tìm hiểu ph-ơng pháp tra cứu ảnh theo nội dung Luận văn thạc sĩ công nghệ thông tin Thái Nguyên - 2010 Đại học Thái Nguyên Khoa công nghệ thông tin Lê Hồng Phong Tìm hiểu ph-ơng pháp tra cứu ảnh theo nội dung Chuyên ngành : Khoa học máy tính Mã số : 60.48.01 Luận văn thạc sĩ công nghệ thông tin Ng-ời h-ớng dẫn khoa học PGS.TS Ngô Quốc Tạo Thái Nguyên - 2010 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI CAM ĐOAN Tôi xin cam đoan toàn bộ nội dung bản luận văn theo đúng nội dung đề cương cũng như nội dung mà cán bộ hướng dẫn giao cho. Nội dung luận văn này là do tôi tự sưu tầm, tra cứu và sắp xếp cho phù hợp với nội dung yêu cầu của đề tài. Nội dung luận văn này chưa từng được công bố hay xuất bản dưới bất kỳ hình thức nào và cũng không được sao chép từ bất kỳ một công trình nghiên cứu nào. Tất cả phần mã nguồn của chương trình đều do tôi tự thiết kế và xây dựng, trong đó có sử dụng một số thư viện chuẩn và các thuật toán được các tác giả xuất bản công khai và miễn phí trên mạng Internet. Nếu sai tôi xin tôi xin hoàn toàn chịu trách nhiệm. Thái Nguyên, tháng 10 năm 2010 Người cam đoan Lê Hồng Phong Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn DANH MỤC CÁC CHỮ VIẾT TẮT Chữ viết tắt Dạng đầy đủ Nghĩa tiếng Việt PWT Pyramid-structured Wavelet Transform Biến đổi dạng sóng kiểu hình chóp TWT Tree-structure Wavelet Transform Biến đổi dạng sóng kiểu hình cây SAR Simultaneous Auto Regressive Tự thoái lui đồng thời MRF Markov Random Field Trƣờng ngẫu nhiên Markov DC Direct Current Thành phần một chiều AVR Average Rank Thứ hạng trung bình MRR Modified Retrieval Rank Thứ hạng tra cứu sửa đổi ANMRR Average Normalized Modified Retrieval Rank Thứ hạng tra cứu sửa đổi và chuẩn hoá trung bình GCH Global Color Histogram Biểu đồ màu toàn cục LCH Local Color Histogram Biểu đồ màu cục bộ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1 MỞ ĐẦU Những năm gần đây, ảnh số ngày càng thu hút đƣợc sự quan tâm của nhiều ngƣời, một phần là do các thiết bị thu nhận ảnh số ngày càng phổ biến và có giá cả phù hợp, cho phép nhiều ngƣời có thể sở hữu và sử dụng. Mặt khác các công nghệ chế tạo thiết bị lƣu trữ luôn đƣợc cải tiến để cho ra đời các thiết bị lƣu trữ có dung lƣợng lớn và giá thành hạ làm cho việc lƣu trữ ảnh dƣới dạng các file trở nên phổ biến. Thêm nữa là sự phát triển của mạng Internet làm cho số lƣợng ảnh số đƣợc đƣa lên lƣu trữ và trao đổi qua Internet là rất lớn. Tuy nhiên khi số lƣợng ảnh đƣợc lƣu trữ trở nên rất lớn thì vấn đề là phải có những phƣơng pháp tổ chức cơ sở dữ liệu ảnh tốt cùng với những kỹ thuật tìm kiếm, tra cứu ảnh hiệu quả, có độ chính xác cao và có hiệu năng tốt. Việc tìm kiếm đƣợc một bức ảnh mong muốn trong hàng triệu bức ảnh thuộc đủ loại chủ đề khác nhau là rất khó khăn. Khi số lƣợng ảnh trong một bộ sƣu tập còn ít, việc nhận diện một bức ảnh hay việc so sánh sự giống và khác nhau giữa nhiều bức ảnh có thể thực hiện đƣợc bằng mắt thƣờng, tuy nhiên khi có số lƣợng rất lớn ảnh thì việc so sánh bằng mắt thƣờng là rất khó khăn, đòi hỏi phải có những phƣơng pháp hiệu quả và chính xác hơn. Trong thực tế, bài toán tra cứu ảnh số có rất nhiều ứng dụng quan trọng. Ví dụ nhƣ trong lĩnh vực ngân hàng việc so sánh chữ ký của khách hàng với mẫu chữ ký đã đƣợc lƣu trữ sẵn có thể thực hiện rất nhanh và chính xác nếu có đƣợc một phần mềm so sánh mẫu chữ ký tốt. Thực tế hiện nay tại các ngân hàng ở Việt nam ngƣời ta vẫn phải sử dụng phƣơng pháp so sánh bằng mắt thƣờng vì việc so sánh chữ ký bằng phần mềm vẫn chƣa thực hiện đƣợc. Một ví dụ khác là bài toán quản lý biểu trƣng (logo) trong lĩnh vực sở hữu trí tuệ. Khi một đơn vị muốn đăng ký logo riêng cho đơn vị của mình thì cơ quan quản lý phải tiến hành đánh giá xem mẫu logo đó đã đƣợc sử dụng hay chƣa hoặc có tƣơng tự với mẫu logo nào đó đang đƣợc sử dụng hay không. Trong trƣờng hợp này nếu sử dụng mắt thƣờng để duyệt thì sẽ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2 tốn rất nhiều thời gian, nếu có các phần mềm cho phép tìm kiếm trong cơ sở dữ liệu ảnh có sẵn những biểu trƣng tƣơng tự với biểu trƣng mẫu thì việc đánh giá sự tƣơng tự sẽ dễ dàng hơn nhiều. Các ứng dụng phức tạp hơn nhƣ so sánh mẫu vân tay, tìm kiếm ảnh tội phạm v.v là những bài toán tra cứu ảnh đƣợc áp dụng trong ngành khoa học hình sự. Vì vậy, việc xây dựng các hệ thống tìm kiếm và xếp hạng ảnh là rất cần thiết và thực tế đã có nhiều công cụ tìm kiếm ảnh thƣơng mại xuất hiện. Các công cụ tìm kiếm ảnh thƣờng dựa vào hai đặc trƣng chính là văn bản đi kèm ảnh hoặc nội dung ảnh. Trƣớc năm 1990, ngƣời ta thƣờng sử dụng phƣơng pháp tra cứu ảnh theo văn bản (Text Based Image Retrieval). Theo cách này ngƣời ta sẽ gán cho mỗi bức ảnh một lời chú thích phù hợp với nội dung hoặc một đặc điểm nào đó của ảnh, sau đó việc tra cứu ảnh đƣợc thực hiện dựa trên những lời chú thích này. Phƣơng pháp này khá đơn giản. Tuy nhiên, việc tìm kiếm chỉ dựa vào văn bản đi kèm còn có nhiều nhập nhằng giữa nội dung hiển thị ảnh và nội dung văn bản đi kèm ảnh trong quá trình tìm kiếm. Ví dụ, với truy vấn “Apple”, máy tìm kiếm khó phân biệt đƣợc ngƣời dùng muốn tìm hình ảnh quả táo hay logo của hãng Apple. Bên cạnh đó phƣơng pháp tra cứu ảnh dựa theo văn bản không thể áp dụng để tra cứu các cơ sở dữ liệu ảnh có số lƣợng ảnh lớn và kết quả tra cứu thì mang tính chủ quan và cảm ngữ cảnh. Một số công cụ tìm kiếm ảnh theo văn bản đi kèm nhƣ: google Image Search, Yahoo!, MSN,… Một trong những phƣơng pháp đƣợc nhiều ngƣời quan tâm nghiên cứu hiện nay là phƣơng pháp “Tra cứu ảnh dựa theo nội dung” (Content Based Image Retrieval). Ý tƣởng phƣơng pháp này là trích chọn các đặc điểm dựa vào nội dung trực quan của ảnh nhƣ màu sắc, kết cấu, hình dạng và bố cục không gian của ảnh để làm cơ sở cho việc tra cứu, sắp xếp, tổ chức cơ sở dữ liệu ảnh. Một số hệ thống tra cứu ảnh nổi tiếng nhƣ QBIC (IBM), Virage (Virage Inc.), Photobook (MIT), Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3 VisualSEEK (Columbia University) đã áp dụng khá thành công phƣơng pháp tra cứu này. [7],[16],[17] Nội dung của đề tài này giới thiệu cơ sở lý thuyết và các ứng dụng chính của một số phƣơng pháp tra cứu ảnh, trong đó đi sâu vào giới thiệu phƣơng pháp tra cứu ảnh theo nội dung. Trên những cơ sở đó tiến hành thử nghiệm một phƣơng pháp cụ thể để xây dựng một chƣơng trình phần mềm tra cứu ảnh cho phép đọc vào một ảnh mẫu và tìm kiếm những ảnh tƣơng tự với ảnh mẫu trong một tập hợp các ảnh cho trƣớc theo hai đặc điểm là hình dạng và màu sắc của ảnh. Nội dung luận văn ngoài phần mở đầu gồm có ba chƣơng: Chương 1: Trình bày tổng quan vấn đề tra cứu ảnh, giới thiệu sơ lƣợc một số phƣơng pháp tra cứu ảnh và một số hệ thống tra cứu ảnh tiêu biểu. Chương 2: Giới thiệu chi tiết về một số phƣơng pháp trích chọn đặc trƣng ảnh. Chương 3: Giới thiệu một ứng dụng của phƣơng pháp tra cứu ảnh theo nội dung; những hạn chế và khả năng mở rộng của chƣơng trình ứng dụng đó. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 4 CHƢƠNG I: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1. Tra cứu ảnh Những năm gần đây, vấn đề tra cứu ảnh số nhận đƣợc sự quan tâm ngày càng lớn. Nguyên nhân một phần là do sự phát triển của công nghệ chế tạo thiết bị thu nhận và lƣu trữ ảnh số cũng nhƣ sự phát triển mạnh mẽ của mạng Internet. Ngƣời sử dụng trong nhiều lĩnh vực khác nhau có cơ hội để truy cập và sử dụng các kho lƣu trữ ảnh thuộc đủ loại chủ đề và với nhiều kiểu định dạng ảnh khác nhau. Tuy nhiên ngƣời ta cùng nhận thấy rằng việc tìm đƣợc một bức ảnh mong muốn trong bộ sƣu tập ảnh đa dạng có kích thƣớc lớn là rất khó khăn. Tra cứu ảnh là một quá trình tìm kiếm trong một cơ sở dữ liệu ảnh những ảnh thoả mãn một yêu cầu nào đó. Ví dụ, ngƣời sử dụng có thể tìm kiếm tất cả các ảnh về chủ đề về biển trong một cơ sở dữ liệu ảnh hoặc một ngƣời sử dụng khác lại muốn phân loại cơ sở ảnh của mình thành các bộ sƣu tập có chủ đề khác nhau. Một ví dụ khác về tra cứu ảnh là một ngƣời muốn tìm tất cả các ảnh tƣơng tự với một bức ảnh mẫu nào đó trong một cơ sở dữ liệu ảnh. Vấn đề tra cứu ảnh đã đƣợc nhìn nhận rộng rãi và việc tìm kiếm các giải pháp cho vấn đề này trở thành một lĩnh vực rất sôi động, thu hút sự quan tâm của nhiều nhà nghiên cứu và phát triển. Những kỹ thuật tra cứu ảnh số đã đƣợc nghiên cứu từ cuối những năm 70 của thế kỷ 20. Năm 1979 một cuộc hội thảo chuyên đề về "Các kỹ thuật tổ chức cơ sở dữ liệu cho các ứng dụng đồ hoạ" đƣợc tổ chức ở thành phố Florence, Italia. Từ đó đến nay, khả năng ứng dụng cao của các kỹ thuật quản lý cơ sở dữ liệu ảnh đã thu hút sự quan tâm của nhiều nhà nghiên cứu [7]. 1.2. Mô hình hệ thống tra cứu ảnh theo nội dung Phƣơng pháp tra cứu ảnh theo nội dung (Content-Based Image Retrieval) sử dụng các nội dung trực quan của ảnh nhƣ màu sắc, hình dạng, kết cấu (texture) và phân bố không gian để thể hiện và đánh chỉ số các ảnh [7]. Trong một hệ thống tra Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 5 cứu ảnh theo nội dung điển hình (hình vẽ 1.1) các nội dung trực quan của ảnh đƣợc trích chọn và mô tả bằng những véctơ đặc trƣng nhiều chiều. Tập hợp các véctơ đặc trƣng của các ảnh trong một cơ sở dữ liệu ảnh tạo thành cơ sở dữ liệu đặc trƣng. Quá trình tra cứu ảnh đƣợc tiến hành nhƣ sau: ngƣời sử dụng cung cấp cho hệ thống tra cứu một ảnh mẫu cụ thể hoặc hình vẽ phác thảo của đối tƣợng ảnh cần tìm. Sau đó hệ thống sẽ chuyển những mẫu này thành các véc tơ đặc trƣng và tính toán sự giống nhau (hay độ tƣơng tự) giữa véc tơ đặc trƣng của ảnh mẫu và véc tơ đặc trƣng của các ảnh trong cơ sở dữ liệu. Sau cùng việc tra cứu đƣợc tiến hành với sự trợ giúp của các sơ đồ đánh chỉ số. Sử dụng sơ đồ đánh chỉ số là cách hiệu quả để tìm kiếm trong các cơ sở dữ liệu ảnh. Một số hệ thống tra cứu ảnh mới phát triển gần đây còn tích hợp cả chức năng xử lý phản hồi của ngƣời sử dụng để cải tiến các qui trình tra cứu và ra những kết quả tra cứu tốt hơn. Hình 1.1: Mô hình hệ thống Tra cứu ảnh theo nội dung Tạo truy vấn Mô tả Nội dung Trực quan Các Vector Đặc trƣng Cơ sở Dữ liệu ảnh Mô tả Nội dung Trực quan Cơ sở Dữ liệu Đặc trƣng Đánh giá độ tƣơng tự Tra cứu và Đánh chỉ số Kết quả tra cứu Phản hồi thích hợp Người sử dụng Đầu ra Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 6 Trong mô hình này, ngƣời sử dụng sẽ tạo truy vấn bằng cách chọn một ảnh mẫu trong một cơ sở dữ liệu ảnh cho trƣớc hoặc phác thảo một hình vẽ mô tả đối tƣợng ảnh cần tìm bằng cách sử dụng một giao diện đồ hoạ của hệ thống. Ảnh mẫu đó đƣợc đƣa qua khối mô tả nội dung trực quan, trong đó ngƣời ta sử dụng một phƣơng pháp mô tả nội dung trực quan nào đó để trích chọn một đặc điểm nội dung trực quan để xây dựng thành một véc tơ đặc trƣng. Véc tơ đặc trƣng của ảnh mẫu sẽ đƣợc so sánh với véc tơ đặc trƣng tƣơng ứng của các ảnh trong cơ sở dữ liệu ảnh. Kết quả của phép so sánh là một chỉ số đánh giá độ tƣơng tự giữa ảnh mẫu và ảnh lấy ra để so sánh. Dựa vào chỉ số độ tƣơng tự tính toán đƣợc ở trên, hệ thống sẽ sắp xếp các ảnh tìm đƣợc trong cơ sở dữ liệu ảnh theo một sơ đồ đánh chỉ số nào đó. Danh sách các ảnh tìm đƣợc (đã đƣợc sắp xếp) đƣợc đƣa ra đầu ra của hệ thống. 1.3. Một số hệ thống tra cứu ảnh theo nội dung tiêu biểu 1.3.1. Hệ thống QBIC (Query By Image Content) Hệ thống QBIC của hãng IBM là một hệ thống tra cứu ảnh thƣơng mại đầu tiên và nổi tiếng nhất trong số các hệ thống tra cứu ảnh dựa trên nội dung. Nó cho phép ngƣời sử dụng tra cứu ảnh dựa vào màu sắc, hình dạng và kết cấu. QBIC cung cấp một số phƣơng pháp: Simple, Multi-feature, và Multi-pass. Trong phƣơng pháp truy vấn Simple chỉ sử dụng một đặc điểm. Truy vấn Multi-feature bao gồm nhiều hơn một đặc điểm và mọi đặc điểm đều có trọng số nhƣ nhau trong suốt quá trình tìm kiếm. Truy vấn Multi-pass sử dụng đầu ra của các truy vấn trƣớc làm cơ sở cho bƣớc tiếp theo. Ngƣời sử dụng có thể vẽ ra và chỉ định màu, kết cấu mẫu của hình ảnh yêu cầu. Trong hệ thống QBIC màu tƣơng tự đƣợc tính toán bằng độ đo bình phƣơng sử dụng biểu đồ màu k phần tử và màu trung bình đƣợc sử dụng nhƣ là bộ lọc để cải tiến hiệu quả của truy vấn [4]. [...]... đào tạo Giải trí Tìm kiếm trang web Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 9 CHƢƠNG II: MỘT SỐ PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG ẢNH Nếu nhìn một cách tổng quát thì nội dung của một bức ảnh có thể bao gồm cả nội dung trực quan và nội dung ngữ nghĩa Nội dung trực quan của ảnh lại đƣợc phân làm hai loại là nội dung tổng quan và nội dung đặc tả Nội dung tổng quan bao... không gian giữa các đối tƣợng ảnh hoặc giữa các vùng ảnh Nội dung đặc tả thì tuỳ vào từng ứng dụng cụ thể, ví dụ với các ứng dụng tra cứu ảnh ngƣời thì mặt ngƣời hoặc con mắt là các nội dung đặc tả; với các ứng dụng tra cứu ảnh ô tô thì bánh xe là một nội dung đặc tả Nội dung ngữ nghĩa có thể phát hiện thông qua các chú thích hoặc sử dụng các phƣơng pháp suy diễn từ nội dung trực quan Trong khuôn khổ... thay đổi nhỏ nhƣng rất quan trọng Một phƣơng pháp mô tả nội dung trực quan có thể là phƣơng pháp toàn cục hoặc phƣơng pháp cục bộ Phƣơng pháp mô tả nội dung toàn cục sử dụng các đặc trƣng trực quan của toàn bộ bức ảnh còn phƣơng pháp mô tả nội dung cục bộ lại sử dụng những đặc trƣng trực quan của các vùng ảnh hoặc các đối tƣợng ảnh để mô tả nội dung của ảnh Số hóa bởi Trung tâm Học liệu – Đại học Thái... nghệ Excalibur cho phép ngƣời sử dụng tra cứu ảnh bởi nội dung màu, hình dạng, kết cấu, độ sáng, kết cấu màu và hệ số co Ngƣời sử dụng có thể điều chỉnh tỷ trọng của những đặc điểm này trong suốt quá trình tìm kiếm [4] 1.3.5 Hệ thống Imatch Hệ thống này cho phép ngƣời sử dụng tra cứu ảnh bởi nội dung màu, hình dạng, và kết cấu Nó cung cấp một số phƣơng pháp để tra cứu ảnh tƣơng tự: Màu tƣơng tự, màu và... hình ảnh mong muốn Imatch cũng cung cấp những đặc điểm khác nội dung để xác định ảnh: ảnh nhị phân, lƣu trữ trong những định dạng khác và những ảnh có tên tƣơng tự [4] 1.4 Một số ứng dụng cơ bản của tra cứu ảnh Tra cứu ảnh đƣợc ứng dụng trong rất nhiều lĩnh vực, những lĩnh vực thành công bao gồm: Ngăn chặn tội phạm Quân sự Quản lý tài sản trí tuệ Thiết kế kiến trúc máy móc Thiết kế thời trang và nội. .. tả đƣợc nội dung cục bộ trƣớc hết ngƣời ta phải chia ảnh thành các phần riêng biệt Cách đơn giản nhất để phân chia ảnh là sử dụng một bộ phân hoạch chia ảnh thành các ô có kích thƣớc và hình dạng giống nhau Cách phân chia đơn giản nhƣ vậy không tạo ra đƣợc những vùng ảnh có ý nghĩa thực sự nhƣng nó là cách đơn giản để biểu diễn nội dung toàn cục của ảnh với độ chính xác cao hơn Một phƣơng pháp phân... các quan hệ không gian của các đối tƣợng ảnh 2.1 Phƣơng pháp trích chọn theo mầu sắc tổng thể và cục bộ [6],[7],[11] Tra cứu ảnh dựa trên màu sắc hầu hết là biến đổi dựa trên ý tƣởng giống nhau của các biểu đồ màu Mỗi ảnh khi đƣa vào tập hợp ảnh đều đƣợc phân tích, tính toán một biểu đồ màu Sau đó, biểu đồ màu của mỗi ảnh sẽ đƣợc lƣu trữ trong cơ sở dữ liệu Khi tìm kiếm, ngƣời sử dụng có thể xác định... biểu diễn nội dung màu của mỗi ảnh nên việc sử dụng moment màu để biểu diễn véc tơ đặc trƣng màu là rất đơn giản nếu so sánh với các phƣơng pháp biểu diễn khác Và cũng chính do sự đơn giản đó nên phƣơng pháp này cho kết quả khá hạn chế Thông thƣờng, phƣơng pháp biểu diễn bằng moment màu đƣợc sử dụng trong những bƣớc đầu tiên của quá trình tra cứu ảnh với mục đích làm giảm kích thƣớc không gian tìm kiếm... dụng các phƣơng pháp phức tạp hơn để tra cứu 2.1.4 Biểu đồ màu (Color Histogram) Biểu đồ màu là cách hiệu quả để biểu diễn nội dung màu của một bức ảnh trong trƣờng hợp mẫu màu của bức ảnh đó là duy nhất trong tập hợp các ảnh trong cơ sở dữ liệu Biểu đồ màu dễ tính toán và rất hiệu quả để biểu diễn cả sự phân bố màu tổng quan và sự phân bố màu cục bộ của ảnh Ngoài ra, biểu đồ màu không bị ảnh hƣởng bởi... tơ đặc trƣng thu đƣợc khi sử dụng các phƣơng pháp biến đổi dạng sóng khác nhau, ngƣời ta thấy rằng việc lựa chọn bộ lọc dạng sóng không ảnh hƣởng lớn lắm đến các phân tích kết cấu ảnh 2.3 Phƣơng pháp trích chọn đặc trƣng theo hình dạng [3],[6],[7] Các đặc điểm phát hiện biên của các vùng ảnh và các đối tƣợng ảnh đƣợc sử dụng trong rất nhiều hệ thống tra cứu ảnh So với các đặc điểm về màu sắc và các Số . thuật quản lý cơ sở dữ liệu ảnh đã thu hút sự quan tâm của nhiều nhà nghiên cứu [7]. 1.2. Mô hình hệ thống tra cứu ảnh theo nội dung Phƣơng pháp tra cứu ảnh theo nội dung (Content-Based Image. pháp tra cứu ảnh dựa theo văn bản không thể áp dụng để tra cứu các cơ sở dữ liệu ảnh có số lƣợng ảnh lớn và kết quả tra cứu thì mang tính chủ quan và cảm ngữ cảnh. Một số công cụ tìm kiếm ảnh. toàn bộ nội dung bản luận văn theo đúng nội dung đề cương cũng như nội dung mà cán bộ hướng dẫn giao cho. Nội dung luận văn này là do tôi tự sưu tầm, tra cứu và sắp xếp cho phù hợp với nội dung