TAP CHÍ KHOA HỌC ĐHQGHN, KHTN & CN, T x x , Sổ 2004 XÂY DựNG GIẢI THUẬT VÀ KIÊN TRÚC PHAN MEM t ìm k iê m ẢNH DựA TRÊN TẬP CÁC ĐẶC TRƯNG Huỳnh Quyết Thắng Khoa Công nghệ Thông tin, Đại học Bách Khoa Hà Nội I ĐẶT VẤN ĐỂ Bài tốn nhận dạng tìm kiếm ảnh dựa nội dung mô tả: với ảnh có sẵn mơ tả hảy tìm ảnh tương tự sở liệu Quy trình thực n h ậ n dạng tìm kiếm ảnh hình 1, hai nhiệm vụ cần giải gồm có: (1)- Trích chọn đặc trưng ảnh, (2) So sánh ảnh [1] Ánh Truy vản Cốc phuong phép đac tả/ thể hrén ành Tépcac vocto đêc trưng cửe ả n h truy ván Các thòng sò chình sữa So sa nh ảnh Tốp ảnh CSDL Cốc phuong pháp đỡc tô/ ♦hể hién ảnh C S D l CỐC đàc trưng ảnh Két QUO truy vén Chì sò hoa va tim kiern Tốp két quà tim kiem Hình 1: Quy trinh thực nhặn dạng tim kiếm ảnh Nhiệm vụ 1- Trích chọn đặc trưng ảnh (Feature Extraction): Đặc trưng để nhận dạng thuộc tính trực quan ảnh màu sắc hình dạng, kết cấu, thuộc tính thống kê thuộc tính vể tần sơ' Khi nhận dạng sử dụng kết hợp nhiểu đặc trưng Tập đặc trưng ảnh gọi véc tơ đặc trưng Véc tơ đặc trưng rú t gọn ânh (2) Nhiệm vụ - So sánh ảnh Để so sánh ảnh, người ta chuyển toán so sánh độ tương tự đặc trư n g ảnh: Có hai ảnh Ij, I2và Fj, F2 tập đặc trưng tương ứng hai ảnh Fị có n phần tử Fo có m phần tử F, =[/■„ |i = 0.1, ,.J } F2 = (/ị/lý = 0,1, ,.jn } Thông thường người ta chọn m = n giá trị xác định Một phép đo độ tương tự thường sử dụng tính tỷ lệ giơng hai đặc trưng tương ứng: d, = \fị, - / 2,1 (/ = 0, ,n) Nếu di < dnguong đặc trưng thứ i hai ảnh giống Để xác định hai ảnh có giống khơng ngưòi ta xét tỷ lệ giống tập đặc trưng Hai ảnh thường quan niệm có lớn 60% đặc trư ng giống n hau tuỳ thuộc loại ảnh xét [1,3] Giá trị dnguong xác định dựa vẻu cầu độ xác, kinh nghiệm thực tiễn người xây dựng hệ thống tấ t nhiên phụ thuộc vào loại ảnh Khoảng cách hai 35 36 tập đặc trư n g tính nh sau: D} = Y | f u i=0 H u ỳ n h Q uy ết T h ắn g I D: = ĩỵ^ư u - fiiỶ Khoảng cách có ! i=0 thể xem nghịch đảo độ tương tự hai ảnh Hai ảnh coi giống nh au D! D , nhỏ giá trị giá trị ngưỡng tương ứng II TRÍCH CHỌN ĐẬC TRƯNG ẢNH DựA TRÊN MÀU SAC VÀ LƯỢC Đ ổ MÀU II Biểu đổ phân bố m àu sắc tồng thể - Histogram phân bố m àu sắc cục t r ê n t n g v ù n g lưởi ả n h (Grid) Biểu đồ ph ân bố* m àu sắc tổng thẻ (GCH Global Color Histogram) cách tiếp cận đơn gian thông dụng đê mă hố thơng tin màu sắc phục vụ nhặn dạng tìm kiếm dựa nội dung Một GCH mô tả tập sô' (mỗi số ứng với màu), số có giá trị cho bơi hàm p(ck) = nk/n ck màu thứ k không gian màu đã'được lượng tử hố, nk số điểm có màu ck n tổng số điếm ảnh P hân bố m àu sắc ản h biểu diễn không kèm theo thơng tin vị trí khơng gian hay hình dạng vùng màu, ảnh hồn tồn khác n hau hình dạng có thè có GCH Do nhận dạng tìm kiếm ảnh sủ dụng GCH thưòng cho kết sai đặc biệt thực sỏ liệu lớn Nêu xét phân bô m àu sắc tồn ảnh khơng có thơng tin vị trí xuất màu ảnh Do ảnh chia th àn h ô nhỏ tính histogram trê n Lợi điểm cúa cách tiếp cận mã hố nhiều thơng tin so với GCH Ngồi phân bơ' m àu sắc ảnh, thêm vào cỏ vị trí khơng gian màu sắc ản h phân tích th n h nhiều có kích thước cô' định (thường không chèn lên nhau) với đó, tách histogram màu sắc cục Cách tính histogram m àu sác cục giơng GCH, tín h cho vùng cục ô thay tồn ảnh Một ảnh chia làm 64 ô biêu diễn 64 histogram màu cục hộ cho ô Khi nhận dạng, hai histogram hai ảnh nhỏ tương ứng so sánh vỏi Kiểu phản tích ảnh có thê xem cách đế phân đoạn ảnh, có nhiều phương án phân lưới khác n h a u [3] II.2 Biểu đồ phân bô theo không gian màu - Color Shape H istogram Cách tiếp cận có thê xem mỏ rộng của cách tiếp cận phân lưới Cách làm giảm khỏng gian lưới qua việc lợi dụng đặc điểm có số tương đơi nhỏ m àu xuất ảnh Sử dụng ý tưởng phân bô" theo không gian m àu, m àu sắc không x u ất ảnh khơng cần phải biêu diễn, đặc tính ả n h tách gọn Xét ảnh chia th àn h ô không đè lên nh au cách tiếp cận lưới Một CSH cho m àu c tập sô" (mỗi số cho ô) giá trị tín h p(cellk) = nk/n Trong hàm này, cellk ô th ứ k ảnh, Tạp c h ỉ Khoa học D H Q G H N K H T N C N I XX sô'2 2004 37 Xây dựng giải thuật kiến trúc phần m ém tìm kiếm ánh dựa nk sô" điểm ô thứ k vối màu c n tống sô" điểm ảnh Một ảnh tạo th àn h từ N m àu sê mô tả N CSHs, mô tả phân bố vị trí màu Theo cách phân tích này, màu khơng xuất ảnh, tồn histogram khơng cần phải biểu diền hay lưu trữ Sô' màu xuất ản h r ấ t nhiều so với tổng sô" màu không gian ảnh Hơn cách tiêp cận c s có thê biểu diễn trực tiếp vị trí xuất màu sắc ảnh, cách tiêp cận lưới cần bước xử lý lấy thông tin II.3 P h â n tíc h W avelet P h ân tích wavelet tương tự phân tích Fourier theo nghĩa chia tín hiệu th n h phần tử đề phân tích Biến đối wavelet tách tín hiệu th n h “w avelet” nó, co dãn, dịch từ “wavelet gốc” (mother wavelet) Điều kiện đê hàm thực phân tích Wavelet tích phân bình phương wavelet hữu hạn, nghía hàm ụ(t) thoả mãn: ị\iị/Ụ) \ dt 0,/? € R Lợi t h ế đặc trưng có thê xây dựng khơng gian đo tín h tốn nhanh, u cầu khơng gian lưu trữ nhỏ cho ảnh dừ liệu Phân tích wavelet hai chiểu ảnh cung cấp sở tốt đê xây dựng khơng gian P hân tích wavelet cho phép xấp xỉ ảnh rấ t tốt với r ấ t hệ sơ Thơng thường theo mơ hình này, hệ sơ wavelet có giá trị cao n h ấ t mỏi sử dụng Phân tích wavelet có thê sử dụng đê tách mã thơng tin biên ảnh Các hệ sơ' phân tích wavelet cung cấp thông tin phụ thuộc vào độ phân giải ảnh gốc Do mơ hình dựa wavelet cho phép ản h truy vấn ảnh liệu tách r ấ t hiệu Phân tích wavelet r ấ t n h a n h dễ tính tốn, u cầu thòi gian tuyến tính với kích thước ảnh [10] Trong [4, 6] đê xuất th u ậ t toán: Trong bước tách đặc trưng, ả n h sở dừ liệu phân tích phép biểu diễn w avelet chuẩn hai chiều với hàm gốc Haar, ghi lại tru n g bình m àu tổng thê số giá trị m hệ sơ" wavelet có biên độ lỏn Các sơ" cho tồn sở liệu ảnh sau tổ chức th n h cấu trúc dừ liệu đơn riêng chương trình đê tơi ưu q trìn h tìm kiếm S au đó, ảnh tru y vấn củng thực phân tích wavelet vậy, bỏ qua tấ t hệ sô" trừ m hệ sơ tru n g bình m àu lớn Một phân tích wavelet hai chiều chuẩn theo hàm gốíc H a ar r ấ t đơn giản đê cài đặt Nó bao gồm phân tích chiều hàng ảnh, phân tích chiều theo cột kết Phân tích trình bày giải th u ậ t [4] Tạp ch i Khoa học Đ H Q G H N , K H T N & C N r.xx s ổ 2004 H u ỳ n h Q uyết T h ắn g 38 Proc WaveletTransform(A:array[0 h-l] of color) A = A/ sqrỉ(h) While h>l do: ' h = M2 for i=0 to h-l do: A '/// =(AỊ2iJ+Al2i+l])/sqrt(2) A 7V+/7 =(A[2iJ-A[2i+1J)isqrt(2) end for A =A’ End while End proc Giải thuật I Phàn tích wavelet theo Haar Proc DecomposelmageịT’.array[0.J'-1,0 r-I] of color) For row = / to r WaveletTransform(T 1row,0 r-11) End for For col = I to r WaveletTransform(T10 r-1,coIJ) End for End proc Giải thuật Phán tích ảnh sử dụng wavelet Trong đoạn giả mã giải th u ậ t 1, đầu vào A giả sử th n h phần màu ba chiều, chiều chạy khoảng [0,1] S ố phép tính số họcđược thực th n h phần màu khác Tồn ảnh T kích thước rxr có thê phân tích giải th u ậ t Sau q trình phân tích, T[0,0] tỷ lệ vói tru n g bình màu tồn ảnh, phần khác T chứa hệ sô wavelet Cuối cùng, T[0,0] sô' dấu m hệ sô" wavelet lớn n h ất T giữ lại Đế tối ưu tiến trìn h tìm kiêm, m hệ sơ wavelet lại tố chức thành tập mảng, gọi m ảng tìm kiếm, mảng tổ hợp dấu (+ -) kênh m àu (R,G,B) II.4 Một sô kỹ t h u ậ t đề x u ấ t n h ằ m cải tiế n t h u ậ t to n Các nhận xét: (1) Nhận dạng color shape xác khơi lượng tín h tốn gấp nhiều lần nhận dạng histogram (2) Một đặc điểm quan trọng nhận dạng histogram nói khơng bỏ sót Nếu ảnh liệu giơng ảnh truy vấn sê chắn có kết K ết lu ậ n : Nếu dùng histogram đê nhận dạng thơ cho phép th u hẹp khơng gian tìm kiếm r ấ t nhiều Trên kết tìm kiêm histogram sè thực tìm kiếm Color Shape Wavelet Như trình thực tìm kiêm thực theo mơ hình phân cấp sau: Bước Tìm kiếm thơ: áp dụng bước 1) Tìm kiếm histogram tổng thể ảnh 2) Sắp xếp kết theo độ giơng Bước Tìm kiếm xác: áp dụng phướng pháp 1) T h u ậ t toán nhận dạng dựa color shape 2) So sánh nhận dựa hệ sô" wavelet Trên sỏ mơ hình có thê tổng hợp th n h quy trìn h tìm kiếm ảnh dựa hai bươc Chi tiết th u ật tốn mơ tả mục III Tạp chí Khoa học Đ H Q G H N , K H T N ổc C7V T.xx ịỏ'2 2004 Xây dựng giải thuật kiến trúc phần m é m tìm kiếm ánh dựa trẽn III MÒ TẢ THUẬT TOAN TổNG t h e t íc h h ợ p v i c c c ả i t i ê n đ ể - Hình 2: Hoạt động hệ thống tìm kiếm ảnh 39 XUÂT Quy trìn h tách đặc trưng hai giai đoạn tạo sở liệu trước truy vấn Đặc trưng sử dụng bao gồm đặc trưng màu sắc, biểu diễn đa phân giải sử dụng biến đối wavelet (Xem hình 2) Hình minh hoạ trình tách đặc trưng wavelet hình minh hoạ trìn h tách đặc trư n g màu sắc sử dụng Đặc trưng vê histogram tơng thể qua bước lọc nhiễu để tăng độ xác nhận dạng Các đặc trưng nhận dạng ị T ách th àn h À a li đau phản, m àu thiết k ế th n h lớp Mỗi lớp bao gồm vao thuộc tính giá trị đặc trưng, hàm đế tách đặc trưng từ ảnh hàm đê so sánh hai ảnh Đặc trưng vê m àu sắc bao gồm histogram V é c lơ colorshape histogram lưu trữ d c in m g xử lý lớp CSH Cách tính w a v e lf i histogram theo lưới không sử dụng đế nhận dạng khơi lượng tính tốn lớn lưu trữ sở liệu Hình 3: Quá trình tách đặc trưng wavelet ảnh r ấ t tôn không gian Các hệ số biến đổi wavelet tru n g bình màu lưu xử lý lớp CWavelet Đặc Histogram trưng ảnh lưu trữ tệp tổqg thể 64 CSDL Trong phần mềm, chúng tơi sử ÃahđầK ~ F tó ũ \ 64aoh dụng thử nghiệm sở liệu đặc vào cạc cục trưng ảnh SQL Server, ảnh đầu vào tách lấy đặc trưng đặc Color T É histogram trưng sử dụng để tìm kiếm ctntirqg máu Đặc trưng m àu sắc histogram tổng thể colorshape nhận Hình 4: Q trình tính 'dặc trưng vê màu sắc: Histogram dạng cách khôi phục véc tơ ColorShape đặc trưng ảnh sở liệu so sánh với véc tơ đặc trưng ảnh truy vấn Nếu kết so sánh lớn ngưỡng (chúng tơi thử nghiệm vói giá trị mặc định 60%) giữ lại tập kết Tạp chí Khoa học Đ H Q G H N K H T N & C N T.xx, s ố 2004 H uỳnh Q uy ết T háng 40 Các ảnh sở liệu so sánh với ảnh truy vấn kết xếp theo thứ tự giảm dần Những ảnh có kết lớn ngưởng n ảnh có kết cao cho vào tập tìm thấy Việc truy vấn tuỳ thuộc vào lựa chọn chế tìm kiếm người sử dụng Có thể chọn đế thực tìm kiếm phân cấp theo hai bước: tĩm kiếm thô tìm kiếm xác Các ngưỡng củng người sử dụng lựa chọn phù cho phù hợp với loại liệu Giá trị ngưõng khoảng từ 50-90% Chương trình phần mềm xây dựng VC6.0, thử nghiệm tiến hành máy tính Pentium III, tốc độ 700 Mhz, RAM 256 MB Cơ sở liệu ảnh (3000 ảnh) sử dụng từ www.ece.gatech.edu I users Igt037la I lin k.h tm l ảnh tải vê từ In tern e t từ Website vnexpress.net w w w vnn.vn Các thử nghiệm cho thấy: + Nếu ảnh có sở liệu chắn tìm thấy cách sử dụng đặc trưng + Vối ảnh thu nhỏ sử dụng đế tìm thấy ảnh thật sở liệu .«■ừaattMgMMKivùNe Ed* flew D ữè u o ầ &3 EỊEỊEỊ 0 fcata Iooớs tớelp ô?ằ'#** + Tc tỡm kim l chấp nhận so sánh với phần mềm miễn phí mà chúng tơi có [l,3,7](với CSDL 400 ảnh, tru n g bình thòi gian tìm kiếm 2.125 giây, 1000 ảnh - 5.235 giây, 2000 ảnh 11.234 giây) IV KẾT LUẬN Xây dựng trình tìm kiếm ảnh theo nội dung theo hai bước: tìm kiếm thơ tìm kiếm xác làm tăng Ready đáng kể tốc độ tìm kiếm ảnh Hình 5: Giao diện chương trinh Vì chất thực theo th u ật toán nhận dạng phân cấp hai bước nên có thời gian tìm kiếm thơ tuyến tính theo kích thước sở liệu Còn nhận dạng xác phụ thuộc vào kết tìm kiếm thơ Các cài đặt thử nghiệm cho thấy với mơ hình tìm kiếm áp dụng phát triển sở xây dựng giải th u ậ t khác sử dụng đặc trưng Entropy, Color Correlogram Hiện hướng nghiên cứu tập trung vào xếp ảnh theo sô' giải th u ậ t sử dụng đặc trưng kết cấu'ảnh (texture) có nhiều tính chất tôt cho việc phân lớp ảnh so sánh ảnh Ngồi ứng dụng mơ hình phân cấp hai bưốc với giải th u ậ t thích hợp nhận dang theo nọi dung ảnh y học DICOM [8], ản h chụp thiên tai, chụp vệ tinh nghiên cứu thử nghiệm Tạp chi Khua học Đ H Q G H N , KtrrN & CN T.xx, s ố 2004 41 Xây dựng giải thuật kiến trúc phân m ề m tìm kiếm ánh dựa TÀI LIỆU THAM KHẢO Paul w Fieguth, Riyin Wan, Fast retrieval methods for images with significiant variations, International Conference on Image Processing (ICIP 2000), Vancouver, BC, Canada, September , 2000, pp.10-13 Jiri Walder, Using 2-D wavelet analysis for matching two images, Technical Report, University o f Ostrava Czech Republic, N.3, 2001, pp 15-21 Charles E Jacobs Adam Finkelstein David H Salesin, Fast multiresolution image querying, Department of Computer Science and Engineering University of Washington, http:I /grail.cs.washington.edu /projects / query / m rquery.pdf John R.Smith, Shih-Fu Chang, Quad-tree segmentation for texture-based image query, Proceedings of the second ACM international conference on Multimedia, San Francisco, California, United States, 1994, pp 279 - 286 Y Rubner and c Tomasi, Perceptual Metrics for Image Database Navigation Kluwer Academic Publishers, Boston, December 2000, 137p V Gudivada and V Raghavan, Content-based image retrieval systems, IEEE Computer, vol 28, 1995, pp 18-22 Huỳnh Quyết Thắng, Lê Tấn Hùng, ứ n g dụng thư viện BKGRAPHICS xây dựng phần mềm xử lý ảnh y học V-doctor theo chuẩn DICOM”, Báo cáo FAIR 2003 uHội thảo Khoa học Quốc gia lần thứ - Nghiên cửu ứng dụng Công nghệ thông tin”, Hà Nội, 4-5 / 10 / 2003, 7tr VNU JOURNAL OF SCIENCE, Nat., Sci., & Tech., T x x , N02 , 2004 DEVELOPING ALGORITHM AND SOFTWARE ARCHITECTURE FOR MULTI FEATURE-BASED IMAGE SEARCHING Huynh Q uyet Thang F aculty o f Inform ation Technology H anoi U niversity o f Technology Content-based image retrieval, which provides convenient ways to retrieve images from large image databases, has been studied actively We presented a software architecture which performs im agepresentatiog by the m ain featrures: color, histogram and colorshape An algorithm to m easuresim ilarity of two image features base on the wavelet transform of the Histogram and Colorshape features and implementation results also presented K e y w o rd : content-based feature, image shape, histogram Tạp ch i Khoa học Đ H Q G H N , K H T N & C N , image retriveval, T.xx, so 2, 2004 wavelet transform ation, image ... ịỏ'2 2004 Xây dựng giải thuật kiến trúc phần m é m tìm kiếm ánh dựa trẽn III MÒ TẢ THUẬT TOAN TổNG t h e t íc h h ợ p v i c c c ả i t i ê n đ ể - Hình 2: Hoạt động hệ thống tìm kiếm ảnh 39 XUÂT... 64aoh dụng thử nghiệm sở liệu đặc vào cạc cục trưng ảnh SQL Server, ảnh đầu vào tách lấy đặc trưng đặc Color T É histogram trưng sử dụng để tìm kiếm ctntirqg máu Đặc trưng m àu sắc histogram tổng... th ứ k ảnh, Tạp c h ỉ Khoa học D H Q G H N K H T N C N I XX sô'2 2004 37 Xây dựng giải thuật kiến trúc phần m ém tìm kiếm ánh dựa nk sơ" điểm ô thứ k vối màu c n tống sô" điểm ảnh Một ảnh tạo