Nguyễn Thị Oanh Bộ môn HTTT – Viện CNTT & TT oanhnt@soict.hut.edu.vn Chương 4: Tìm kiếm DL ĐPT P2: Dữ liệu ảnh 1 Nội dung 2  Tổng quan  Biểu diễn ảnh – trích chọn đặc trưng – Đặc trưng toàn cục: Shape – texture - color – Đặc trưng cục bộ:  Phân đoạn (segmentation)  Key points (characters points)  Đánh chỉ mục (chỉ số hóa) (indexing)  Đối sánh ảnh: tương tự, không gian 64 60 69 100 149 151 176 182 179 65 62 68 97 145 148 175 183 181 65 66 70 95 142 146 176 185 184 66 66 68 90 135 140 172 184 184 66 64 64 84 129 134 168 181 182 59 63 62 88 130 128 166 185 180 60 62 60 85 127 125 163 183 178 62 62 58 81 122 120 160 181 176 63 64 58 78 118 117 159 180 176 Mức xám - 8 bits: 0 - đen 255 - trắng Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel). Ảnh và lưu trữ 3 210 209 204 202 197 247 143 71 64 80 84 54 54 57 58 206 196 203 197 195 210 207 56 63 58 53 53 61 62 51 201 207 192 201 198 213 156 69 65 57 55 52 53 60 50 216 206 211 193 202 207 208 57 69 60 55 77 49 62 61 221 206 211 194 196 197 220 56 63 60 55 46 97 58 106 209 214 224 199 194 193 204 173 64 60 59 51 62 56 48 204 212 213 208 191 190 191 214 60 62 66 76 51 49 55 214 215 215 207 208 180 172 188 69 72 55 49 56 52 56 209 205 214 205 204 196 187 196 86 62 66 87 57 60 48 208 209 205 203 202 186 174 185 149 71 63 55 55 45 56 207 210 211 199 217 194 183 177 209 90 62 64 52 93 52 208 205 209 209 197 194 183 187 187 239 58 68 61 51 56 204 206 203 209 195 203 188 185 183 221 75 61 58 60 60 200 203 199 236 188 197 183 190 183 196 122 63 58 64 66 205 210 202 203 199 197 196 181 173 186 105 62 57 64 63 x = 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 y = Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel). x y Ảnh và lưu trữ 4 Ảnh và lưu trữ 5  Ảnh là tín hiệu 2D (x,y)  Về mặt toán học: – Ảnh là một ma trận biểu diễn tín hiệu  Đối với người dùng: – Ảnh chứa các thông tin về ngữ nghĩa Phân loại ảnh 6  Ảnh tự nhiên: ảnh thu nhận từ các thiết bị – camera, microscope, tomography, infrared, satellite, …  Ảnh nhân tạo: tạo ra từ các phần mềm chuyên biệt – Đồ họa máy tính (computer graphics), thực tại ảo (virtual reality) Ảnh tự nhiên ảnh nhân tạo Ảnh nhân tạo Ảnh mức xám I(x,y)  [0 255] Ảnh nhị phân I(x,y)  {0 , 1} Ảnh màu I R (x,y) I G (x,y) I B (x,y) Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel). 7 Phân loại ảnh Ảnh màu trong hệ tọa độ RGB Bên cạnh hệ tọa độ màu RGB ta còn có các hệ tọa độ màu khác Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel). 8 Cơ sở dữ liệu ảnh 9  2 kiểu CSDL ảnh: – CSDL chung (General database) : Photo collection, Internet – CSDL hẹp/cụ thể (Specific database): face database, medical database CSDL ảnh (…): General database 10  General database : Photo collection, Internet – Nội dung đa dạng, không đồng nhất – Biểu diễn dựa trên các đặc trưng chung (shape, color, texture, ) – Vùng ứng dụng rộng [...]...CSDL ảnh (…): Specific database  Specific database: Nội dung khá thuần nhất – Thường dành cho các ứng dụng đặt biệt (ảnh sinh trắc học (- bimometry, ảnh y học – medical images) – Đặc trưng được trích chọn tùy thuộc vào mỗi lĩnh vực ứng dụng 11 http://rad.usuhs.edu/medpix/master.php3?mode=slide_sorter&pt_id=13985 Tìm kiếm ảnh  Tìm các bức hình của « Steve Jobs » ?... dung  Đặc điểm: – Truy vấn chứa hình ảnh – Mục đích tìm kiếm : «tương tự »: đối sánh không chính xác  Trích chọn tự động các đặc trưng và tìm kiếm dựa trên độ tương tự giữa các đặc trưng  Lĩnh vực nghiên cứu đang được quan tâm  Truy vấn: – Bằng ví dụ – Bộ phận 17 – Bằng hình vẽ (Sketch) Kiểu truy vấn: dựa trên nội dung  Vấn đề: – Nội dung đa dạng – Khối lượng dữ liệu cần xử lý lớn và thường trùng... Numeric gap – Vấn đề về ngữ nghĩa: Semantic gap  VD: làm thế nào để biết 1 người đang vui /buồn 18 CBIR 19 Source: Slides of Muriel Visani CBIR – các bước chính  Trích chọn đặc trưng (Biểu diễn ảnh) :  Đánh chỉ mục để tăng hiệu năng tìm kiếm (xem chương 3)  Lựa chọn thước đo độ tương tự ? 20 Trích chọn đặc trưng 21 Biểu diễn ảnh – trích chọn đặc trưng  Đặc trưng toàn cục: – Màu sắc, hình dáng, kết cấu,... EigenFaces, … 22 Đặc trưng toàn cục 23 Đặc trưng màu sắc  Histogram: 1 đặc trưng màu sắc – Thể hiện sự phân bố màu sắc trên ảnh  Cách tính: – Lấy mẫu màu của ảnh VD, ảnh màu 24 bit : 8 x 8 x8 màu (bin) – Tính số điểm ảnh tương ứng với mỗi màu  chuẩn hóa: chia cho số điểm ảnh  H   h1 , h 2 , , h n , hi  0,1,  hi  1 i 24 Đặc trưng màu sắc  Khoảng cách dựa trên phân bố màu: – thường sử dụng... truy vấn: từ khóa  Tìm các bức hình của « Steve Jobs » ?  Được sử dụng rộng rãi nhất: Google, youtube, … 13 Kiểu truy vấn: từ khóa  Hạn chế: – Từ khóa được lấy từ:  Văn bản xung quanh ảnh (Google Image, Google Video)  Đánh dấu thủ công  giá thành cao – Nhập nhằng: chọn từ khóa thế nào ?  Tính chủ quan của người đánh dấu keyword-image  Phụ thuộc ngôn ngữ  Phụ thuộc ngữ cảnh 14 Kiểu truy vấn:... phải với phân bố màu  Vấn đề gặp phải: – Không tính đến sự gần giống giữa các màu trong các màu (bin) gần nhau – Việc phân bố trong không gian các màu điểm ảnh: 2 ảnh khác nhau, histogram có thể giống nhau 27 Vấn đề gặp phải với phân bố màu – Ảnh hưởng của nền: d(I1,I2) ? d(I1, I3) I1 I3 I2 – Phụ thuộc cách biểu diễn màu (không gian màu), phụ thuộc thiết bị, … 28 Đặc trưng kết cấu  Kết cấu (texture)...  (i  j) CM 2 d i j 2 – Độ tương phản: i – Entropy (i, j ) j   CM d (i, j ) log(CM d (i, j )) i 34 d j Đặc trưng hình dạng  Các biểu diễn dựa trên đường biên (contour)  Chuỗi mã hóa, sấp xỉ đa giác, B-splines, …  Chu vi, tỷ số nén, độ lệch tâm, …  Các biểu diễn dựa trên vùng (region)  Bao lồi, trục trung vị, …  Diện tích, moments hình học (invariant moments), 35 Ví dụ: chuỗi mã hóa Freeman... Đặc trưng kết cấu (…) Một vài ví dụ 31 Đặc trưng kết cấu (…)  Kết cấu có thể mô tả dựa trên – Phân tích thống kê  Tham số tính từ biểu đồ phân bố màu (histogram)  Phân tích ma trận đồng xuất hiện (Co-occurrence matric)  Đặc trưng Haralick – Phân tích trên miền tần số  Biến đổi Fourrier  Biến đổi Gabor, … – Mô hình 32 Đặc trưng kết cấu(…)  Ma trận đồng xuất hiện: CM d , (ci , c j )  card ({ p1 . Nguyễn Thị Oanh Bộ môn HTTT – Viện CNTT & TT oanhnt@soict.hut.edu.vn Chương 4: Tìm kiếm DL ĐPT P2: Dữ liệu ảnh 1 Nội dung 2  Tổng quan  Biểu diễn ảnh – trích chọn đặc. ảnh Ảnh màu trong hệ tọa độ RGB Bên cạnh hệ tọa độ màu RGB ta còn có các hệ tọa độ màu khác Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel). 8 Cơ sở dữ liệu ảnh 9 . (computer graphics), thực tại ảo (virtual reality) Ảnh tự nhiên ảnh nhân tạo Ảnh nhân tạo Ảnh mức xám I(x,y)  [0 255] Ảnh nhị phân I(x,y)  {0 , 1} Ảnh màu I R (x,y) I G (x,y) I B (x,y) Source :