HVTH: 1211044 – Trần Gia Minh 1211049 – Lưu Minh Ngọc 1211052 – Nguyễn Toàn Nhân 1211054 – Nguyễn Thanh Phúc 1211004 – Huỳnh Lê Hoài Bắc MÔ HÌNH TÚI ĐẶC TRƯNG, GÁN MỀM VÀ YẾU TỐ KHÔNG GIAN GVHD: TS. Lý Quốc Ngọc ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Nội dung  Mô hình giỏ đặc trưng  Mô hình gán mềm  Mô hình yếu tố không gian Mô hình giỏ đặc trưng Mô hình túi từ ( Bag of Words – BOW )  Được sử dụng thành công trong bài toán phân loại văn bản.  Một văn bản sẽ được mô tả theo mô hình bởi lược đồ tần suất xuất hiện của các từ trong văn bản đó. Mô hình túi từ ( Bag of Words – BOW ) Các bước thực hiện mô hình BOW:  Bước 1: Trích chọn tập đặc trưng cục bộ cho mỗi đối tượng  Bước 2: Gom nhóm đặc trưng, mỗi nhóm tạo thành một từ (word). Tập các từ tạo thành từ điển (codebook)  Bước 3: Mỗi đối tượng sẽ được biểu diễn bởi một lược đồ tần suất xuất hiện của các từ.  Bước 4: Khi đưa một đối tượng vào truy vấn sẽ thực hiện lại 3 bước trên sau đó tiến hành phân lớp đối tượng đó. Mô hình túi từ ( Bag of Words – BOW ) [1] Bag-of-features for category classification - Cordelia Schmid - 2011 Mô hình túi từ ( Bag of Words – BOW )  Ưu điểm:  Đơn giản, dễ dàng tính toán  Bất biến với các phép biến đổi cũng như đối tượng che khuất, chiếu sáng và sự biến động giữa các đối tượng trong cùng một lớp.  Nhược điểm:  Thuật toán gom nhóm  Đặc trưng, kích thước từ vựng  Gán trọng số cho lược đồ. Mô hình giỏ đặc trưng Khi mô hình BOW được áp dụng trong lĩnh vực thị giác máy tính thì việc áp dụng này dựa trên biểu diễn đặc trưng của các điểm trọng yếu. Mỗi đặc trưng sẽ tương tứng với một từ. Mô hình giỏ đặc trưng  Bước 1: Rút trích đặc trưng (Phát hiện điểm trọng yếu và mô tả điểm trọng yếu) Phương pháp: • Harris affine detector • SIFT descriptors • … Mô hình giỏ đặc trưng  Bước 2: Gom nhóm đặc trưng tạo thành từ điển (codebook) Các phương pháp gom nhóm • K-means • Gaussian mixture model • … [...]... Discriminative Visual Codebooks using Randomized Clustering Forests - Frank Moosmann, Bill Triggs and Frederic Jurie Mô hình gán mềm Mô hình gán mềm  Soft assignment là một kỹ thuật nhận biết các giá trị liên tục dựa vào các giá trị lân cận nhau Mô hình gán mềm  Sử dụng một vector trọng số được gán vào các vùng lân cận  Giá trị của trọng số phụ thuộc vào khoảng cách giữa descriptor và vùng trung tâm... không gian Mô Hình Gán Mềm Mô Hình Gán Mềm Spatial re-ranking  Tổng quan  Các phép biến đổi và cách ước lượng  So sánh Tổng quan Tại sao sử dụng spatial re-ranking?  Giúp cải thiện hiệu năng so với mô hình túi từ Minh hoạ Spatial re-ranking  Tổng quan  Các phép biến đổi và cách ước lượng  So sánh Các phép biến đổi và cách ước lượng Có 2 độ đo lỗi mà chúng ta cần quan tâm là:  Lỗi về hình dáng.. .Mô hình giỏ đặc trưng  Bước 3: Mỗi đối tượng sẽ được biểu diễn bởi một lược đồ tần suất xuất hiện của các từ Mô hình giỏ đặc trưng  Bước 4: Khi đưa mô t đối tượng vào truy vấn sẽ thực hiện lại 3 bước trên sau đó tiến hành phân lớp đối tượng đó Tập các đặc trưng... quan  Các phép biến đổi và cách ước lượng  So sánh Thực nghiệm  R = 1000 ảnh hàng đầu  thành công nếu tìm thấy một biến đổi với ít nhất 4 inlier tượng ứng  xếp hạng các ảnh bằng điểm số  điểm số = sum( idf của từng inlier words)  huỷ bỏ bảng xếp hạng ban đầu, nếu mà xử lý 20 ảnh liên tiếp mà không 1 lần thành công khi xác minh không gian So sánh So sánh 3 DOF, 4 DOF, 5 DOF với R = 100, 200, 400,... đặc trưng  Lỗi outliers do các đặc trưng bị thiếu hoặc không thích hợp  Giải pháp là RANSAC LO-RANSAC RANSAC  LO-RANSAC Tạo các giả thiết của một mô hình xấp xỉ Lặp đi lặp lại việc đánh giá lại các giải thiết triển vọng bằng cách lấp đầy các phép biến đổi  Tạo ra các giả thiết chỉ có một cặp duy nhất của các đặc trưng tương ứng   giảm đáng kể số lượng các giả thiết cần phải được xem xét và tăng... biến dạng được phát hiện dựa vào mối quan hệ giữa các khu vực của 2 vùng tương ứng  4 DOF: Nó được tính toán bằng vị trí một khung giới hạn cho từng vùng và tính toán sự thay đổi độ biến dạng theo từng hướng Cách tìm 3 DOF, 4 DOF, 5 DOF  5 DOF: với giả định rằng hướng “thẳng đứng” giữa 2 ảnh là không đổi Nó được tìm ra dựa vào 2 hình elip tương ứng duy nhất   Cách ước lượng  Một số hàm đo độ lỗi ... định Huấn luyện Rút trích đặc trưng Truy Vấn codebook Biểu diễn ảnh Tập các đặc trưng đã được gom nhóm Quyết định Cải tiến codebook  K-means ( Phổ biến hiện nay Tuy nhiên chi phí gán lúc huấn luyện và truy vấn còn lớn )  Randomized Clustering Forests (ERC-Forests) - Tree based coders ( Nhanh hơn nhưng codebook ít rõ ràng hơn)  Supervised Codebook Learning with Error Backpropagation... cho thủ tục matching Loại bỏ tính ngẫu nhiên của giải thuật  thủ tục xác định 3 DOF, 4 DOF, 5 DOF Đánh giá một số phép biến đổi affine có bậc tự do từ 3 5 cho các giả thiết kiểm tra sự thay đổi hiệu năng giữa các loại phép biến đổi 3 DOF, 4 DOF, 5 DOF  3 DOF: chấp nhận phép tịnh tiến và biến dạng đều ngoại trừ hiệu ứng foreshortening X 3 DOF, 4 DOF, 5 DOF  4 DOF: chấp nhận phép tính tiến và biến... ban đầu, nếu mà xử lý 20 ảnh liên tiếp mà không 1 lần thành công khi xác minh không gian So sánh So sánh 3 DOF, 4 DOF, 5 DOF với R = 100, 200, 400, 800 và số lượng từ vựng ảnh (a) = 20K; (b) = 1M So sánh BoW vs Spatial Spatial wins Kết quả truy vấn từ hệ thống hoàn chỉnh . giỏ đặc trưng  Mô hình gán mềm  Mô hình yếu tố không gian Mô hình giỏ đặc trưng Mô hình túi từ ( Bag of Words – BOW )  Được sử dụng thành công trong bài toán phân loại văn bản Bắc MÔ HÌNH TÚI ĐẶC TRƯNG, GÁN MỀM VÀ YẾU TỐ KHÔNG GIAN GVHD: TS. Lý Quốc Ngọc ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Nội dung  Mô hình giỏ đặc. Jurie Mô hình gán mềm Mô hình gán mềm  Soft assignment là một kỹ thuật nhận biết các giá trị liên tục dựa vào các giá trị lân cận nhau Mô hình gán mềm  Sử dụng một vector trọng số được gán