BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Trịnh Tiến Hòa HỌC TỪ ĐIỂN VÀ ỨNG DỤNG TRONG PHÂN LOẠI ẢNH Chuyên ngành: Công nghệ thông tin LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC TS Thân Quang Khoát Hà Nội – 2017 MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ MỞ ĐẦU CHƯƠNG – TỔNG QUAN CƠ SỞ LÝ THUYẾT 1.1 Giới thiệu học từ điển 1.2 Biểu diễn thưa tín hiệu 1.3 Mã hóa thưa 1.4 Tiền xử lý ảnh 1.5 Phân lớp SVM 11 CHƯƠNG - THUẬT TOÁN K-SVD .13 2.1 Giới thiệu thuật toán K-SVD cho học từ điển: 13 2.2 Thuật tốn K-means cho lượng hóa vector .13 2.3 K-SVD-Tổng quát hóa K-Means 15 2.4 Mô tả chi tiết K-SVD 17 2.5 Từ K-SVD quay lại K –Means 21 2.6 Các tính chất K-SVD 22 CHƯƠNG – MƠ TẢ BÀI TỐN, MƠ HÌNH, KẾT QUẢ THỰC NGHIỆM VÀ MƠ PHỎNG 23 3.1 Mơ tả tốn 23 3.2 Mơ hình học từ điển 26 3.3 Xây dựng sở liệu 28 3.4 Mô tả liệu thực nghiệm 29 3.5 Tiêu chí đánh giá .30 3.6 Phần mềm hỗ trợ phân lớp 31 3.7 Kết thực nghiệm .37 3.8 Tổng kết chương .42 KẾT LUẬN 43 TÀI LIỆU THAM KHẢO 44 LỜI CAM ĐOAN Những kiến thức trình bày luận văn “Học từ điển Ứng dụng phân loại ảnh” tơi tìm hiểu, nghiên cứu trình bày theo kiến thức tổng hợp cá nhân Kết nghiên cứu luận văn chưa công bố cơng trình khác Trong q trình làm luận văn, tơi có tham khảo tài liệu có liên quan ghi rõ nguồn tài liệu tham khảo Tơi xin cam đoan cơng trình nghiên cứu không chép Tơi xin chịu hồn tồn trách nhiệm, sai, tơi xin chịu hình thức kỷ luật theo quy định Hà Nội, ngày 25 tháng năm 2017 Học viên Trịnh Tiến Hòa LỜI CẢM ƠN Để hồn thành luận văn này, tơi nhận nhiều động viên, giúp đỡ nhiều cá nhân tập thể Trước tiên, xin bày tỏ lòng biết ơn sâu sắc tới TS.Thân Quang Khốt, Viện CNTT-TT, Trường Đại Học Bách Khoa Hà Nội – Người thầy nhiệt tình hướng dẫn, tạo điều kiện thuận lợi cho nghiên cứu khoa học giúp hoàn thành luận văn cách tốt Đồng thời, xin gửi lời cảm ơn tới Thầy, cô Bộ môn Hệ thống thông tin, Trường Đại Học Bách Khoa Hà Nội giúp đỡ suốt trình học tập nghiên cứu Bộ môn Cuối cùng, xin gửi lời cảm ơn chân thành đến gia đình, bạn bè, người ln bên tơi, động viên khuyến khích tơi q trình thực đề tài nghiên cứu Học viên Trịnh Tiến Hòa DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Từ viết tắt Thuật ngữ Giải thích K-SVD K- Singular value decomposition Phân rã K giá trị kỳ dị MOD Method of optimal directions Phương pháp hướng tối ưu SSE Sum of Squared Error Tổng lỗi trung bình bình phương SNR Signal-to-noise ratio Tỉ lệ tín hiệu nhiễu SVM Support vector machine Máy vector hỗ trợ VQ Vector quantization Lượng hóa vector MSE Mean Squared Error Trung bình bình phương sai số OMP Orthogonal matching pursuit Đuổi khớp trực giao BP Basis pursuit Đuổi khớp sở SSY Sum of Squared Y Tổng trung bình bình phương ma trận biểu diễn tín hiệu Y DANH MỤC CÁC BẢNG Bảng 3.1 - Bảng kết phân lớp số tập train Test theo K.38 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1 - Các chi tiết đặc trưng để phân biệt đối tượng Hình 2.1 - Thuật tốn K-means 14 Hình 2.2 - Thuật toán K-SVD 19 Hình 3.1 - Chia tập ảnh thành tập học kiểm tra………….………… ………25 Hình 3.2 - Mơ tả q trình tạo túi từ .26 Hình 3.3 - Biểu diễn đặc trưng biểu đồ histogram 27 Hình 3.4 - Biểu diễn ảnh biểu đồ histogram 27 Hình 3.5 - Đánh giá kết phân lớp ảnh 27 Hình 3.6 - Mơ tả hệ thống phân loại ảnh 28 Hình 3.7 - Mơ tả ảnh Ơtơ laptop 32 Hình 3.8 - Giao diện phần mềm .34 Hình 3.9 - Chọn ảnh đầu vào 35 Hình 3.10 - Chọn ảnh ơtơ .36 Hình 3.11 - Kết phân tích Car 37 Hình 3.12 - Hiển thị tên tác giả thông tin trợ giúp 38 Hình 3.13 - Kết phân tích Laptop 39 Hình 3.14 - Sự thay đổi độ xác tập Train Test theo K 41 Hình 3.15 - Sự thay đổi SNR tập Training Testing theo K 40 Hình 3.16 - Sự thay đổi SSE tập Train Test theo K 43 Hình 3.17 - Thời gian xử lý liệu tập Train 44 MỞ ĐẦU Tính cấp thiết đề tài Khoa học kỹ thuật phát triển, lĩnh vực nhận dạng ngày ứng dụng nhiều hệ thống đại Một minh chứng nhiều hãng máy tính lớn xây dựng cho cơng cụ đăng nhập tự động phần mềm nhận dạng nhằm tạo tiện dụng đến khách hàng Bản chất thật nhận dạng tốn phân lớp Với ảnh đầu vào, phần mềm phân lớp ảnh vào lớp thích hợp hệ thống xác định ảnh khơng tồn sở liệu Đây nguyên nhân toán phân lớp ảnh thu hút nhiều quan tâm Ngoài ra, phát triển điện thoại thông minh máy ảnh kỹ thuật số ngày kéo theo bùng nổ ảnh kỹ thuật số Số lượng ảnh khổng lồ lưu thông mạng đặt vấn đề việc quản lý nội dung ảnh Nếu ta phân loại ảnh tốt có nghĩa ta dễ dàng loại bỏ ảnh không phù hợp trang web Đến đây, thuật toán hiệu để giải vấn đề thuật tốn K-SVD Ngồi toán xử lý ảnh đưa nhằm phân tích đặc trưng ảnh áp dụng đặc trưng vào thuật toán K-SVD Trong nghiên cứu này, xử lý ảnh bước tiền xử lý thơng tin quan trọng, sau thơng tin đưa vào thuật toán K-SVD, SVM nhằm giải tốn phân lớp Kết đưa độ xác trình phân lớp Đề tài “Học từ điển ứng dụng phân loại ảnh” nhằm mục đích hiểu cách thức phương pháp phân loại ảnh hiệu Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu tập trung vào việc xử lý ảnh phương pháp trích chọn đặc trưng Tìm hiểu thuật tốn K-SVD, máy vector hỗ trợ SVM sử dụng cho phân lớp ảnh Phạm vi nghiên cứu giới hạn việc phân lớp hai nhóm ảnh tơ máy tính từ 131 ảnh ban đầu Trong chia 70% số ảnh làm tập học 30% số ảnh làm tập kiểm tra Kết độ xác q trình phân lớp ảnh Mục tiêu nghiên cứu Về mặt lý thuyết, tác giả nghiên cứu: - Phương pháp học từ điển - Các đặc trưng ảnh Đây bước tiền xử lý liệu quan trọng, đặc trưng lựa chọn có ảnh hưởng lớn đến kết q trình phân lớp - Thuật tốn K-SVD - Máy vector hỗ trợ SVM - Những kiến thức tảng toán học xử lý ma trận Về mặt ứng dụng thực tiễn, tác giả xây dựng chương trình phần mềm có sử dụng thư viện mở thuật toán K-SVD, SVM để từ ảnh ban đầu chương trình phân lớp ảnh đưa độ xác cho q trình phân lớp Bố cục luận văn Nội dung luận văn gồm ba chương, đó: Chương - Tổng quan sở lý thuyết Chương - Thuật toán K-SVD Chương - Mơ tả tốn, mơ hình, Kết thực nghiệm mô CHƯƠNG – TỔNG QUAN CƠ SỞ LÝ THUYẾT 1.1 Giới thiệu học từ điển Số lượng thơng tin kích thước khổng lồ ghi lại giây cảm biến tự nhiên mắt tai, cảm biến nhân tạo máy ảnh microphones Thông tin phần lớn dư thừa hai khía cạnh chính: thường chứa nhiều phiên giống giới vật lý phiên thường có mật độ mẫu dày đặc cảm biến Thơng tin thích hợp xử lý q trình quan sát có kích thước giảm nhiều so với tập liệu ghi Nguồn gốc thơng tin thích hợp nhận dạng đặc trưng bên lớp tín hiệu Phương pháp học từ điển học đặc trưng bên trong, có kích thước khơng gian biểu diễn nhỏ so với khơng gian biểu diễn ban đầu mà biểu diễn xác thơng tin ban đầu tín hiệu tốt cho nhiệm vụ xử lý (như phân lớp liệu) 1.2 Biểu diễn thưa tín hiệu Sử dụng ma trận từ điển hoàn chỉnh thành phần tín hiệu cho cột K j 1 , tín hiệu có chứa K ngun mẫu biểu diễn kết hợp tuyến tính thành phần thưa Biểu diễn y hai xác y=Dx gần y≈Dx , thỏa mãn ||y-Dx||p