Đang tải... (xem toàn văn)
Xây dựng một số phương pháp phát hiện biên đối tượng từ ảnh số bằng ngôn ngữ c++/c# kết hợp thư viện opencv/emgu
TRƯỜNG ĐẠI HỌC KỸ THUẬT - HẬU CẦN CAND KHOA CÔNG NGHỆ THÔNG TIN - - BÁO CÁO THỰC TẬP CHUYÊN ĐỀ Đề tài: “Xây dựng số phương pháp phát biên đối tượng từ ảnh số ngơn ngữ lập trình C++/C# kết hợp thư viện OpenCV/Emgu” Giáo viên hướng dẫn: TS NGUYỄN VĂN CĂN Bắc Ninh, tháng 06 năm 2016 LỜI CẢM ƠN Để hoàn thành chuyên đề này, cho phép em bày tỏ lời cảm ơn tới thầy cô giáo khoa Công nghệ thông tin trường Đại Học Kỹ Thuật - Hậu Cần Công an nhân dân giúp đỡ em Đặc biệt, em xin cảm ơn giúp đỡ quý báu thầy giáo Thượng tá - Tiến sĩ Nguyễn Văn Căn - Trưởng Khoa Công nghệ thông tin tận tình hướng dẫn em suốt q trình hồn thành chuyên đề Tuy nhiên, thời gian có hạn kinh nghiệm hạn chế, nên trình thực chun đề khơng tránh khỏi thiếu sót, hạn chế định Vì vậy, em mong nhận bảo, đóng góp ý kiến thầy tồn thể bạn để em có điều kiện bổ sung, nâng cao kiến thức mình, phục vụ tốt cho việc học tập thực tế sau Em xin chân thành cảm ơn! Bắc Ninh, ngày tháng 06 năm 2016 Học viên thực MỤC LỤC Trang DANH MỤC CHỮ VIẾT TẮT Chữ viết tắt CGA OpenCV RBG NNLT Ý nghĩa Độ phân giải ảnh hình (Color Graphic Adaptor) Thư viện mã nguồn mở (Open Source Computer Vision) Không gian màu (Red, Blue, Green) Ngôn ngữ lập trình DANH MỤC HÌNH Trang DANH MỤC BẢNG Trang MỞ ĐẦU Lý chọn đề tài Thời đại công nghệ thông tin phát triển vũ bão vào ngõ ngách sống Hiện nay, phát triển ngành công nghiệp có diện đóng góp to lớn công nghệ thông tin Xử lý ảnh chuyên ngành quan trọng lâu đời Công nghệ thông tin Xử lý ảnh áp dụng nhiều lĩnh khác y học, vật lý, hố học, tìm kiếm tội phạm, quân số lĩnh vực khác Phần lớn người thu nhận thông tin thị giác, cụ thể hình ảnh Vì xử lý ảnh vấn đề thiếu quan trọng để thu hình ảnh tốt hơn, đẹp hơn, nhằm đáp ứng yêu cầu thông tin khác người nhận Trong xử lý ảnh, việc nhận dạng phân lớp đối tượng cần trải qua trình thao tác khác Phát biên giai đoạn quan trọng kỹ thuật phân đoạn ảnh chủ yếu dựa vào giai đoạn Mục đích việc dị biên đánh dấu điểm ảnh số mà có thay đổi đột ngột độ xám, tập hợp nhiều điểm biên tạo nên đường bao quanh ảnh (đường biên) Nhờ có đường biên mà phân biệt đối tượng nền, phân biệt vùng khác định vị đối tượng từ mà nhận dạng đối tượng Đây sở quan trọng việc ứng dụng phương pháp vào thực tiễn sống, đặc biệt điều kiện đất nước ta bước phát triển lên nên việc nghiên cứu ứng dụng vấn đề cần quan tâm phát triển Xuất phát từ thực tế đó, em lựa chọn chuyên đề “Xây dựng số phương pháp phát biên đối tượng từ ảnh số NNLT C++/C# kết hợp thư viện OpenCV/Emgu” Mục tiêu - Trình bày số phương pháp phát biên đối tượng từ ảnh - Sắp xếp, phân loại tập lệnh xử lý ảnh thư viện OpenCV/Emgu thông qua phần mềm phát biên đối tượng từ ảnh - Xây dựng phần mềm demo để mô việc tách biên từ ảnh số phương pháp phát biên Đối tượng phạm vi nghiên cứu - Đối tượng nghiên cứu: + Một số phương pháp phát biên + Các tài liệu ảnh thu thập từ thực tế + Các cơng thức tính tốn, lưu đồ thuật tốn phát biên, ngơn ngữ lập trình ứng dụng phát biên + Thư viện mã nguồn mở xứ lý Multimedia OpenCV/Emgu phục vụ cho công tác lập trình xử lý ảnh để phát biên - Phạm vi nghiên cứu: + Tổng hợp số phương pháp phát biên, đánh giá nhận xét phương pháp + Lập trình thử nghiệm số phương pháp + Tài liệu ngơn ngữ lập trình C#/C++ + Tài liệu thư viện mã nguồn mở Multimedia OpenCV/Emgu + Tài liệu phương pháp phát biên đối tượng từ ảnh số + Nghiên cứu học tập kinh nghiệm từ chuyên gia Phương pháp nghiên cứu - Phương pháp nghiên cứu, tổng hợp tài liệu: Tìm kiếm nguồn tài liệu liên quan đến C++/C# thư viện mã nguồn mở OpenCV/Emgu, phương pháp phát biên từ ảnh số - Phương pháp phân tích tổng hợp: Phân tích chương trình nhận dạng ảnh chun gia, phân tích tài liệu liên quan đến việc xây dựng chương trình - Phương pháp thực nghiệm: Lập trình thực nghiệm ngơn ngữ lập trình C# thư viện Emgu Nội dung nghiên cứu - Nội dung 1: Nghiên cứu tổng quan xử lý ảnh biên Trong chương trình bày sơ lược xử lý ảnh, giới thiệu bước xử lý hệ thống xử lý ảnh Một số thành phần cốt tử xử lý ảnh, điểm ảnh, mức xám, độ phân giải, … trình bày khái niệm Giới thiệu biên vai trò biên nhận dạng - Nội dung 2: Nghiên cứu tổng quan thư viện OpenCV/Emgu Nội dung đề cập tới thư viện OpenCV/Emgu, hoạt động thư viện OpenCV/Emgu - Nội dung 3: Một số phương pháp phát biên Nội dung đề cập đến số phương pháp phát biên, kỹ thuật thường sử dụng để phát biên, như: Gradient, Canny, Laplace,… - Nội dung 4: Xây dựng chương trình từ phương pháp phát biên đối tượng Qua việc cài đặt chương trình từ kỹ thuật phát biên Sobel, Prewit, Laplace… làm rõ quá trình hoạt động kỹ thuật nhận xét đánh giá kỹ thuật Cấu trúc báo cáo Cấu trúc báo cáo gồm: - Phần Mở đầu: Giới thiệu đề tài, lý chọn đề tài, - Chương 1: Tổng quan xử lý ảnh biên - Chương 2: Tổng quan thư viện OpenCV/Emgu - Chương 3: Một số phương pháp phát biên - Chương 4: Xây dựng chương trình - Phần Kết luận: Đưa số đánh giá tổng quan kết nghiên cứu, xác định hướng phát triển Ý nghĩa lý luận thực tiễn chuyên đề - Ý nghĩa lý luận: Qua kết chuyên đề bổ sung củng cố hệ thống lý thuyết, quy trình, phương pháp phát biên ảnh - Ý nghĩa thực tiễn: + Làm rõ số thuật toán phát biên ảnh + Trên sở thực nghiệm kiểm nghiệm thuật tốn có tác dụng q trình xử lý ảnh nhằm phát biên CHƯƠNG TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ BIÊN 1.1 Tổng quan xử lý ảnh 1.1.1 Xử lý ảnh Con người thu nhận thông tin qua giác quan thị giác đóng vai trị quan trọng Cùng với phát triển nhanh phần cứng máy tính, xử lý ảnh đồ hoạ phát triển mạnh mẽ ngày có nhiều ứng dụng sống Chính thế, xử lý ảnh đóng vai trò quan trọng tương tác người máy Xử lý ảnh (Image Processing) đối tượng nghiên cứu lĩnh vực thị giác máy, trình biến đổi ảnh từ ảnh ban đầu sang ảnh với đặc tính mà tuân theo ý muốn việc xử lý Kết đầu trình xử lý ảnh ảnh “tốt hơn” kết luận Xử lý ảnh thông thường gồm bước: Hình 1.1 Quá trình xử lý ảnh - Bước 1: Nhập hình ảnh với máy quét quang học trực tiếp thông qua nghệ thuật chụp ảnh số - Bước 2: Thao tác phân tích hình ảnh cách Giai đoạn bao gồm kỹ thuật nâng cao chất lượng hình ảnh nén liệu, hình ảnh phân tích để tìm hình dáng mà mắt người khơng thể thấy Ví dụ: nhà khí tượng học sử dụng xử lý ảnh để phân tích ảnh vệ tinh - Bước 3: Kết đầu - hình ảnh bị thay đổi cách hay cách khác, ảnh “tốt hơn” (ảnh mờ xử lý để nhìn rõ hơn) kết luận (phân tích ảnh để trích chọn đặc trưng vân tay hay ảnh tai nạn giao thông phác họa trường nạn) [1] Đặng Thị Thương (2011), đồ án tốt nghiệp "Tìm hiểu phương pháp phát biên cho ảnh đa cấp xám ảnh màu", Trường Đại học Dân lập Hải Phòng 1.1.2 Các bước xử lý ảnh Quá trình xử lý ảnh đầu vào nhằm thu ảnh đầu mong muốn thường phải trải qua nhiều bước khác Các bước trình xử lý ảnh thể thơng qua hình sau: 10 CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH 4.1 Sử dụng NNLT C# kết hợp thư viện Emgu 4.1.1 Phân tích chương trình Chương trình chia thành thành phần chính: lớp form Hình 4.27 Các thành phần chương trình 4.1.1.1 Các lớp chương trình - Lớp Matrix: có chức ghi lại mặt nạ ma trận kỹ thuật phát biên Prewitt, Sobel, Laplace, Kirsh… - Lớp Code: có chức ghi lại thuật tốn tính tốn kỹ thuật tìm biên - Lớp CodeCanny: có chức ghi lại thuật tốn tính tốn kỹ thuật Canny - Lớp Image: có chức ghi lại thuật toán xử lý ảnh bản, chuyển ảnh âm bản, chuyển ảnh xám, thay đổi độ sáng, thay đổi kích thước ảnh 4.1.1.2 Các from chương trình - Form chính: ghi lại thuật tốn xử lý với nút có form - Form Hình: có chức ghi lại thuật tốn hình ảnh load ảnh lên, lưu ảnh, … kết tìm biên xử lý ảnh - Form ThongsoCanny: ghi lại thuật toán lấy giá trị kỹ thuật Canny ngưỡng cao, ngưỡng thấp,… 46 - Form Tyle: ghi lại thuật tốn lấy giá trị cần phóng to thu nhỏ để phục vụ cho q trình thay đổi kích thước ảnh - Form Value : sử dụng để ghi lại thuật toán lấy giá trị màu Red, Green, Blue để thay đổi màu sắc ảnh - Form Parameter: ghi lại thuật toán lấy giá trị để thay đổi mức độ sáng độ tương phản ảnh đầu vào 4.1.2 Giao diện chương trình Hình 4.28 Giao diện chương trình Giao diện chứa menu với chức sau: Bảng 4.1 Mơ tả chức Mỗi chức bao gồm chức mô tả bảng đây: Bảng 4.2 Chức Function Load Save Refresh Exit Gọi ảnh Lưu ảnh sau xử lý Làm chương trình Thốt chương trình 47 48 Bảng 4.3 Chức Edge Detection Prewitt Sobel Laplace Laplace of Gaussian Canny Kirsh Color Image GrayScale Image Tách biên ảnh màu Prewitt Tách biên ảnh màu Sobel Tách biên ảnh màu Laplace Tách biên ảnh màu Laplace of Gaussian Tách biên ảnh màu Canny Tách biên ảnh màu Kirsh Tách biên ảnh xám Prewitt Tách biên ảnh xám Sobel Tách biên ảnh xám Laplace Tách biên ảnh xám Laplace of Gaussian Tách biên ảnh xám Canny Tách biên ảnh xám Kirsh Bảng 4.4 Chức Image Processing Invert Chuyển ảnh âm GrayScale Chuyển ảnh màu ảnh xám Brightness Thay đổi độ sáng ảnh Contrast Chỉnh sửa độ tương phản ảnh Color Thay đổi màu sắc ảnh Zoom Phóng to, thu nhỏ ảnh 4.1.3 Các cửa sổ chương trình Hình 4.29 Cửa sổ ColorInput Cửa sổ xây dựng với mục đính điều chỉnh màu sắc RGB ảnh gốc 49 Hình 4.30 Cửa sổ Parameter Cửa sổ nhập tham số vào để tạo ảnh tương ứng với chức chương trình Hình 4.31 Cửa sổ TyLe Cửa sổ nhập tỷ lệ phần trăm để thực chức phóng to thu nhỏ ảnh Hình 4.32 Cửa sổ ThongsoCanny Cửa sổ nhập thông số liên quan đến thuật toán Canny để tiến hành tách biên ảnh 4.1.4 Ảnh đầu vào đầu - Ảnh đầu vào: *.jpg, *.jpeg, *.png, *.bmp - Ảnh đầu ra: Ảnh tìm biên 50 4.1.5 Mơ tả thuật toán 4.1.5.1 Các phương pháp phát biên cổ điển Từ ảnh gốc ban đầu ta thực bước sau để tìm biên: Bước 1: Đọc ảnh, gán giá trị hàng i=0, cột j=0 Bước 2: Lấy giá trị cửa sổ ảnh trượt với kích thước 3x3 bắt đầu vị trí (i.j) Bước 3: Tính tích nhân chập mặt nạ với cửa sổ ảnh Bước 4: Thực phép phân ngưỡng tồn ảnh Bước 5: Thốt 4.1.5.2 Các phương pháp phát biên nâng cao Từ ảnh đầu vào, độ lệch tiêu chuẩn, ngưỡng cao, ngưỡng thấp sử dụng mặt nạ Gaussian ta thực bước sau để tìm biên: Bước 1: Đọc ảnh, gán giá trị hàng i=0, cột j=0 Bước 2: Tạo mặt nạ G để nhân xoắn với I Độ lệch tiêu chuẩn mặt nạ tham số để tách cạnh Bước 3: Giảm nhiễu: làm trơn ảnh để loại bỏ nhiễu cách nhân chập ảnh với lọc Gauss Bước 4: Tìm gradient: Tính tốn góc chiều dài gradient Biên nên đánh dấu nơi mà gradient ảnh có chiều dài lớn Bước 5: Thực “Non-maximum suppression”: Chỉ cực đại cục điểm đánh dấu biên (có mức xám cao) Bước 6: Sử dụng ngưỡng đôi: Những biên tiềm xác định ngưỡng cao ngưỡng thấp Bước 7: Thoát 4.1.6 Kết tách biên ảnh 4.1.6.1 Tách biên theo kỹ thuật Prewit 51 Hình 4.33 Ảnh màu sau phát biên kỹ thuật Prewit Hình 4.34 Ảnh xám sau phát biên kỹ thuật Prewit 4.1.6.2 Tách biên theo kỹ thuật Sobel Hình 4.35 Ảnh màu sau phát biên kỹ thuật Sobel Hình 4.36 Ảnh xám sau phát biên kỹ thuật Sobel 52 4.1.6.3 Tách biên theo kỹ thuật Laplace Hình 4.37 Ảnh màu sau phát biên kỹ thuật Laplace Hình 4.38 Ảnh xám sau phát biên kỹ thuật Laplace 4.1.6.4 Tách biên theo kỹ thuật Laplace of Gaussian Hình 4.39 Ảnh màu phát biên kỹ thuật Laplace of Gaussian 53 Hình 4.40 Ảnh xám phát biên kỹ thuật Laplace of Gaussian 4.1.6.5 Tách biên theo kỹ thuật Kirsh Hình 4.41 Ảnh màu sau phát biên kỹ thuật Kirsh Hình 4.42 Ảnh xám sau phát biên kỹ thuật Kirsh 54 4.1.6.6 Tách biên theo kỹ thuật Canny Hình 4.43 Ảnh sau phát biên ký thuật Canny 4.1.7 Một số nhận xét, đáng giá - Để có đánh giá cách khách quan, có minh chứng cụ thể hình ảnh, từ phương pháp phát biên trình bày ta tiến hành cài đặt chương trình thử nghiệm phương pháp phát biên Trên sở đưa nhận xét đánh giá phương pháp trình bày chuyên đề Bằng cách tìm hiểu lỗi mà thuật tốn phát biên mắc phải ta rút phương pháp phát biên phù hợp Thông thường lỗi mà thuật tốn phát biên phạm phải là: + Lỗi âm: Một thuật tốn phát biên khơng thơng báo cạnh tồn + Lỗi dương: Một thuật toán phát biên thơng báo cạnh khơng tồn Điều nhiễu việc thiết kế thuật toán sơ sài q trình phân ngưỡng - Đối với ảnh khơng nhiễu: Các phương pháp cho kết tốt Song phương pháp phát biên Sobel cho biên rõ nét lớn, phương pháp Laplace cho kết rõ nét, biên mảnh Riêng phương pháp Canny trình làm trơn ảnh nên từ ảnh không nhiễu, biên mờ bớt to Do biên ảnh phương pháp Canny lớn lại không đầy đủ Đối với loại ảnh tìm biên nên áp dụng phương pháp Laplace, tiếp đến phương pháp đạo hàm bậc (Sobel, Kirsh, Prewitt ), không nên sử dụng phương pháp Canny - Đối với ảnh có nhiều cạnh: Khi phát biên, cạnh không quan trọng nên loại bỏ Ở đây, phương pháp Sobel phát biên biên mờ, không rõ nét, ảnh có vùng có mức xám thấp, thay đổi mức xám nhỏ Chính mà ảnh qua phương pháp Laplace cho kết rõ nét (do phương pháp sử dụng phương pháp đạo hàm bậc hai, điểm biên điểm cắt khơng) Tuy ảnh có nhiều điểm biên nhỏ nên biên ảnh qua phương pháp nhiều rối, nên loại bỏ điểm biên thừa Còn phụ bị loại bớt đi, biên 55 giữ lại nên biên rõ nét Đối với ảnh phương pháp Canny, trình “Non-maximum Suppression” trình áp dụng ngưỡng mà điểm biên có nhiều có mức xám nhỏ, biến thiên mức xám thấp ta nên sử dụng phương pháp Laplace, song ảnh có q nhiều biên ta nên sử dụng phương pháp Canny để loại bỏ bớt cạnh không cần quan tâm - Đối với ảnh có nhiều nhiễu: Phương pháp đạo hàm bậc cho biên ảnh với nhiều điểm biên phụ Còn phương pháp Laplace tạo biên kép nên hồn tồn khơng xác định biên Cịn phương pháp Canny trình làm trơn ảnh cho bớt nhiễu trình “Non-maximum Suppression” để giảm bớt biên phụ nên ảnh kết phương pháp rõ nét Vì ảnh có nhiều nhiễu ta nên sử dụng phương pháp Canny để loại bỏ nhiễu điểm biên phụ không cần quan tâm, giữ lại điểm biên theo mục đích sử dụng khác 4.2 Sử dụng NNLT C++ kết hợp thư viện OpenCV Do điều kiện thời gian khơng cho phép trình độ kiến thức cịn hạn chế, em chưa xây dựng chương trình phát biên đối tượng từ ảnh số ngơn ngữ lập trình C++ kết hợp với thư viện OpenCV Kính mong thầy thơng cảm Nếu có điều kiện em tiếp tục nghiên cứu để hoàn thiện chuyên đề hoàn chỉnh 56 KẾT LUẬN Kết đạt - Kết nghiên cứu chuyên đề trình bày 49 trang, cấu trúc chia thành chương nội dung chính, phần kết luận, tài liệu tham khảo - Hồn thành tìm hiểu tổng quan phân đoạn ảnh toán phát biên - Hồn thành tìm hiểu NNLT C# thư viện Emgu - Xây dựng chương trình phát biên đối tượng 06 kỹ thuật Sobel, Prewit, Laplace, Laplace of Gaussian, Kirsh Canny; phân tích đưa ưu khuyết điểm phương pháp - Nội dung chuyên đề đề cập kết đưa phù hợp đáp ứng mục tiêu đề Hạn chế Do thời gian trình độ thân hạn chế nên: - Còn nhiều phương pháp phát biên chưa nghiên cứu - Chương trình cịn nhiều thiếu sót Hướng phát triển đề tài Nếu có thêm thời gian, em bổ sung nhiều kỹ thuật phát biên khiến chương trình trở nên tốt Trong tương lai, phát triển chuyên đề trở thành luận án tốt nghiệp thân em Trong trình nghiên cứu làm chuyên đề thực tập sở này, em thầy giáo Nguyễn Văn Căn tận tình hướng dẫn giúp đỡ, đồng thời thầy, cô khoa CNTT trường đại học Kỹ thuật - Hậu cần CAND bạn bè giúp đỡ để em hoàn thành tốt chuyên đề Tuy nhiên em mong góp ý thầy giáo, bạn bè, để giúp em có chương trình hồn thiện 57 DANH MỤC TÀI LIỆU THAM KHẢO Tài liệu tiếng việt: [1] Đặng Thị Thương (2011), đồ án tốt nghiệp "Tìm hiểu phương pháp phát biên cho ảnh đa cấp xám ảnh màu", Trường Đại học Dân lập Hải Phịng [2] Đỗ Năng Tồn & Phạm Việt Bình (2007), giáo trình "Xử lý ảnh", Trường Đại học Thái Nguyên [3] Nguyễn Quang Hoan (2006), giáo trình Xử lý ảnh, Học viện Bưu Viễn thơng [4] Nguyễn Quang Sơn (2008), luận văn thạc sĩ "Nghiên cứu số phương pháp phát biên", Trường Đại học Thái Nguyên [5] Nguyễn Thị Lan (2008), đồ án tốt nghiệp "Tìm hiểu số kỹ thuật phát biên xử lý ảnh", Trường Đại học Dân lập Hải Phòng [6] Nguyễn Văn Căn (2010), chuyên đề "Phân đoạn ảnh", Trường Đại học Kỹ thuật - Hậu cần CAND [7] Nguyễn Văn Căn (2014), giáo trình "Tổng quan thư viện OpenCV", Trường Đại học Kỹ thuật - Hậu cần CAND [8] Nguyễn Văn Căn (2014), tạp chí khoa học công nghệ môi trường CAND "Theo dõi phân loại đối tượng dựa biên toán giám sát đối tượng chuyển động", Trường Đại học Kỹ thuật - Hậu cần CAND Tham khảo tài liệu mạng: - http://bitnetvn1.blogspot.com/ - http://docs.opencv.org/ - http://www.songho.ca/ - http://opencvexamples.blogspot.com/ - http://opencv-srf.blogspot.com/ 58 ... từ thực tế đó, em lựa chọn chuyên đề ? ?Xây dựng số phương pháp phát biên đối tượng từ ảnh số NNLT C++/C# kết hợp thư viện OpenCV/Emgu? ?? Mục tiêu - Trình bày số phương pháp phát biên đối tượng từ. .. từ ảnh - Sắp xếp, phân loại tập lệnh xử lý ảnh thư viện OpenCV/Emgu thông qua phần mềm phát biên đối tượng từ ảnh - Xây dựng phần mềm demo để mô việc tách biên từ ảnh số phương pháp phát biên Đối. .. tiếp phương pháp phát biên gián tiếp 3.1.1 Phân loại phương pháp phát biên 3.1.1.1 Phương pháp phát biên trực tiếp Phương pháp phát biên nhằm làm biên dựa vào biến thiên giá trị độ sáng điểm ảnh