Header Page of 126 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG -  - NGUYỄN THỊ THẮM NGHIÊN CỨU CÁC KỸ THUẬT CAMERA CALIBRATION VÀ ỨNG DỤNG XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG TRONG KHÔNG GIAN 3D Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2012 Footer Page of 126 Header Page of 126 Công trình ñược hoàn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: TS Huỳnh Hữu Hưng Phản biện 1: PGS TSKH Trần Quốc Chiến Phản biện 2: TS Nguyễn Mậu Hân Luận văn ñược bảo vệ trước Hội ñồng chấm luận văn tốt nghiệp thạc sĩ ngành Khoa học máy tính họp Đại học Đà Nẵng vào ngày 15 tháng 12 năm 2012 Có thể tìm hiểu luận văn tại: - Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng - Trung tâm Học liệu, Đại học Bách Khoa, Đại học Đà Nẵng Footer Page of 126 Header Page of 126 MỞ ĐẦU Tính cấp thiết ñề tài Các hệ thống sử dụng camera với mục ñích giám sát, nhận dạng, an ninh, ñiều khiển ngày phổ biến ñược sử dụng rộng rãi Vấn ñề xác ñịnh ñúng khoảng cách ñối tượng không gian 3D góp phần tăng tính xác việc phát hiện, ñiều khiển hành vi hệ thống ñó Tuy nhiên, số phương pháp tính khoảng cách ñối tượng không gian 3D hệ thống camera bộc lộ số hạn chế ñịnh Do ñó, giải pháp ñặt là: lựa chọn kỹ thuật phù hợp ñể tính xác khoảng cách ñối tượng không gian 3D Hiện nay, có nhiều kỹ thuật ñược áp dụng ñể xác ñịnh khoảng cách ñối tượng không gian 3D, kỹ thuật có mạnh hạn chế riêng Hiệu chỉnh camera (camera calibration) kỹ thuật ñang ñược triển khai sử dụng hệ thống lớn nhiều tính ưu việt giúp ñẩy nhanh tốc ñộ hiệu việc xác ñịnh khoảng cách ñối tượng không gian 3D Đó lý mà chọn nghiên cứu thực ñề tài “Nghiên cứu kỹ thuật camera calibration ứng dụng xác ñịnh khoảng cách ñối tượng không gian 3D” hướng dẫn TS Huỳnh Hữu Hưng Footer Page of 126 Header Page of 126 Mục tiêu nghiên cứu Đề tài nghiên cứu thuật toán phát ñối tượng, kỹ thuật hiệu chỉnh camera từ ñó tính khoảng cách ñối tượng chuyển ñộng từ liệu video, làm sở ñể xây dựng chương trình hỗ trợ với chức sau: - Phát ñối tượng ñang chuyển ñộng - Tính khoảng cách ñối tượng không gian 3D Bên cạnh ñó ñề tài cung cấp nhìn toàn diện vai trò khả ứng dụng công nghệ xử lý ảnh vào thực tế ñời sống xã hội Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu Trong luận văn này, liệu ñược xử lý ñoạn video ñược quay từ camera tĩnh ghi lại với chuẩn AVI (Audio Video Interleave) Phạm vi nghiên cứu Nghiên cứu thuật toán phát ñối tượng chuyển ñộng, kỹ thuật hiệu chỉnh camera ứng dụng xác ñịnh khoảng cách ñối tượng không gian 3D Phương pháp nghiên cứu Phương pháp nghiên cứu lý thuyết - Tìm hiểu cách lập trình với thư viện OpenCV - Tìm hiểu phương pháp phát ñối tượng dựa màu sắc Footer Page of 126 Header Page of 126 - Tìm hiểu phương pháp lọc nhiễu - Tìm hiểu kỹ thuật hiệu chỉnh camera ứng dụng ñể xác ñịnh khoảng cách ñối tượng chuyển ñộng không gian 3D Phương pháp nghiên cứu thực nghiệm - Tiến hành phân tích cài ñặt: thuật toán phát ñối tượng chuyển ñộng dựa màu sắc, kỹ thuật hiệu chỉnh camera, từ ñó xác ñịnh khoảng cách ñối tượng chuyển ñộng - Đánh giá kết ñạt ñược Ý nghĩa khoa học thực tiễn Ý nghĩa khoa học - Kết nghiên cứu làm tài liệu tham khảo cho việc tìm hiểu thuật toán phát ñối tượng dựa màu sắc, ứng dụng kỹ thuật hiệu chỉnh camera ñể xác ñịnh khoảng cách ñối tượng không gian 3D - Ứng dụng thành công công nghệ xử lý ảnh vào thực tế - Tạo tiền ñề cho nghiên cứu tương lai Ý nghĩa thực tiễn - Giao thông vận tải: Dựa vào liệu camera thu ñược ñể xác ñịnh lỗi vi phạm khoảng cách tối thiểu cho phép ñối tượng tham gia giao thông, ñặc biệt hệ thống ñường hầm Footer Page of 126 Header Page of 126 - Y tế: Sử dụng hệ thống camera ñể giám sát hoạt ñộng uống thuốc, giám sát hành vi ăn tối người cao tuổi, từ ñó có thông báo kịp thời cho nhân viên y tế - Công nghiệp sản xuất tự ñộng: ứng dụng ñiều khiển robot dựa công nghệ xử lý ảnh, nhận biết yêu cầu người ñiều khiển thông qua màu sắc Bố cục luận văn Nội dung luận văn ñược chia thành phần sau: - Mở ñầu - Chương 1: Nghiên cứu tổng quan - Chương 2: Các kỹ thuật hiệu chỉnh camera thị giác máy tính - Chương 3: Ứng dụng kỹ thuật camera calibration xác ñịnh khoảng cách ñối tượng không gian 3D - Kết luận hướng phát triển CHƯƠNG NGHIÊN CỨU TỔNG QUAN 1.1 TỔNG QUAN VỀ CAMERA SỐ 1.1.1 Khái niệm camera số Camera thiết bị ghi hình ghi lại hình ảnh khoảng thời gian ñó lưu trữ liệu hình ảnh Footer Page of 126 Header Page of 126 1.1.2 Phân loại camera Có cách phân loại camera: kỹ thuật hình ảnh, ñường truyền, tính sử dụng a Phân loại theo kỹ thuật hình ảnh b Phân loại theo kỹ thuật ñường truyền c Phân loại theo tính sử dụng 1.1.3 Hệ thống camera quan sát 1.2 TỔNG QUAN VỀ VIDEO 1.2.1 Khái niệm video 1.2.2 Video số (digital video) a Tín hiệu video số b Ưu nhược ñiểm video số c Chuẩn video số AVI 1.3 PHƯƠNG PHÁP PHÁT HIỆN ĐỐI TƯỢNG 1.3.1 Tổng quan phát ñối tượng Phát ñối tượng chuyển ñộng video toán ñược nghiên cứu rộng rãi có nhiều ứng dụng sống Đó xácminh diện ñối tượng chuỗi ảnh ñịnh vị xác Các hệ thống theo vết ñối tượng thường bắt ñầu trình phát ñối tượng Footer Page of 126 Header Page of 126 1.3.2 Giới thiệu mô hình màu Có nhiều mô hình màu khác dùng ñể biểu diễn màu sắc máy tính như: RGB, HSV, HSL, HIS Trong ñó, RGB HSV hai mô hình màu thông dụng 1.3.3 Mô hình màu RGB Mô hình màu RGB (red, green, blue) gồm màu ñỏ, màu xanh cây, màu xanh biển, ánh sáng ñược tổ hợp theo nhiều phương thức khác ñể tạo hàng loạt màu Hình 1.1 Mô hình màu RGB 1.3.4 Mô hình màu HSV Hình 1.2 Không gian màu HSV Footer Page of 126 Header Page of 126 HSV (hue, saturation, value) viết tắt hue (màu sắc), saturation (ñộ bão hòa), value (giá trị) Hình 1.3 Hình nón ngược biễu diễn mô hình màu HSV Thực chất không gian HSV biến ñổi không gian RGB Không gian HSV ñược mô tả lệnh lập phương RGB quay ñỉnh Black H (Hue) góc quay trục V (value) qua hai ñỉnh Black White 1.3.5 Chuyển từ màu RGB sang HSV 1.3.6 Mômen ảnh (image moment) 1.3.7 Thuật toán phát ñối tượng dựa vào màu sắc Footer Page of 126 Header Page 10 of 126 10 1.3.8 Cài ñặt thuật toán phát ñối tượng dựa vào màu sắc Hình 1.4 Quả bóng màu xanh kết phát 1.4 PHƯƠNG PHÁP LỌC NHIỄU 1.4.1 Tổng quan phương pháp lọc nhiễu 1.4.2 Cải thiện ảnh (Lọc không gian) a Các thao tác lân cận b Quá trình lọc không gian c Lọc không gian làm mịn (Smoothing spatial filters) 1.4.3 Lọc trung vị (Median filter) a Giới thiệu b Định nghĩa c Cách dùng Footer Page 10 of 126 Header Page 11 of 126 11 Hình 1.5 Nhiễu lọc nhiễu CHƯƠNG CÁC KỸ THUẬT HIỆU CHỈNH CAMERA TRONG THỊ GIÁC MÁY TÍNH 2.1 GIỚI THIỆU KỸ THUẬT CAMERA CALIBRATION Camera calibration phương pháp tính toán thực nghiệm nhằm tìm tham số camera ñể tái tạo không gian 3D cảnh, vật thể ñó thực tế ảnh mà camera ñó ghi lại ñược Để có ñược tham số ñó, tính toán chủ yếu dựa vào mô hình camera thông dụng nay: mô hình Pinhole camera 2.2 PINHOLE CAMERA 2.2.1 Tổng quan 2.2.2 Mô hình hình học Pinhole camera a Tham số bên Footer Page 11 of 126 Header Page 12 of 126 12 b Tham số bên Hình 2.1 Mô hình camera Pinhole thông qua hai hệ tọa ñộ 2.2.3 Phép chiếu chuyển ñổi camera Pinhole 2.3 CÁC HỆ THỐNG THU NHẬN TRONG KHÔNG GIAN BA CHIỀU 2.3.1 Hình học epipolar 2.3.2 Hệ thống thu nhận ba chiều kinh ñiển (Canonical Stereoscopic System) Footer Page 12 of 126 Header Page 13 of 126 13 Hình 2.2 Hệ thống camera kinh ñiển Hệ thống camera kinh ñiển với ñộ dài tiêu cự f, khoảng cách sở b Sự khác biệt tọa ñộ xl xr ñược gọi ñộ lệch ngang ñiểm pl pr Hình 2.3 Camera stereo kinh ñiển 2.3.3 Độ lệch trường hợp chung 2.4 Tổng quan Stereo Vision 2.4.1 Tổng quan Stereo vision kỹ thuật sử dụng hai camera ñể ño khoảng cách ñối tượng Cấu hình ñơn giản (cấu hình stereo Footer Page 13 of 126 Header Page 14 of 126 14 chuẩn) sử dụng hai camera thẳng hàng cách theo phương ngang (Hình 2.7) Hình Cấu hình chuẩn hệ thống hai camera Sử dụng camera stereo này, thu ñược hình ảnh ñối tượng hai vị trí khác nhau: ảnh bên trái ảnh bên phải ñối tượng (sự chênh lệch) Các ảnh camera ñược phân tích ñể tìm ñiểm chung Sử dụng quy tắc tam giác ñồng dạng ñộ lệch ñiểm chung ñể xác ñịnh khoảng cách (ñộ sâu) so với camera 2.4.2 Khoảng cách trục Y 2.5 PHƯƠNG PHÁP CALIBRATION CHUẨN Camera calibration (hiệu chỉnh camera) trình tìm kiếm tham số bên tham số bên camera Các phương pháp calibration kinh ñiển dựa mô hình calibration ñặc biệt, tức ta biết ñược kích thước vị trí ñối tượng hệ tọa ñộ ñịnh Các ñặc trưng khác (chẳng hạn góc, ñường ) ñược tách từ ảnh mô hình hiệu chỉnh camera Footer Page 14 of 126 Header Page 15 of 126 15 Thông thường, ñối tượng ñược lựa chọn ñể hiệu chỉnh camera phải có tính bật ñể dễ ño vị trí Chẳng hạn, bàn cờ ñơn giản hình sau: Hình 2.5 Bàn cờ làm mô hình camera calibration Hình 2.6 Hệ tọa ñộ mô hình camera calibration 2.6 TỰ HIỆU CHỈNH (SELF- CALIBRATION) 2.7 HIỆU CHỈNH STEREO Footer Page 15 of 126 Header Page 16 of 126 16 CHƯƠNG ỨNG DỤNG KỸ THUẬT CAMERA CALIBRATION XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG TRONG KHÔNG GIAN 3D 3.1 TỔNG QUAN VỀ BÀI TOÁN XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG 3D CHUYỂN ĐỘNG QUA CAMERA Xác ñịnh khoảng cách ñối tượng chuyển ñộng qua camera bước quan trọng phát triển ứng dụng thị giác máy tính Nó có nhiều ứng dụng lĩnh vực như: Giao thông vận tải, y tế, công nghiệp sản xuất tự ñộng 3.2 CÁC PHƯƠNG PHÁP XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG TRONG KHÔNG GIAN 3D Hiện có nhiều phương pháp xác ñịnh khoảng cách ñối tượng không gian 3D 3.2.1 Khoảng cách Euclid 3.2.2 Khoảng cách từ ñiểm ñến mặt phẳng 3.3 ỨNG DỤNG KỸ THUẬTCAMERA CALIBRATION 3.3.1 Các ứng dụng camera calibration Từ việc tính toán ñược ñặc ñiểm vật qua ảnh, ta tái tạo lại cảnh 3D vật, nhận dạng vật Chúng ta ứng dụng kỹ thuật camera calibration ñể cài ñặt chương trình tự ñộng xử lý công việc yêu cầu phải thông qua hình ảnh Footer Page 16 of 126 Header Page 17 of 126 17 a Tự ñộng nhận dạng biển số xe (Automatic license plate recognition) Hình 3.1 Nhận dạng biển số xe b Phát mặt người dựa ñặc trưng Haar-Like Hình 3.2 Phát mặt người dựa vào ñặc trưng Haar-Like Footer Page 17 of 126 Header Page 18 of 126 18 c Xác ñịnh tọa ñộ tĩnh Hình 3.3 Xác ñịnh tọa ñộ tĩnh cầu Wanan (Busan, Hàn Quốc) d Đo giao ñộng thực Hình 3.4 Thiết bị ño dao ñộng cầu 3.3.2 Ứng dụng kỹ thuật camera calibration tính khoảng cách Chương trình xác ñịnh khoảng cách ñối tượng chuyển ñộng lấy liệu từ ñoạn video quay lại từ camera tĩnh, ghi lại Footer Page 18 of 126 Header Page 19 of 126 19 với chuẩn AVI Điều kiện ánh sáng bình thường, không tối sáng, không thay ñổi Sau có liệu ñầu vào chương trình xử lý ñoạn video ñể lấy tất khung hình (frame) Tiếp ñó, từ khung hình có ñược, ta tiến hành phát ñối tượng, tìm tọa ñộ trọng tâm ñối tượng quy ñổi tọa ñộ thực dựa vào kỹ thuật hiệu chỉnh camera (camera calibration) Cuối cùng, tính khoảng cách ñối tượng 3D Video ñầu vào Xử lý ñoạn video ñể lấy tất khung ảnh (Frame) Phát ñối tượng Xác ñịnh khung bao tọa ñộ tâm ñối tượng Xác ñịnh khoảng cách ñối tượng Hình 3.5.Biểu ñồ xử lý toán xác ñịnh khoảng cách 3.3.3 Một số chức Phát ñối tượng theo màu sắc, vẽ hình chữ nhật bao ñối tượng Tâm ñối tượng tâm hình chữ nhật bao ñối tượng Footer Page 19 of 126 Header Page 20 of 126 20 Load Image Dùng inRange() xác ñịnh khu vực chứa ñối tượng theo ngưỡng màu Chuyển ảnh thu ñược sang nhị phân Khử nhiễu lọc trung vị Dùng cvFindContour() xác ñịnh vùng liên thông Dùng cvBoundingRect() vẽ hình chữ nhật bao contour Khu vực có hình bao lớn ñối tượng Hình 3.6 Phát ñối tượng theo màu sắc Footer Page 20 of 126 Header Page 21 of 126 21 Khoảng cách hai ñối tượng A B: Load Left Image Load Right Image Phát ñối tượng A, B Phát ñối tượng A, B Vẽ hình chữ nhật bao A, B Vẽ hình chữ nhật bao A, B Xác ñịnh tọa ñộ tâm 2D A B Xác ñịnh tọa ñộ tâm 2D A B Xác ñịnh tọa ñộ tâm A B không gian 3D Tính khoảng cách Euclid tâm A B không gian 3D Hình 3.7 Khoảng cách hai ñối tượng A B 3.4 KẾT QUẢ MINH HOẠ Chương trình phát hai bóng camera bên trái camera bên phải tính khoảng cách hai bóng Footer Page 21 of 126 Header Page 22 of 126 22 Hình 3.8 Phát tính khoảng cách ñối tượng 3D 3.5 ĐIỀU KIỆN RÀNG BUỘC CỦA CHƯƠNG TRÌNH 3.6 ĐÁNH GIÁ KẾT QUẢ CHƯƠNG TRÌNH KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận a Về mặt lý thuyết - Tìm hiểu sử dụng thành thạo thư viện OpenCV Microsoft Visual Studio 2008 - Nắm ñược khái niệm video camera số - Tìm hiểu tổng quan phương pháp phát ñối tượng phương pháp phát ñối tượng dựa màu sắc, hệ màu HSV - Tìm hiểu tổng quan phương pháp lọc nhiễu, ñi sâu nghiên cứu phương pháp lọc trung vị - Nghiên cứu kỹ thuật hiệu chỉnh camera thị giác máy tính: phương pháp Pinhole, hệ thống thu nhận không gian ba chiều, hệ thống thu nhận ba chiều kinh ñiển, Footer Page 22 of 126 Header Page 23 of 126 23 Stereo Vision, phương pháp hiệu chỉnh camera bản, tự hiệu chỉnh (Self-Calibration), hiệu chỉnh stereo - Tìm hiểu phương pháp xác ñịnh khoảng cách ñối tượng không gian 3D, khoảng cách Euclid b Về mặt thực tiễn - Phát ñối tượng dựa màu sắc - Xác ñịnh tọa ñộ trọng tâm ñối tượng - Tính khoảng cách ñối tượng - Sử dụng thành công công cụ phục vụ cho việc xử lý video Motion Video, FLV Converter ñể chuyển ñối ñịnh dạng video khác ñịnh dạng AVI ñể dễ dàng cho việc thao tác thư viện OpenCV - Chương trình thời gian thực (real time): tính ñược khoảng cách ñối tượng chuyển ñộng qua camera kiện giới thực xảy Phạm vi ứng dụng - Đề tài có phạm vi ứng lĩnh vực: o Giao thông vận tải: Dựa vào liệu camera thu ñược ñể xác ñịnh lỗi vi phạm khoảng cách tối thiểu cho phép ñối tượng tham gia giao thông, ñặc biệt hệ thống ñường hầm o Y tế: Sử dụng hệ thống camera ñể giám sát hoạt ñộng uống thuốc, giám sát hành vi ăn tối người Footer Page 23 of 126 Header Page 24 of 126 24 cao tuổi, từ ñó có thông báo kịp thời cho nhân viên y tế o Công nghiệp sản xuất tự ñộng: ứng dụng ñiều khiển robot dựa công nghệ xử lý ảnh, nhận biết yêu cầu người ñiều khiển thông qua màu sắc - Bên cạnh ñó ñề tài tạo tảng cho nghiên cứu cảm quan máy tính nói riêng xử lý ảnh nói chung tương lai Hạn chế Bên cạnh kết ñã ñạt ñược, ñề tài có số hạn chế cần phải ñược khắc phục như: - Chỉ phát ñược ñối tượng có ngưỡng màu nằm khoảng xác ñịnh - Đối tượng phải gần tầm quan sát camera - Chỉ tính ñược khoảng cách ñối tượng ñối tượng không bị che khuất hoàn toàn việc phát ñối tượng dựa màu sắc Hướng phát triển Chương trình ñược xây dựng phần demo thuật toán phát ñối tượng dựa màu sắc, lọc trung vị loại bỏ nhiễu, xác ñịnh tâm, tính khoảng cách ñối tượng Để triển khai thực tế, ñề tài cần phải ñược cải tiến Hy vọng tương lai, phát triển ñây giúp ñề tài hoàn thiện hơn: Footer Page 24 of 126 Header Page 25 of 126 - 25 Xác ñịnh ñược khoảng cách ñối tượng bị che khuất hoàn toàn - Phát tính khoảng cách ñược nhiều ñối tượng với nhiều màu sắc không ñặc trưng - Ứng dụng ñể ñiều khiển cánh tay robot ñược xác trường hợp: gắp ñối tượng, thực số thao tác thay người dây chuyền sản xuất tự ñộng Footer Page 25 of 126  ... KỸ THUẬT CAMERA CALIBRATION XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG TRONG KHÔNG GIAN 3D 3. 1 TỔNG QUAN VỀ BÀI TOÁN XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG 3D CHUYỂN ĐỘNG QUA CAMERA Xác ñịnh khoảng. .. PHƯƠNG PHÁP XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG TRONG KHÔNG GIAN 3D Hiện có nhiều phương pháp xác ñịnh khoảng cách ñối tượng không gian 3D 3. 2.1 Khoảng cách Euclid 3. 2.2 Khoảng cách từ ñiểm... ñặt là: lựa chọn kỹ thuật phù hợp ñể tính xác khoảng cách ñối tượng không gian 3D Hiện nay, có nhiều kỹ thuật ñược áp dụng ñể xác ñịnh khoảng cách ñối tượng không gian 3D, kỹ thuật có mạnh hạn