BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - PHẠM ANH TUẤN NGHIÊN CỨU VÀ PHÁT TRIỂN GIẢI THUẬT PHÁT HIỆN VÀ THEO VẾT NGƯỜI TRÊN MỘT MẠNG CAMERA Chuyên ngành Công nghệ thông tin LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS VŨ HẢI Hà Nội - Năm 2015 LỜI CẢM ƠN Trước tiên, em muốn gửi lời cảm ơn sâu sắc đến thầy giáo, Tiến sĩ Vũ Hải tận tình hướng dẫn em suốt trình thực luận văn cao học Em xin bày tỏ lời cảm ơn sâu sắc đến thầy cô, anh chị công tác viện nghiên cứu quốc tế MICA, đặc biệt phòng Thị giác máy tính, tạo điều kiện tốt cho em học tập công tác, giúp đỡ cho em tri thức kinh nghiệm sống, hành trang giúp em vững bước tương lai Em xin chân thành cảm ơn chị Phạm Thị Thanh Thủy, NCS phòng Thị giác máy tính, Viện MICA, cho phép em sử dụng liệu chuẩn định vị định danh người môi trường cảm thụ Em muốn gửi lời cảm ơn đến tất thầy cô dạy dỗ em môn học học phần cao học, tất học bổ ích chuyên môn cung cấp cho em gợi mở quan trọng suốt trình nghiên cứu Em xin cảm ơn đơn vị nơi công tác tạo điều kiện thuận lợi cho em hoàn thành luận văn Cuối cùng, em muốn gửi lời cảm ơn sâu sắc đến tất gia đình, bạn bè, người kịp thời động viên giúp đỡ em vượt qua khó khăn, đạt mục tiêu đề trình hoàn thành luận văn HỌC VIÊN Phạm Anh Tuấn LỜI CAM ĐOAN Tôi xin cam đoan luận văn hoàn thành sở nghiên cứu, tổng hợp kiến thức công việc Viện nghiên cứu quốc tế MICA, Đại học Bách Khoa Hà Nội, thông qua giảng thầy hướng dẫn qua tài liệu tham khảo trích dẫn đầy đủ Luận văn mới, đóng góp luận văn thân thực hiện, nghiên cứu, đúc rút, thí nghiệm số liệu có thực thực Phòng Thị giác máy tính, Viện MICA, Đại học Bách Khoa Hà Nội Tôi xin cam đoan đóng góp không chép nguyên từ nguồn tài liệu HỌC VIÊN Phạm Anh Tuấn MỤC LỤC LỜI CẢM ƠN .1 LỜI CAM ĐOAN .2 MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ MỞ ĐẦU .9 1.1 Bối cảnh lí chọn đề tài 1.1 Nhiệm vụ đặt 10 1.2 Những đóng góp luận văn 10 1.3 Bố cục luận văn 10 Chương TÌM HIỂU CÁC BÀI TOÁN LIÊN QUAN VỀ PHÁT HIỆN VÀ THEO VẾT NGƯỜI TRONG MỘT MẠNG CAMERA 12 1.1 Phát theo vết người camera 12 1.1.1 Các nghiên cứu liên quan toán phát người 12 1.1.2 Các nghiên cứu liên quan theo vết đối tượng 14 1.2 Phát theo vết người mạng camera 19 1.2.1 Phối ghép nhiều camera (Multiple Camera Calibration) .20 1.2.2 Theo dõi người mạng camera 21 1.2.3 Định danh lại người mạng camera 24 1.3 Giới hạn toán nghiên cứu luận văn .29 Chương PHƯƠNG PHÁP PHÁT HIỆN NGƯỜI TRÊN MỘT CAMERA .31 2.1 Phương pháp phát người sử dụng kỹ thuật trừ 33 2.1.1 Lọc trung bình (Running Average) 33 2.1.2 Lọc trung vị (Running Median) 35 2.1.3 Lọc trung bình Gaussian .36 2.1.4 Mô hình Gauss hỗn hợp 37 2.1.5 Mô hình hỗn hợp Gaussian thích nghi 40 2.2 Phát khử bóng 43 2.2.1 Khử bóng sử dụng ngưỡng tỷ lệ chiều cao chiều rộng đối tượng .44 2.2.2 Khử bóng sử dụng đặc trưng ảnh 45 2.3 Phát theo vết đối tượng 49 2.3.1 Phát đối tượng người sử dụng HOG - SVM 49 2.3.2 Theo vết đối tượng 54 Chương PHƯƠNG PHÁP PHỐI GHÉP HÀNH TRÌNH TRÊN MỘT MẠNG CAMERA 56 3.1 Camera calibration 56 3.1.1 Camera Model 57 3.1.2 Hình học ánh xạ 58 3.1.3 Biến dạng thấu kính (Lens Distortions) 59 3.2 Phương pháp phối ghép nhiều Camera .61 3.2.1 Chuẩn bị liệu cho Calibration (Thu thập hình ảnh sàn nhà) .62 3.2.2 Phép chiếu bird-eye view .63 3.3 Phương pháp kết nối hành trình từ nhiều camera 65 Chương KẾT QUẢ THỬ NGHIỆM 67 4.1 Mô tả môi trường thử nghiệm 67 4.2 Đánh giá hiệu khử bóng kết kỹ thuật trừ 68 4.3 Đánh giá hiệu việc kết hợp phát HOG+SVM sau trừ 69 4.4 Kết hành trình người di chuyển quan sát từ mạng camera sử dụng liệu Ground-truth 71 4.5 Kết vẽ hành trình từ mạng camera thực tế .72 KẾT LUẬN .73 TÀI LIỆU THAM KHẢO 75 DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT Ký hiệu / Từ viết tắt CỤM TỪ ĐẦY ĐỦ DỊCH NGHĨA BGS Background Subtraction Kỹ thuật trừ FG Foreground Ảnh có đối tượng HOG Histogram of Oriented Gradients Biểu đồ biến đổi hướng PCA Principal component analysis Phân tích thành phần SDK Software Development Kit Bộ công cụ phát triển phần mềm SVM Support Vector Machine Bộ phân lớp máy hỗ trợ vectơ Calib Calibration Kỹ thuật chỉnh camera MOG Mixture of Gaussians Gauss hỗn hợp DANH MỤC CÁC HÌNH VẼ Hình 1.1 Minh họa toán phát người ảnh .12 Hình 1.2 Sơ đồ khối hướng tiếp cận 13 Hình 1.3 Sơ đồ khối hướng tiếp cận 14 Hình 1.4 Bài toán nhận dạng xe ảnh 14 Hình 1.5 Minh hoạ kết toán theo vết người 15 Hình 1.6 Hai pha chu trình ước lượng: dự báo dựa thông tin tiên nghiệm hiệu chỉnh theo thông tín đo lường [4] 19 Hình 1.7 Một số kỹ thuật nghiên cứu toán giám sát sử dụng mạng camera 19 Hình 1.8 Tìm tham số (ma trận R|t) camera hệ tọa độ giới thực 20 Hình 1.9 Đối tượng xác định lên nhiều khung hình camera 27 Hình 1.10 Các bước toán phát theo dõi đối tượng người 30 Hình 2.1 Sơ đồ phương pháp đề xuất phát theo vết người camera 31 Hình 2.2 Sơ đồ thiết lập môi trường mạng camera sử dụng nghiên cứu luận văn 32 Hình 2.3 Một số hình ảnh thu thập từ Cam1 (hàng trên) Cam (hàng dưới) sử dụng họa nội dung 32 Hình 2.4 Kết thực thuật toán Running Average Cam1 (a) Cam2 (b) 35 Hình 2.5 Kết thực Running Median Cam1 (a) Cam2 (b) 36 Hình 2.6 Kết sử dụng trung bình Gaussian Cam1 (a) Cam2 (b) 37 Hình 2.7 Kết trừ sử dụng mô hình hỗn hợp Gaussian Cam1 (a) Cam2 (b) 40 Hình 2.8 Kết trừ sử dụng mô hình hỗn hợp Gaussian thích nghi (a) Kết trừ thu Cam#1 (b) Kết trừ thu Cam#2 42 Hình 2.9 (a) Box màu đỏ đánh dấu vùng người phát dựa blob ảnh trừ nền; Box màu vàng đánh dấu vùng người (ground-truth) (b) Ảnh kết trừ 43 Hình 2.10 Đối tượng phát bao gồm bóng .44 Hình 2.11 Kết phát đối tượng với bóng tách 45 Hình 2.12 Chuẩn bị liệu xác định shadow cho hình học P (S | shadow) P(H | shadow) 47 Hình 2.13 Quan sát giá trị S H shadow pixel 47 Hình 2.14 Phân bố P(S | shadow) P(H | shadow) vùng có bóng môi trường quan sát 48 Hình 2.15 Minh họa kết khử bóng Hàng 1: hình ảnh gốc, frame thu cách 2s Hàng 2: kết trừ chưa khử bóng; Hàng 3: kết phát pixel bóng Các pixel bóng vẽ kết trừ với màu xám 48 Hình 2.16 Thứ tự Histogram với góc khác (từ 00 đến 1800) 49 Hình 2.17 HOG số bins bins; bins; 16 bins 50 Hình 2.18 Hai loại hình học block .50 Hình 2.19 Bộ phân loại SVM đơn giản với số chiều vector đặc trưng .51 Hình 2.20 Kết phát người sử dụng HOG SVM với Threshold=1.0 52 Hình 2.21 Kết sau quét cửa sổ HOG toàn ảnh 53 Hình 2.22 Kết sau quét cửa sổ HOG vùng mở rộng 53 Hình 3.1 Quá trình tìm tham số hiệu chỉnh (sửa méo) ảnh thu nhận từ camera 56 Hình 3.2 Pinhole camera model 57 Hình 3.3 Một mô hình tương đương Pinhole camera 58 Hình 3.4 Hình ảnh minh họa radial distortions 60 Hình 3.5 Méo Tangential 61 Hình 3.6 Hình ảnh chưa sửa méo sửa méo 61 Hình 3.7 Phương pháp phối ghép nhiều Camera 62 Hình 3.8 Hình ảnh thu từ Camera với gốc tọa độ giới thực (điểm đánh dấu màu vàng mặt sàn) .62 Hình 3.9 Quá trình thu thập ảnh kết phát góc chessboard Cam1 sử dụng cho Calibration Hàng trên: Ảnh gốc thu thập từ Cam1 Ảnh dưới: Vị trí điểm chessboard phát Nhờ cấu hình biết trước chessboard, điểm tương ứng góc nhìn (1-2-3) thiết lập 63 Hình 3.10 Xác định tọa độ điểm ảnh thu từ camera #1 camera #2 63 Hình 3.11 Hình chiếu Bird-eye-view từ ảnh quan sát camera Cam1 Cam2 minh họa Hình 3.10 64 Hình 3.12 Kết biến đổi ngược ma trận H, phát điểm giao viên gạch 64 Hình 3.13 Kết khớp điểm giao hàng gạch ảnh thu thập từ camera .64 Hình 3.14 Kết phối ghép hai camera dựa điểm khớp tìm 65 Hình 3.15 người phát khoanh bao hình chữ nhật Tọa độ thấp đánh dấu ghi ảnh .65 Hình 3.16- Kết vẽ hành trình (đường đỏ) người di chuyển môi trường Hành trình bắt đầu frame #250 kết thúc frame#1098 Một số điểm trung gian frame #298 quan sát từ camera #907quan sát từ hai camera Các frame thu từ camera tương ứng vị trí hiển thị khung hình .66 Hình 4.1 Môi trường thử nghiệm 67 Hình 4.2 Các hình ảnh thu thập chuẩn bị liệu ground-truth cho thử nghiệm hệ thống Theo hàng dọc: hình ảnh thu thập từ camera Cam1, Cam2, Cam3 Theo hàng ngang: thử nghiệm khác gồm: người đi; người đi; người Hiện tượng che khuất thấy rõ trường hợp người lại 68 Hình 4.3 Hiệu khử bóng kết trừ 69 Hình 4.4 Kết vẽ hành trình có khử bóng không khử bóng (a) Giá trị lỗi Error frame (b) Vẽ hành trình có khử bóng sát với liệu ground-truth 69 Hình 4.5 Hiệu trình kềt hợp HOG+SVM kết trừ 70 Hình 4.6 Kết kết hợp trừ phát HOG + SVM Hàng 1: Chuỗi frame gốc, frame cách 25-30 frames Hàng 2: Kết sử dụng kỹ thuật trừ nền; Hàng 3: Kết áp dụng phát HOG + SVM Nhiều vùng false postive xuất Hàng 4: Kết sau kết hợp (đóng khung màu đỏ) Vùng đóng khung màu vàng liệu Ground-truth 70 Hình 4.7 Hành trình tổng hợp từ camera giám sát với thử nghiệm gồm người lại môi trường Hảnh trình tổng hợp từ camera Cam1 Cam2 Hành trình người vẽ theo màu khác 71 Hình 4.8 Hành trình quan sát thường ngày thu từ Cam sử dụng hệ thống đề xuất Các frame cách 2s Trong khung hình: Góc trên: ảnh thu từ camera Góc bên phải: kết ảnh trừ nền; Góc bên phải: ảnh sau khử bóng; Ảnh sử dụng kết hợp HOG+SVM vẽ vùng bao màu đỏ ảnh gốc Hành trình theo trục thời gian vẽ góc bên trái (màu xanh) 72 Hình 4.9 Kết minh họa Cam2 Các giải thích tương tự với Hình 4.8 72 MỞ ĐẦU 1.1 Bối cảnh lí chọn đề tài Bài toán phát theo vết người sử dụng mạng camera hình ảnh có nhiều ứng dụng giám sát môi trường công cộng môi trường có yêu cầu an ninh Một số ứng dụng kể như: tự động theo dõi giám sát tòa nhà, sân bay, bến cảng, bãi đỗ xe, kho bãi; Trong y tế hỗ trợ người tàn tật: giám sát bệnh nhân, giám sát tai nạn bất ngờ, theo dõi người già, trẻ em nhà Để xây dựng ứng dụng này, lĩnh vực nghiên cứu liên quan đến toán phát theo vết người sử dụng camera nhận nhiều quan tâm nhà nghiên cứu lĩnh vực thị giác máy tính, học máy, tự động hóa Hai hướng nghiên cứu là: toán phát cho phép xác định tồn người khung hình thu nhận camera, toán theo vết cho phép kết nối vùng phát đối tượng khung hình khác nhau, camera khác điều kiện môi trường thay đổi (như che khuất, thay đổi tỉ lệ ….) Bài toán phát theo vết đối tượng nói chung đối tượng người nói riêng mạng camera mạng camera phải giải hai nội dung nghiên cứu trên, cần phải có nội dung nghiên cứu khác như: phối ghép góc nhìn từ nhiều camera; theo vết định danh so khớp người dựa đặc trưng ảnh từ góc nhìn camera khác Việc kết hợp thông tin từ nhiều camera mạng giúp việc mở rộng môi trường cần giám sát để nâng cao độ xác hệ thống Xuất phát từ sở khoa học trên, đề tài tập trung vào việc xây dựng phát triển giải thuật phát theo vết người mạng camera Trong phương pháp đề xuất phát nhanh chóng, xác đối tượng người sử dụng kết hợp luồng liệu hình ảnh thu thập kết hợp từ nhiều camera Nội dung luận văn phần đề tài cấp bộ: “Nghiên cứu phát triển hệ thống tìm đường tối ưu dựa thông tin định vị hình ảnh, RFID wifi, ứng dụng trợ giúp định hướng người khiếm thị môi trường ràng buộc” Viện MICA thực khó khăn Do đề xuất kỹ thuật dựa việc tìm điểm giao dựa mặt sàn thu nhận từ camera Chi tiết kỹ thuật đề xuất bao gồm bước: - Tính toán số hiệu chỉnh Camera (như trình bày phần 4.1) - Chuẩn bị liệu để Calibration - Phép chiếu Bird eye-view - Ghép nối Camera lại với Hình 3.7 Phương pháp phối ghép nhiều Camera 3.2.1 Chuẩn bị liệu cho Calibration (Thu thập hình ảnh sàn nhà) Quá trình chuẩn bị cho calibration camera bao gồm việc đánh dấu điểm gốc tọa độ mặt sàn cho điểm quan sát camera Hình 3.8 Hình ảnh thu từ Camera với gốc tọa độ giới thực (điểm đánh dấu màu vàng mặt sàn) Đồng thời để tìm hiệu chỉnh thông số camera, sử dụng chessboard gồm ô bàn cờ xây dựng sẵn Quá trình thu thập tìm điểm matching ô bàn cờ minh họa Hình 3.9 62 Hình 3.9 Quá trình thu thập ảnh kết phát góc chessboard Cam1 sử dụng cho Calibration Hàng trên: Ảnh gốc thu thập từ Cam1 Ảnh dưới: Vị trí điểm chessboard phát Nhờ cấu hình biết trước chessboard, điểm tương ứng góc nhìn (1-2-3) thiết lập 3.2.2 Phép chiếu bird-eye view Đầu tiên xác định tọa độ điểm Hình 3.10 Hình 3.10 Xác định tọa độ điểm ảnh thu từ camera #1 camera #2 Sử dụng tọa độ điểm đánh dấu, tìm ma trận chuyển từ ảnh gốc sang ảnh Bird-eye view Ví dụ minh họa sau ảnh chuyển sang bird-eye view 63 Hình 3.11 Hình chiếu Bird-eye-view từ ảnh quan sát camera Cam1 Cam2 minh họa Hình 3.10 Biến đổi ngược ma trận H từ bird-eye view sang ảnh gốc để xác định tọa độ viên gạch Hình 3.12 Kết biến đổi ngược ma trận H, phát điểm giao viên gạch Nhờ vào tọa độ điểm đánh dấu, tìm ma trận xoay ma trận dịch chuyển điểm giao mặt sàn Kết sau xoay dịch chuyển gốc tọa độ Hình 3.13 Kết khớp điểm giao hàng gạch ảnh thu thập từ camera 64 Từ điểm matching tìm ma trận chuyển đổi hai ảnh Kết khớp hai ảnh hình Hình 3.14 Kết phối ghép hai camera dựa điểm khớp tìm 3.3 Phương pháp kết nối hành trình từ nhiều camera Sơ đồ thực Vùng người phát camera thứ đánh dấu hình chữ nhật Chọn tọa độ chân điểm thấp nhất, hình minh họa Hình 3.15 người phát khoanh bao hình chữ nhật Tọa độ thấp đánh dấu ghi ảnh Vị trí người sàn sử dụng để chuyển đổi sang hệ tọa độ gốc định nghĩa nhờ ma trận chuyển xác định bước Một số ví dụ minh họa 65 Hình 3.16- Kết vẽ hành trình (đường đỏ) người di chuyển môi trường Hành trình bắt đầu frame #250 kết thúc frame#1098 Một số điểm trung gian frame #298 quan sát từ camera #907quan sát từ hai camera Các frame thu từ camera tương ứng vị trí hiển thị khung hình 66 Chương KẾT QUẢ THỬ NGHIỆM 4.1 Mô tả môi trường thử nghiệm Môi trường thử nghiệm môi trường sảnh hành lang phòng Môi trường cảm thụ thông minh, Viện NC Quốc tế MICA, đại học Bách Khoa Hà nội Trong môi trường thử nghiệm này, việc lắp đặt camera giám sát, có hệ thống định vị khác WIFI Hình minh họa sơ đồ môi trường thử nghiệm Hình 4.1 Môi trường thử nghiệm Một số chuỗi hình ảnh thu thập bao gồm: - Môi trường có người lại - Môi trường có người - Môi trường có 3-5 người lại Các hành trình xác định trước theo chiều mũi tên Hình 4.1 Các liệu thu thập từ camera đồng theo thời gian đảm bảo số lượng khung hình camera giống tổ chức theo cấu trúc: - Video gốc: lưu hình ảnh thu thập từ camera 67 - Video sửa méo: lưu hình ảnh sau sửa méo camera - Video ground truth: gồm thông tin vị trí khung hình bao, thông tin định danh đối tượng người xuất khung hình Những liệu ground-truth chuẩn bị trước tay Hình ảnh ground truth minh họa Hình 4.2 Hình 4.2 Các hình ảnh thu thập chuẩn bị liệu ground-truth cho thử nghiệm hệ thống Theo hàng dọc: hình ảnh thu thập từ camera Cam1, Cam2, Cam3 Theo hàng ngang: thử nghiệm khác gồm: người đi; người đi; người Hiện tượng che khuất thấy rõ trường hợp người lại 4.2 Đánh giá hiệu khử bóng kết kỹ thuật trừ Sử dụng số phương pháp trừ khác nhau, với Adaptive GMM cho kết trừ tốt hầu hết camera Hình minh họa số kết trừ Tuy nhiên, môi trường hành lang, bóng xuất mạnh, đặc biệt sảnh chờ vị trí quan sát Cam1 Cam2 Áp dụng kỹ thuật khử bóng trình bày, kết cho sau: 68 Hình 4.3 Hiệu khử bóng kết trừ Tiếp tục đánh giá định lượng hiệu khử bóng việc vẽ hành trình người di chuyển  - Gọi tọa độ ground-truth vị trí chân tiếp giáp với sàn x gt , y gt  - Gọi tọa độ phát tương ứng vị trí chân người tiếp giáp với sàn xi , yi  - Lỗi sai khác vị trí tính là: Error  x  x gt   yi  y gt  i Kết tính Error liệu có bóng bóng minh họa hình sau: Hình 4.4 Kết vẽ hành trình có khử bóng không khử bóng (a) Giá trị lỗi Error frame (b) Vẽ hành trình có khử bóng sát với liệu ground-truth Giá trị lỗi trung bình có khử bóng khử bóng là: 9.5 +/-6.8 (pixel) 23.4 +/- 19.8 (pixel) Sử dụng phương pháp khử bóng đề xuất mang lại hiệu vẽ hành trình người di chuyển, đồng thời thông qua quan sát trực quan minh họa Hình 4.4 (b) 4.3 Đánh giá hiệu việc kết hợp phát HOG+SVM sau trừ Hình 4.5 minh họa hiệu phương pháp kết hợp HOG+SVM kết trừ (sau khử bóng) Nếu sử dụng HOG toàn ảnh, có nhiều mẫu false positive (phát sai) xuất ảnh gốc Thông qua mặt nạ từ kết trừ nền, vị trí bị loại bỏ 69 Hình 4.5 Hiệu trình kềt hợp HOG+SVM kết trừ Tuy nhiên sử dụng trừ nền, việc phát người bị hạn chế môi trường có nhiều người lại có đối tượng bị che khuất Hình minh họa ảnh hưởng việc sử dụng HOG để phát người vùng ảnh từ kết trừ liên thông với Hình 4.6 Kết kết hợp trừ phát HOG + SVM Hàng 1: Chuỗi frame gốc, frame cách 25-30 frames Hàng 2: Kết sử dụng kỹ thuật trừ nền; Hàng 3: Kết áp dụng phát HOG + SVM Nhiều vùng false postive xuất Hàng 4: Kết sau kết hợp (đóng khung màu đỏ) Vùng đóng khung màu vàng liệu Ground-truth 70 4.4 Kết hành trình người di chuyển quan sát từ mạng camera sử dụng liệu Ground-truth Để đánh giá khả phối ghép luồng di chuyển người hai camera, tiến hành vẽ toàn hành trình quan sát từ camera khác sử dụng chung hệ quy chiếu Hình 4.7 minh họa hành trình thu từ liệu vị trí người môi trường xây dựng trước Luồng di chuyển quan sát phân tách người người riêng biệt Toàn hành trình người di chuyển vùng quan sát Cam1 Cam2 hiển thị Hình 4.7 Hành trình tổng hợp từ camera giám sát với thử nghiệm gồm người lại môi trường Hảnh trình tổng hợp từ camera Cam1 Cam2 Hành trình người vẽ theo màu khác 71 4.5 Kết vẽ hành trình từ mạng camera thực tế Chúng tiếp tục đánh giá phương pháp thông qua việc xây dựng ứng dùng cho phép vẽ lại hành trình trực tuyến từ luồng liệu hình ảnh thu thập từ camera IP Hình 4.8 Hình 4.9 minh họa số hành trình thu từ camera Cam1 Cam2 Để thuận tiện cho việc theo dõi hệ thống, số kết trung gian hiển thị kết trừ nền, khử bóng, phát người sử dụng HOG+SVM Hình 4.8 Hành trình quan sát thường ngày thu từ Cam sử dụng hệ thống đề xuất Các frame cách 2s Trong khung hình: Góc trên: ảnh thu từ camera Góc bên phải: kết ảnh trừ nền; Góc bên phải: ảnh sau khử bóng; Ảnh sử dụng kết hợp HOG+SVM vẽ vùng bao màu đỏ ảnh gốc Hành trình theo trục thời gian vẽ góc bên trái (màu xanh) Tương tự, hành trình thu thập từ Cam2 minh họa hình Hình 4.9 Kết minh họa Cam2 Các giải thích tương tự với Hình 4.8 72 KẾT LUẬN Trong luận văn, việc cung cấp nhìn tổng quan phương pháp phát theo bám mạng camera, tập trung vào phương pháp, kỹ thuật vượt qua hệ thống sử dụng camera như: phối ghép luồng liệu từ nhiều camera Trong trình đó, thu nhận nhiều kinh nghiệm quan trọng để giải vấn đề đề tài vấn đề bóng áp dụng kỹ thuật trừ nền, vấn đề phối ghép camera vùng giao camera nhỏ Tiếp theo, nêu chi tiết phương pháp thực toán: toán phát người kết hợp kết trừ phát HOG+SVM; kỹ thuật khử bóng hiệu quả; Kỹ thuật phối ghép nguồn thông tin từ nhiều camera Cơ sở lý luận phương pháp đầy đủ vấn đề kỹ thuật cần thực Về phương pháp mang tính khả thi, hiệu đạt mục đích đề Cuối cùng, tiến hành đánh giá thực nghiệm dựa CSDL chuẩn theo dõi phát người môi trường cảm thụ Các kết thử nghiệm phân tích minh họa hình ảnh trực quan thấy hiệu kỹ thuật đề xuất Kết cuối hành trình người lại môi trường giám sát mạng camera thu thập phối ghép với Về luận văn đạt mục tiêu đề ra, với phương pháp thực khoa học, quán, xây dựng hệ thống hoàn chỉnh có đóng góp mặt khoa học lẫn mặt kỹ thuật, song luận văn số nhược điểm Đầu tiên vấn đề theo bám định danh lại sử dụng kỹ thuật đơn giản sử dụng từ kết phát hiện, dựa tọa độ vùng giao để làm khớp hành trình từ hai camera Thêm phương pháp đánh giá đề tài đánh giá theo hình minh họa Các đánh giá chi tiết mặt định lượng chất lượng phát người sau áp dụng kỹ thuật khử bóng chưa thực Kết so sánh thực kỹ thuật định danh lại có độ xác cao dựa mô hình học tiên tiến Về hướng phát triển đề tài, đưa hai hướng phát triển Thứ đánh giá chi tiết hiệu (định lượng) dựa số Jicad Index toán trừ có khử bóng; hiệu việc kết hợp HOG+SVM 73 liệu sau khử bóng; Hiệu toán tracking có kết hợp định danh lại Thứ hai kết hợp nhiều nguồn thông tin định danh định vị (cảm biến WIFI, đếm số bước chân người …) để cải thiện chất lượng toán giám sát theo dõi, đặc biệt giải vấn đề khó khăn camera hình ảnh như: đối tượng người bị che khuất đối tượng theo nhóm 74 TÀI LIỆU THAM KHẢO Duc Thanh Nguyen (2012), Human dection from image and videos Doctor of Philosophy of Computer Science Phạm Thị Thanh Thủy (2014), Phát hiện, theo vết định vị đối tượng di động môi trường tòa nhà sử dụng thông tin hình ảnh G.Bradski, J.Davis (2000), Motion Segmentation and Pose Recognition with Motion History Gradients, IEEE Workshop on Applications of Computer Vision G.Bradski, A.Kaehler (2008), Learning OpenCV, O’Reilly Media Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472 D.Comaniciu, P.Meer (2002), Mean Shift: A Robust Approach Toward Feature Space Analysis, IEEE N.Dalal, B.Triggs (2005), Histograms of Oriented Gradients for Human Detection pdf In CVPR Faugeras, O (1993), Three Dimensional Computer Vision: A Geometric Viewpoint, MIT Press Friedman N, Russell S (1997), Image Segmentation in Video Sequences: A Probabilistic Approach Proceedings Thirteenth Conference on Uncertainty in Artificial Intelligence (UAI 1997), 175-181 Hartley, R.I., Zisserman, A (2004), Multiple View Geometry in Computer Vision, Cambridge University Press 10 Massimo Piccardi, “Background subtraction techniques: a review” 11 A Prati, I Mikic, M Trivedi, R Cucchiara (2003) Detecting moving shadows: algorithms and evaluation IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(7): 918–923 12 QIN Yin-Shi, SUN Shui-Fa, MA Xian-Bing, HU Song, LEI Bang-Jun (2013) A Shadow Removal Algorithm for ViBe in HSV Color Space（ICMT 2013), 2013, 966-973 13 C.Stauffer and W.Grimson (1999), Adaptive Background mixture models for Real-time tracking, pp 750-755 75 14 Triggs, B (1999), Camera pose and calibration from or known 3d points In: Proc IEEE Internat Conf Computer Vision 15 Winn, J and A Criminisi (2006), Object Class Recognition at a Glance, in Proc Conf Computer Vision and Pattern Recognition (CVPR) Video Track2006 16 Xiaogang Wang, Intelligent multi-camera video surveillance: A review 17 Zhaomin Zhu, T.M., Hidekazu Adachi, Osamu Kiriyama, Multi-view Face Detection anh Recognition using Haar-like Features 76 ... VỀ PHÁT HIỆN VÀ THEO VẾT NGƯỜI TRONG MỘT MẠNG CAMERA 12 1.1 Phát theo vết người camera 12 1.1.1 Các nghiên cứu liên quan toán phát người 12 1.1.2 Các nghiên cứu liên quan theo vết. .. hướng phát triển tương lai 11 Chương TÌM HIỂU CÁC BÀI TOÁN LIÊN QUAN VỀ PHÁT HIỆN VÀ THEO VẾT NGƯỜI TRONG MỘT MẠNG CAMERA 1.1 Phát theo vết người camera Phát theo vết người từ camera chủ đề nghiên. .. nhằm nghiên cứu thuật toán phát theo vết người chuyển động mạng camera, từ xây dựng chương trình hỗ trợ với chức sau: - Phát người theo vết người mạng camera - Cung cấp thông tin di chuyển người