LỜI CẢM ƠN Chúng tơi xin bày tỏ lịng biết ơn sâu sắc đến TS Trần Hành hướng dẫn nhiệt tình, tận tâm suốt q trình tơi thực nghiên cứu Chúng xin chân thành cảm ơn bạn đồng nghiệp Trung Tâm Thông Tin Tư Liệu - Trường Đại học Lạc Hồng giúp đỡ cho suốt thời gian nghiên cứu trường Chúng tơi xin chân thành cảm ơn q Thầy (Cơ) ngồi trường tận tâm giúp đỡ tơi q trình nghiên cứu MỤC LỤC LỜI CẢM ƠN i MỤC LỤC ii DANH MỤC CÁC TỪ VIẾT TẮT iv DANH MỤC HÌNH v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC LƯỢC ĐỒ vii MỞ ĐẦU Chương KHÁI QUÁT VỀ XỬ LÝ VIDEO VÀ GIÁM SÁT ĐỐI TƯỢNG 1.1 Khái quát xử lý Video 1.1.1 Sơ lược Video 1.1.2 Các dạng Video 1.1.2.1 Video tương tự 1.1.2.2 Video số 1.1.3 Các chuẩn Video 1.2 Phát giám sát đối tượng: 13 1.2.1 Phát đối tượng chuyển động Video 13 1.2.1.1 Phép trừ 14 1.2.1.2 Các phương pháp tĩnh 15 1.2.1.3 Sự khác biệt theo thời gian 16 1.2.1.4 Optical Flow 17 1.2.2 Phân loại đối tượng Video 21 1.2.2.1 Phân loại dựa theo hình dạng 21 1.2.2.2 Phân loại dựa theo chuyển động 22 1.2.3 Phát ánh sáng 23 1.2.4 Đánh dấu đối tượng 23 Chương 25 PHÁT HIỆN VÀ GIÁM SÁT ĐỐI TƯỢNG CHUYỂN ĐỘNG TRONG VIDEO 25 2.1 Phát đối tượng 25 2.1.1 Phát trội 27 2.1.1.1 Mơ hình trừ có khả thích ứng 28 2.1.1.2 Mơ hình hỗn hợp Gaussian tương thích 31 2.1.1.3 Sự khác biệt theo thời gian 34 2.1.2 Bước hậu xử lý điểm ảnh 35 2.1.2.1 Phát bóng thay đổi ánh sáng đột ngột 36 2.1.3 Phát vùng liên tục 42 2.1.4 Bước hậu xử lý vùng 43 2.1.5 Trích rút đặc trưng đối tượng 43 2.2 Giám sát đối tượng chuyển động 44 2.2.1 Tham chiếu tương tự với đối tượng 46 2.2.2 Điều khiển chồng chéo đối tượng 51 2.2.2.1 Phát đối tượng bị che khuất 52 2.2.2.2 Phát đối tượng tách 52 2.2.2.3 Lược đồ sở tham chiếu tương ứng 53 2.2.3 Phát đối tượng dời đối tượng bị loại bỏ 55 Chương 58 ỨNG DỤNG 58 3.1 Giám sát tự động trợ giúp Camera 58 3.2 Chương trình thử nghiệm phát bám sát đối tượng 59 3.2.1 Giao diện chương trình: 63 3.2.2 Các chức chương trình: 63 KẾT LUẬN 67 TÀI LIỆU THAM KHẢO 69 DANH MỤC CÁC TỪ VIẾT TẮT Cụm từ viết tắt Mô tả viết tắt BG Background FG Foreground MPEG Moving Pictures Expert Group RGB Red Green Blue H Human V Vehicle HG Human Group DANH MỤC HÌNH Hình 1.1: Ví dụ khác biệt theo thời gian 16  Hình 2.1 : Ảnh (a) ước lượng sở, ảnh (b) thu bước Ảnh (c) thể đồ điểm ảnh trội phát cách sử dụng phép trừ 31  Hình 2.2 : Hai cách nhìn khác ví dụ xử lý điểm 33  Khi phân bố B chọn mơ hình nền, : 33  Hình 2.3 : Ví dụ bước khử nhiễu pixel 36  Hình 2.4 : Các vector RGB pixel ảnh thời ˆ Ix ˆ pixel tương ứng Bx 39  Hình 2.5 : Ví dụ xóa bóng 39  Hình 2.6 : Ví dụ thay đổi ánh sáng đột ngột 40  Hình 2.7 : Phát thay đổi ánh sáng thực 42  Hình 2.8 : Ví dụ đánh nhãn thành phần liên tục 42  Hình 2.9: Ví dụ đồ thị tham chiếu đối tượng 48  Hình 2.10: Ví dụ trường hợp phát đối tượng bị che khuất 51  Hình 2.11: Nhận dạng đối tượng sau che khuất 54  Hình 2.12: Phân biệt đối tượng dời biến 57  Hình 3.1: Sơ đồ mơ tả tiến trình xử lý hệ thống 59  Hình 3.2: Trước sau xử lý dựa ngưỡng 61  Hình 3.3: Lưu đồ thuật toán phát chuyển động 62  Hình 3.4: Giao diện chương trình demo 63  Hình 3.5: Phát bám sát đối tượng chuyển động 63  Hình 3.6: Chức theo vết đối tượng lựa chọn để theo vết 64  Hình 3.7: Chức theo vết đối tượng lựa chọn để theo vết(tiếp theo) 64  Hình 3.8: Chức chọn màu dãy màu đối tượng cần theo vết 65  Hình 3.9: Chức chọn dãy màu từ ảnh chụp từ webcam đối tượng cần theo vết 65  Hình 3.10: Chức dùng đối tượng theo vết để điều khiển “Mouse” 66  DANH MỤC CÁC BẢNG Bảng1.1 Các tiêu chuẩn Video số 5  Bảng 1.2 Một số ràng buộc MPEG-1 8  Bảng 1.3 Mô tả kiểu CIF QCIF 11  DANH MỤC CÁC LƯỢC ĐỒ Lược đồ 1.1: Lược đồ chung cho thuật toán xử lý Video 14  Lược đồ 2.1: Lược đồ khối hệ thống 25  Lược đồ 2.2: Lược đồ hệ thống đánh dấu đối tượng 46  MỞ ĐẦU Trong kỷ nguyên công nghệ thông tin nay, với phát triển nhanh chóng cơng nghệ chế tạo thiết bị phần cứng ngày đại, tinh vi ngành cơng nghệ phần mềm khơng ngừng mở rộng để phù hợp với yêu cầu thực tế Trong phải kể đến phát triển thiết bị thu nhận hình ảnh từ giới thực, chẳng hạn hệ thống giám sát camera, song hành với vấn đề liên quan đến việc giám sát Thách thức cho cơng nghệ phần mềm lĩnh vực việc xử lý hình ảnh thu nhận từ hệ thống giám sát Giám sát vấn đề nhiều nhà nghiên cứu quan tâm đặc biệt ứng dụng thiết thực cho đời sống xã hội Chẳng hạn hệ thống giám sát hành vi khả nghi tội phạm, khủng bố địa điểm nhạy cảm phủ Hệ thống giám sát viện bảo tàng, lưu trữ để chống trộm cắp di vật trưng bày Hệ thống giám sát tượng bất bình thường, vi phạm pháp luật, tai nạn điểm giao thông Hệ thống giám sát phòng chống hỏa hoạn Các hệ thống giám sát siêu thị, cửa hàng, công ty để chống trộm cắp,… Thách thức cho ngành cơng nghệ phần mềm đưa giải pháp nhằm xây dựng hệ thống giám sát tối ưu nhằm giúp người phát xác kịp thời tượng bất thường để có biện pháp xử lý nhanh chóng nhằm tránh thiệt hại đáng tiếc cho xã hội Dữ liệu thu từ hệ thống camera giám sát thường lưu trữ dạng Video Như công việc nghiên cứu vấn đề liên quan đến việc xử lý Video Hiện giới có nhiều cơng trình nghiên cứu xử lý Video có nhiều ứng dụng đáng kể lĩnh vực Tuy nhiên, so với yêu cầu thực tế chưa đủ Ở Việt Nam, xử lý Video vấn đề mẻ Thực tế cho thấy rằng, xã hội phát triển mạnh, yêu cầu thiết bị công nghệ cao Như vậy, xử lý Video mảnh đất màu mỡ cho trung tâm nghiên cứu, công ty đầu tư vào Nhất giai đoạn hệ thống nhúng phát triển mở kỷ nguyên với cho ngành công nghệ phần mềm Giám sát tự động hướng có nhiều triển vọng phát triển lĩnh vực nhận dạng xử lý ảnh chiều Đồng thời, hướng cho mảng phần mềm thiết kế chuyên dụng cho thiết bị giám sát tự động Việc phát đối tượng chuyển động Video nhờ kỹ thuật xử lý ảnh, sở đốn nhận số hành vi đối tượng việc làm có ý nghĩa khoa học thực tiễn, hồn cảnh Việt Nam chưa có nhiều nghiên cứu ứng dụng theo hướng Xuất phát từ thực tế đó, việc nghiên cứu đưa phương pháp để xử lý Video vô thiết thực Được hướng dẫn TS Trần Hành tiến hành nghiên cứu đề tài “Nghiên cứu số kỹ thuật phát hiện, bám sát đối tượng ứng dụng” Trong khuôn khổ nghiên cứu này, mục tiêu tơi tìm hiểu bước phát hiện, đánh dấu, phân loại đối tượng chuyển động Video so sánh mẫu để đưa kết luận tương ứng Sau nghiên cứu kỹ phương pháp đưa ra, tiến hành đánh giá ưu nhược điểm phương pháp mạnh dạn đưa số biện pháp khắc phục nhằm làm cho hệ thống hoạt động tối ưu với hệ thời gian thực Các vấn đề cần giải phạm vi nghiên cứu bao gồm: Nghiên cứu tổng quan Video phát đối tượng chuyển động Nghiên cứu đề xuất hướng khắc phục nhược điểm việc phát hiện, đánh dấu, phân loại đối tượng chuyển động Cài đặt số phương pháp phát hiện, đánh dấu đối tượng chuyển động dựa theo phương pháp nêu     57 (a) (b) (c) (d) Hình 2.12: Phân biệt đối tượng dời biến (a) Cảnh nền, (b) Vùng R S, (c) Ví dụ đối tượng dời đi, (d) dụ đối tượng biến 58 Chương ỨNG DỤNG 3.1 Giám sát tự động trợ giúp Camera Ngày nay, công nghệ thông tin xâm nhập vào ngõ ngách sống Việc sử dụng hệ thống giám sát camera trở nên vô quan trọng Trong giao thông, người ta lắp đặt camera giám sát ngã ba, ngã tư, đường hầm, nhà ga vị trí nhạy cảm để giám sát tai nạn giao thông, vi phạm luật giao thông phương tiện,… Trong bảo tàng, người ta sử dụng hệ thống camera để giám sát vật trưng bày để tránh trường hợp bị cắp Các vùng nhạy cảm an ninh, ta có hệ thống giám sát để cảnh báo kịp thời hành vi khả nghi liên quan đến khủng bố, trộm cắp, hỏa hoạn… Ở siêu thị, người ta dùng hệ thống camera giám sát để tránh trường hợp trộm cắp hàng hóa, Như vậy, hệ thống giám sát cần thiết hữu ích cho xã hội Hiện nay, hệ thống giám sát hoạt động tốt dựa vào công nghệ phần cứng, nhiên, nói trên, phần mềm nhúng đời để làm giảm chi phí cho việc sản xuất thiết bị phần cứng chuyên dụng vốn đắt đỏ Việc cài đặt phần mềm giám sát vào hệ thống giám sát cần thiết Với phương pháp phát hiện, đánh dấu, phân loại đối tượng nêu trên, ta xây dựng phần mềm giám sát để làm giảm thiếu chi phí cho thiết bị phần cứng đồng thời có tính bảo mật cao Nhờ camera phương pháp phát đối tượng chuyển động camera, ta xây dựng phần mềm điều khiển, phần mềm hỗ trợ Chẳng hạn phần sử dụng tia laze để điều khiển chương trình ứng dụng chạy máy tính Phần mềm hỗ trợ giao tiếp người khuyết tật với máy tính,… 59 3.2 Chương trình thử nghiệm phát bám sát đối tượng Bài toán đặt với ảnh thu nhận từ camera, chương trình ứng dụng tiến hành xử lý cho kết đối tượng cần theo vết vị trí nào, ta tiến hành đánh dấu (tô màu, kẻ khung) từ liên tục bám sát đối tượng dựa ngưỡng định Sau xác định vị trí đối tượng, ứng dụng tiếp tục điều khiển thiết bị chuột tới vị trí mong muốn (vị trí đối tượng theo vết), đồng thời định kiện (Click, Double click, Drap & Drop…) Hình 3.1: Sơ đồ mơ tả tiến trình xử lý hệ thống Thuật toán phát chuyển động Có nhiều phương pháp tiếp cận để phát chuyển động hình ảnh Video liên tục Có thể so sánh khung hình với hình chụp từ ban đầu bật camera từ khung hình trước Đối với phương pháp thứ đơn giản giảm việc xử lý Tuy nhiên, cách tiếp cận có bất lợi lớn, ví dụ có đối tượng di chuyển frame sau biến Phương pháp thứ hai xử lý phức tạp hơn, xử lý nhiều lại thích nghi với mơi trường, kể mơi trường thay đổi thay đổi nhiều Nhược điểm đối tượng di chuyển cách chậm hệ thống khơng phát Nhưng giải cách tăng số khung hình giây Trong đề tài giới thiệu theo phương pháp thứ hai 60 Ngưỡng (Threshold) Nguỡng (Threshold) khái niệm quen thuộc xử lý ảnh nhiều giải thuật khác Nó dùng để giá trị mà người ta dựa vào để phân hoạch tập hợp thành miền phân biệt Ví dụ thang điểm đánh giá học sinh từ đến 10 Trong tập hợp gồm 40 học sinh lớp, người ta muốn phân lọai hai miền, miền thứ bao gồm học sinh đạt yêu cầu miền thứ hai gồm học sinh khơng đạt Trong tình người ta dùng giá trị (điểm) ngưỡng (threshold) để phân loại học sinh Các học sinh có điểm xem khơng đạt, học sinh có điểm từ trở lên đạt yêu cầu Giá trị ngưỡng thường xác định dựa vào điểm đặc biệt (ví dụ trung bình), dựa vào kinh nghiệm khảo sát Nếu dựa vào số lượng ngưỡng áp dụng cho tập liệu người ta phân phương pháp ứng dụng ngưỡng đơn, ngưỡng kép, hay đa ngưỡng Nếu dựa vào biến thiên giá trị ngưỡng, phạm vi ứng dụng người ta phân phương pháp dùng ngưỡng cố định (Constant|Fixed Threshold) không cố định (Adaptive Threshold) Ngưỡng không cố định nghĩa giá trị thay đổi tùy theo biến thiên tập dử liệu theo không gian thời gian Thông thường giá trị xác định thông qua khảo sát phương pháp thống kê Để dễ hình dung ứng dụng khái niệm Threshold, sau sẻ xét ví dụ lọc ngưỡng (Threshold Filter) đơn giản xử lý ảnh Với pixel hình đa mức xám (grayscale) giá trị khoảng - 255 pixel lớn ngưỡng 120 ta gán giá trị cho thành đen (0), ngược lại gán giá trị trắng (255) Kết thu sau: 61 Hình 3.2: Trước sau xử lý dựa ngưỡng   62 Begin   Thu khung hình tại, trước       Chuyển thành ảnh xám     So sánh pixel ảnh xám       Giá trị>ngưỡng cho trước N   Y       Pixel ảnh đầu màu trắng Pixel ảnh đầu màu đen       Số điểm trắng > Ngưỡng     N Y Có di chuyển   Khơng có di chuyển     End   Hình 3.3: Lưu đồ thuật toán phát chuyển động 63 3.2.1 Giao diện chương trình: Hình 3.4: Giao diện chương trình demo 3.2.2 Các chức chương trình: Hình 3.5: Phát bám sát đối tượng chuyển động Chức cho phép mở Video từ file AVI, từ camera gắn trực tiếp với máy tính 64 Hình 3.6: Chức theo vết đối tượng lựa chọn để theo vết Chức giám sát đối tượng mà muốn theo vết Hình 3.7: Chức theo vết đối tượng lựa chọn để theo vết (tiếp theo) 65 Hình 3.8: Chức chọn màu dãy màu đối tượng cần theo vết   Hình 3.9: Chức chọn dãy màu từ ảnh chụp từ webcam đối tượng cần theo vết 66 Hình 3.10: Chức dùng đối tượng theo vết để điều khiển “Mouse” Chức theo màu đối tượng xác định vị trí đối tượng để đưa trỏ tới vị trí đối tượng đứng, mục đích muốn thơng qua đối tượng bên bàn tay để qua camera duyệt web, sử dụng thao tác Click, Double click … 67 KẾT LUẬN Như ta biết, giám sát camera ứng dụng rộng rãi nhiều lĩnh vực sống, việc nghiên cứu vấn đề liên quan đến hệ thống giám sát nhằm đưa cảnh báo xác, kịp thời cơng việc mang tính thực tiễn cao Chúng ta biết kết thu nhận từ camera giám sát Video Như việc nghiên cứu phát đối tượng chuyển động Video Video thu nhận từ camera xử lý qua công đoạn sau: Phát đối tượng chuyển động, đánh dấu đối tượng vừa phát hiện, phân loại chúng tiến hành xử lý cho kết đối tượng cần theo vết vị trí nào, ta tiến hành đánh dấu (tơ màu, kẻ khung) từ liên tục bám sát đối tượng dựa ngưỡng định Sau xác định vị trí đối tượng, ứng dụng tiếp tục điều khiển thiết bị chuột tới vị trí mong muốn (vị trí đối tượng theo vết), đồng thời định kiện (Click, Double click, Drap & Drop, Zoom out, Zoom in…) Sau nghiên cứu phương pháp đó, tìm phần ưu, phần nhược phương pháp, từ có bước kết hợp phương pháp đưa giải pháp để khắc phục nhược điểm nhằm xây dựng hệ thống giám sát tối ưu Trong nghiên cứu tơi cài đặt thành công số phương pháp phát đánh dấu đối tượng chuyển động Hệ thống đầu vào demo lấy hình ảnh trực tiếp từ webcam gắn vào máy tính lấy file Video có phần đặc trưng AVI từ nguồn có sẵn Video lấy từ nguồn trực tuyến Hướng nghiên cứu sâu đề tài mà quan tâm phát phân loại phần chuyển động đối tượng, từ xây dựng ứng 68 dụng hỗ trợ cho người Một hướng khác tìm hiểu rõ đặc điểm lửa, từ xây dựng hệ thống cảnh báo hỏa hoạn 69 TÀI LIỆU THAM KHẢO [1] A Amer Voting-based simultaneous tracking of multiple Video objects In Proc SPIE Int Symposium on Electronic Imaging, Santa Clara, USA, January 2003 [2] J L Barron, D J Fleet, and S S Beauchemin Performance of optical flow techniques International Journal of Computer Vision, 12(1):43–77, 2004 [3] R Cutler and L.S Davis Robust real-time periodic motion detection, analysis and applications In IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003 [4] R T Collins et al A system for Video surveillance and monitoring: VSAM final report Technical report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University, May 2006 [5] T Brodsky et al Visual Surveillance in Retail Stores and in the Home, Boston, 2002 [6] I Haritaoglu, D Harwood, and L.S Davis W4: A real time system for detecting and tracking people In Computer Vision and Pattern Recognition, 2008 [7] J Heikkila and O Silven A real-time system for monitoring of cyclists and pedestrians In Proc of Second IEEE Workshop on Visual Surveillance, Fort Collins, Colorado, June 2009 [8] A J Lipton Local application of optic flow to analyse rigid versus non-rigid motion Technical Report CMU-RI-TR-99-13, Robotics Institute, Carnegie Mellon University, Pittsburgh, PA, December 2009 [9] A J Lipton, H Fujiyoshi, and R.S Patil Moving target classification and tracking from real-time Video In Proc of Workshop Applications of Computer Vision, 2008 70 [10] C B Liu and N Ahuja Vision based fire detection In IEEE International Conference on Pattern Recognition, Cambridge, UK, August 2004 to appear [11] B D Lucas and T Kanade An iterative image registration technique with an application in stereo vision In Seventh International Joint Conference on Artificial Intelligence, pages 674–679, Vancouver, 2007 [12] J S Marques, P M Jorge, A J Abrantes, and J M Lemos Tracking groups of pedestrians in Video sequences In Proc of IEEE Workshop on Multi-Object Tracking, Madison, June 2003 [13] A M McIvor Background subtraction techniques In Proc of Image and Vision Computing, New Zealand, 2008 [14] C Papageorgiou, T Evgeniou, and T Poggio A trainable pedestrian detection system In Proc of IEEE Int Conf on Intelligent Vehicles, Germany, October 2008 [15] M Saptharishi, J.B Hampshire II, and P Khosla Agent-based moving object correspondence using differential discriminative diagnosis In Proc Of Computer Vision and Pattern Recognition, 2003 [16] E Saykol, U Gudukbay, and O Ulusoy A histogram-based approach for object-based query-by-shape-and-color in multimedia databases Technical Report BUCE-0201, Bilkent University, 2007 [17] C Stauffer and W Grimson Adaptive background mixture models for realtime tracking In Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005 [18] B U Toreyin Moving object detection and tracking in wavelet compressed Video Master’s thesis, Bilkent University, 2003 [19] Fleet, D.J and Weiss, Y., Optical flow estimation, Mathematical models for Computer Vision: The Handbook N Paragios, Y Chen, and O Faugeras (eds.), Springer, 2005 71 [20] L Wang, W Hu, and T Tan Recent developments in human motion analysis, March 2003 [21] L Wixson and A Selinger Classifying moving objects as rigid or non-rigid In Proc of DARPA Image Understanding Workshop, 2008 [22] M Xu and T Ellis Colour-Invariant Motion Detection under Fast Illumination Changes, Boston, 2002 ... nhiều nghiên cứu ứng dụng theo hướng Xuất phát từ thực tế đó, việc nghiên cứu đưa phương pháp để xử lý Video vô thiết thực Được hướng dẫn TS Trần Hành tiến hành nghiên cứu đề tài ? ?Nghiên cứu số kỹ. .. cứu đề tài ? ?Nghiên cứu số kỹ thuật phát hiện, bám sát đối tượng ứng dụng? ?? Trong khuôn khổ nghiên cứu này, mục tiêu tơi tìm hiểu bước phát hiện, đánh dấu, phân loại đối tượng chuyển động Video so... Các vấn đề cần giải phạm vi nghiên cứu bao gồm: Nghiên cứu tổng quan Video phát đối tượng chuyển động Nghiên cứu đề xuất hướng khắc phục nhược điểm việc phát hiện, đánh dấu, phân loại đối tượng