1 HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM HỌC 2019-2020 ỨNG DỤNG XỬ LÝ ẢNH ĐỂ PHÁT HIỆN, CẢNH BÁO ĐÁM ĐÔNG DETECT AND ALERT THE CROWD USING IMAGE PROCESSING SVTH: Đặng Sỹ Phi Hùng1, Nguyễn Duy Hà Sơn1, Nguyễn Hà Gia Hậu1, Trần Thanh Viện2, Lê Nguyễn Hữu Phước2 1Lớp 17KTDT1, 2Lớp 17TDH1, Khoa Điện - Điện tử, Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng GVHD: ThS Phạm Văn Phát Khoa Điện - Điện tử, Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng Tóm tắt - Bài báo đề cập đến việc sử dụng kỹ thuật xử lý ảnh Abstract - The article mentions the using of image để phát hiện, cảnh báo tụ tập đông người phạm vi processing technology to detect and alert the gathering of people cần giám sát Nó phục vụ cho mục đích đảm bảo an tồn, in a monitored area It will serve the purpose of safety, social cách ly xã hội đẩy lùi dịch bệnh Covid-19 giới Trong isolation and prevention of Covid-19 around the world In this báo này, nhóm tác giả chọn phương pháp trừ – phát paper, the authors chose the method of background subtraction - tiền cảnh (Background Subtraction) để phát theo dõi đối foreground detection to detect and follow the movement of the tượng người chuyển động từ đoạn video quay từ object from a video As a result, counting the number of people in camera tĩnh Kết quả, đếm số người khung hình each frame Compare results with pre-set conditions to give So sánh kết với điều kiện thiết lập sẵn để đưa cảnh warnings about people over allowed Compare results with pre- báo số người vượt mức cho phép Chương trình hoạt động set conditions to give an alert about the number of people in cho kết xác cao cho chạy thử nghiệm excess of the permitted area The program works for fairly điều kiện ràng buộc [7 ] accurate results if running the test under constrained conditions[7] Từ khóa - xử lý ảnh, giản cách xã hội, phương pháp trừ nền, Key words - image processing, social distancing, camera tĩnh, đám đông, ứng dụng matlab, background subtraction method, alert the crowd, matlab application Đặt vấn đề nghiên cứu việc giám sát đối tượng nhằm hỗ trợ công tác quản lý dân cư, đô thị Tuy Với phát triển nhanh chóng loại máy móc nhiên nghiên cứu cịn riêng lẽ, chưa tích hợp đại máy ảnh số, máy quay phim kỹ thuật số, máy với để tạo thành hệ thống giám sát hồn vi tính, điện thoại động… lượng thơng tin người chỉnh giá thành cho ứng dụng thình cịn cao thu dạng hình ảnh lớn Trong thực tế 97% lượng thông tin mà người thụ nhận qua thị giác Từ yêu cầu thực tế đặt ra, báo bắt nguồn từ ảnh[6] Để lượng thông tin trở nên quan tâm đến việc xây dựng hệ thống phát có ích người cần phải tiến hành xử lý từ theo vết (tracking) người từ liệu video thu tạo điều kiện cho phát triển không ngừng kỹ thông qua hệ thống camera quan sát với hỗ trợ thuật xử lý hình ảnh Xử lý ảnh công kỹ thuật theo vết lĩnh vực thị giác máy tính nghệ ứng dụng rộng rãi nhiều lĩnh (computer vision) điều cần thiết vực đời sống xã hội Không dừng lại việc xử lý Phương pháp nghiên cứu vết nhòe, tái chế phục hồi ảnh cũ, ngày công nghệ xử lý ảnh mang lại tiến vượt bậc Bằng phương pháp xây dựng sở lý thuyết từ tìm nhận dạng vân tay, nhận dạng khuôn mặt, nhận dạng hiểu cách lập trình Matlab đến tìm hiểu phương pháp trừ đối tượng kết hợp với lĩnh vực trí tuệ nhân tạo (Background Subtractions)[4] để phát đối tượng Bên cạnh đó, hệ thống camera quan sát ngày Sau đó, nghiên cứu tiến hành phân tích cài sử dụng cách rộng rãi với mục đích hỗ trợ an đặt thực nghiệm để phát hiện, bám bắt cảnh báo đối ninh, giám sát cho cửa hàng, công ty, ngân hàng, v.v tượng theo dõi Trong trình nghiên cứu, báo Nhưng camera có khả để lưu giữ so sánh đánh giá kết thực liệu video cần tốn thêm chi phí để th Cơng nghệ camera số, video số: nhân viên bảo vệ để quan sát phát có người khả nghi, vượt cảnh báo quy định Hình 1: Cơng nghệ camera số Camera thiết bị ghi hình ghi lại Hiện dịch CoVID-19 phát triển mạnh mẽ, hình ảnh khoảng thời gian đó, có Việt Nam dần kiểm soát dịch bệnh khả lưu trữ liệu hình ảnh ghi kỹ nước giới đỉnh điểm kiểm soát dịch, nên việc đảm bảo an toàn cách ly xã hội [3] nhiệm vụ cấp thiết cá nhân nói riêng cộng đồng nói chung [1] Trên thới giới có ứng dụng Đặng Sỹ Phi Hùng, Nguyễn Duy Hà Sơn, Nguyễn Hà Gia Hậu, Trần Thanh Viện, Lê Nguyễn Hữu Phước thuật số mạng internet Mơ hình hoạt động Dựa vào đặc tính mà camera phân loại gồm:  Phân loại theo kỹ thuật hình ảnh  Phân loại theo đường truyền  Phân loại theo tính sử dụng Video thuật ngữ dùng để nguồn thơng tin hình Matlab ảnh trực quan (pictorial visual information), bao gồm chuổi ảnh tĩnh (static image) liên tiếp process Có theo chiều thời gian Các thông số video số bao gồm: nhiều  Video rate (tốc độ xử lý) người  Khung hình video  Field khung hình Hình 3: Mơ hình hoạt động q  Định dạng HD SD quy định Để xác định số lượng đối tượng nđâgyười khung hình, phương pháp thực trình bày sơ đồ: Trong nghiên cứu để xử lý video số cần phải quan tâm đến thông số hóa hình ảnh là: Pixcel, độ phân giải, thơng số màu Các định dạng video số thông dụng máy tính là: AVI (Audio Video Interleave), MP4, … Hình 2: Video số Hình 4: Mơ tả cài đặt thuật tốn Kĩ thuật trừ phát đối tượng 5.1 Khởi tạo background Trong bối cảnh ứng dụng camera tĩnh (static Để tìm đối tượng chuyển động sử dụng phương pháp camera) quan sát vùng (Field of View) không thay đổi, trừ nền, bước ta phải xây dựng mơ hình thao tác trích xuất chuyển động (motion detection) từ background thời điểm bắt đầu video Giả sử trường video thủ tục quan trọng nhiều ứng dụng hợp thời điểm bắt đầu đối tượng di chuyển phân tích video Gọi BM(x,y) giá trị pixel (x,y) background [4] Mục tiêu xử lý tách bạch đâu 5.2 Trừ vùng chuyển động (motion, foreground) đâu (background) vùng không gian camera theo Sau thu background từ bước khởi tạo, cần dõi Trong nhiều kĩ thuật Background Subtraction tìm khác khung hình nhóm giải pháp giúp giải vấn đề background sử dụng phổ biến Ý tưởng Background subtraction trước tiên xác định mơ hình Dt(x,y) = | It(x,y) – BMt-1(x,y) | background (một hình, tập tham số, hay công Với – BMt-1(x,y) cường độ pixel(x,y) thức có khả mơ tả background) qua khung hình background thời điểm t-1, It(x,y) cường độ (frame) chuỗi khung hình video, sau dựa vào giá trị pixel khung hình mà tính tốn khác biệt để suy foreground [5] Kĩ thuật trừ nền: Để phát đối tượng chuyển động video phải có mơ hình (background) Mơ hình học qua nhiều frame ảnh bị thay đổi, ngược lại ta chọn có sẵn khơng bị thay đổi Sau đó, ta dùng mơ hình để so sánh với frame ảnh kết ta nhận biết đâu vùng phần nền, đâu phần chuyển động HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHĨM SRT NĂM HỌC 2019-2020 pixel(x,y) khung hình tại thời điểm t Sư khác biệt D(x,y) so sánh với ngưỡng Threshold để phân loại foreground background Nếu Dt(x,y) < Threshold pixel thuộc background, ngược lại pixel thuộc foreground 5.3 Cập nhật background Vì yếu đố động background độ sáng, Hình 6: Chương trình thiết kế độ tương phản, yếu tố ngoại cảnh bóng mây, cối Nên background phải liên tục cập nhật nhảy qua frame Cài đặt chương trình hệ thống Từ liệu video, chương trình cung cấp chức sau: Chương trình xây dựng Matlab GUI, máy tính có cài đặt Matlab sử dụng  Thực cảnh báo âm để thơng báo Giao diện có chức chọn file video cần xử lí, cho người dùng phát số người chuyển chọn ngưỡng để phân biệt foreground với background, động vượt mức hạn chế video với chức cảnh báo giới hạn số người cho phép  Hệ thống cung cấp chức phát người chuyển động đếm số người diện khung hình Hình 5: Lập trình GUI matlab  Ngay phát có người di chuyển video, đếm chương trình hoạt động [7] Tuy nhiên, để chương trình hoạt động cho kết xác cần phải thỏa mãn số điều Kết luận kiện sau:  Tìm hiểu thuật toán phát chuyển  Nền video không thay đổi động phương pháp trừ nền: Frame Differrence,  Camera dùng để quay video phải đặt vị trí Running Gausian Average Codebook Tìm hiểu cách thức đếm số lượng người vào cố định, phía cửa vào khoảng cách với video người chuyển khoảng 1.5m đến 2m chức đếm người khung hình  Về bản, đề tài hoàn thành chức  Ánh sáng video phải ổn định, không tối đặt yêu cầu ban đầu như: sáng chức làm việc xác  Phát phần chuyển động qua  Chương trình làm việc xác với frame video video màu  Hoàn thành chức cảnh báo người cách sử dụng âm Kết đạt  Hoàn thành chức đếm số người vào khu vực định từ liệu video thu Trong chương trình mà ta thiết kế, liệu xử lý thông qua camera, giúp ích cho việc thống đoạn video quay từ camera tĩnh, ghi lại với kê, giám sát, phát cảnh báo khu vực chuẩn AVI với điều kiện ánh sáng tốt khơng thay có đơng người tập trung Phù hợp cho công đổi Nếu liệu dùng cho việc cảnh báo người tác chống dịch Covid-19 thực tế theo vết khn mặt camera đặt trước cần quan  Sử dụng thành công cơng cụ phục vụ cho sát cho thu khn mặt từ phía trước việc xử lý video Motion Video, FLV (khoảng cách từ camera đến khuôn mặt khoảng 2-5m) Converter để chuyển đối định dạng video khác Nếu liệu dùng cho việc đếm số người camera định dạng AVI để dễ dàng cho việc thao đặt với khoảng cách cố định (khoảng 2m) so tác với nhà vị trí lặp đặt thiết bị theo dõi So sánh với nhu cầu khác nay, cho thấy báo nhóm tác giả có tính ứng dụng với phạm vi rộng đời sống xã hội khác hạn chế, chặn bùng dịch Covid-19, ví dụ như: Thống kê, giám sát số lượng người cửa hàng, tòa nhà, đường phố, khu Đặng Sỹ Phi Hùng, Nguyễn Duy Hà Sơn, Nguyễn Hà Gia Hậu, Trần Thanh Viện, Lê Nguyễn Hữu Phước vui chơi, giúp giảm chi phí thuê người giám sát với hiệu  Mở rộng thêm thuật tốn Camshift để theo dõi nhiều đối tượng video lúc cao việc phát đối tượng chuyển động thực đếm tổng số người xuất video thông qua chức Bên cạnh kết đạt được, đề tài cịn có số hạn chế cần phải khắc phục như:  Xây dựng sở liệu giúp nhận dạng nhiều đối tượng cách tự động thông qua khuôn mặt  Tốc độ xử lý chương trình cịn chậm xử lý video có độ phân giải cao kích thước lớn  Lấy liệu video trực tiếp từ camera số làm nguồn để chương trình xử lý Tăng tính thời gian thực  Chức đếm số người đếm dựa di (Real time) để hệ thống thêm tối ưu chuyển đối tượng chuyển động vào, khơng phân biệt người vật  Phát triển nhiều nghiên cứu ứng dụng xử lý ảnh mới, mang tính kế thừa báo lần mang Hướng phát triển: Trong trình thực nghiên tính khả thi phạm vị ứng dụng rỗng rãi cứu, hạn chế trình độ thời gian thực có hạn, chương trình xây dựng phần demo Tài liệu tham khảo thuật toán phát chuyển động theo vết đối tượng dựa vào video Để triển khai thực tế địi hỏi cần [1] COVID-19 Research and Development with MATLAB and phải cải tiến Hy vọng tương lai, phát triển giúp báo hoàn thiện Simulink, 2020,  Kết hợp việc phát khuôn mặt với việc phát https://www.mathworks.com/solutions/covid-19-research-and- mắt, phát hình dáng người development.html  Xây dựng thuật toán cải thiện chất lượng video loại trừ nhiễu, loại trừ bóng mờ tối ưu [2] Butler D., Sridharan S Real-Time Adaptive Background hóa thuật tốn để tăng tốc độ chương trình Segmentation, ICASSP 2003, 2003  Hỗ trợ tùy chọn giúp người dùng điều chỉnh khoảng cách camera đối tượng tùy [3] The end of social confinement and COVID-19 re-emergence risk, thuộc vào cấu trúc vị trí mà họ sử dụng để đặt camera quan sát 2020, https://www.nature.com/articles/s41562-020-0908-8  Xử lý việc che lấp đối tượng nhắm tạo kết [4] Background-Subtarctions,2019 xác cao cho cho chức theo dõi khuôn mặt người https://github.com/shalevdavid/VideoBackgroundSubstitution [5] Maddalena L., Petrosino A A self organizing approach to background subtraction for visual surveillance applications, IEEE Transactions on Image Processing, Volume17, No 7, pages 1729– 1736, 2008 [334]Bouwmans T Subspace Learning for Background Modeling: A Survey, Recent Patents on Computer Science, Volume 2, No 3, pages 223-234, November 2009 [6] Kỷ yếu hội thảo quốc gia, Một số vấn đề chọn lọc công nghệ thông tin, Nhà xuất khoa học kỹ thuật, tháng 8-2005