Hệ thống quan sát đa mục tiêu tối ưu hàm đánh giá đối tượng

93 30 0
  • Loading ...
1/93 trang

Thông tin tài liệu

Ngày đăng: 12/01/2019, 23:59

i ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG - Hoàng Xuân Lộc HỆ THỐNG QUAN SÁT ĐA MỤC TIÊU TỐI ƯU HÀM ĐÁNH GIÁ ĐỐI TƯỢNG Chuyên ngành: Khoa học máy tính Mã số: 60480101 TĨM TẮT LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Thái Nguyên - 2015 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ ii LỜI CẢM ƠN Lời đầu tiên, Em xin cảm ơn Thầy TS Đào Nam Anh trực tiếp hướng dẫn, giúp đỡ tận tình bảo Em suốt thời gian từ có ý tưởng cho luận văn đến hoàn thành luận văn Em xin chân thành cảm ơn đến Thầy môn trực tiếp dạy dỗ Em Thầy PGS.TS Ngô Quốc Tạo, PGS TS Phạm Việt Bình, PGS.TSKH Nguyễn Xuân Huy, PGS.TS Đỗ Năng Tồn,…đã giúp Em có kiến thức ý tưởng cho luận văn Em xin cảm ơn Thầy hội đồng bảo vệ đề cương góp ý, giúp Em có thay đổi phù hợp luận văn Em xin cảm ơn trường Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên tạo nhiều điều kiện thuận lợi cho Em Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ LỜI CAM ĐOAN Tôi xin cam đoan luận văn kết nghiên cứu tôi, không chép Nội dung luận văn có tham khảo sử dụng tài liệu liên quan, thông tin tài liệu đăng tải tạp chí trang website theo danh mục tài liệu luận văn Tác giả luận văn Hồng Xn Lộc Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ MỤC LỤC DANH MỤC HÌNH VẼ V MỞ ĐẦU CHƯƠNG TỔNG QUAN THEO DÕI ĐỐI TƯỢNG 1.1 Xử lý video 1.2 Bài toán theo dõi đối tượng 1.3 Ứng dụng thực tế - giám sát thông minh 10 1.4 Thành phần thuật toán 14 1.5 Các thuật toán so sánh 25 1.6 Phát cac đôi tương chuyển động 26 CHƯƠNG THUẬT TOÁN THEO DÕI ĐA MỤC TIÊU TỐI ƯU HÀM ĐÁNH GIÁ ĐỐI TƯỢNG 35 2.1 Ký hiệu 37 2.2 Phát cac đôi tương 37 2.3 Hàm đánh giá đối tượng 44 2.4 Tối ưu hoá hàm đánh giá đối tượng 48 2.5 Theo vết đối tượng 51 2.6 Thuật toán 56 2.7 Kết luận chương 57 CHƯƠNG CÀI ĐẶT THỬ NGHIỆM 58 3.1 Môi trường cài đặt 58 3.2 Trích dẫn số mã nguồn 58 3.3 Kết thực nghiệm 63 3.4 Kết luận chương 74 KẾT LUẬN 75 TÀI LIỆU THAM KHẢO 76 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ DANH MỤC HÌNH VẼ Hình 1-1 Cấu trúc phân cấp video Hình 1-2 Khung hình khác có biểu đồ màu Hình 1-3 Theo dõi khách hành Hình 1-4 Hệ thống camera điều khiển xe tự hành SCABOR Hình 1-5 Mơ hình hệ thống giám sát 11 Hình 1-6: Hệ thống camera giám sát giao thông 13 Hình 1-7 Hệ thống camera giám sát an ninh 13 Hình 1-8: Cơng nghệ nhận diện khuôn mặt 14 Hình 3-9: Bộ sở liệu 66 Hình 3-10 IMG1: Đối tượng ảnh số theo dõi qua khn hình từ 3-16 67 Hình 3-11 IMG2: Đối tượng ảnh số 14 theo dõi qua khn hình 85-88, bị khuất khn hình 89, xuất lại hình 90 với mã số 16 68 Hình 3-12 IMG2: Đối tượng ảnh số 16 theo dõi tiếp qua khn hình 140-154 69 Hình 3-13 IMG2: Đối tượng ảnh số 16 theo dõi tiếp mã số 29 qua khn hình 195-210 Có số đỗi tượng xuất hiện, nhiên nhỏ nên khơng mã số hình 70 Hình 3-14 IMG3: Có đối tượng ảnh khn hình 666-680 Do kích thước đối tượng nhỏ ngưỡng đặt trước nên mã số khơng hiển thị khn hình 71 Hình 3-15 IMG3: Đối tượng ảnh số 89 teo dõi khn hình 780800 Một đối tượng ảnh không hiển thị mã số kích thước đối tượng nhỏ ngưỡng đặt trước 72 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ MỞ ĐẦU Theo dõi đa đối tượng nhiệm vụ có từ lâu với ngành an ninh, nhiệm vụ quan trọng lĩnh vực thị giác máy tính Sự gia tăng máy tính cấu hình mạnh, sẵn có máy quay video chất lượng cao không tốn kém, nhu cầu ngày tăng phân tích video tự động tạo nhiều quan tâm thuật toán theo dõi đa đối tượng Các thuật tốn có ứng dụng rộng rãi hệ thống giám sát thông minh tự động - trợ giúp đắc lực cho người thực theo dõi, giám sát Ví dụ giám sát giao thơng hệ thống giám sát thơng minh cho ta biết số lượng phương tiện lưu thông qua đoạn đường, đưa thông tin tốc độ chuyển động, đường đối tượng theo dõi Khó khăn tốn theo dõi đa đối tượng phức tạp không gian quan sát với số lượng lớn quỹ đạo đối tượng liên tục, số quỹ đạo rời rạc Để giải theo dõi tương tác đối tượng cần phải có mơ hình thuật tốn tối ưu, đảm bảo phân tích thời gian thực Ý thức lợi ích mà hệ thống giám sát thông minh mang lại: ” Hệ thống quan sát đa đối tượng tối ưu hàm đánh giá đối tượng” để từ nắm thật toán giải toán theo dõi giám sát đa đối tượng chuyển động video với tối ưu hóa hàm hàm đánh giá đối tượng mà kết tối ưu nguồn lực máy tính Đối tượng luận văn tìm hiểu kết nghiên cứu lĩnh vực giám sát đa đối tượng (multi object tracking) di chuyển video tối ưu hàm đánh giá đối tượng Luận văn phân tích thực nghiệm thuật tốn cho tốn Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ Ngoài phần mở đầu kết luận, luận văn chia làm chương, luận văn có chương sau: Chương 1: Tổng quan theo dõi đối tượng xử lý ảnh Trình bày vấn đề đặt cần giải hệ thống theo dõi thơng minh, giới thiệu tốn phát hiện, phân loại, theo dõi đối tượng chuyển động hệ thống theo dõi đối tượng Chương 2: Phương pháp phát theo dõi đa đối tượng Phân tích giải pháp toán theo dõi đa đối tượng thời gian thực cách tối ưu hàm đánh giá đối tượng Trình bày chi tiết mơ hình theo dõi đối tượng xây dựng hàm số hàm đánh giá đối tượng Tối ưu hàm đánh giá đối tượng cục hàm hàm đánh giá đối tượng để đạt giá trị cực tiểu hàm đánh giá đối tượng, từ tính tốn theo vết đường đối tượng thời gian thực Chương 3: Thực nghiệm đánh giá Trình bày việc cài đặt chương trình, xây dựng liệu thực nghiệm, trình thực nghiệm, kết thực nghiệm kết đánh giá, nhận xét xử lý từ thực nghiệm Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ CHƯƠNG TỔNG QUAN THEO DÕI ĐỐI TƯỢNG Giám sát video trình phân tích khung hình video Đó ứng dụng thị giác máy tính Có ba loại hoạt động giám sát video: giám sát video tay, bán tự động hoàn toàn tự động Giám sát video tay việc phân tích nội dung video người thực trực tiếp Hệ thống dạng sử dụng rộng rãi Video giám sát bán tự động liên quan đến số hình thức xử lý video với can thiệp đáng kể người Ví dụ điển hình hệ thống phát chuyển động đơn giản Chỉ có chuyển động đáng kể video ghi lại gửi cho chuyên gia người phân tích Với hệ thống hồn tồn tự động, khơng có tham gia người vào q trình phân tích Trong hệ thống hệ thống làm hai nhiệm vụ cấp thấp, phát chuyển động theo dõi, nhiệm vụ định cấp cao, nhận diện kiện bất thường xác định loại chuyển động Hệ thống giám sát video hỗ trợ động phân loại tự đối tượng theo dõi đối tượng Điều hành hệ thống giám sát video thời gian dài trực tiếp người không thực tế khó khả thi 1.1 Xử lý video 1.1.1 Một số khái niệm Video tập hợp khung hình, khung hình ảnh Video hay gọi chuỗi ảnh (image sequence) tượng trưng cho thơng tin hình ảnh Đó chuỗi hình ảnh liên tục theo thời gian Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ S=f(x,y,t) (1-1) Trong đó: x, y ∈ R: tọa độ điểm ảnh (thông tin không gian) t ∈ R: thông tin thời gian Dựa công thức 1.1 ta thấy ảnh tĩnh trường hợp đặc biệt video Khi chuỗi hình ảnh không thay đổi theo thời gian f x, y, t1 = f x, y, t ; ∀x, y ∈ R (1-2) Shot (lia): đơn vị sở video Một lia đơn vị vật lý dòng video, gồm chuỗi khung hình liên tiếp, chia nhỏ Scene (cảnh): đơn vị logic dòng video Cấu trúc phân cấp video mơ tả hình vẽ Hình 1-1 Cấu trúc phân cấp video Khi phim chiếu, khung hình hiển thị tốc độ định Tốc độ thường thấy định dạng video khác 30 24 hình/s Như video có số lượng khung hình tương ứng 108000 86400 Dù video định dạng có dung lượng lớn xử lý với tất khung hình thật khơng hiệu % basically we are done printMessage (1,'All done (%.2f = %.2fh = %.2f sec per frame)\n',toc (cemStartTime)/60,toc (cemStartTime)/3600,toc (cemStartTime)/F); %% post processing % get X Y matrices [stateVec N F targetsExist stateInfo.X stateInfo.Y]=getStateInfo (stateInfo); stateInfo=postProcessState (stateInfo); %% if we have ground truth, evaluate results printFinalEvaluation (stateInfo) %% clean up (remove zero rows from logs) itinfo=find (sum (LOG_allens,2)); LOG_allmets2d=LOG_allmets2d (~~sum (LOG_allmets2d,2),:); LOG_allmets3d=LOG_allmets3d (~~sum (LOG_allmets3d,2),:); LOG_allens=LOG_allens (~~sum (LOG_allens,2),:); % you can display the results with displayTrackingResult (sceneInfo,stateInfo) % end 3.3 Kết thực nghiệm 3.3.1 Công thức đánh giá thực nghiệm Phần đưa sở số liệu công thức để phân tích đánh giá hiệu thuật toán phát theo vết đối tượng Kỹ thuật đánh giá thực nghiệm trích rút từ tài liệu tham khảo [2] Trước hết ta cần biết hai định nghĩa sau:  objectBox khung chứa đối tượng theo dõi khung hình  Kết thuật tốn vị trí đối tượng cần theo dõi khung hình Để thực đánh giá ta cần xác định mức độ chồng lấp objectBox kết thuật tốn Trong cách đơn giản xem xét trọng tâm hai khung nằm khung lại; từ giá trị sau xác định:  TN (True Negative): Số lượng khung đối tượng không xuất  TP (True Positive): Số lượng khung đối tượng xuất hiện, objectBox theo vết đối tượng  FN (False Negative): Số lượng khung đối tượng xuất hiện, objectBox theo vết sai đối tượng  TF (Total frame): Tổng số khung chuỗi video Công thức đánh giá: TP Detection Rate = TP + FN ��� ���+ �������������� ��� TN � = Negative Prediction = FN + TN FN False Negative Rate = FN + TP Trong giá trị giá trị Accuracy (độ xác) số cần quan tâm Trong phần đánh giá thực nghiệm sử dụng số Accuracy (độ xác) để thể cho kết liệu (video) Một thực nghiệm theo vết tốt thực nghiệm có độ xác cao > 80% Việc đánh giá hệ thống theo dõi dựa đo lường hiệu suất thuật toán theo dõi liên quan đến đặc điểm hệ thống Các nguyên tắc hệ thống theo dõi phát đối tượng khai thác quỹ đạo đối tượng cảnh quay video Đối với thuật toán theo dõi để giám sát, xuất đường quỹ đạo nhiều đối tượng, thuật toán theo dõi phân biệt đối tượng Các tiêu chuẩn để đánh giá thuật toán theo vết tốt:   Thuật toán theo vết phát tất vào chuyển cảnh Thuật toán theo vết phân biệt đối tượng hiển thị cảnh thởi điểm  Theo dõi trích xuất quỹ đạo tất đối tượng, gán cho đối tượng phải trì cho tất đối tượng theo dõi  Sự chuyển động ngưng chuyển động đối tượng không làm dấu đối tượng  Có chồng chéo tiếp xúc đối tượng mà giữ dấu đối tượng 3.3.2 Kết Bộ sở liệu IMG1 IMG2 Hình 3-1: Bộ sở liệu IMG3 Hình 3-2 IMG1: Đối tượng ảnh số theo dõi qua khn hình từ 3-16 Hình 3-3 IMG2: Đối tượng ảnh số 14 theo dõi qua khuôn hình 85-88, bị khuất khn hình 89, xuất lại hình 90 với mã số 16 Hình 3-4 IMG2: Đối tượng ảnh số 16 theo dõi tiếp qua khn hình 140-154 Hình 3-5 IMG2: Đối tượng ảnh số 16 theo dõi tiếp mã số 29 qua khn hình 195-210 Có số đỗi tượng xuất hiện, nhiên nhỏ nên khơng mã số hình Hình 3-6 IMG3: Có đối tượng ảnh khn hình 666-680 Do kích thước đối tượng nhỏ ngưỡng đặt trước nên mã số khơng hiển thị khn hình Hình 3-7 IMG3: Đối tượng ảnh số 89 teo dõi khn hình 780-800 Một đối tượng ảnh khơng hiển thị mã số kích thước đối tượng nhỏ ngưỡng đặt trước 73 Bảng 3.1 Bảng kết thực nghiệm sở liệu Bộ hình ảnh TF TN TP FN Img1 80 24 57 23 Img2 120 36 74 12 Img3 100 32 67 24 3.3.3 Đánh giá so sánh kết thực nghiệm Dựa công thức đánh giá thực nghiệm ta có bảng đánh giá thực nghiệm Trong bảng thực nghiệm có độ xác cao > 80% bôi đen Kết sở liệu Bảng Bảng đánh giá kết thực nghiệm sở liệu Bộ hình ảnh Detection Rate Negative Prediction False Negative Rate Accuracy Img1 71.25% 51.06% 28.75% 71.25% Img2 86.05% 75.00% 13.95% 86.05% Img3 73.63% 57.14% 26.37% 73.63% Đánh giá sở liệu thực nghiệm Dưa yêu cầu sở liệu thực nghiệm ta rút đặc tính sở liệu thường có như:  Change Motion (CM): Có thay đổi chuyển động camera  Objects Disappeared (OD): Đối tượng biến  Change Move Speed (CMS): Đối tượng thay đổi tốc độ di chuyển  Change Scale (CS): Quy mô đối tượng thay đổi  Change Background (CB): Nền điều kiện chiếu sáng thay đổi 74   Similar Colors (SC): Màu sắc đối tượng tương tự Objects Overlapping (OO): Các đối tượng chồng chéo lên  Objects Contect (OC): Các đối tượng tiếp xúc với Bảng 3 Bảng đánh giá độ phức tạp sở liệu thực nghiệm Bộ hình ảnh CM Img1 X Img2 X Img3 X OD CMS CS CB SC OO OC X X X X X X X X X X X X Dựa vào bảng đánh giá độ phức tạp sở liệu thử nghiệm trên, đối chiếu với kết độ xác thực nghiệm theo dõi đối tượng Ta rút số nhận xét sau: Thuật toán theo dõi nén hoạt động hiệu đối điều kiện như: Có thay đổi chuyển động camera, đối tượng thay đổi tốc độ di chuyển, Quy mô đối tượng thay đổi, điều kiện chiếu sáng thay đổi Thuật toán theo dõi hoạt động hiệu điều kiện như: Khi màu sắc đối tượng tương tự nhau, có chồng chéo tiếp xúc đối tượng với 3.4 Kết luận chương Chương trình bày việc cài đặt chương trình, xây dựng liệu thực nghiệm, trình thực nghiệm, kết thực nghiệm kết đánh giá, nhận xét xử lý từ thực nghiệm 75 KẾT LUẬN Luận văn phân tích giải pháp tốn theo dõi đa mục tiêu thời gian thực cách tối ưu hàm đánh giá đối tượng Luận văn trình bày chi tiết mơ hình theo dõi đối tượng xây dựng hàmđánh giá đối tượng Tối ưu hàm đánh giá đối tượng cục làm để đạt giá trị cực tiểu, từ tính tốn theo vết đường đối tượng thời gian thực, theo dõi đối tượng chi tiết hơn, rõ nét 76 TÀI LIỆU THAM KHẢO Tiếng Việt Võ Đức Khánh, GS.TSKH Hồng Kiếm (2007) Giáo trình xử lý ảnh NXB ĐHQG TP HCM Lương Mạnh Bá, Nguyễn Thanh Thủy Nhập môn xử lý ảnh số, Nhà xuất Khoa học kỹ thuật, Hà Nội 1999 Nguyễn Kim Sách (1977) Xử lý ảnh video số, Nhà xuất Khoa học kỹ thuật, Hà Nội Đỗ Năng Toàn, Phạm Việt Bình (2007) Giáo trình xử lý ảnh, NXB KHKT ĐH Thái Ngun Ngơ Quốc Tạo, Đỗ Năng Tồn (2001), “Tách bảng dựa tập hình chữ nhật rời rạc”, chun san Các cơng trình nghiên cứu triển khai Cơng nghệ thơng tin viễn thơng, Tạp chí Bưu Viễn thơng, số năm 2001, 73-79 Nguyễn Quốc Trung Xử lý tín hiệu lọc số Nhà xuất Khoa học Kỹthuật, 2004 Tiếng Anh Elgammal, A Duraiswami, R.,Hairwood, D., Anddavis, L 2002 Background and foreground modeling using nonparametric kernel density estimation for visual surveillance Proceedings of IEEE 90, 7, 1151–1163 S Y Elhabian, K M El-Sayed, “Moving object detection in spatial domain using background removal techniques- state of the art”, Recent patents on computer science, Vol 1, pp 32-54, Apr, 2008 Yilmaz, A., Javed, O., and Shah, M 2006 Object tracking: A survey ACM Comput Surv 38, 4, Article 13,December 2006 10 In Su Kim, Hong Seok Choi, Kwang Moo Yi, Jin Young Choi, and Seong G Kong Intelligent Visual Surveillance - A Survey International Journal of Control, Automation, and Systems (2010) (5):926-939 11 I Haritaoglu, D Harwood, and L S Davis, “W4: real-time surveillance of people and their activities,” IEEE Trans on Pattern Analysis and Machine Intelligence, vol 22, no 8, pp 809-830, August 2000 12 Maniciu, D And Meer, p 2002 Mean shift: A robust approach toward feature space analysis IEEE Trans Patt Analy Mach Intell 24, 5, 603–619 13 A M McIvor Background subtraction techniques Proc of Image and Vision Computing, 2000 14 Bruce D Lucas and Takeo Kanade An Iterative Image Registration Technique with an Application to Stereo Vision International Joint Conference on Artificial Intelligence, pages 674-679, 1981 15 Kaihua Zhang, Lei Zhang, Ming-Hsuan Yang Real-time compressive tracking ECCV 2012 16 Alper Yilmaz, Omar Javed, and Mubarak Shah ““Object Tracking: A Survey”, ACM 2006 ... tượng Tối ưu hàm đánh giá đối tượng cục hàm hàm đánh giá đối tượng để đạt giá trị cực tiểu hàm đánh giá đối tượng, từ tính tốn theo vết đường đối tượng thời gian thực Chương 3: Thực nghiệm đánh giá. .. dõi giám sát đa đối tượng chuyển động video với tối ưu hóa hàm hàm đánh giá đối tượng mà kết tối ưu nguồn lực máy tính Đối tượng luận văn tìm hiểu kết nghiên cứu lĩnh vực giám sát đa đối tượng. .. ĐA MỤC TIÊU TỐI ƯU HÀM ĐÁNH GIÁ ĐỐI TƯỢNG 35 2.1 Ký hiệu 37 2.2 Phát cac đôi tương 37 2.3 Hàm đánh giá đối tượng 44 2.4 Tối ưu hoá hàm đánh giá đối tượng
- Xem thêm -

Xem thêm: Hệ thống quan sát đa mục tiêu tối ưu hàm đánh giá đối tượng , Hệ thống quan sát đa mục tiêu tối ưu hàm đánh giá đối tượng

Từ khóa liên quan

Gợi ý tài liệu liên quan cho bạn

Nhận lời giải ngay chưa đến 10 phút Đăng bài tập ngay