Phát hiện, phân loại và theo dõi đối tượng chuyển động trong hệ thống giám sát thông minh TIỂU LUẬN TỔNG QUAN Chuyên ngành: CƠ SỞ TOÁN HỌC CHO TIN HỌC Mã số: 62.46.01.10 NCS. NGUYỄN VĂN CĂN Nội dung trình bày 1. Phần mở đầu 2. Đặt bài toán 3. Tình hình nghiên cứu trong và ngoài nước 4. Một số phương pháp, thuật toán đã sử dụng 5. Phần kết luận Phần 1 Phần mở đầu 1. Lý do chọn vấn đề nghiên cứu • Luận văn tiến sĩ: Nghiên cứu một số thuật toán xác định mật độ phương tiện giao thông trong video giao thông. • Video giao thông => hệ thống giao thông thông minh • Phương tiện giao thông=>xe ô tô, mô tô, xe máy, người đi bộ. • Xác định mật độ => Đếm số lượng phương tiện => Phát hiện, phân loại, theo dõi, thực hiện đếm. 2. Mục đích nghiên cứu • Trên cơ sở tìm hiểu bài toán Phát hiện, theo dõi, và phân loại đối tượng chuyển động; • Trên cơ sở tìm hiểu những nghiên cứu trước đây trong và ngoài nước về vấn đề này; • Tiến hành thống kê, phân tích phương pháp, thuật toán, kết quả đạt được • Những vấn đề có thể cải tiến, khắc phục hạn chế, đề xuất một số cải tiến, phương pháp mới để nâng cao độ chính xác, tốc độ xử lý của thuật toán. 3. Đối tượng nghiên cứu • Bài toán phát hiện, theo dõi và phân loại đối tượng chuyển động. • Các công trình đã và đang nghiên cứu trong và ngoài nước về vấn đề phát hiện, theo dõi và phân loại đối tượng chuyển động. • Các thuật toán, phương pháp đã áp dụng trong vấn đề này. 4. Phạm vi nghiên cứu: • Bài toán liên quan đến video quay ở chế độ Outdoor • Quá trình xử lý hình ảnh và đưa ra thông tin. – Phân tách video thành các khung hình. – Phát hiện đối tượng chuyển động trong cảnh video. – Phân loại dựa vào các đặc trưng hình học, chuyển động. – Theo dõi chuyển động dựa vào đặc tính không gian, thời gian. 5. Phương pháp tiến hành • Bước 1: – Sưu tập tài liệu • Bước 2. – Phân tích cấu trúc một hệ thống; Thống kê, phân tích và đánh giá các phương pháp đã sử dụng; – Kết hợp một số thuộc tính, phương pháp để giải quyết độ chính xác và tốc độ. • Bước 3. – Xây dựng chương trình thực nghiệm. • Bước 4. – Đánh giá và hiệu chỉnh thuật toán và chương trình. Phần 2 Đặt bài toán Lĩnh vực nghiên cứu • Nhận dạng ảnh là công đoạn cuối cùng và quan trọng trong hệ thống xử lý ảnh [...]... • Phân loại dựa trên hình dạng (shape) • Phân loại dựa trên sự chuyển động (motion) • Phân loại dựa trên sự kết hợp hình dạng và chuyển động Phân loại dựa trên hình dạng (shape) Phân loại dựa trên hình dạng (shape) Phân loại dựa trên sự chuyển động (motion) Phân loại dựa trên sự kết hợp hình dạng và chuyển động Bài toán 3 Theo dõi đối tượng Theo vết đối tượng Các phương pháp sử dụng theo dõi đối tượng. .. cần giám sát và tại thời gian xác định – Đầu ra: Tại khoảng thời gian xác định được • Đối tượng chuyển động và không chuyển động – Nền ảnh tĩnh – Đối tượng chuyển động • Loại đối tượng chuyển động – Ô tô, xe máy, người đi bộ và phương tiện khác • Chuyển động của đối tượng như thế nào – Vận tốc, quỹ đạo Hệ thống giám sát thông minh bao gồm: Object Detection Object Classification Object Tracking Phân. .. thiệu tổng quan về 03 bài toán hợp thành trong bài toán phát hiện, phân loại và theo dõi đối tượng chuyển động – Trong đó giới thiệu phương pháp phát hiện: giảm trừ nền, các phương pháp thống kê, phương pháp chênh lệch thời gian; phương pháp phân loại đối tượng: phân loại dựa trên hình dạng, phân loại dựa trên chuyển động; phương pháp theo dõi đối tượng chuyển động: Kalman filter, SSD, MS *2+ Luận văn... đối tượng • Theo vết dựa vào mô hình: – Hệ thống theo vết dựa vào mô hình 2D-3D Độ chính xác cao, số lượng đối tượng theo dõi ít • Theo vết đối tượng dựa vào miền: – Nhận dạng những miền liên kết với nhau trong ảnh, khối mà có liên kết với mục tiêu được theo dõi • Theo vết đối tượng dựa vào đường bao động (Active Contour): – Đường viền bao đối tượng được theo dõi, và liên tục cập nhật tự động Hạn chế... dáng • Dựa trên chuyển động của các đối tượng • Bài toán 3: Theo dõi đối tượng – Đưa ra chuỗi các hành vi của đối tượng • Đường đi của đối tượng, • Tốc độ hay hướng chuyển động của đối tượng Bài toán 1 Phát hiện các đối tượng chuyển động Sơ đồ khái quát hệ thống phát hiện đối tượng Phát hiện các vùng ảnh nổi • Các phương pháp trừ ảnh nền – Background Subtraction • Các phương pháp dựa trên thống kê – Statistical... – Loại bỏ nhiễu, phát hiện và loại bỏ bóng, … • Phân tích liên kết các khối: – Liên kết các vùng điểm ảnh thành các khối • Tiền xử lý các vùng ảnh nổi: – Kết hợp các khổi ảnh nổi đã được phân tích để đưa ra các đối tượng đã được làm sạch • Xác định tính chất đối tượng: – Xác định hình bao, diện tích, vị trí, … Lược đồ xử lý điểm ảnh nổi Bài toán 2 Phân loại đối tượng Ba phương pháp phân loại đối tượng. .. toán 1: Phát hiện các đối tượng chuyển động – Tách các đối tượng chuyển động ra khỏi các khung hình – Phương pháp thường được sử dụng: • • • • Phương pháp trừ ảnh nền, Phương pháp dựa trên thống kê, Phương pháp chênh lệch tạm thời, Phương pháp dựa trên luồng thị giác • Bài toán 2: Phân lớp đối tượng – Phân loại ra các lớp đối tượng đã được định nghĩa trước: • Lớp người, lớp phương tiện, lớp động vật,…... cách tiếp cận này là xử lý thế nào với trường hợp nhập nhằng • Theo vết đối tượng dựa vào đặc trưng: – Các đặc trưng như tâm, màu sắc của đối tượng Cách tiếp cận này sử dụng mô hình Kalman Chính xác hóa đối tượng, xử lý nhập nhằng Phương pháp Dự đoán chuyển động Phần 3 Tình hình nghiên cứu trong và ngoài nước Tình hình nghiên cứu trong và ngoài nước 1 Giới thiệu khái quát các nghiên cứu 2 Giới thiệu... Thiên văn học Meteorology: khí tượng học Seismology: địa chấn học Autonomous navigation: chuyển hướng tự động Industrial inspection: Kiểm duyệt công nghiệp oceanography: Hải dương học aerial reconnaissance & mapping: Máy bay trinh sát và lập bản đồ radar: Ra đa remote sensing: Viễn thám Particle physics: Vật lý hạt Hệ thống giám sát thông minh là gì? • Là một hệ thống: – Đầu vào: video, hình ảnh, âm thanh...Dữ liệu đầu vào là video Khung khai phá dữ liệu video Dữ liệu đầu ra là dữ liệu đối tượng quan tâm Lĩnh vực nghiên cứu liên quan Thu nhận video Theo dõi Nén dữ liệu video Nhận dạng video Phân loại Phân đoạn Tiền xử lý Tách nền Phát hiện Ứng dụng của nhận dạng ảnh và video trong thực tế Surveilance: giám sát Robot guidance: Hướng dẫn robot Microscopy: Kính hiển . Đối tượng nghiên cứu • Bài toán phát hiện, theo dõi và phân loại đối tượng chuyển động. • Các công trình đã và đang nghiên cứu trong và ngoài nước về vấn đề phát hiện, theo dõi và phân loại. • Đối tượng chuyển động và không chuyển động. – Nền ảnh tĩnh – Đối tượng chuyển động • Loại đối tượng chuyển động. – Ô tô, xe máy, người đi bộ và phương tiện khác • Chuyển động của đối tượng. Phát hiện, phân loại và theo dõi đối tượng chuyển động trong hệ thống giám sát thông minh TIỂU LUẬN TỔNG QUAN Chuyên ngành: CƠ SỞ TOÁN