Đại học Sư Phạm TP Hồ Chí Minh Khoa: Cơng Nghệ Thông Tin ĐỒ ÁN: XÂY DỰNG ỨNG DỤNG OBJECT DETECTION - OPENCV Giảng viên hướng dẫn: Thầy NGUYỄN ĐÌNH HIỂN MỤC LỤC I Các chức ứng dụng thực hiện: Ứng dụng Object Detection nhóm chạy tảng Windows xây dựng ngôn ngữ Python Ứng dụng nhận diện hình ảnh chứa vật thể, nêu vật thể qua đặc điểm so sánh với liệu đưa độ tin cậy khoảng phần trăm Sau nhóm thêm tính cho ứng dụng, nhận diện vật thể qua camera Laptop Ứng dụng nhận diện qua camera nêu vật thể khung hình camera đồng thời đưa độ tin cậy khoảng phần trăm Phát vật thể đơn giản hình ảnh: Ứng dụng phát vật thể đứng riêng lẻ hình ảnh Phát nhiều vật thể giống hình ảnh: Ứng dụng phát vật thể giống hình ảnh, cho dù nhiều vật thể chồng lên nhận Phát vật thể khác hình ảnh: Ứng dụng phát vật thể khác hình ảnh, cho dù nhiều vật thể nhận Phát vật thể qua Camera máy tính: Ứng dụng sử dụng Camera để liên tục quét nhận diện vật thể nằm khung hình Camera II Phương pháp thiết kế, cài đặt: Phương pháp thiết kế: Trong quy trình xử lý đưa kết việc nhận diện vật thể cần có nhiều bước, bước giới thiệu sau: Đầu tiên, ta đưa hình ảnh vào máy tính input Tiếp theo, bước tiền xử lý ảnh (preprocessing) bao gồm bước chỉnh ảnh (image alignment) chuẩn hóa ánh sáng (illumination normalization) Sau đó, ảnh chia cắt thành nhiều vùng khác để tiện cho việc xử lí Chúng ta xem vùng ảnh bắt đầu nhận diện Chuyển tất vùng ảnh tới DNN phân loại chúng thành lớp khác Ở bước này, ta sử dụng phương pháp trích chọn đặc điểm (feature extraction) để đưa thông tin đặc trưng cho đối tượng Kết vùng ảnh biểu diễn dạng vector đặc điểm (feature vector), bước bước nhận dạng (recognition) phân lớp (classification), tức xác định đối tượng Khi chia khu vực thành lớp tương ứng nó, kết hợp tất vùng để có hình ảnh gốc với đối tượng khoanh vùng phát Cài đặt: a Các bước tiền xử lý ảnh: + Image Gradients: Chuyển đổi hình ảnh sang mảng màu sáng tối Chúng ta sử dụng hàm: hàm sau: cv2.Laplacian(),… + Changing Colorspaces: Chuyển đổi hình ảnh từ khơng gian màu sang không gian màu khác, BGR, HSV,.… Chúng ta sử dụng hàm sau: cv2.dnn.blobFromImage(),.… + Geometric Transformations of Images: Chuyển đổi hình học khác cho hình ảnh dịch, xoay, điều chỉnh kích thước Chúng ta sử dụng hàm: cv.resize()… b Các bước trích chọn đặc điểm: + Feature Extraction: Trích chọn đặc điểm vật thể Chúng ta sử dụng hàm: cv2.HaarFeature + Feature Detection: Phát đặc trưng vật thể qua xác định góc Chúng ta sử dụng hàm: cv2 cornerSubPix() + Feature Classification: Phân nhóm đối tượng theo đặc trưng xác định Chúng ta sử dụng hàm: cv2.HaarClassification() c Các bước tổng hợp đưa kết quả: cv2.rectangle(): Vẽ hình chữ nhật bao quanh đối tượng xác định cv2.putText(): Đặt tên cho đối tượng cv2.imshow(): Gom lại thể khung kết cuối III Tài liệu tham khảo: [1] Kỹ phát vật thể (người) phương pháp trích đặc trưng ảnh HOG phân lớp sử dụng SVM (Support Vector Machine) (2018) Retrieved from: https://www.scribd.com/document/110904375/K%E1%BB%B9-n%C4%83ng-phat-hi %E1%BB%87n-v%E1%BA%ADt-th%E1%BB%83-ng%C6%B0%E1%BB%9Di-b %E1%BA%B1ng-ph%C6%B0%C6%A1ng-phap-trich-%C4%91%E1%BA%B7c-tr %C6%B0ng-%E1%BA%A3nh-HOG-va-phan-l%E1%BB%9Bp-s%E1%BB%AD-d %E1%BB%A5ng-SVM-Support-Vector-Machine [2] OpenCV library (2018) Retrieved from: https://opencv.org/ [3] Ứng dụng Convolutional Neural Network toán phân loại ảnh – Viblo (2018) Retrieved from: https://viblo.asia/p/ung-dung-convolutional-neural-network-trong-bai-toan-phan-loaianh-4dbZNg8ylYM? fbclid=IwAR0FwSR0E5txUmraYr9PEhXElNkJfhW3DWkqAGUM3lWcCwNWZ7JkO PN2yio [4] Tìm hiểu regression object detection (2018) Retrieved from: https://thorpham.github.io/blog/2018/04/18/regression/ [5] Lý thuyết Cơ Bản Machine Learning – Máy học (2018) Retrieved from: http://www.jackyle.xyz/2018/03/ly-thuyet-co-ban-ve-machine-learning.html [6] Joseph Redmon: Máy tính nhận diện vật thể nào? (2018) Retrieved from: https://vi.tiny.ted.com/talks/joseph_redmon_how_a_computer_learns_to_recognize _objects_instantly [7] Object detection (2018) Retrieved from: https://en.wikipedia.org/wiki/Object_detection#Concept [8] Deep learning: Nhận diện vật thể qua ảnh chụp (2018) Retrieved from: http://rstudio-pubsstatic.s3.amazonaws.com/401351_2934f5d42b89445aa5843112041f560d.html [9] Xử lý ảnh Python OpenCV: Mở đầu - Blog kỹ thuật máy tính (2018) Retrieved from: http://ktmt.github.io/blog/2014/09/23/xu-ly-anh-bang-python-va-opencv-mo-dau/ [10] Introduction to OpenCV-Python Tutorials — OpenCV-Python Tutorials documentation (2018) Retrieved from: https://opencv-pythontutroals.readthedocs.io/en/latest/py_tutorials/py_setup/py_intro/py_intro.html [11] Sự khác AI, Machine learning deep learning | Tech Talk (2018) Retrieved from: https://techtalk.vn/su-khac-nhau-giua-tri-tue-nhan-tao-may-hoc-va-deeplearning.html [12] Deep learning based Object Detection and Instance Segmentation using Mask RCNN in OpenCV (Python / C++) | Learn OpenCV (2018) Retrieved from: https://www.learnopencv.com/deep-learning-based-object-detection-and-instancesegmentation-using-mask-r-cnn-in-opencv-python-c/ [13] Deep Learning with OpenCV – PyImageSearch (2018) Retrieved from: https://www.pyimagesearch.com/2017/08/21/deep-learning-with-opencv/ 10 ...MỤC LỤC I Các chức ứng dụng thực hiện: Ứng dụng Object Detection nhóm chạy tảng Windows xây dựng ngôn ngữ Python Ứng dụng nhận diện hình ảnh chứa vật thể, nêu vật thể... learning based Object Detection and Instance Segmentation using Mask RCNN in OpenCV (Python / C++) | Learn OpenCV (2018) Retrieved from: https://www.learnopencv.com/deep-learning-based -object- detection- and-instancesegmentation-using-mask-r-cnn-in -opencv- python-c/... cho ứng dụng, nhận diện vật thể qua camera Laptop Ứng dụng nhận diện qua camera nêu vật thể khung hình camera đồng thời đưa độ tin cậy khoảng phần trăm Phát vật thể đơn giản hình ảnh: Ứng dụng