DANAFLOOD: CẢ NH BÁO NGẬ P LỤ T ĐÔ THỊ SỬ DỤ NG CAMERA GIÁM SÁT VÀ MÔ HÌ NH HỌC SÂU

Kỹ Thuật - Công Nghệ - Công Nghệ Thông Tin, it, phầm mềm, website, web, mobile app, trí tuệ nhân tạo, blockchain, AI, machine learning - Công nghệ thông tin Nghiên cứu khoa học TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG KHOA CÔNG NGHỆ THÔNG TIN Đà m Quang Tiế n TS. Ninh Khá nh Duy Giảng viên hướng dẫn Sinh viên thực hiện Học kì I 2022 - 2023 1 DANAFLOOD: CẢ NH BÁO NGẬ P LỤ T ĐÔ THỊ SỬ DỤ NG CAMERA GIÁM SÁT VÀ MÔ HÌ NH HỌC SÂU DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING 2 Contents 1. Introduction 2. Methodology 3. Evaluation 4. Conclusion 5. Discussion DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Nghiên cứu khoa học 3 DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Nghiên cứu khoa học 4Ả nh: Facebook Page củ a “BCH Phò ng chố ng Lụ t Bã o và Tìm kiế m cứ u nạ n Đà Nẵ ng” kêu gọi ngườ i dân đá nh dấ u mố c ngậ p lụ t sau đợ t mưa ngậ p lụ t lị ch sử ngà y 14102022. (Link bà i viế t, truy cậ p 05122022) DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Dữ liệu ngậ p lụ t thông thườ ng có thể thu đượ c từ hệ thố ng cảm biế n, hoặ c thu thậ p từ khảo sá t thực đị a. Tuy vậ y đố i với đườ ng phố ngậ p lụ t thì thườ ng không có sẵ n hệ thố ng cảm biế n hay cá c dấ u hiệu thực đị a để khảo sá t. Nghiên cứu khoa học 5 Thành phố Đà Nẵng có đủ thông tin điều hành để đưa ra cảnh báo sớm và đúng mức độ. Có một hệ thống phát hiện ngập lụt đường phố và gửi cảnh báo ngập lụt trên từng tuyến đường cho người dân. Nếu vào đợt lũ ngày 2410, Nghiên cứu khoa học DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING (1) Cho phé p cư dân thà nh phố xá c đị nh tuyế n đườ ng có thể di chuyể n an toà n và đưa ra quyế t đị nh (đã qua thông tin chí nh xá c) trá nh việc phơi nhiễ m chấ t thải trong nước ngậ p; (2) Cung cấ p thông tin cho cơ quan công quyền thà nh phố trong nỗ lực cải thiện việc kiể m soá t ngậ p lụ t có mụ c tiêu thông qua việc ra quyế t đị nh dựa trên dữ liệu (data-driven decision making). Chố ng chị u bề n vữ ng vớ i thiên tai và biế n đổ i khí hậ u 6 FloodNet - Computer Vision for Urban Street Flood Detection NYU CUSP. (2022). 2022 Capstone Projects NYU CUSP. online Available at: https:cusp.nyu.edu2022-capstone-projects Accessed 8 Sep. 2022. DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Giả thuyết nghiên cứu? Đồ án tốt nghiệp 7 1. Q. Zhang et al. “A performance analysis for real-time flood monitoring using image-based processing,” Indonesian Journal of Electrical Engineering and Computer Science, vol. 17, no. 2, pp. 793–803, 2019, doi: 10.11591IJEECS.V17.I2.PP793-803. -> nhanh nhưng ảnh hưởng mạnh bởi thay đổi môi trường 2. Barz, B. et al. (2019). Enhancing Flood Impact Analysis using Interactive Retrieval of Social Media Images. arXiv.org. online doi:10.5445KSP100008732706. -> không phù hợp làm cảnh báo tức thời, dễ ảnh hưởng bởi tin giả 3. H. N. Do, M. T. Vo, V. S. Tran, P. V. Tan, and C. V. Trinh, “An early flood detection system using mobile networks,” International Conference on Advanced Technologies for Communications, vol. 2016-January, pp. 599–603, Jan. 2016, doi: 10.1109ATC.2015.7388400. -> độ chính xác cao, độ phân giải cao, nhưng phải đầu tư cơ sở hạ tầng 4. Moy de Vitry et al. (2019). Scalable flood level trend monitoring with surveillance cameras using a deep convolutional neural network. Hydrology and Earth System Sciences, online 23(11), pp.4621–4634. doi:10.5194hess-23-4621-2019. -> sử dụng lại chỉ số ngập lụt chỉ cần dữ liệu hình ảnh từ camera, chưa đủ tốt để triển khai 5. S.-W. Lo et al, “Deep Sensing of Urban Waterlogging,” Mar. 2021, doi: 10.48550arxiv.2103.05927. -> sử dụng cơ sở hạ tầng máy chủ xử lý quá lớn, nhưng thể hiện sự khả thi để cảnh báo diện rộng DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Đồ án tốt nghiệp 8 (1) Xây dựng một mô hình đa nhiệm vụ (multi-task model) có thể nhân rộng (scalable) mới để đồ ng thờ i phân đoạ n vùng bị ngậ p và đá nh giá mứ c độ ngậ p. (2) Tạ o nên một nguồ n tin giúp ngườ i dân có kế hoạ ch di chuyể n phù hợ p, trá nh chị u cá c thiệt hạ i liên quan đế n việc đườ ng phố ngậ p lụ t. Đồ ng thờ i thu thậ p dữ liệu độ phân giải cao để phụ c vụ cho nhữ ng phân tí ch khá c. Our contribution DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Đồ án tốt nghiệp Flood level: 3 Flood level: 2 Flood level: 1 Flood level: 0 DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Dữ liệu huấ n luyện 9 Có ngậ p lụ t nước chảy mạ nhnhiều, nguy hiể m. Có ngậ p lụ t, không khuyế n khí ch. Có nước, không ảnh hưởng. Không có nước. 10 Water Segmentation Dataset Mirko Zaffaroni, Claudio Rossi. (2019). Water Segmentation Dataset (1.0) Data set. Zenodo. https:doi.org10.5281zenodo.3642406 European Flood 2013 Dataset Björn Barz, Kai Schröter, Moritz Münch, Bin Yang, Andrea Unger, Doris D...

Nghiên cứu khoa học

TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG

KHOA CÔNG NGHỆ THÔNG TIN

Đàm Quang TiếnTS Ninh Khánh Duy

Giảng viên hướng dẫn

Sinh viên thực hiệnHọc kì I2022 - 2023

DANAFLOOD: CẢNH BÁO NGẬP LỤT

ĐÔ THỊ SỬ DỤNG CAMERA GIÁM SÁT VÀ MÔ HÌNH HỌC SÂU

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Nghiên cứu khoa học

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Nghiên cứu khoa học

Ảnh: Facebook Page của “BCH Phòng chống Lụt Bão và Tìmkiếm cứu nạn Đà Nẵng” kêu gọi người dân đánh dấu mốcngập lụt sau đợt mưa ngập lụt lịch sử ngày 14/10/2022 (Link bài viết, truy cập 05/12/2022)

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Dữ liệu ngập lụt thông thường có thể thu được từ hệ thống cảm biến, hoặc thu thập từ khảo sát thực địa Tuy vậy

đối với đường phố ngập lụt thì

thường không có sẵn hệ thống cảm biến hay các dấu hiệu thực địa để khảo sát.

Nghiên cứu khoa học

Thành phố Đà Nẵng có đủ thông tin điều hành để đưa ra cảnh báo sớm và đúng mức độ.

Có một hệ thống phát hiện ngập lụt đường phố và gửi cảnh báo ngập lụt trên từng tuyến đường cho người dân.

Nếu vào đợt lũ ngày 24/10,

Nghiên cứu khoa học

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

(1) Cho phép cư dân thành phố xác định tuyến đường có thể di chuyển an toàn và đưa ra quyết định (đã qua thông tin chính xác) tránh việc phơi nhiễm chất thải trong nước ngập;

(2) Cung cấp thông tin cho cơ quan công quyền thành phố trong nỗ lực cải thiện việc kiểm soát ngập lụt có mục tiêu thông qua việc ra quyết định dựa trên dữ liệu (data-driven decision making).

Chống chịu bền vững với thiên tai và biến đổi khí hậu

FloodNet - Computer Vision for Urban Street Flood Detection NYU CUSP (2022) 2022 Capstone Projects | NYU CUSP [online]

Available at: https://cusp.nyu.edu/2022-capstone-projects/ [Accessed 8 Sep 2022].

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

1 Q Zhang et al “A performance analysis for real-time flood monitoring using image-based processing,” Indonesian

Journal of Electrical Engineering and Computer Science, vol 17, no 2, pp 793–803, 2019, doi:

2 Barz, B et al (2019) Enhancing Flood Impact Analysis using Interactive Retrieval of Social Media Images arXiv.org

[online] doi:10.5445/KSP/1000087327/06.-> không phù hợp làm cảnh báo tức thời, dễ ảnh hưởng bởi tin giả

3 H N Do, M T Vo, V S Tran, P V Tan, and C V Trinh, “An early flood detection system using mobile networks,” International Conference on Advanced Technologies for Communications, vol 2016-January, pp 599–603, Jan 2016, doi: 10.1109/ATC.2015.7388400.-> độ chính xác cao, độ phân giải cao, nhưng phải đầu tư cơ sở hạ tầng

4 Moy de Vitry et al (2019) Scalable flood level trend monitoring with surveillance cameras using a deep convolutional neural network Hydrology and Earth System Sciences, [online] 23(11), pp.4621–4634 doi:10.5194/hess-23-4621-2019

-> sử dụng lại chỉ số ngập lụt chỉ cần dữ liệu hình ảnh từ camera, chưa đủ tốt để triển khai

5 S.-W Lo et al, “Deep Sensing of Urban Waterlogging,” Mar 2021, doi: 10.48550/arxiv.2103.05927

-> sử dụng cơ sở hạ tầng máy chủ xử lý quá lớn, nhưng thể hiện sự khả thi để cảnh báo diện rộng

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Đồ án tốt nghiệp

(1) Xây dựng một mô hình đa nhiệm vụ (multi-task model) có thể nhân rộng (scalable) mới để đồng thời phân đoạn vùng bị ngập và đánh giá mức độ ngập.

(2) Tạo nên một nguồn tin giúp người dân có kế hoạch di chuyển phù hợp, tránh chịu các thiệt hại liên quan đến việc đường phố ngập lụt Đồng thời thu thập dữ liệu độ phân giải cao để phục vụ cho những phân tích khác.

Our contribution

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Đồ án tốt nghiệp

Flood level: 3Flood level: 2Flood level: 1Flood level: 0

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Dữ liệu huấn luyện

Water Segmentation Dataset

Mirko Zaffaroni, & Claudio Rossi (2019) Water Segmentation Dataset (1.0) [Data set] Zenodo https://doi.org/10.5281/zenodo.3642406

European Flood 2013 Dataset

Björn Barz, Kai Schröter, Moritz Münch, Bin Yang, Andrea Unger, Doris Dransch, and Joachim Denzler "Enhancing Flood Impact Analysis using Interactive Image Retrieval of Social Media Images.“

Archives of Data Science, Series A, 5.1, 2018.

Image Dataset for Roadway Flooding

Sazara, Cem; Cetin, Mecit; Iftekharuddin, Khan (2019), “Image Dataset for Roadway Flooding”,

Mendeley Data, V1, doi: 10.17632/t395bwcvbw.1

Danang Street Flood Dataset

Collected in SonCa Storm and Historic flood in October 2022

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Dữ liệu huấn luyện

Tool: Sử dụng công cụ đánh nhãn

với kĩ thuật huấn luyện online sẽ gia tăng hiệu suất đánh nhãn rất cao.

Reviving Iterative Training with Mask Guidance for Interactive Segmentation https://arxiv.org/abs/2102.06583

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Mô hình U-Net

Tận dụng được năng lực trích xuất đặc trưng của pretrained backbone Khai thác được 2 loại dữ liệu có ý nghĩa.

12

Bảng 1 Kết quả thử nghiệm U-Net gốc và sử dụng các backbone, train sau 20 epochs với cùng một thiết lập

Kiểm tra hiệu năng được thực hiện trên thiết bị Nvidia GTX 1050.

Chỉ số quan sát ngập lụt tĩnh

M Moy De Vitry, S Kramer, J Dirk Wegner, and J P Leitao,

“Scalable flood level trend monitoring with surveillance cameras using a deep convolutional neural network,”

Hydrol Earth Syst Sci, vol 23, no 11, pp 4621–4634, Nov 2019, doi: 10.5194/HESS-23-4621-2019.

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSINGDemo

b) Misclassify sidewalk as flood c) Nigh time segmentation error a) Too sensitive with wet road

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Error analysis

Các trường hợp lỗi này thường diễn ra vào các điều kiện ngày mưa và ban đêm nhưng chưa ngập.

Tuy vậy chỉ số SOFI lẫn phân loại vẫn đáng tin cậy trong các trường hợp này.

LEVEL: 0

16

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Error analysis

Ma trận nhầm lẫn đối với tác vụ phân loại

Hầu hết các trường hợp của lớp 0 và 4 được nhận định đúng, lớp 1 và 2 thì dễ nhầm lẫn hơn

High resolution logging data

High abstraction warning signalFlood segmented frame

Surveillance cameraVideo framesdeep convolutional networkMulti-output

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Kết luận

Bước tiếp theo:

• Cải tiến kiến trúc học máy mới hiệu quả hơn như U2-Net, hoặc U-Net++…

• Tiếp cận với mạng lưới camera thực sự của thành phố để thu thập dữ liệu huấn luyện chuẩn hơn.

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Trang web demo dịch vụ

The Real-Time Flood Dashboard

Hosted on

CÁM ƠN THẦY VÀ QUÝ VỊ ĐÃ THEO DÕI!

Đàm Quang Tiến

Khoa CNTT, Đại học Đà Nẵng – Trường Đại học Bách Khoa(+84)-967-237-101, damtien440@gmail.com