BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỎ - ĐỊA CHẤT ĐỖ VĂN DƯƠNG NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DẠNG TỰ ĐỘNG MỘT SỐ ĐỐI TƯỢNG VÀ XÂY DỰNG CƠ SỞ DỮ LIỆU 3D BẰNG DỮ LIỆU ẢNH THU NHẬN TỪ THIẾT BỊ BAY KHÔNG NGƯỜI LÁI Ngành: Kỹ thuật Trắc địa - Bản đồ Mã số: 52 05 03 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Hà Nội- Năm 2018 Cơng trình hồn thành tại: Bộ môn Đo ảnh Viễn thám, Khoa Trắc địa - Bản đồ Quản lý đất đai, trường Đại học Mỏ - Địa chất Người hướng dẫn khoa học: PGS.TS Nguyễn Quang Minh PGS.TS Trần Vân Anh Phản biện 1: PGS.TS Nguyễn Trường Xuân Phản biện 2: TS Cáp Xuân Tú Phản biện 3: GS.TSKH Phan Văn Lộc Luận án bảo vệ trước Hội đồng đánh giá luận án cấp Trường họp Trường đại học Mỏ - Địa chất vào hồi …giờ … ngày … tháng… năm… Có thể tìm hiểu luận án thư viện: Thư viện Quốc Gia, Hà Nội Thư viện Trường đại học Mỏ - Địa chất -1MỞ ĐẦU Tính cấp thiết đề tài Những năm gần đây, Thế giới Việt Nam có nhiều nghiên cứu ứng dụng liệu ảnh UAV lĩnh vực dân giám sát tài nguyên rừng, giám sát khí thải nhà máy, khảo sát mức độ thiên tai dịch họa, xây dựng mơ hình số độ cao, xây dựng sở liệu 3D (CSDL 3D) khu vực khảo cổ,.v.v Công nghệ xử lý ảnh UAV dễ dàng tạo sản phẩm bình đồ ảnh, mơ hình số bề mặt (DSM) mơ hình số độ cao (DEM) Tuy nhiên, số kết nghiên cứu cho thấy kết tạo DEM tự động q trình xử lý ảnh UAV chưa đạt độ xác để đưa vào sử dụng, DEM sử dụng chủ yếu tạo từ đo cao địa hình cặp ảnh lập thể UAV Tuy nhiên với kích thước ảnh nhỏ, số lượng ảnh UAV thu nhận lớn khu vực bay chụp, để đo độ cao khối lượng lớn cặp ảnh lập thể vất vả, Việc tạo lập sở liệu (CSDL) địa vật nghiên cứu thực phổ biến theo phương pháp số hóa từ bình đồ ảnh UAV Gần đây, số nghiên cứu sử dụng thuật toán nhận dạng đối tượng bề mặt ảnh viễn thám có độ phân giải cao phục vụ công tác xây dựng CSDL Tuy nhiên để nhận dạng đối tượng ảnh kỹ thuật số (RGB) có độ phân giải siêu cao thu nhận từ UAV chưa có nghiên cứu đề cập đến Công tác xây dựng CSDL 3D từ ảnh UAV nhiều tác giả quan tâm nghiên cứu Mơ hình đối tượng CSDL 3D xây dựng hai dạng: (1) mơ hình 3D mơ (2) mơ hình 3D thực xây dựng từ hình ảnh thật đối tượng Tuy nhiên, Việt Nam nghiên cứu xây dựng CSDL 3D chưa có tác giả đề cập đến xây dựng mơ hình 3D thực Xuất phát từ nhu cầu thực tế, đề tài “Nghiên cứu phương pháp nhận dạng tự động số đối tượng xây dựng sở liệu 3D liệu ảnh thu nhận từ thiết bị bay không người lái” nhằm giải tiếp cận với vấn đề Mục tiêu nghiên cứu - Xây dựng thuật tốn chương trình tạo DEM từ kết DSM phù hợp với số địa hình Việt Nam; - Nhận dạng nâng cao độ xác nhận dạng đối tượng bình đồ ảnh UAV; - Xây dựng sở liệu 3D từ kết xử lý ảnh UAV Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu chính, gồm: bình đồ ảnh UAV, liệu DEM, DSM sở liệu 3D Phạm vi nghiên cứu luận án bao gồm liệu không gian liệu thuộc tính đối tượng ảnh UAV Nội dung nghiên cứu - Tổng quan hệ thống UAV ứng dụng liệu ảnh thu nhận từ UAV công tác Trắc địa - Bản đồ; -2- Tổng quan công tác tạo DEM công nghệ phần mềm xử lý ảnh, công tác nhận dạng đối tượng xây dựng CSDL 3D từ kết xử lý ảnh UAV Thế giới Việt Nam; - Xây dựng thuật toán tạo DEM từ DSM (dữ liệu DSM tạo trình xử lý ảnh UAV); - Nâng cao độ xác nhận dạng đối tượng bề mặt ảnh UAV kết hợp liệu bình đồ ảnh liệu độ cao địa vật (DHM); - Xây dựng CSDL 3D từ kết đám mây điểm, ảnh cấu trúc đối tượng tạo trình xử lý ảnh UAV sở liệu địa lý (GIS) Ý nghĩa khoa học thực tiễn luận án Ý nghĩa khoa học: Luận án phân tích, đề xuất khẳng định tính đắn việc đưa thuật toán tạo DEM từ DSM phù hợp với số địa hình Việt Nam, phương pháp nhận dạng đối tượng ảnh UAV công tác xây dựng CSDL 3D từ mơ hình 3D thực Xác lập tính khoa học hướng nghiên cứu, đề xuất luận án, mở hướng tiếp cận việc xử lý ứng dụng kết xử lý liệu ảnh UAV Ý nghĩa thực tiễn: Bằng cách thử nghiệm liệu thực tế để khẳng định nghiên cứu, đề xuất luận án hồn tồn ứng dụng thực tiễn, góp phần giảm thời gian công sức công tác xử lý liệu ảnh UAV, đưa sản phẩm có tính ứng dụng tốt phục vụ cho lĩnh vực khác đời sống Các điểm luận án - Đề xuất thuật toán xây dựng chương trình tạo DEM từ kết DSM có từ xử lý ảnh UAV; - Đề xuất phương pháp nâng cao độ xác nhận dạng đối tượng ảnh kỹ thuật số UAV kết hợp với liệu độ cao địa vật; - Góp phần hồn thiện quy trình xây dựng CSDL 3D từ mơ hình 3D thực kết hợp với CSDL thông tin địa lý Cấu trúc khối lượng luận án Luận án gồm phần mở đầu, kết luận, tài liệu tham khảo, phụ lục nội dung kết cấu gồm chương sau: Chương 1- TỔNG QUAN VỀ HỆ THỐNG UAV VÀ CÁC ỨNG DỤNG DỮ LIỆU ẢNH UAV TRONG TRẮC ĐỊA - BẢN ĐỒ 1.1 Tổng quan hệ thống UAV Hệ thống bay không người lái (UAV) gọi phương tiện giới khơng điều khiển từ xa, bán tự động, tự động, kết hợp điều khiển từ xa tự động Hệ thống UAV phát triển sớm từ kỷ 18 từ phương tiện bay đơn giản có nguyên lý hoạt động gần giống với UAV khinh khí cầu, diều, chim,.v.v., đến phương tiện UAV đại dạng máy bay có gắn động cánh bằng, cánh quay -3Thiết bị thu nhận hình ảnh hệ thống UAV phát triển cải tiến từ máy ảnh điều khiển tay đến máy ảnh thiết đặt chế độ chụp tự động ngày công nghệ quét LiDar đại sử dụng gắn UAV phục vụ cho cơng tác thu nhận ảnh Ngồi ra, hệ thống UAV đại lắp đặt hệ thống chống rung, quay hồi chuyển, thiết bị định vị định hướng GPS/IMU, cảm biến (sensor) đo phổ,.v.v nhằm thu nhận ảnh xác vị trí thiết lập tọa độ tâm chụp với độ nghiêng, độ xoay ảnh nhỏ 1.2 Ứng dụng liệu ảnh thu nhận từ UAV Trắc địa - Bản đồ Dữ liệu ảnh thu nhận từ UAV ứng dụng nghiên cứu lĩnh vực Trắc địa-Bản đồ, như: lập đồ địa hình, địa tỷ lệ lớn, xây dựng mơ hình số độ cao (DEM), xây dựng CSDL GIS 3D phục vụ cho công tác quản lý quy hoạch đô thị, quản lý không gian di sản văn hóa.v.v Dữ liệu DEM sử dụng nghiên cứu chủ yếu tạo từ số hóa đường bình độ, từ tập điểm độ cao đo trực tiếp đo độ cao cặp ảnh lập thể, chưa sử dụng DEM tạo từ DSM Đối tượng địa vật đa phần số hóa trực tiếp từ bình đồ ảnh UAV chưa sử dụng thuật tốn nhận dạng tự động Cơng tác xây dựng CSDL 3D Việt Nam tập trung vào nghiên cứu với mơ hình 3D mơ khu vực có địa vật cấu trúc địa vật đơn giản mà chưa xây dựng mơ hình 3D thực từ hình ảnh thật đối tượng Trên sở tồn nêu, nội dung nghiên cứu luận án nhằm giải vấn đề: - Nghiên cứu đề xuất thử nghiệm thuật toán tạo DEM từ liệu DSM; - Xây dựng, thử nghiệm thuật tốn quy trình nâng cao độ xác nhận dạng tự động đối tượng ảnh UAV; - Xây dựng CSDL 3D với mơ hình 3D thực xây dựng từ hình ảnh thật đối tượng địa vật 1.3 Dữ liệu ảnh UAV phục vụ nghiên cứu đề tài 1.3.1 Khu vực thu nhận ảnh thiết bị bay chụp ảnh Khu vực thu nhận ảnh thôn Yên Bồ, xã Vật Lại, huyện Ba Vì, Hà Nội Trung tâm xã có tọa độ địa lý khoảng 21012’10” vĩ độ Bắc, 105024’26” kinh độ Đơng Hình 1.1 Vị trí địa lý khu vực bay thử nghiệm UAV (Nguồn: Google Map) -4Thiết bị bay chụp ảnh thiết bị bay UAV Swinglet-CAM gắn hệ thống định hướng định vị INS/DGPS camera chụp ảnh tự động Canon IXUS 127HS Hình 1.2 Thiết bị bay UAV Swinglet-CAM máy ảnh Canon IXUS 127HS Tuyến bay thiết kế gồm có tuyến bay tầm thấp vng góc tuyến bay tầm cao, mục đích thu nhận đầy đủ hình ảnh đối tượng nhiều góc độ khác để xây dựng mơ hình 3D thực lập bình đồ ảnh khu vực Kết thu 73 ảnh tầm bay thấp 100 m với độ phân giải mặt đất cm 27 ảnh tầm bay cao 180 m với độ phân giải mặt đất 5.6 cm Các ảnh có độ chồng phủ dọc ngang từ 70% đến 90% Hình 1.3 Mơ tả dải bay hình ảnh ảnh thu nhận khu vực thử nghiệm 1.3.2 Dữ liệu sử dụng nghiên cứu đề tài Dữ liệu ảnh UAV sau bay chụp tiến hành xử lý phần mềm Pix4D mapper Kết sau đưa vào thực nghiệm hướng nghiên cứu đề tài, gồm có: bình đồ ảnh, liệu DSM, liệu đám mây điểm ảnh cấu trúc đối tượng (a) Bình đồ ảnh (b) Mơ hình số bề mặt (DSM) (c) Đám mây điểm 3D (d) Ảnh cấu trúc bề mặt Hình 1.4 Các kết xử lý ảnh UAV phần mềm Pix4D mapper -5Chương - NGHIÊN CỨU VÀ ĐỀ XUẤT THUẬT TOÁN TẠO DEM TỪ DỮ LIỆU DSM 2.1 Tổng quan thuật toán tạo DEM Trên giới, có nhiều thuật tốn tạo DEM từ DSM như: thuật toán lọc điểm cách sử dụng cửa sổ lọc hình thể học (geomorphology filters); lọc điểm màng lọc trung bình (Weidner (1995)); sử dụng phương pháp nội suy hàm tương quan (Lee (2003)); sử dụng ngưỡng độ dốc để loại bỏ điểm có độ dốc lớn so với điểm xung quanh (J Susaki (2012)),.v.v Tuy nhiên, sử dụng thuật toán kể vào việc tạo DEM từ DSM xử lý ảnh UAV gặp khó khăn đạt độ xác khơng cao liệu DSM có lớp điểm khơng giống liệu LiDar có nhiều lớp điểm Do liệu DSM vị trí có địa vật cối số lượng điểm mặt đất giảm sau sử dụng phép lọc điểm xác định điểm độ cao mặt đất phía tán liệu LiDar Chính hạn chế trên, nghiên cứu đề xuất thuật toán tạo DEM từ DSM dạng bán tự động, phù hợp với số địa hình Việt Nam thực tiễn cần thiết 2.2 Nghiên cứu đề xuất thuật toán tạo DEM từ DSM xử lý ảnh UAV Các thuật toán đề xuất bao gồm: Thuật toán xác định điểm độ cao đột biến; thuật toán xác định tập điểm độ cao địa vật thuật tốn nội suy độ cao tái tạo địa hình 2.2.1 Thuật toán xác định điểm độ cao đột biến Giả sử X ảnh mơ hình số bề mặt có hàm ( , ) biểu diễn độ cao điểm ảnh p(x,y) với x vị trí hàng y vị trí cột, xung quanh điểm p xác định tối đa điểm ảnh lân cận có hàm độ cao tương ứng ( , ) Giả sử, ta thiết lập giá trị ngưỡng chênh cao cho trước, tồn điểm lân cận điểm ( , ) có độ cao ( , ) thỏa mãn: ( , )− ( , )≥ (2.1) ( , ) gọi điểm độ cao đột biến Như với ngưỡng bất kỳ, ta thu tập hợp điểm độ cao đột biến 2.2.2 Thuật toán xác định tập điểm độ cao địa vật Chúng ta xác định khu vực đối tượng địa vật hai phương pháp: phương pháp trực tiếp phương pháp gián tiếp + Phương pháp trực tiếp Là phương pháp lựa chọn trực tiếp khu vực đối tượng địa vật ảnh Giả sử, P điểm thuộc khu vực đối tượng địa vật Φ tập hợp điểm độ cao đột biến xung quanh khu vực Khi đó, Φ đường khép kín Như vậy, ta sử dụng thuật tốn loang, tơ vùng (W.K.Prat (2007), Xiaoqing Zuo (2014)) để xác định điểm thuộc khu vực đối tượng địa vật Tuy nhiên, cách xác định khơng hiệu q trình tính tốn lập trình -6- Hình 2.1 Xác định khu vực đối tượng địa vật phương pháp trực tiếp + Phương pháp gián tiếp Phương pháp xác định khu vực địa hình trước Sau loại bỏ điểm địa hình này, lại khu vực đối tượng địa vật Để phân tách địa hình, thiết lập giá trị gọi ngưỡng địa hình Giá trị ngưỡng xác định tự động tùy chỉnh * Ngưỡng địa hình tự động Giả sử gọi X ảnh mơ hình số bề mặt với điểm ảnh vị trí hàng i, cột j; ℎ giá trị độ cao điểm Thiết lập giá trị ngưỡng độ cao đột biến , thu tập hợp điểm đột biến , , … , với giá trị độ cao điểm ảnh ℎ( ), ℎ ( ), … , ℎ( ) Khi giá trị ngưỡng độ cao tự động xác định theo công thức: = ℎ( ) + ℎ( ) + ⋯ + ℎ( ) (2.2) Xét điểm ảnh có độ cao ℎ : - Nếu ℎ  điểm thuộc đối tượng địa vật - Nếu ℎ ≤ điểm thuộc địa hình Tuy nhiên, ngưỡng địa hình tự động phù hợp cho kết xác với địa hình phẳng Nguyên nhân giá trị ngưỡng ngưỡng địa hình tồn cục (global threshold) xác định ngưỡng chung cho khu vực địa hình Để khắc phục nhược điểm này, ta xây dựng ngưỡng địa hình tùy chỉnh với phạm vi cục (local threshold) Các giá trị ngưỡng cục cần phải xác định dựa độ cao trung bình địa hình khu vực * Ngưỡng địa hình tùy chỉnh Giả sử X ảnh mơ hình số bề mặt, có giá trị độ cao điểm ảnh biểu diễn hàm ( , ) với x vị trí hàng, y vị trí cột Gọi giá trị độ cao nhỏ nhất, max giá trị độ cao lớn ảnh X: = ( , ) = max ( , ) giá trị ngưỡng tùy chỉnh ≤ ≤ Φ( , ) tập điểm độ cao đột biến, Φ ( , ) tập điểm đột biến thuộc đối tượng địa vật Khi đó, Φ ( , ) tập hợp đường bao kín Xét điểm ảnh p(x, y) có độ cao f(x, y) - Nếu ( , ) ≤ ( , ) ∉ Φ ( , ) ( , ) điểm địa hình -7- Nếu ( , ) ≥ ( , ) ∈ Φ ( , ) ( , ) là điểm địa vật Sau xác định khu vực đối tượng địa vật Sử dụng phép trừ tập điểm liệu DSM với tập điểm độ cao địa vật Kết thu công việc tập điểm độ cao địa hình 2.2.3 Thuật tốn nội suy độ cao tái tạo địa hình Giả sử điểm p nằm khu vực đối tượng địa vật Y Khi có n điểm ảnh (i = ÷ n) lân cận tạo n hướng xung quanh điểm p, ta tính tốn độ cao điểm p dựa vào điểm (i = ÷ n) Gọi ℎ độ cao địa hình điểm p, ℎ biểu diễn dạng toán học sau: ℎ = (ℎ , ) = ÷ Trong đó: ℎ (i = ÷ n) độ cao điểm (i = ÷ n) (i = ÷ n) khoảng cách từ điểm p tới điểm (i = ÷ n) Chúng ta mơ tả mối tương quan điểm p(x,y,h) với điểm địa hình xung quanh (i = ÷ n) Hình 2.2 Hình 2.2 Mối quan hệ điểm ảnh p với điểm địa hình xung quanh ( = 1, ) có tọa độ ( , , ℎ ), với , hàng thứ Như vậy, khoảng cách tính theo công thức Euclid là: = ( , )= ( − ) +( − cột thứ ) + (ℎ − ℎ ) (2.3) Dựa vào thuật toán nội suy độ cao theo trọng số nghịch đảo khoảng cách (Inverse Distance Weighting (IDW)), độ cao điểm p tính sau: n  wi hi i h p  1n  wi i 1 với wi  dik (2.4) Trong đó: p i (i = ÷ n) điểm xung quanh biết độ cao; wi trọng số nghịch đảo khoảng cách; hi độ cao điểm thứ i ; di khoảng cách từ điểm p đến điểm thứ i k số ảnh hưởng (thông thường k lấy 2) 2.2.4 Sơ đồ thuật tốn chương trình tạo DEM từ liệu DSM Từ thuật toán đề xuất, tác giả xây dựng chương trình tạo DEM từ DSM theo quy trình -8- Hình 2.3 Sơ đồ thuật tốn chương trình tạo DEM từ DSM Để tái tạo dáng địa hình sau loại bỏ tập điểm độ cao địa vật khu vực bị che khuất hồn tồn, cần có tập điểm độ cao địa hình bổ sung khu vực Sau tập điểm độ cao kết hợp với tập điểm độ cao địa hình tạo từ DSM để thực phép nội suy 2.3 Kết tạo DEM từ DSM thuật toán đề xuất đánh giá độ xác 2.3.1 Kết tạo DEM từ DSM Dữ liệu DSM sử dụng cho thử nghiệm thuật toán kết sau xử lý ảnh UAV khu vực Vật Lại - Ba Vì - Hà Nội Hình 2.4(a) mẫu DSM Hình 2.4(b) kết DEM tạo từ DSM thuật tốn đề xuất (a) Hình ảnh DSM dạng 2D 3D (b) Hình ảnh DEM dạng 2D 3D Hình 2.4 (a) Mẫu DSM thử nghiệm (b) Kết DEM tạo từ DSM Và kết so sánh theo mặt cắt địa hình DSM DEM: Biểu đồ 2.1 So sánh độ cao mặt cắt địa hình DSM DEM tạo Điểm ảnh so sánh độ cao mặt cắt địa hình -13a Cơng tác tiền xử lý liệu Đây công việc tạo dự án (project) hiển thị liệu đầu vào cửa sổ phần mềm Dữ liệu đầu vào sử dụng cho công tác chiết tách đối tượng bình đồ ảnh trực giao UAV liệu DHM hệ quy chiếu WGS-84 b Phân mảnh ảnh Phân mảnh (segmentation) trình xác định ảnh có đối tượng, thơng qua việc so sánh độ đồng điểm ảnh gom điểm ảnh đồng thành đối tượng Các đối tượng xác định phần chưa định danh, nghĩa chưa xác định đối tượng địa lý gì? Thuộc tính đối tượng nào? Tuy nhiên trình quan trọng nhận dạng độ xác phân mảnh ảnh hưởng đến độ xác mặt không gian cho đối tượng nhận dạng sau c Thiết lập lớp đối tượng Để phục vụ thành lập CSDL địa hình tỷ lệ lớn, khu vực thực nghiệm phân thành lớp đối tượng sau: cay_cao; dat_trong; duong; mat_nuoc; nha_fibro ximang; nha_mai_ton; nha_ngoi; nha_tang; san_dat; san; thuc_vat d Thiết lập quy tắc tiến hành xác định lớp cho đối tượng Bộ quy tắc nhận dạng lớp đối tượng xây dựng dựa số: giá trị trung bình (Mean) màu sắc, độ lệch chuẩn (standard deviation), số màu sắc (Hue, Saturation, Intensity), số hình dạng (Geometry), số vị trí (Position), số mối quan hệ đối tượng (Relations to neighbor object), số độ cao địa vật (DHM) Bảng 3.1 Bộ quy tắc theo thuật toán PLĐHĐT ảnh UAV kết hợp DHM khu vực thực nghiệm Kết phân mảnh ảnh (level_1) (Scale parameter = 50; shape = 0.3; compactness = 0.7) Nhận dạng lần Đối tượng ảnh Level_1 (Chưa nhận dạng) mat_nuoc Tiêu chí Standard deviation Layer = 0.236 HSI Transformation Saturation(R=Layer 1,G=Layer 2,B=Layer 3) 1039 Pxl Mean Layer > HSI Transformation Intensity(R=Layer 1,G=Layer 2,B=Layer 3) > 0.709 Brightness >= 160 Mean Layer >= 113 Mean Layer >= 6.5 Mean Layer 845 Pxl Rectangular Fit 130 HSI Transformation Intensity(R=Layer 1,G=Layer 2,B=Layer 3) > 0.78 san không nhận dạng Mean Layer >= 4.5 nha_tang Mean Layer >= Mean Layer = 117 Rel border to duong > Rel border to dat_trong > HSI Transformation Saturation(R=Layer 1,G=Layer 2,B=Layer 3) >= 0.15 Y distance to scene top border = 80 Brightness Tiêu chí Mean Layer