BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGÔ THANH ĐÔNG ĐỊNH VỊ ROBOT DỰA TRÊN KỸ THUẬT XỬ LÝ HÌNH ẢNH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 S K C0 4 Tp Hồ Chí Minh, tháng 10/2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGÔ THANH ĐÔNG ĐỊNH VỊ ROBOT DỰA TRÊN KỸ THUẬT XỬ LÝ HÌNH ẢNH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 Hƣớng dẫn khoa học: TS LÊ MỸ HÀ Tp Hồ Chí Minh, tháng 10 năm 2015 HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƢỢC: Họ & tên: Ngô Thanh Đông Giới tính: Nam Ngày, tháng, năm sinh: 19/03/1984 Nơi sinh: Quảng Ngãi Quê quán: Quảng Ngãi Dân tộc: Kinh Chỗ riêng địa liên lạc: A10/26A9, khu phố 2, Xã Bình Hƣng, Bình Chánh, TP.HCM Điện thoại quan: Điện thoại di động: Fax: E-mail: thanhdong_ngo@yahoo.com 0974903612 II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Không học Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ 2003 đến 2008 Nơi học (trƣờng, thành phố): Trƣờng Đại học Sƣ phạm Kỹ thuật TP.HCM Ngành học: Kỹ thuật Điện – Điện tử Tên đồ án, luận án môn thi tốt nghiệp: Giám sát điều khiển nhiệt độ dùng WINCC Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: Trƣờng Đại học Sƣ phạm Kỹ thuật TP.HCM Ngƣời hƣớng dẫn: Ths Nguyễn Tấn Đời III QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian 2009 đến Nơi công tác Công việc đảm nhiệm Trƣờng Cao đẳng nghề Việt Nam – Singapore Trang I Giáo viên HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chƣa đƣợc công bố công trình khác Tp Hồ Chí Minh, ngày 18 tháng 10 năm 2015 (Ký tên ghi rõ họ tên) Ngô Thanh Đông Trang II HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà LỜI CẢM ƠN Tôi xin chân thành cảm ơn Ban giám hiệu trƣờng Đại học SPKT TP.HCM tạo điều kiện thuận lợi cho trình học tập nâng cao trình độ thực đề tài luận văn tốt nghiệp Tôi xin trân trọng cảm ơn TS Lê Mỹ Hà tận tình giúp đỡ, truyền đạt kiến thức đề xuất hƣớng giải vấn đề khó khăn phát sinh trình nghiên cứu Và cuối xin cảm ơn bạn bè, đồng nghiệp, ủng hộ tôi, cộng tác với tôi, tạo mọi điều kiện thuận lợi cho hoàn thành luận văn Ngô Thanh Đông Trang III HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà TÓM TẮT LUẬN VĂN Định vị robot đề tài đƣợc nhiều nhà khoa học nƣớc giới quan tâm Ngƣời ta thƣờng dùng loại cảm biến để tính toán khoảng cách, hƣớng, vận tốc để xác định vị trí robot Vì loại cảm biến sai số, yếu tố khách quan nhƣ robot bị trƣợt trình di chuyển, làm cho vấn đề định vị robot chƣa đƣợc giải triệt để Các nhà nghiên cứu đƣa nhiều giải pháp khác nhƣ định vị robot cách phát vật mốc RFID, sử dụng camera Kinect, stereo camera, GPS… Để đạt đƣợc kết tốt hơn, đề tài tác giả định vị robot sử dụng camera kết hợp GPS Đề tài thực định vị robot sử dụng camera Robot đƣợc trang bị camera thƣờng, trình di chuyển thu thập ảnh 2D, xử lý tập ảnh này, tính toán xác định vị trí lập quỹ đạo robot Tuy nhiên định vị robot sử dụng camera chƣa thể xác định vị trí xác robot tọa độ mặt đất Đề tài thực định vị robot sử dụng Module GPS để thu thập liệu kinh độ vĩ độ Từ xác định vị trí robot đồ mặt đất Nhƣng định vị robot sử dụng GPS cho kết chƣa mịn Kết hợp hai kết trên, định vị robot sử dụng camera kết hợp GPS cho kết tốt Robot xác định đƣợc vị trí tọa độ mặt đất, quỹ đạo di chuyển robot đƣợc xác định mịn Trang IV HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà ABSTRACT Location for robot is a subject which is interested by many researchers They often use sensors to measure the distance, orientation and velocity to determine navigation of robot Because sensors still have errors and many external factors such as slipping during moving, the problem of locating robot has not solved thoroughly Researchers gave many various methods for locating robot such as: RFID, using Kinect camera, stereo camera, GPS,… In order to gain better result, in this thesis, navigation of robot fusing camera and GPS is used Locating robot using camera in this thesis, camera is attached on robot, during the movement, it will collect a set of 2D images Processing this set of pictures, counting location and mapping the trajectory of robot But the result of this process cannot give the global location Locating robot using Module GPS is also implemented in this thesis to getting longitude and latitude From that global location of robot is determined But this result is not smooth Fusing camera and GPS gives better result Robot is located its navigation on glocal map, trajectory of robot is smoother Trang V HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà MỤC LỤC ABSTRACT V MỤC LỤC VI DANH SÁCH CÁC HÌNH IX DANH SÁCH CÁC CHỮ VIẾT TẮT XI Chƣơng TỔNG QUAN 1.1 Tổng quan lĩnh vực nghiên cứu, kết nghiên cứu nƣớc công bố 1.1.1 Tổng quan định vị robot 1.1.2 Kết nghiên cứu nƣớc 1.2 Mục tiêu, khách thể đối tƣợng nghiên cứu 1.2.1 Mục tiêu nghiên cứu 1.2.2 Khách thể nghiên cứu 1.2.3 Đối tƣợng nghiên cứu 1.3 Nhiệm vụ đề tài phạm vi nghiên cứu 1.3.1 Nhiệm vụ đề tài 1.3.2 Phạm vi nghiên cứu 1.4 Phƣơng pháp nghiên cứu Chƣơng CƠ SỞ LÝ THUYẾT 2.1 Tìm cặp điểm đặc trƣng tƣơng đồng 2.1.1 Các loại đặc trƣng Trang VI HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà 2.1.2 Harris Laplace 2.1.3 SIFT 2.1.4 SURF 11 2.1.5 Moravec corner 11 2.1.6 Harris corner 12 2.2 Thông số nội camera 15 2.3 Thuật toán RANSAC 19 2.4 Định vị camera dựa điểm tƣơng đồng 21 2.4.1 Hình học Epipolar ma trận 21 2.4.2 Ma trận thiết yếu thông số ngoại camera 22 2.5 Hệ thống định vị toàn cầu GPS 23 2.5.1 Tổng quan GPS 23 2.5.2 Các thành phần hệ thống định vị GPS 23 2.5.3 Chuẩn NMEA 25 Chƣơng 29 ĐỊNH VỊ ROBOT DI ĐỘNG NGOÀI TRỜI 29 3.1 Xác định vị trí robot dựa vào camera 29 3.1.1 Tìm thông số nội camera 30 3.1.2 Trích rút đặc trƣng 32 3.1.3 Mô tả cặp đặc trƣng tƣơng đồng 33 3.1.4 Ƣớc lƣợng vị trí camera 34 3.2 Xác dịnh vị trí robot dùng GPS 36 3.2.1 Thu thập liệu GPS 36 Trang VII HVTH: Ngô Thanh Đông 3.2.2 GVHD: TS Lê Mỹ Hà Xác định vị trí robot dựa liệu GPS 40 3.3 Xác định vị trí robot dùng camera kết hợp GPS 42 Chƣơng 43 KẾT QUẢ MÔ PHỎNG VÀ THỰC NGHIỆM 43 4.1 Kết định vị robot dùng camera 43 4.2 Kết định vị robot dùng GPS 45 4.3 Kết định vị robot kết hợp camera GPS 46 Chƣơng 50 KẾT LUẬN 50 5.1 Kết đạt đƣợc 50 5.2 Hạn chế đề tài 50 5.3 Hƣớng phát triển đề tài 51 TÀI LIỆU THAM KHẢO 56 Trang VIII HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà DANH SÁCH CÁC HÌNH Hình 1.1: Dùng xe ô tô đƣợc trang bị thiết bị định vị GPS để lập đồ Hình 2.1: Phƣơng pháp tính DoG Hình 2.2: Tìm điểm đặc trƣng từ giá trị DoG Hình 2.3: Mô hình Pinhold 15 Hình 2.4: Hệ tọa độ tƣơng đƣơng mô hình Pinhold 16 Hình 2.5: Quan hệ tọa độ camera tọa độ không gian 18 Hình 2.6: Tập liệu đƣờng thẳng 20 Hình 2.7: Tìm đƣờng thẳng dùng thuật toán RANSAC 20 Hình 2.8: Mô tả hình học Epipolar 21 Hình 2.9: Các thành phần hệ thống định vị GPS 23 Hình 2.10: Bố trí vệ tinh không gian 24 Hình 2.11: Vị trí trạm điều khiển giám sát GPS 25 Hình 3.1: Lƣu đồ định vị robot dựa vào camera 29 Hình 3.2: Tập ảnh bàn cờ 31 Hình 3.3: Bộ phát đốm phát góc 32 Hình 3.4: Ảnh sau thực lọc đốm lọc góc 32 Hình 3.5: Điểm đặc trƣng đốm đặc trƣng góc 33 Hình 3.6: Bộ lọc Sobel 34 Hình 3.7: Cặp điểm đặc trƣng tƣơng đồng 34 Hình 3.8: Module SIM968 [19] 36 Hình 3.9: Sơ đồ mạch cung cấp nguồn chân VBAT [19] 37 Trang IX HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà Hình 3.10: Thời gian mở SIM968 [19] 37 Hình 3.11: Kết nối giao tiếp nối tiếp [19] 38 Hình 3.12: Ảnh chụp mặt đất từ điểm P1P2P3P4 40 Hình 3.13: Hệ trục tọa độ ảnh mặt đất 41 Hình 4.1: Ô tô thu thập liệu 43 Hình 4.2: Cặp điểm đặc trƣng tƣơng đồng hai ảnh liên tiếp 44 Hình 4.3: Tọa độ vị trí camera hai khung ảnh 45 Hình 4.4: Bản đồ 2D dùng tập ảnh camera 45 Hình 4.5: Kết định vị robot trình di chuyển dùng GPS 46 Hình 4.6: Sai số toàn cục định vị dùng camera 47 Hình 4.7: Sai số toàn cục định vị dùng GPS 47 Hình 4.8: Định vị robot dùng camera kết hợp GPS 48 Hình 4.9: Quỹ đạo robot bị phần tín hiệu từ camera 48 Hình 4.10: Quỹ đạo robot sau đƣợc bổ sung tín hiệu GPS 49 Hình 5.1: Sai số định vị khuôn viên có nhiều đối tƣợng di chuyển 51 Trang X HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà DANH SÁCH CÁC CHỮ VIẾT TẮT SFM: Structure from motion RANSAC: Random sample consensus SIFT: Scale invariant feature transform IR: Infrared radiation GPS: Global Positioning System NMEA: National Marine Electronics Association DCE: Data Communication Equipment DTE: Data Terminal Equipment RFID: Radio Frequency Identification SAD: Sum of Absolute Differences Trang XI HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà Chƣơng TỔNG QUAN 1.1 Tổng quan lĩnh vực nghiên cứu, kết nghiên cứu nƣớc công bố 1.1.1 Tổng quan định vị robot Định vị cho robot di động nhằm xác định xác vị trí robot đồ đƣợc nghiên cứu từ lâu đạt đƣợc nhiều thành công lớn Phƣơng pháp định vị cổ điển dựa vào loại cảm biến để tính toán khoảng cách, hƣớng, gia tốc sở ƣớc lƣợng định quỹ đạo di chuyển robot Bên cạnh thành tựu đó, nhƣợc điểm khách quan sai số từ cảm biến đƣa cho robot loại bỏ, mục tiêu chƣa đƣợc giải triệt để Việc điều khiển robot dựa vào cảm biến robot chƣa đủ để giải vấn đề Dần dần, nhà nghiên cứu nhận thấy cần phải phối hợp, tƣơng tác với môi trƣờng xung quanh, giúp robot thêm nhiều thông tin trả lời câu hỏi “tôi đâu?” Định vị robot sử dụng GPS, robot đƣợc gắn thêm thiết bị định vị toàn cầu GPS Thiết bị giúp robot xác định khoảng cách tới vệ tinh xác định trƣớc vũ trụ, để từ tính toán vị trí robot Tuy nhiên kết phù hợp với khu vực có quy mô lớn Độ xác định vị dùng GPS không cao, sai số lên vài mét Định vị robot sử dụng thiết bị Kinect Thiết bị Kinect có camera RGB camera IR, robot vừa thu thập hình ảnh nhờ camera RGB vừa thu thập độ sâu ảnh nhờ camera IR Từ robot tính toán khoảng cách từ robot đến vật cản môi trƣờng xung quanh xác định vị trí robot môi trƣờng Bài toán lập đồ định vị cho robot đƣợc chia làm loại: định vị cho robot nhà trời Lập đồ định vị cho robot trời gặp Trang HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà nhiều khó khăn nhà địa hình gồ ghề hơn, môi trƣờng phức tạp quy mô rộng lớn Robot ngày đƣợc trang bị cảm biến nhƣ ngƣời, thị giác robot camera gắn robot nhằm thu thập xử lý hình ảnh Robot tự hành đơn giản đƣợc trang bị camera mà không cần cảm biến tự định đƣợc hành vi di chuyển robot hoạt động môi trƣờng mà hoàn toàn chƣa biết trƣớc đồ 1.1.2 Kết nghiên cứu nƣớc Lập đồ có nhiều cách thức khác nhƣ dùng thiết bị định vị toàn cầu GPS gắn ô tô nhƣ Hình 1.1 Khi ô tô di chuyển, tọa độ ô tô đƣợc cập nhật gửi máy chủ Từ máy chủ tính toán vẽ đƣợc đồ 2D môi trƣờng mà ô tô di chuyển Tuy nhiên, độ xác thiết bị GPS không tốt, sai số từ vài mét vài chục mét Do đó, phƣơng pháp định vị dùng GPS thích hợp với việc lập đồ quy mô lớn Hình 1.1: Dùng xe ô tô đƣợc trang bị thiết bị định vị GPS để lập đồ Trong viết tác giả Nguyễn Minh Thức, định vị cho robot di động sử dụng GPS [1], robot di chuyển định vị dựa vào tín hiệu GPS, nhiên đề tài hạn chế robot tránh nhiều vật cản gần Lập đồ 3D 2D sử dụng stereo camera [2], tác giả dùng stereo camera gắn xe lăn để xây dựng đồ 3D, từ phát vật cản, điều khiển xe lăn di chuyển an toàn mà không cần điều khiển ngƣời tàn tật Định vị robot dựa sở xử lý ảnh stereo camera có tích hợp GPS [3], tác giả dựa vào GPS để định vị vị trí robot mặt đất khoảng không Trang HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà gian rộng lớn Mỗi lúc robot di chuyển với khoảng cách nhỏ, tác giả ƣớc lƣợng di chuyển dựa vào xử lý cặp ảnh chụp từ stereo camera Một mô hình định vị lập đồ thời gian thực đối tƣợng 3D [4] Tác giả tạo tập liệu đối tƣợng 3D Bản đồ đƣợc xây dựng bƣớc trực tiếp dựa vào đối tƣợng Một máy ảnh chụp nhiều ảnh đối tƣợng, giải thuật nhận diện đối tƣợng 3D tạo đồ 3D thể vị trí đối tƣợng liên quan tập liệu Bản đồ đƣợc tối ƣu hóa liên tục phép đo cập nhật dự đoán phép đo camera 1.2 Mục tiêu, khách thể đối tƣợng nghiên cứu 1.2.1 Mục tiêu nghiên cứu Mục tiêu đề tài xác định vị trí lập đồ robot trình di chuyển Đề tài chƣa làm đến điều khiển robot nên robot đƣợc xem nhƣ phƣơng tiện di chuyển cụ thể ô tô Robot/ô tô dùng camera chụp ảnh 2D trính di chuyển để ƣớc lƣợng vị trí camera đƣợc gắn nó, sau tính toán vị trí hƣớng không gian tƣơng tác GPS cho biết vị trí đối tƣợng đồ mặt đất, nhƣng sai số lớn Kết hợp hai thiết bị xác định vị trí robot xác trƣờng hợp hai thiết bị tín hiệu tín hiệu lại đƣợc bổ sung để đảm bảo tính liên tục tín hiệu 1.2.2 Khách thể nghiên cứu Đề tài nghiên cứu dựa vào thuật toán để trích đặc trƣng hai ảnh liên tiếp Dùng giải thuật điểm để tìm ma trận từ hai tập liệu đặc trƣng Dựa sở hình học Epipolar để xác định khoảng cách hƣớng camera hai ảnh Bên cạnh kết hợp sử dụng GPS để xác định vị trí đối tƣợng tọa độ trái đất Trang HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà 1.2.3 Đối tƣợng nghiên cứu Robot đƣợc trang bị camera GPS thu thập liệu trình di chuyển Tập ảnh 2D đƣợc trích từ camera kết hợp với liệu GPS để xác định vị trí robot 1.3 Nhiệm vụ đề tài phạm vi nghiên cứu 1.3.1 Nhiệm vụ đề tài Để đạt đƣợc mục tiêu nghiên cứu cần thực nhiệm vụ sau: - Tìm hiểu lý thuyết lập đồ định vị robot - Tìm hiểu xử lý ảnh: phép toán xử lý ảnh, trích đặt trƣng từ ảnh, loại bỏ đặt trƣng yếu - Thuật toán trích đặt trƣng đốm góc từ hình ảnh - Thuật toán RANSAC loại bỏ đặc trƣng yếu hình ảnh - Xác định vị trí góc quay camera để tìm vị trí hƣớng robot dựa vào phƣơng pháp visual odometry - Tìm hiểu module SIM968 để thu thập liệu GPS 1.3.2 Phạm vi nghiên cứu Đề tài tập trung nghiên cứu tập ảnh 2D liệu GPS Tập liệu đƣợc thu thập dùng camera GPS đƣợc trang bị ô tô trình di chuyển khuôn viên trƣờng Đại Học Sƣ Phạm Kỹ Thuật Thành Phố Hồ Chí Minh Trên tập liệu đề tài mô tính toán định vị vị trí xe đồ trái đất 1.4 Phƣơng pháp nghiên cứu Phƣơng pháp nghiên cứu đề tài tạo tập liệu gồm nhiều ảnh liên tiếp trình di chuyển đồ biết trƣớc Từ ảnh thu đƣợc thực qua lọc đốm góc để tìm đặc trƣng ảnh, với hai đặc Trang HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà trƣng hai ảnh tìm cặp điểm đặc trƣng tƣơng đồng hai ảnh Từ cặp điểm đặc trƣng tƣơng đồng dựa vào sở toán hình học Epipolar tìm ma trận bản, ma trận thiết yếu từ tìm ma trận thông số ngoại (thể vị trí hƣớng) camera để xác định vị trí cục robot Kết hợp với liệu GPS xác định vị trí robot đồ trái đất Trang HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà Chƣơng CƠ SỞ LÝ THUYẾT Nội dung chƣơng trình bày xử lý ảnh trích đặc trƣng, giải thuật RANSAC để loại bỏ đặc trƣng yếu, cách xác định thông số camera Trình bày tổng quan hệ thống định vị GPS 2.1 Tìm cặp điểm đặc trƣng tƣơng đồng 2.1.1 Các loại đặc trƣng Để tìm vị trí robot từ nhiều ảnh, việc tìm đặc trƣng ảnh cho phù hợp việc quan trọng then chốt Việc lựa chọn đặc trƣng giúp tăng độ xác vị trí, hƣớng tốc độ xử lý robot Những năm gần việc sử dụng đặc trƣng cục trở thành hƣớng định vị robot kỹ thuật xử lý ảnh Các điểm đặc trƣng bất biến phép biến đổi hình học, phép biến đổi affine 2.1.2 Harris Laplace Harris Laplace thuật toán tìm điểm đặc trƣng cải tiến từ thuật toán tìm điểm đặc trƣng Harris Thuật toán đƣợc đƣa nhằm giải vấn đề biến đổi theo tỉ lệ mà thuật toán Harris corner chƣa khắc phục đƣợc Harris Laplace đƣa giải pháp lựa chọn tỉ lệ tự động trình trích điểm đặc trƣng từ ảnh Thuật toán thực dựa vào hai bƣớc Bƣớc 1, thuật toán dùng hàm Harris Laplace để phát điểm tỉ lệ Bƣớc 2, lựa chọn điểm mà hàm Laplace of Gaussian đạt giá trị cực đại Đặc trƣng Harris Laplace giải đƣợc vấn đề co giãn ảnh, nhƣng biến đổi affine hạn chế 2.1.3 SIFT SIFT [5] đƣợc trình bày David G Lowe năm 1999, đến năm 2004 David G Lowe hoàn thiện giải thuật SIFT [6] Thí nghiệm thuật Trang HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà toán SIFT ông hình ảnh sau co giãn, xoay hay biến đổi không gian affine đặt trƣng SIFT hầu nhƣ không thay đổi Thuật toán SIFT đƣợc mô tả qua bƣớc sau: tìm cực trị không gian tỉ lệ, lọc trích xuất điểm đặc trƣng, gán hƣớng cho điểm đặc trƣng mô tả điểm đặc trƣng 2.1.3.1 Tìm cực trị không gian tỉ lệ Đầu tiên, xây dựng mức ảnh phép biến đổi Gaussian ảnh với giá trị độ lệch chuẩn thay đổi liên tiếp (gọi ảnh Gaussian) Theo phƣơng trình sau: G  x, y,   2 e    x2  y /2 (2.1) L  x, y,   G  x, y,  * I  x, y  (2.2) Trong đó, dấu * nhân chập miền x y Tỉ lệ (mức kế tiếp) Tỉ lệ (mức đầu tiên) Khác biệt Guassian Guassian (DoG) Hình 2.1: Phƣơng pháp tính DoG Trang HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà Sự khác biệt Gaussian (DoG) cấp đƣợc tính cách trừ hai ảnh Gaussian liền kề D  x, y,    L  x, y, k   L  x, y,   (2.3) Trong Hình 2.1 ảnh bên trái thể ảnh biến đổi Gaussian với hệ số lệch chuẩn thay đổi, ảnh bên phải kết trừ hai ảnh Gaussian kế Sau mức ảnh đƣợc giảm kích thƣớc nửa lặp lại trình [6] Hình 2.2: Tìm điểm đặc trƣng từ giá trị DoG So sánh giá trị DoG điểm ảnh lân cận 3x3 mức tỉ lệ tại, tức 26 pixels xung quanh, tìm giá trị lớn nhỏ chúng Điểm đƣợc coi điểm đặc trƣng Trong Hình 2.2 điểm đánh dấu x đƣợc so sánh với 26 điểm lân cận, có giá trị lớn nhỏ đƣợc chọn làm điểm đặc trƣng 2.1.3.2 Lọc trích xuất điểm đặc trƣng Sau tìm đƣợc điểm đặc trƣng bƣớc 2.1.1, điểm đặc trƣng tốt nhất, ta cần loại bỏ điểm đặc trƣng yếu trích xuất điểm đặc trƣng mạnh Để thực điều ta cần thực bƣớc sau: xác định vị trí điểm đặc trƣng, loại bỏ điểm đặc trƣng có tính tƣơng phản thấp, loại bỏ điểm đặc trƣng dƣ thừa theo biên Trang S K L 0 [...]... khiển của ngƣời tàn tật Định vị robot dựa trên cơ sở xử lý ảnh stereo camera và có tích hợp GPS [3], tác giả dựa vào GPS để định vị vị trí robot trên mặt đất trong khoảng không Trang 2 HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà gian rộng lớn Mỗi lúc robot di chuyển với khoảng cách nhỏ, tác giả ƣớc lƣợng sự di chuyển này dựa vào xử lý cặp ảnh chụp từ stereo camera Một mô hình định vị và lập bản đồ thời gian... hiện các nhiệm vụ sau: - Tìm hiểu lý thuyết về lập bản đồ và định vị robot - Tìm hiểu về xử lý ảnh: các phép toán trong xử lý ảnh, trích đặt trƣng từ ảnh, loại bỏ những đặt trƣng yếu - Thuật toán trích đặt trƣng đốm và góc từ một hình ảnh - Thuật toán RANSAC loại bỏ các đặc trƣng yếu của một hình ảnh - Xác định vị trí và góc quay camera để tìm vị trí và hƣớng của robot dựa vào phƣơng pháp visual odometry... dùng thuật toán RANSAC 20 Hình 2.8: Mô tả hình học Epipolar 21 Hình 2.9: Các thành phần của hệ thống định vị GPS 23 Hình 2.10: Bố trí vệ tinh trên không gian 24 Hình 2.11: Vị trí các trạm điều khiển và giám sát GPS 25 Hình 3.1: Lƣu đồ định vị robot dựa vào camera 29 Hình 3.2: Tập ảnh bàn cờ 31 Hình 3.3: Bộ phát hiện đốm và bộ phát hiện góc 32 Hình 3.4: Ảnh. .. P1P2P3P4 40 Hình 3.13: Hệ trục tọa độ ảnh mặt đất 41 Hình 4.1: Ô tô thu thập dữ liệu 43 Hình 4.2: Cặp điểm đặc trƣng tƣơng đồng của hai ảnh liên tiếp 44 Hình 4.3: Tọa độ vị trí camera trong hai khung ảnh đầu tiên 45 Hình 4.4: Bản đồ 2D dùng tập ảnh camera 45 Hình 4.5: Kết quả định vị robot trong quá trình di chuyển dùng GPS 46 Hình 4.6: Sai số toàn cục của định vị dùng camera... trƣng Để tìm vị trí robot từ nhiều ảnh, việc tìm đặc trƣng của ảnh cho phù hợp là việc quan trọng và then chốt Việc lựa chọn các đặc trƣng sẽ giúp tăng độ chính xác của vị trí, hƣớng và tốc độ xử lý của robot Những năm gần đây việc sử dụng các đặc trƣng cục bộ đã trở thành một hƣớng mới trong định vị robot bằng kỹ thuật xử lý ảnh Các điểm đặc trƣng này là bất biến trong phép biến đổi hình học, phép... độ sâu của ảnh nhờ camera IR Từ đó robot tính toán khoảng cách từ robot đến vật cản trong môi trƣờng xung quanh và xác định vị trí của robot trong môi trƣờng Bài toán lập bản đồ và định vị cho robot đƣợc chia làm 2 loại: định vị cho robot trong nhà và ngoài trời Lập bản đồ và định vị cho robot ngoài trời gặp Trang 1 HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà nhiều khó khăn hơn trong nhà vì địa hình gồ ghề... và ngoài nƣớc đã công bố 1.1.1 Tổng quan về định vị robot Định vị cho robot di động nhằm xác định chính xác vị trí của robot trên bản đồ đƣợc nghiên cứu từ rất lâu và đã đạt đƣợc nhiều thành công lớn Phƣơng pháp định vị cổ điển là dựa vào các loại cảm biến để tính toán khoảng cách, hƣớng, gia tốc trên cơ sở đó ƣớc lƣợng và quyết định quỹ đạo di chuyển của robot Bên cạnh những thành tựu đó, những nhƣợc... vị trí và hƣớng) camera để xác định vị trí cục bộ robot Kết hợp với dữ liệu GPS xác định vị trí robot trên bản đồ trái đất Trang 5 HVTH: Ngô Thanh Đông GVHD: TS Lê Mỹ Hà Chƣơng 2 CƠ SỞ LÝ THUYẾT Nội dung chƣơng 2 trình bày về xử lý ảnh trích đặc trƣng, giải thuật RANSAC để loại bỏ những đặc trƣng yếu, cách xác định các thông số camera Trình bày về tổng quan hệ thống định vị GPS 2.1 Tìm cặp điểm đặc trƣng... thiết bị định vị toàn cầu GPS Thiết bị giúp robot xác định khoảng cách tới 3 hoặc 4 vệ tinh đã xác định trƣớc ngoài vũ trụ, để từ đó tính toán vị trí của robot Tuy nhiên kết quả này chỉ phù hợp với khu vực có quy mô lớn Độ chính xác định vị dùng GPS không cao, sai số có thể lên vài mét Định vị robot sử dụng thiết bị Kinect Thiết bị Kinect có một camera RGB và một camera IR, robot vừa thu thập hình ảnh nhờ... GPS 46 Hình 4.6: Sai số toàn cục của định vị dùng camera 47 Hình 4.7: Sai số toàn cục của định vị dùng GPS 47 Hình 4.8: Định vị robot dùng camera kết hợp GPS 48 Hình 4.9: Quỹ đạo của robot bị mất một phần do tín hiệu từ camera 48 Hình 4.10: Quỹ đạo robot sau khi đƣợc bổ sung bởi tín hiệu GPS 49 Hình 5.1: Sai số định vị trong khuôn viên có nhiều đối tƣợng di chuyển 51 Trang X HVTH: