BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ LÊ VĂN CHUNG NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT TAY MÁY DI ĐỘNG BÁM MỤC TIÊU TRÊN CƠ SỞ SỬ DỤNG THƠNG TIN HÌNH ẢNH Chun ngành: Kỹ thuật điều khiển tự động hóa Mã số: 9.52.02.16 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Hà Nội - 2019 Cơng trình hồn thành tại: Học viện Khoa học Công nghệ - Viện Hàn lâm Khoa học Công nghệ Việt Nam Người hướng dẫn khoa học: PGS.TSKH Phạm Thượng Cát TS Phạm Minh Tuấn Phảnbiện 1: Phản biện 2: Phản biện 3: Luận án bảo vệ trước Hội đồng chấm luận án cấp nhà nước họp tại: Vào hồi ngày tháng năm Có thể tìm hiểu luận án thư viện: ……………………… DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ [1] [2] [3] [4] [5] [6] [7] Le Van Chung (2018), “Robust Visual Tracking Control of Pan-tilt Stereo Camera System”, International Journal of Imaging and Robotics, Vol 18 (1), pp 45 – 61 Le Van Chung, Pham Thuong Cat (2015), “A new control method for stereo visual servoing system with pan tilt platform”, Journal of Computer Science and Cybernetics,Vol 31 (2), pp 107 – 122 Le Van Chung, Pham Thuong Cat (2016), “Optimal tracking a moving target for integrated mobile robot – pan tilt – stereo camera”, Advanced Intelligent Mechatronics AIM IEEE Conference, Banff, Canada July 12-15, pp 530 – 535 Le Van Chung, Duong Chinh Cuong (2016), “Design Adaptive-CTC Controller for Tracking Target used Mobile Robot-pan tilt-stereo camera system”, International Conference on Advances in Information and Communication Technology, ICTA, Thai Nguyen, Dec 12-14, pp 217 – 227 Le Van Chung, Pham Thuong Cat (2014), “Robust visual tracking control of pan tilt – stereo camera system Hội ngh c điện t VCM 2014 Đồng Nai pp.167-173 Lê Văn Chung Phạm Thượng Cát B i Tuấn Anh 2013 “Phương pháp điều khiển hệ servo thị giác stereo sử dụng bệ Pan-Tilt Hội ngh toàn qu c l n th v Đi u khiển T động hoá - VCCA-2013 Đà N ng pp 375 - 382 Lê Văn Chung “Phát triển hệ pan/tilt – nhiều camera bám mục tiêu di động” Tạp chí KHCN Đại học Thái Nguyên, 116(02), tr 41-46 MỞ ĐẦU Tính cấp thiết đề tài Trong năm g n nhi u cơng trình nghiên c u v u khiển rơ b t s dụng thơng tin hình ảnh kết đạt bộc lộ nhi u hạn chế Chẳng hạn việc s dụng camera rô b t di động cho phép theo dõi đ y đủ thông tin mục tiêu biết trước mặt phẳng di chuyển mục tiêu hay việc s dụng camera hệ pan tilt chưa xét tới s suy biến ma trận Jacobian ảnh tác động tới khả bám hệ th ng Bên cạnh mơ hình tốn rơ b t thường khó đạt độ xác c n thiết hệ th ng có nhi u tham s không xác đ nh trước việc đo đạc tham s hay hệ s ma sát mô men qn tính… chúng thường thay đổi q trình hoạt động Ngồi việc t i ưu hóa tham s u khiển rô b t để đạt độ xác mong mu n vấn đ khó c n tiếp tục nghiên c u Với lý tác giả l a chọn đ tài: “Nghiên cứu phát triển số thuật tốn điều khiển rơ bốt di động sở sử dụng thơng tin hình ảnh để phát triển s thuật tốn u khiển rơ b t s dụng thơng tin hình ảnh có nhi u tham s bất đ nh Đối tƣợng nghiên cứu Đ i tượng nghiên c u đ tài tập trung vào rô b t pan/tilt rô b t di động có c cấu di chuyển bánh xe Phạm vi nghiên cứu Nghiên c u thuật toán phư ng pháp u khiển hệ pan tilt bám mục tiêu di động s dụng thơng tin hình ảnh từ camera có nhi u tham s bất đ nh Nghiên c u thuật toán u khiển hệ rô b t di động hệ pan tilt mang hai camera bám mục tiêu di động Những điểm luận án Đ xuất 02 phư ng pháp u khiển 01 phư ng pháp xây d ng ma trận Jacobian ảnh vuông cho hệ pan/tilt camera cụ thể sau: a) ây d ng phư ng pháp để thiết lập ma trận Jacobian ảnh vuông tránh suy biến phép biến đổi ngh ch đảo b) Xây d ng u khiển mạng n ron nhân tạo để b tham s bất đ nh mơ hình rơ b t pan/tilt ma trận Jacobian ảnh ma trận Jacobian rô b t c ng yếu t bên Bộ u khiển hoạt động t t có bất đ nh hay nhiễu tác động vào c) ây d ng mơ hình động l c học cho hệ gồm rô b t di động – rô b t pan tilt mang dụng camera thuật tốn u khiển đó: 01 u khiển trượt 01 u khiển t i ưu theo chu n t i ưu bình phư ng t i thiểu cho hệ kết hợp gồm hai rô b t rô b t pan/tilt mang hai camera rơ b t di động Trong hệ động l c học toàn hệ tổng hợp phư ng trình Luận án ch ng minh tính ổn đ nh tiệm cận phư ng pháp u khiển đ xuất dùng lý thuyết ổn đ nh Lyapunov bổ đ Barbalat mô kiểm ch ng công cụ mô Matlab Nội dung luận án Chƣơng 1: Tổng quan vấn đ u khiển rô b t Chƣơng 2: Phát triển thuật toán u khiển hệ pan tilt hai camera Chƣơng 3: Một s cải tiến u khiển hệ servo th giác bám mục tiêu di động Chƣơng 4: Phát triển thuật toán u khiển rô b t di động s dụng thông tin hình ảnh CHƢƠNG TỔNG QUAN 1.1 Đặt vấn đề Để u khiển hệ th ng rô b t s dụng hai camera hoạt động t t h n vấn đ đặt là: Th là: Phát triển phư ng pháp u khiển hệ pan tilt dùng thơng tin hình ảnh bám mục tiêu di động có tham s bất đ nh Th hai là: C n xây d ng ma trận Jacobian ảnh ma trận vuông để hệ th ng bám mục tiêu di động để hệ th ng hoạt động t t Th ba là: Phát triển s phư ng pháp u khiển hệ th ng kết hợp rô b t di động với rô b t mang hai camera bám mục tiêu di động để vừa có khả bám mục tiêu vừa có khả di chuyển tới g n mục tiêu không gian 1.2 Tổng quan điều khiển rô bốt sử dụng thơng tin hình ảnh Để bám mục tiêu có t c độ di chuyển khác ta c n thuật toán u khiển khớp bệ pan-tilt mang camera thay đổi ph hợp Khi s dụng rô b t pan tilt mang hai camera vấn đ đặt s suy biến ma trận Jacobi lấy giả ngh ch đảo Khi s dụng camera ma trận Jacobian hệ pan tilt – camera vuông khả ngh ch Nhưng s dụng camera ma trận Jacobian ảnh hệ 3x6 ma trận Jacobian hệ 3x2 Do phép biến đổi ta phải lấy giả ngh ch đảo khiến nguyên nhân gây điểm kỳ d Thuật tốn điều khiển rơ bốt sử dụng thơng tin hình ảnh Các phƣơng pháp cổ điển Đi u khiển động học Đi u khiển động l c học Phƣơng pháp điều khiển hiện đại Kết hợp với mạng n ron Phư ng pháp cổ điển kết hợp mạng n ron Phư ng pháp đại kết hợp mạng n ron Đi u khiển t i ưu thích nghi Đi u khiển trượt T i ưu T i ưu tham đ u s Hình 1.2 Một s phư ng pháp u khiển rô b t 1.3 Các vấn đề nghiên cứu luận án - Nghiên c u xây d ng mơ hình động học hệ rô b t pan-tilt xây d ng phư ng pháp u khiển cổ điển kết hợp với mạng n ron để thu kết t t h n bao gồm: - Nghiên c u cải tiến để xây d ng ma trận Jacobian ảnh vuông u khiển cho hệ pan tilt mang hai camera - Phát triển phư ng pháp u khiển nâng cao cho rô b t có tham s bất đ nh - ây d ng mơ hình động l c học cho hệ kết hợp gồm rô b t di động, hệ pan/tilt mang camera u khiển cho hệ nói - S dụng phư ng pháp ổn đ nh Lyapunov bổ đ Barbalat s ch ng minh tính ổn đ nh matlab để kiểm ch ng kết CHƢƠNG PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN RƠ BỐT PAN TILT SỬ DỤNG THƠNG TIN HÌNH ẢNH TỪ HAI CAMERA Trong chư ng này, thuật toán u khiển động học kết hợp với mạng n ron xây d ng để u khiển góc quay hệ pan/tilt cho ảnh mục tiêu ln trì v trí mong mu n mơ hình ảnh thu từ camera Nội dung chư ng gồm ph n xây d ng mơ hình động học hệ rơ b t stereo bám mục tiêu di động, thiết kế thuật tốn u khiển hệ servo th giác, mơ kiểm ch ng so sánh với u khiển không kết hợp với mạng n ron kết luận 2.1 Xây dựng mơ hình động học hệ rơ bốt pan tilt-stereo camera bám mục tiêu di động với nhiều tham số bất định 2.1.1 Xác định ma trận Jacobi ảnh qua tọa độ điểm ảnh thu từ camera quy vào hệ tọa độ OcXcYcZc Hình 2.1 Bệ pan/tilt PTU-D48E-Series biểu diễn hệ tọa độ Phư ng trình t c độ điểm đặc trưng ảnh camera: (2.9) m = Jimag (m) v - Jimag (m) ma trận Jacobi ảnh: - v vecto t c độ chuyển động camera UR UL B J imag (m) UR UL B U L (U L U R ) U LVL f U L2 U LU R fB f 2f UR UL B VL (U L U R ) fB f VL2 f VL (U L U R ) 2f U R (U L U R ) U RVL U U f UR L R fB f 2f VL UL UR 2f (2.10) VL 2.1.2 Xác định hệ phương trình động học tốc độ rơ bốt Pan-Tilt Quan hệ t c độ biến biến ngồi mơ tả hệ động học t c độ qua ma trận Jacobi rơ b t: Hình 2.2 Mơ hình hệ th ng camera (2.11) 2.1.3 Xây dựng tốn điều khiển động học (kinematic control) hệ rơ bốt-stereo camera bám mục tiêu sai lệch đặc trưng ảnh: ε m md Bài toán u khiển động học hệ pan/tilt -stereo camera bám mục tiêu tìm thuật u khiển q = K (ε) cho hệ kín sau ổn đ nh m = Jimag (m)u ; v = x = J robot (q)q ; q = K(ε) 2.2 Thiết kế thuật toán điều khiển Trong chư ng tác giả trình bày thuật u khiển n ron cho hệ động học rô b t pan/tilt mang hai camera bám mục tiêu di động so sánh với hệ s dụng u khiển PID thơng dụng 2.2.2 Xây dựng thuật tốn điều khiển hệ r bốt pan ti t –2 ca era bá ục ti u di động ˆ +f -m (2.21) ε = m - md = Jq -Kε + f + u1, d Mạng n ron nhân tạo chọn mạng RBF có lớp Lớp vào thành ph n sai lệch ε Lớp có n ron tuyến tính có giá tr giá tr xấp xỉ fˆ Lớp n n ron có hàm đ u dạng Gauss: x = J robot (q)q j exp j cj j ; j = 1,2,3 (2.22) Hình 2.6 Cấu trúc hệ visual servoing u khiển camera bám mục tiêu di động có nhi u tham s bất đ nh Định lý 1: Hệ stereo camera có nhiều tham số bất định (2.9), (2.11), với mạng nơron (2.22), (2.23) mơ tả theo hình 2.5 bám theo mục ti u di động với sai số ε, ε  tốc độ khớp bệ Pan-Tilt điều khiển theo thuật toán (2.25), (2.26), (2.27) luật học (2.28) sau: (2.25) q Jˆ + [(md - Kε) + u1, ] Jˆ + (md - Kε) + Jˆ +u1, = u0 + u1 u0 = Jˆ + md - Kε (2.26) ε ε 1)Wσ - u1, = ( u1 = Jˆ u + (2.27) , εσ T (2.28) Trong tham số tự chọn K ma trận đối xứng xác định dƣơng K = K T > , hệ số   1,   Cấu trúc u khiển mơ tả theo s đồ hình 2.6.: Chứng minh: Ta chọn hàm ng tuyển Lyapunov xác đ nh dư ng sau: W V V T ε ε εT Kε w iT w i (2.29) ε (2.37) i Ta thấy V  ε  V  ε Theo nguyên lý ổn đ nh Lyapunov ta có sai lệch t c độ ε , ε Như hệ (2.21) ổn đ nh tiệm cận m(t ) md , m(t ) md 2.3 Một số kết mô kiểm chứng Mô 1: Mục tiêu cố định Tâm camera thời điểm ban đ u là: m(0) =[-40, 30, 0] (pixel); tọa độ ảnh mục tiêu đ ng yên mt=[-20, 0, 20] (pixel); Hình 2.7 Sai lệch tọa độ ảnh mục tiêu (pixel) Hình 2.8 Sai lệch tọa độ ảnh khơng có mạng n ron b Mô 2: Mục tiêu di chuyển theo đƣờng thẳng Điểm mục tiêu từ điểm A(0m,1.8m,0m) tới điểm B(-0.3m, 1.8m, -0.5m) thời gian T=30(s) Hình 2.9 Sai lệch bám tọa độ mục tiêu theo đường thẳng Hình 2.10 Sai lệch tọa độ ảnh mục tiêu theo đường thẳng 10 x lý 32 64 bit có t c độ x lý ngày cao nên hy vọng không rào cản cho việc ng dung th c tế sau CHƢƠNG MỘT SỐ CẢI TIẾN TRONG ĐIỀU KHIỂN HỆ SERVO TH GIÁC BÁM MỤC TIÊU DI ĐỘNG Như chư ng2 tác giả nhận thấy để u khiển hệ pan/tilt th giác hai camera bám mục tiêu di động hoạt động t t tốn u khiển có s vấn đ c n giải sau: - Th c n xây d ng ma trận Jacobian ảnh vuông để th c ngh ch đảo biến đổi khác không xuất điểm kỳ d dẫn tới bám - Th hai xây d ng u khiển động l c học kết hợp với mạng n ron để b ảnh hưởng tham s bất đ nh bên mơ hình c ng nhiễu bên ngồi - Th ba t i ưu s tham s mạng n ron để thu kết đ u t t h n Trong ph n tác giả xây d ng mơ hình 3D cho hệ camera để có ma trận Jacobian đ y đủ Trong ph n tác giả xây d ng u khiển động l c học s dụng mạng n ron với tham s t i ưu s ổn đ nh hệ ch ng minh phư ng pháp Lyapunov bổ đ Barballat Ph n kết mô Cu i c ng s kết luận 3.1 dựng mơ hình 3D cho hệ camera rơ bốt Pan tilt 3.1.2 hình hệ ca era ảo ước 1, Từ quan hệ hình học mục tiêu đặc trưng ảnh hai camera ta tính tọa độ mục tiêu không gian 3D T xc  x y z nhìn hệ trục tọa độ Oc X cYc Zc ước Ta đ nh ngh a hệ tọa độ liên kết Ov X v Yv Zv Có g c tọa độ tr ng với hệ tọa độ Oc X cYc Zc Để chuyển đổi từ hệ tọa độ OC tới OV ta s dụng ma trận chuyển tọa độ C Rv Hình 3.2 Tọa độ mục tiêu x c  x y zT nhìn hệ tọa độ Oc X cYc Zc nhìn hệ tọa độ camera ảo Ov X v Yv Zv x v  zv xv yv  T 11 Hình 3.2 Mơ hình hệ camera 3D ảo Mơ hình camera 3D ảo xây d ng theo bước sau: ước Hệ tọa độ camera ảo Ov X v Yv Zv s dụng để đ nh ngh a hai hệ tọa độ Ov1 X v1Yv1Zv1 , Ov X v 2Yv Zv hệ camera ảo G c hai hệ tọa độ đặt hai trục Xv Zv đặt xa g c Ov khoảng λ ước 4, Mơ hình camera ảo kết hợp với mơ hình camera tr c quan 3D để tạo khơng gian 3D Cartesian ảo có tọa độ điểm đặc trưng mục tiêu biểu diễn hệ tọa độ ảo là: T x s  zv zv xv  Jvimg ma trận Jacobian ảnh vuông: Jvimg     xv   x    v ( z  v  )  yv   ( zv   ) zv (  x v ) zv          zv    (3.10) iể oát ự u biến c a a trận acobian Ta tránh s suy biến ma trận cách chọn tham s λ thỏa mãn λ > max xv, zv) 3.1.3 12 3.1.4 ài toán điều hiển bá ục ti u với nhiều tha ố bất định (3.19) 3.2 dựng hệ động lực học rô bốt pan tilt – hai camera với tham số bất định Hệ động l c học rô b t n-link với s ảnh hưởng tham s nhiễu tham s bất đ nh biểu diễn sau:   C(q, q  )q   g(q)  d(t )  τ (3.20) M(q)q 3.3 dựng điều khiển nơ ron cho hệ động lực học rô bốt pan tilt hai camera bám mục tiêu di động 3.3.1 X dựng điều hiển Luật u khiển xác đ nh sau: (3.30) τ  A(K Dε  K Pε)  b  τ NR  τ  τ1 ,   fv Jvimg v R C x x s  (Jˆ  J)q τ  A(K D ε  K P ε)  b , (3.31) 3.3.2 X dựng cấu tr c ớp điều hiển nơ ron tru ền th ng cho hệ thống Cấu trúc mạng n ron chọn mạng BFNN gồm lớp Lớp Input vec t s  s1 s2 s3  Lớp tính tốn n Lớp n bao gồm n ron với đ u tính theo dạng Gaussian: Lớp đầu giá tr xấp xỉ hàm f1 3.3.3 ối ưu tha ố Thuật toán di truy n Genetic Algorithms GA ng dụng để t i ưu tham s c j tham s khoảng cách c sở  j theo [32]: T Định l 2: Sai số bá ục ti u di động tả b i phương trình (3.32b) c a hệ pan-ti t – hai ca era bá ục ti u di động (3.1 ) (3.2 ) ẽ tiến hay ε  hệ n định toàn cục t n hiệu điều hiển chọn theo phương trình (3.3 ) (3.3 ) thuật học online (3.38): τ  A(K D ε  K P ε)  b  τ NR (3.36)  ε  τ NR  A   1 Wσ    ε   W  sσT , (3.37) (3.38) 13 Hình 3.6 Cấu trúc s đồ u khiển hệ th ng Chứng minh: Chọn hàm ng tuyển Lyapunov V ( s, W )  T s s 2 w T i wi (3.39) i 1 Lấy đạo hàm V ta thu được: V  sT Gs   s    s  s V    2sT G  βT    Wσ    β  Gs     s  s   Ta nhận thấy V hàm b chặn s, β W b chặn (3.49) (3.50) s vec s t đ n v s b chặn G ma trận s xác đ nh dư ng ,   Như V thỏa mãn hàm liên tục Theo Barbalat's ta có s  t  kéo theo ε  hệ ổn đ nh toàn cục 1: Mục ti u di chu ển theo đư ng th ng Mục tiêu từ điểm A 0m 3m 0m tới B -0.5m 3m -0.3m mặt phẳng COCXC với thời gian T s t c đô v 10 cm/s Hình 3.7 Kết bám mục tiêu di chuyển theo đường thẳng 14 Hình 3.8 Sai s bám mục tiêu di động hệ tọa độ ảo 3D ục ti u di chu ển theo đư ng tr n O (0, 0, 0), r = Hình 3.9 Kết bám mục tiêu nhìn khơng gian camera Hình 3.10 Sai s bám mục tiêu nhìn hệ tọa độ ảo 3D a) b) c) Hình 3.11 a) L i bám mục tiêu theo trục b) Mô ment đặt lên khớp c) T c độ khớp pan/tilt q 15 ục ti u di chu ển theo hình ch nhật & tốc độ tha đ i Mục tiêu từ điểm -1m 3m 0m tới điểm -1m 3m 1m thời gian 10s Trong 10 giây tiếp mục tiêu đổi hướng từ điểm 1m 3m 1m tới 1m 3m 1m quay v điểm đ u Do quãng đường khác thời gian nên t c độ di chuyển khác Hình 3.12 Kết mơ bám mục tiêu khơng gian camera Hình 3.12 Sai s bám mục tiêu nhìn hệ tọa độ ảo 3D a) b) c) Hình 3.13 a) Sai s bám mục tiêu chiếu theo hai trục b) Moment đặt lên khớp c) T c độ khớp q ục ti u di chu ển theo đư ng bất định tốc độ tha đ i 16 Mục tiêu từ điểm: x, y, z) = (3, 3, 0.5) yt = 0.1t Còn theo hai trục x z di chuyển theo đường sau: ≤ t