1 Một sơ đồ điều khiển hệ thống Hand-eye Rô-bốt bám mục tiêu di động sử dụng mạng nơ-ron Bùi Trọng Tuyên Phạm Thượng Cát Viện Vật Lý và Điện Tử Viện Công Nghệ Thông Tin Email: buituyen@hn.vnn.vn Email: ptcat@ioit.ncst.ac.vn Tóm tắt: Báo cáo trình bầy một ứng dụng mạng nơ ron trong điều khiển hệ thống bao gồm tay máy có gắn camera (hand-eye robot) để quan sát và bám theo mục tiêu. Phương thức điều khiển dựa trên nguyên lý tuyến tính hoá tín hiệu ảnh phản hồi. Mạng nơ ron được đưa vào nhằm giảm nhẹ tác động của những thành phần ngẫu nhiên, cho phép sử dụng các tham số có độ chính xác hạn chế vào trong mô hình động học của hệ thống. Mạng nơ ron được xem như là một yếu tố thích nghi bổ xung vào hệ thống điều khiển để tăng cường khả năng của chúng. A scheme based on ANN to control hand-eye robot for tracking of moving objects. An application of Neural Networks based visual servoing for hand-eye robot tracking target is introduced in this paper. The used control method bases input-output feedback linearization technique. The Neural Network is introduced to compensate model uncertainties of overall system. It suffers if the parameter values are inaccurate in the model of dynamics, the presence of image distortions and time varying. Adding the NN controller as adaptive item in the control system is one effective way to compensate for the ill effects of these uncertainties and in fact it can in some cases be used for parameter estimation. 1. GIỚI THIỆU HỆ THỐNG HAND-EYE RÔ- BÔT ĐƯỢC SỬ DỤNG. Hệ thống có sơ đồ mô tả trong hình 1, trong đó cấu trúc điều khiển sử dụng tín hiệu sai lệch được định nghĩa trực tiếp dưới dạng thông số đặc trưng ảnh và được tính trực tiếp trong không gian ảnh hai chiều (image-based) [1], [2],[3]. Nhiệm vụ của hệ điều khiển này được biểu diến dưới dạng hàm e: ξ→ Rl trong đó l ≤ k, k là số chiều của không gian thông số đặc trưng ảnh. Image-based visual servoing là phương pháp điều khiển không có tính toán trung gian của quá trình ước lượng vị trí của hệ thông rô-bốt và camera do vậy không dựa vào mô hình hình học của đối tượng. Trong mỗi một trường hợp chuyển động của tay máy làm thay đổi ảnh quan sát được của camera, do vậy khi đặt được chỉ tiêp e = 0 thì nhiệm vụ điều khiển của hệ coi như đạt yêu cầu. Sơ đồ điều khiển này cho phép khai thác được lợi thế của điều khiển image-based là việc tính toán tín hiệu điều khiển cho hệ thống rất ít phụ thuộc vào quá trình chuẩn hóa camera và không đòi hỏi phải biết trước mô hình hình học của đối tượng (một yêu cầu khó đáp ứng trong thực tiễn). Ngoài ra phương pháp image-based đòi hỏi lượng tính toán ít, đây là vấn đề rất quan trọng trong điều khiển thời gian thực. Trong hệ visual servoing, sensor thị giác cung cấp lượng thông tin về môi trường và đối tượng rất phong phú, tuy nhiên tốc độ lấy mẫu của sensor thị giác chậm khoảng 50 Hz nếu so với tốc độ các sensor truyền thông dùng để đo vị trí hoặc tốc độ trong các hệ cơ khí (ví dụ 1000 Hz). Do vậy việc kết hợp vòng điều khiển khớp riêng biệt với vòng điều khiển sử dụng thị giác thành hệ điều khiển phân cấp có các tốc độ lấy mẫu khác nhau. Cấu trúc này cho phép là tăng độ chính xác của bộ điều khiển và dễ dàng nâng cao được tốc độ đáp ứng của hệ thống. Hình 1: Sơ đồ khối hệ look-and-move image-based visual servoing Control Law Feature’s extraction Camera + _ d ξ Joint Controlle r Robot D ynamics Robot Kinematics Object e τ θ Image x c x o ξ 2 Ta nhận thấy, véc-tơ momen điều khiển T m ] .[ 21 ττττ = , trong bài toán điều khiển hand- eye rô-bốt bám theo đối tượng bằng ảnh (image- based), được tính toán trên cơ sở sai lệch (e) của đặc trưng ảnh hiện thời ξ nhận từ camera và đặc trựng ảnh mong muốn d ξ , thêm vào đó là các tín hiệu phản hồi trạng thái của các biến trong của rô- bốt θθ & , nhằm mục đích đưa camera về vi trí mà tại đó hình ảnh thu nhận được về đối tượng tương đương với hình ảnh mong muốn . 1.1 Mô hình động lực học của Rô bốt Động học của một Rô bốt có m khớp nối được mô tả bằng một hệ phương trình vi phân như sau: ),()( θθθθτ &&& hH += (1) Trong đó T m ] .[ 21 θθθθ = là véc tơ góc của các khớp nối, T m ] .[ 21 ττττ = là véc tơ mô men tương ứng với các khớp. )( θ H là ma trận quán tính [] mm× phần tử là các hàm số phụ thuộc vào góc θ và véc tơ ),( θθ & h là véc tơ đại diện cho lực Coriolis, lực ly tâm và trọng lực phụ thuộc phi tuyến vào góc θ vận tốc góc θ & . Đặt các biến trạng thái là vector góc θ và vector vận tốc góc θ & ta có phương trình trạng thái của rô- bốt như sau: τ θ θθθ θ θ θ       +         − =       − − )( 0 ),()( 1 1 H hH dt d & & & (2) 1.2 Mô tả trạng thái của hệ thống điều khiển phi tuyến cho hand-eye rô-bốt. Trong bài báo này trình bày một hệ thống điều khiển phi tuyến dựa trên cở sở tuyến tính hoá các tín hiệu đặc trưng ảnh được phản hồi trực tiếp từ đầu ra trở lại đầu vào, thêm vào đó việc bù trực tiếp ảnh hưởng quá trình động học của rô-bốt cũng được sử lý có hiệu quả bằng việc mở rộng thuật toán tính mô men thực cho các khớp. Hoạt động của hệ thống có thể hình dung như sau: khi camera gắn trên tay Rô bốt hướng về đối tượng và thu nhận được ảnh của đối tượng nếu các khớp của Rô bốt thực hiện một phép quay T m ] .[ 21 θθθθ = sẽ làm cho vị trí của vật trên ảnh cũng bị thay đổi theo. Giả thiết rằng ta đã xác định được ma trận ),( θξ J và ma trận đó không bị suy biến (đủ hạng) với một đối tượng không chuyển động. Trong trường hợp đó đặc trưng ảnh của đối tượng chỉ còn phụ thuộc vào các biến trong của rô-bốt . )( θϕξ def = (3) Chọn các biến trạng thái của hệ thống là: ][] ., .[ 2121 TTT mm x θθθθθθθθ &&&& == (4) )( d Gz ξξ −= (5) Được dùng là biến mô tả sai lệch đặt trưng ảnh, G là ma trận hằng số mn×2 phần tử. Tổ hợp các phương trình (2), (4) và (5) ta nhận được phương trình trạng thái và đầu ra của mô hình camera gắn trên tay máy như sau: τ )()( xgxfx += & , )( d Gz ξξ −= (6) với:         − = − hH f 1 θ & ,       = −1 0 H g (7) Lưu ý chúng ta có thể đo được θθ & , cũng như tính được ξ từ việc phân tích ảnh thu nhận được. Nhằm áp dụng kỹ thụât tuyến tính hóa tín hiệu phản hồi vào mô hình hệ thống trên ta thực hiện phép lấy đạo hàm bậc nhất và bậc hai của đầu ra z nhận được kết quả như sau: θ & & GJz = (8) Để đơn giản đặt θµ & J def = )( )( 1 1 τθ θ µ τ θ θ µ θ µ +−+ ∂ ∂ =         +−       ∂ ∂ ∂ ∂ = − − hGJHG hH Gz & & & && (9) 1.3 Mô hình hoá chuyển động của đối tượng và mô tả trạng thái của hệ thống điều khiển phi tuyến cho camera gắn trên tay máy trong trương hợp này. Giả thiết rằng đối tượng chuyển động trong không gian 0 m chiều 6 0 ≤m và véc tơ p là véc tơ mô tả vị trí và hướng của đối tượng trong không gian 0 m Rp ∈ . Đồng thời cũng giả thiết rằng vận tốc của vật được tính theo ma trận tham số l chiều )1( 0 m <Ω . Mô hình chuyển động của vật trong không gian thực được mô tả bởi phương trình sau: Ω= *)( pWp & (10) )( pW là ma trận có kích thước lxm 0 . Tương tự nhưng trong trường hợp đối tượng đứng yên nếu các khớp của rô bốt thực hiện một phép quay hoặc đối tượng di chuyển sẽ làm cho vị trí của vật trên ảnh thay đổi. Gọi ξ là véc tơ đặt trưng ảnh của đối tượng được định nghĩa trong không gian ảnh 2 chiều (2D) có 2n chiều tương ứng n đặc trưng được chọn và ξ ∂ là sự thay đổi vi phân của đặc trưng ảnh khi vật và rô bốt thực hiện các dịch chuyển vi phân p ∂ và θ ∂ , mối quan hệ giữa các đại lượng này như sau: 3 pLJ ∂+∂=∂ θξ (11) Trong đó, J là ma trận Jacobian của đặc trưng ảnh và L là ma trận Jacobian của chuyển động của đối tượng. p i L i J ∂ ∂ ∂ ∂ = ∂ ∂ ∂ ∂ = σ σθ σ σ , (12) Trong đó, i là ánh xạ được mô tả như sau: )( σξ i def = với σ là vị trí tương đối giữa vật và camera oc XX −= σ . Chọn các biến trạng thái của hệ thống là: ))()((,)( dodcdd pXXiGz −=−= θξξξ (13) Trong đó:    = > = mnI mnpJ G def T , ,),( ** θ )(**)( *)(**2 *)(**2 )(2 )(* ** ))(),(( 1 2 2 2 2 2 2 2 2 2 ΩΦ+Ω++−=⇒ Ω       ∂ ∂ ∂ ∂ Ω+ ∂∂ ∂ + ∂ ∂ +       ∂ ∂ =⇒ Ω       ∂ ∂ Ω ∂ ∂ + ∂∂ ∂ + ∂ ∂ + ∂ ∂ =       ∂ ∂ ∂ ∂ + ∂∂ ∂ + ∂ ∂ + ∂ ∂ =⇒             ∂ ∂ ∂ ∂ +       ∂ ∂ ∂ ∂ +       ∂ ∂ ∂ ∂ +       ∂ ∂ ∂ ∂ + ∂ ∂ =⇒ ∂ ∂ + ∂ ∂ =⇒ = − κλτ θ θθ θ θθ θ ξ θ θθ θ θθ θ θ θθ θ θθ θ θ θ θ θθ θθ θθ ϕ θ θ θ NhGJHz W p z W p p p zz gz W p z W p p p zzz z p p z p p p p zzz z pp p z p p p z p z p zzz z p p zz z tptzz i TTTT i T i ii i TTTT i T i i i TTT i T i i T i T i T T i T T T i i && & &&&&& & &&&&& && &&& &&&&& && &&& & & &&&&& & & & & )(:)1(: 11)(: 1)()(: 000 0 00 mxm z xm z xmxlmxn p z xmplxmpWmxn z T i T i       ∂ ∂ ∂ ∂ ⇒       ∂ ∂ ==Ω ∂ ∂ == ∂ ∂ θθθ θ θ Trong đó:                 = m λ λ λ . . . 1 ,                 = m N N N . . . 1 ,                 Φ Φ =Φ m . . . 1 và θ θ θλ && 2 2 ∂ ∂ = i T def i z W p z N i T def i θ θ ∂∂ ∂ = 2 2 & jk T i T def ijk W p z W p             ∂ ∂ ∂ ∂ =Φ )( T ll def liilii def i ] [)( ] [ 2 2 21 2 1 221111 ΩΩΩΩΩΩ=Ω ΦΦΦΦ=Φ κ Viết lại phương trình (9) theo dạng hNzGJH +ΩΦ−Ω−−= − ))(()( 1 κλτ && (14) Hay γτ +Ψ= z && (15) Như vậy công thức (15) về hình thức tương đương trương hợp mục tiêu không chuyển động bài toán đã được giải quyết [11], [12], tuy nhiên việc xác định γ , Ψ phải theo công thức trong (16). 1 )( − =Ψ GJH và hNGJH +ΩΦ+Ω+−= − ))(()( 1 κλγ (16) Tín hiệu đưa vào vòng điều khiển được định nghĩa: zKzK dP & −−= ω (17) Ta có được sơ đồ điều khiển như trong hình 2, các ma trận dp KK , chọn là các ma trận hệ số xác định dương. Hình 2: Sơ đồ hệ thống điều khiển hand-eye rôbốt K Kd Ψ ˆ Tay máy gắn Camera γ ˆ )(t θ & )(t θ )(t ω - - + - + + + + τ + )(tz )(tz & )(t ξ J, L G d ξ )(t ξ G 4 2. THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN SỬ DỤNG MẠNG NƠ RON. Điều khiển robot bằng phương pháp tính mô men được ứng dụng rộng rãi, trong các hệ thống điều khiển đó đòi hỏi các thông số của hệ động học cần được xác định chính xác, trong các trường hợp mà các thông số của hệ thống xác định được không đảm bảo đủ độ chính xác cần thiết (hầu hết các hệ thống trong thực tế đều rơi vào trường hợp này) thì phương pháp trên tỏ ra thiếu tính hiệu quả. Như đã trình bầy ở trên, các véc tơ z được sử dụng thay thế cho tín hiệu phản hồi của đặc trưng ảnh. Để có thể tính đựợc mô men τ trong sơ đồ ở hình 5.9 các đại lượng Ψ , γ được xác định theo công thức (16). Tuy nhiên trong quá trình tính toán Ψ , γ theo công thức (16) phải sử dụng các giá trị gần đúng )( ˆ θ H và ),( ˆ θθ & h để thay thế cho )( θ H và ),( θθ & h do vậy cũng sẽ chỉ nhận được các giá trị gần đúng Ψ ˆ , γ ˆ ( Ψ=∆Ψ ˆ - Ψ và γγγ −=∆ ˆ ) của Ψ , γ . Sơ đồ hệ thống điều khiển được mô tả trong hình 3 với tín hiệu điều khiển ω được xác định theo (17). Khi chưa quan tâm đến mạng nơ- ron thì mô men điều khiển τ được tính τ = Ψ ω + γ (18) thay (17) vào (18) ta có τ = γ ˆ )( ˆ +−−Ψ zKzK dp & (19) mặt khác phương trình (15) mô tả trạng thái của hệ thống có thể được viết lại ta nhận đươc (20) =+Ψ= γτ z && γγ ˆ ) ˆ ( +∆−∆Ψ−Ψ z && (20) Đồng nhất các phương trình (19) và (20) γ ˆ )( ˆ +−−Ψ zKzK dp & = γγ ˆ ) ˆ ( +∆−∆Ψ−Ψ z && Rút ra được phương trình đặc trựng của hệ kín như sau: )( ˆ )( 1 γν ∆+∆ΨΨ=++= − zzKzKz pd &&&&& (21) )( ˆ zKzKzz pd ++Ψ=∆+∆Ψ &&&&& γ Trong trường hợp xác định được chính xác các tham số của hệ thống nghĩa là 0=∆Ψ và 0 =∆ γ 0 =++ zKzKz pd &&& (22) Như vậy sẽ đảm bảo cho hệ thống ổn định tại điểm )0,0(),( = zz & hoặc d ξξ = thông qua việc lựa chọn các ma trận hệ số pd KK , . Như đã trình bầy ở trên mạng nơ ron được đưa vào để bù cho những tham số của hệ thống xác định không chính xác. Mạng nơ ron sử dụng là mạng truyền thẳng (feedforwork neural network) có cấu trúc hai lớp, lớp ẩn (hidden layer) và lớp đầu ra (output layer) với đầu vào là 3 vectơ z tại các thời điểm )(tz , ).1( Ttz ∆− , ).2( Ttz ∆− và chu kỳ trễ (delay-time step T∆ ) là chu kỳ lấy mẫu của thông tin ảnh hồi tiếp. Các nơ-ron ở lớp ẩn có hàm kích hoạt là “sigmoid” (sigmoid activated function). Đầu ra của mạng T m ] .[ 21 φφφφ = có số nơ ron tương ứng số khớp nối của robot và hàm kích hoạt là tuyến tính. Sau khi đã bổ xung mạng nơ ron thì mô men tại các khớp nối được tính như sau: )( t new τ = Ψ ( θ ) ( ω + φ ) + ψ ),( θθ & (23) Hình 3: Sơ đồ hệ thống điều khiển tay máy gắn camera có sử dụng mạng nơ ron. K K Ψ ˆ Tay máy gắn Camera γ ˆ )(t θ & )(t θ )(tz )1( −tz )2( −tz ν Mạng nơ-ron + + + φ )( t ω - - + - + + + + τ + )(tz )(tz & )(t ξ G G d ξ )( t ξ J,L 5 thực hiện các bước biến đổi như trong (20), (21), (22) và (23) nhận được sai số của vòng kín là: =++= zKzKz Pd &&& ν Ψ -1 ( ∆ Ψ θ && + ∆ ψ ) - φ (24) Mục đích của việc bổ xung mạng nơ ron là nhằm giảm sai số ν về không. Do vây ν được xem như là chính sai số của đầu ra mạng nơ ron và được sử dụng để huấn luyện mạng. Giá trị lý tưởng của φ là tại ν = 0 và là: φ = Ψ -1 ( ∆ Ψ θ && + ∆ ψ ). Để chứng minh cho nhận xét trên, quá trình huấn luyên mạng là nhằm tối thiểu hóa hàm sai số ν , đặt hàm mục tiêu E vvE T 2 1 = (25) Lấy đạo hàm của hàm số E theo các trọng (w) của mạng ta được: v w v w v w E TT ∂ ∂ −= ∂ ∂ = ∂ ∂ φ (26) vì thực tế theo (5.60) thì ww v T T ∂ ∂ −= ∂ ∂ φ . Thuật học lan truyền ngược (back-propagation) được sử dụng để cập nhật các giá trị trọng mới, thuật học được cải tiến bằng việc bổ xung thêm một thành phần gọi là momentum được dẫn ra trong công thức (27). )1()( −∆+ ∂ ∂ −=∆ twv w tw T α φ η (27) Với η là tốc độ cập nhật trọng và α là hệ số của thành phần momentum. Hình 4: Sơ đồ mạng nơ-ron hai lớp sử dụng trong hệ điều khiển hand-eye rô-bốt 3. KẾT LUẬN. Những nghiên cứu cho thấy việc áp dụng phương pháp tính mô men trong điều khiển visual servoing có sử dụng trực tiếp các thông tin ảnh phản hồi là thực hiện và có ý nghĩa thực tế. Việc đưa thêm mạng nơ ron như là một yếu tố thích nghi nhằm bù nhưng sai lệch do việc không xác định được chính xác các tham số của hệ thống là hoàn toàn phù hợp. TÀI LIỆU THAM KHẢO [1]. A. C. Sanderson, L. E. Weiss, and C. P. Neuman. Dynamic sensor-based control of robots with visual feedback, IEEE Trans.Robot.Autom, vol. RA-3, pp.404-417, Oct.1987. [2]. Seth Hutchinson, gregory D. Hager, and Peter I. Corke. A Tutorial on Visual Servo Control, IEEE Transactions on Robotics and Automation, 12(5) October 1996. Φ 1 Φ 2 Φ m z 2 (t) z n (t) z 1 (t-1) z 2 (t-1) z n (t-1) z 1 (t-2) z 2 (t-2) z 1 (t) z n (t-2) km w nk w 1 2 3 4 5 k 6 [3]. Martin Jọgersand and Randal Nelson. On-line Estimation of Visual-Motor Models using Active Vision, In Proc. ARPA Image Understanding Workshop 96,1996. [4]. Koichi Hashimoto and Hidenori Kimura. LQ Optimal and Nonlinear Approaches to Visual servoing [5]. K. Hashimoto, T. Ebine, and H. Kimura. Visual Servoing with Hand-Eye Manipulato – Optimal Control Approach, IEEE Trans. Robot. Autom. 1996 [6]. Seul Jung and T.C Hsia, A Study on Neural Network Control of Robot Manipulators [7]. Seul Jung and T.C Hsia, On-line Neural Network Control of Robot Manipulators, International Conference on Neural Information Processing, vol. 3, 1663-1668, 1994. [8]. Seul Jung and T.C Hsia. A New Neural Network Control Technique for Robot Manipulator, Robotica, vol.13, pp 477- 484,1995 [9]. Somlo - B.Lantos - P.T.Cat. Advanced Robot Control, Akadémia Kiadó, Budapest, 1997. [10]. Bùi Trọng Tuyên and Phạm Thượng Cát. Pose-estimation of object in 3D virtual space using an image received by camera applying to Robot-visual Servo Control, Journal of Science and Technique, Military Technical Academy of Vietnam, pp 31-42, No. 97 (IV-2001). [11]. Bùi Trọng Tuyên, Phạm Thượng Cát. Về một phương pháp điều khiển hệ camera- robot bám mục tiêu sử dụng mạng nơ-ron, Hội nghị toàn quốc lần thứ nhất về Cơ điện tử, 20/9/2002 [12]. Bùi Trọng Tuyên, Phạm Thượng Cát. Về một phương pháp mới trong điều khiển hệ thống robot-camera sử dụng mạng nơ ron, Hội nghị Toàn Quốc lần thứ 5 về tự động hoá (VICA5), 2002. [13]. Bui Trong Tuyen, Pham Thuong Cat. NEURAL NETWORK BASED VISUAL CONTROL, Seventh intẻnational Coference on Control Automation, Robotics and Vision- ICARCV 2002, 2-5 December 2002, Singapore. . 1 Một sơ đồ điều khiển hệ thống Hand-eye Rô-bốt bám mục tiêu di động sử dụng mạng nơ-ron Bùi Trọng Tuyên Phạm Thượng Cát. THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN SỬ DỤNG MẠNG NƠ RON. Điều khiển robot bằng phương pháp tính mô men được ứng dụng rộng rãi, trong các hệ thống điều khiển đó