NHẬN DẠNG MÔ HÌNH ĐỐI TƯỢNG PHI TUYẾN DÙNG MẠNG NEURON NHÂN TẠO Nguyễn Chí Ngôn Khoa Công Nghệ Thông Tin ABSTRACT In this paper we have introduced a method of nonlinear MIMO system identification using neural network The neural network has been equiped with an input-output data set for approximating the actual output of neural network to the desired output of plant which its unknown structure and parameters Some simulation resulted in identifying a two-degree-of-freedom SCARA robot arm show which a simple and effective technique Keywords:System identification, Neural network, SCARA robot, LevenbergMarquardt algorithm TÓM TẮT Trong tìm hiểu phương pháp nhận dạng mô hình đối tượng đa biến phi tuyến chưa biết cấu thông số mạng neuron nhân tạo Mạng neuron đạt cách huấn luyện từ tập liệu vào cho xấp xỉ ánh xạ tương quan ngõ vào ngõ đối tượng Nói cách khác, với ngõ vào, ngõ thực tế mạng gần với ngõ đối tượng Kết mô việc nhận dạng mô hình robot SCARA cho thấy phương pháp dùng mạng neuron tỏ đơn giản hiệu Từ khoá: Nhận dạng mô hình, Mạng neuron, Robot SCARA, Giải thuật Levenberg-Marquardt ĐẶT VẤN ĐỀ Trong điều khiển tự động, để xây dựng điều khiển cần xây dựng mô hình đối tượng cách mô hình hóa hay nhận dạng đối tượng Tuy nhiên, hệ đa biến, phi tuyến, việc xây dựng mô hình theo phương pháp cổ điển gặp nhiều khó khăn, đặc biệt chưa biết thông số cấu trúc đối tượng Một phương pháp hiệu để khắc phục khó khăn áp dụng mạng neuron nhân tạo Mạng neuron hoạt động nguyên tắc xem đối tượng hộp đen, dựa vào liệu vào khứ đối tượng, ước lượng ngõ gần với ngõ thực tế đối tượng SƠ LƯỢC VỀ MẠNG NEURON NHÂN TẠO Các nghiên cứu neuron sinh học cho thấy hoạt động đơn giản Khi điện dây thần kinh vào (dendrite) vượt ngưỡng đó, neuron bắt Hình 1: Neuron sinh học đầu giật (firing), tạo xung điện truyền dây thần kinh (axon) đến neuron khác (thông qua khớp nối - synapse), chế PDF created with FinePrint pdfFactory Pro trial version http://www.fineprint.com cho phép dễ dàng tạo mô hình neuron nhân tạo (Artificial Neural Network - gọi tắt mạng neuron) 2.1 MÔ HÌNH NEURON Một neuron nhân tạo với p ngõ vào (p1, p2, , pR) cho hình Trong đó, w1,1, w1,2, , w 1,R trọng số kết nối (weights) tương ứng ngõ vào b ngưỡng kích hoạt neuron (bias), ta có: n = w1,1p1+ w1,2p2+ + w1,RpR + b hay n = Wp+b Hình 2: Neuron nhân tạo Ngõ neuron là: a = f(Wp+b) Trong f gọi hàm truyền neuron (hình 3) Thông thường f hàm: tuyến tính (3a), Log sigmoid (3b) Hyperbolic tangent sigmoid (3c) 1 purelin(n) logsig(n) tansig(n) 0.5 n -5 -5 -5 a) f(n) = n b) f(n) = -1 -5 −2n −n 1+ e c) f(n) = 1− e − 2n 1+ e Hình 3: Các hàm truyền neuron nhân tạo 2.2 MẠNG NEURON Mạng neuron hệ thống gồm nhiều neuron kết nối với hoạt động song song Tính mạng tùy thuộc vào cấu trúc, trọng số kết nối trình tính toán neuron đơn lẻ Dựa theo kiểu kết nối, ta có mạng neuron truyền thẳng (feedforward Neural Network) mạng hồi qui (recurrent NN) Dựa theo số lớp neuron, ta có mạng lớp hay mạng nhiều lớp Hình trình bày mô hình mạng neuron lớp Mỗi phần tử véctơ vào p, nối với neuron vào (nút vào) nằm lớp vào thông qua ma trận trọng số W R Neuron thứ i có: ni = ∑ pi w i, j + bi j =1 Hình 4: Mạng neuron lớp Ngõ tương ứng neuron thứ i là: = f(ni) Ngõ mạng: a = f(Wp+b) Việc tính toán mạng neuron nhiều lớp thực tương tự lớp, ngõ lớp trước ngõ vào lớp sau PDF created with FinePrint pdfFactory Pro trial version http://www.fineprint.com 2.3 HUẤN LUYỆN MẠNG NEURON Huấn luyện mạng trình thay đổi trọng số kết nối cấu trúc mạng cho phù hợp với mẫu học [NHPhg] Người ta phân biệt kỹ thuật học, học có giám sát (supervised learning), học không giám sát (unsupervised learning) học tăng cường (reinforcement learning) Trong kỹ thuật học có nhiều giải thuật huấn luyện khác Tuy nhiên, phạm vi này, không đề cập chi tiết đến giải thuật huấn luyện mà nêu khái quát giải thuật Levenberg-Marquardt chọn để áp dụng giải thuật ổn định có tốc độ hội tụ nhanh ứng dụng nhận dạng mô hình [NCNgon, HowMark] Gọi wji(n) trọng số kết nối từ neuron thứ i đến neuron thứ j thời kỳ huấn luyện (epoch) thứ (n) Giải thuật Levenberg-Marquardt cập nhật trọng số thời kỳ huấn luyện thứ (n+1) sau: wji(n+1) = w ji(n) - [JTJ + mI] -1 JTe Trong đó: I ma trận đơn vị; m hệ số có giá trị nhỏ thay đổi trình huấn luyện; JT ma trận chuyển vị J J ma trận Jacobian chứa đạo hàm bậc hàm lỗi e theo trọng số kết nối (δe/δwji) Hàm lỗi e xác định sau: Giả sử ta có tập liệu huấn luyện {p1,t1}, {p2,t2}, , {pN,tN} Với pi∈ p ngõ vào mạng, ti∈ t ngõ mong muốn tương ứng Khi mẫu liệu đưa vào mạng, véctơ ngõ thực tế a (mà mạng tính toán) so sánh với ngõ mong muốn t để xác định lỗi: ei = ti - Thông thường lỗi trình huấn luyện mạng đánh giá dựa hàm mục tiêu MSE (Mean Square Error) Với N mẫu huấn luyện đưa vào mạng, MSE tính sau: MSE = N N ∑e i =1 i NHẬN DẠNG MÔ HÌNH ĐỐI TƯỢNG Thực chất trình nhận dạng mô hình mạng neuron tìm ánh xạ tương quan ngõ vào ngõ đối tượng thông qua trình huấn luyện Ta nhận dạng mô hình không gian trạng thái (state-space model) mô hình vào (input-output model) Tuy nhiên, nh ận dạng mô hình vào phù hợp hệ chưa biết cấu trúc thông số trình nhận dạng dựa tập liệu vào đối tượng Mô hình vào hệ SISO (Single-Input-Single-Output) sau: y(k)=F(y(k-1), y(k-2), , y(k-n); u(k-1), u(k-2), , u(k-m)) với [u(k),y(k)] cặp tín hiệu vào thời điểm lấy mẫu k Đối với hệ MIMO (Multi-Input-Multi-Output) y(k) u(k) véctơ Dựa tập liệu vào [u, y] đối tượng, ta huấn luyện mạng neuron để ngõ ra: y^(k)= F^(y(k-1), y(k-2), , y(k-n); u(k-1), u(k-2), , u(k-m)) PDF created with FinePrint pdfFactory Pro trial version http://www.fineprint.com cho ngõ mạng y^(k) gần với ngõ đối tượng, tức là: min{|y(k)-y^(k)|} Có hai phương pháp nhận dạng mô hình vào mạng neuron, nhận dạng theo cấu trúc song song cấu trúc nối tiếp, hình [DucLiu, EricPeter] Trong TDL (Tapped Delay Line) dùng để lấy tín hiệu khứ BP (Backpropagration), ký hiệu cho giải thuật huấn luyện lan truyền truyền ngược dùng để hiệu chỉnh trọng số kết nối mạng dựa sai biệt ξ = |y(k)-y^(k)| u(k) y(k) Plant u(k) y(k) Plant + + TDL TDL - TDL TDL ^ y (k) y^(k) BP BP a) Cấu trúc song song b) Cấu trúc nối tiếp Hình 5: Hai phương pháp nhận dạng mô hình vào mạng neuron Đối với hệ phi tuyến cao, để mạng tổng quát hóa tập liệu học đòi hỏi phải có giai đoạn tiền xử lý tập liệu trước huấn luyện mạng vài kỹ thuật đặc biệt (có thể tham khảo [NCNgon]), đòi hỏi người thực có số kinh nghiệm định MÔ PHỎNG Mô cho thấy kết nhận dạng robot SCARA bậc tự do, hình [DTSahin] Đây đối tượng MIMO phi tuyến có phương trình trạng thái: •• M 11 M 12cos(ke( ϕ + ϕ ))  ϕ    M cos(k ( ϕ + ϕ ))   • •  = M 22  21 e  ϕ   C11 − • C sin(k ( ϕ + ϕ )) ϕ e  21 Với: M11 = I1+m l 12 C11 = V1 •  •  C12sin(ke( ϕ + ϕ )) ϕ   ϕ  τ  +  • τ    C22  ϕ    M12 = M21 = -ml1l2 M22 = I2+I3+ m l 22 C22 = V2 C12 = C21 = ml1l2ke Joint I Các thông số robot sau: I3 Joint 2 I1 I1=1.8 Kgm , I2=0.041 Kgm τ2 Link2 I3=0.134 Kgm moment quán τ1 Link1 ϕ2 tính khớp nối 1, tải Khối lượng tải Payload m ϕ1 m=10 Kg; chiều dài cánh tay l1 l2 tương ứng l1=0.4m l2=0.35m Hệ số Hình 6: Robot SCARA truyền động khớp nối ke=0.5 hệ số ma sát khớp nối V1=5.0 Kg m /s V2=2.0 Kgm 2/s PDF created with FinePrint pdfFactory Pro trial version http://www.fineprint.com Tín hiệu vào robot sau: ngõ vào τ=[τ1, τ2]T moment motor tác động; ngõ ϕ=[ϕ1, ϕ2]T góc lệch tương τ(k Robot ϕ(k + ) ) ứng hai khớp nối TDL1 TDL2 Mục tiêu dựa vào tập liệu [τ,ϕ] thu thập để xây dựng mạng neuron cho với ngõ vào τ, ngõ mạng ϕ^ gần so với ngõ ϕ robot Mô hình vào robot biểu diễn phương trình: ϕ^(k) BP Hình 7: Nguyên tắc nhận dạng mô hình robot SCARA ϕ(k)=F(ϕ(k-1), ϕ(k-2), τ (k-1), τ (k-2)) Mạng neuron cần xây dựng để: ϕ^(k)=F^(ϕ(k-1), ϕ(k-2), τ (k-1), τ (k-2)) cho min{|ϕ(k) - ϕ^(k)|} input neurons 18 ‘tansig‘ neurons ϕ1(k) ϕ2(k) +1 hidden layer bias Performance is 1.54148e-010, Goal is 10 linear neurons ϕ1(k-1) ϕ1(k-2) τ1(k-1) τ1(k-2) ϕ2(k-1) ϕ2(k-2) τ2(k-1) τ2(k-2) a) MSE +1 output layer bias Levenberg-Marquardt backpropagation Algorithm MSE=1.5e-10 -5 10 -10 10 b) 100 200 300 500 Epochs 400 500 Hình 8: a) Cấu trúc mạng neuron b) Lỗi huấn luyện mạng Tập liệu vào dùng để huấn luyện mạng thu cách đặt 1000 mẫu liệu τ có giá trị ngẫu nhiên [-2π, 2π] lên ngõ vào robot đo 1000 giá trị ϕ ngõ Mạng neuron xây dựng theo cấu trúc nối tiếp (hình 8), mạng truyền thẳng nhiều lớp (Multi-layer feedforward NN) gồm neuron vào, 18 neuron ẩn phi tuyến có hàm truyền hyperbolic tangent sigmoid neuron tuyến tính, cấu trúc hình 8a Hình 8b cho thấy sau huấn luyện với phương pháp học có giám sát giải thuật truyền ngược Levenberg-Marquardt, MSE thấp, đạt 1.5x10-10 Chúng ta kiểm tra mạng neuron huấn luyện cách so sánh ngõ thực tế mạng ngõ robot với tín hiệu vào Kiểm tra với tín hiệu vào sin: Sơ đồ mô để so sánh đáp ứng mạng robot tín hiệu vào sin cho hình Ngõ ϕ1 robot ngõ ϕ^1 mạng trùng khít lên hình 10a Tương tự cho ngõ ϕ2 robot ngõ ϕ^2 mạng hình 10b PDF created with FinePrint pdfFactory Pro trial version http://www.fineprint.com Hình So sánh đáp ứng robot mạng neuron vừa huấn luyện Scara output#1/NN output#1 S cara output#2 /N N o utput#2 0.6 0.8 0.6 0.4 0.4 0.2 0.2 4Samples6 10 4S am ples6 a) 10 b) Hình 10: So sánh ngõ mạng robot tín hiệu vào sin Kiểm tra với tín hiệu vào ngẫu nhiên: Dữ liệu vào hình 11 kết so sánh hình 12 Input #1/ Input #2 Input1 0.5 -0.5 Input2 -1 Samples Hình 11: Ngõ vào [τ1, τ2] ngẫu nhiên dùng để kiểm tra mạng Scara ouput #2/ NN output #2 Scara output #1/ NN output #1 0.04 0.02 -0.05 -0.1 -0.02 -0.15 -0.04 -0.2 -0.06 X Axis Hình 12: So sánh ngõ mạng robot tín hiệu vào ngẫu nhiên PDF created with FinePrint pdfFactory Pro trial version http://www.fineprint.com 5 KẾT LUẬN Việc áp dụng mạng neuron để nhận dạng mô hình đối tượng đa biến phi tuyến kỹ thuật đơn giản hiệu Quá trình thực không quan tâm đến cấu trúc thông số đối tượng mà xây dựng tập liệu vào để huấn luyện mạng Lưu ý rằng, tập liệu phải thu thập cho bao quát giá trị miền hoạt động đối tượng Ngoài ra, thời gian huấn luyện mạng tỉ lệ nghịch với kích thước tập liệu mẫu Tuy nhiên, điều không quan trọng mạng cần học lần hổ trợ máy tính mạnh Kết mô cho thấy sai số mô hình đối tượng nhỏ PDF created with FinePrint pdfFactory Pro trial version http://www.fineprint.com TÀI LIỆU THAM KHẢO [DucLiu] Duc Truong Pham & Liu Xing, Neural networks for Identification, Prediction and Control, Springer-Verlag London Limited, 3rd printing, 1997 [DTSahin] D.T Pham & Sahin Yildrim, Design of a Neural Internal Model Control System for a Robot, Volume 18, pp 505-512, Cambridge University Press, (2000) [EricPeter] Eric Ronco & Peter J Gawthrop, Neural networks for Modelling and Control, Centre for System and Control, Department of Mechanical Engineering, University of Glasgrow, Technical report: CSC97008, 1997 [HowMark] Howard Demuth & Mark Beale, Neural Network ToolBox User's Guide Version 4.0, The MathWorks, Inc., 2000 [LMTrung] Lê Minh Trung, Giáo trình Mạng Nơron nhân tạo, Nxb Thống kê, 1999 [NCNgon] Nguyễn Chí Ngôn, Điều khiển Mô hình nội & Neural Network, Luận án cao học, ĐHBK - ĐH Quốc gia Tp HCM, 2001 [NĐThuc] Nguyễn Đình Thúc, Trí Tuệ Nhân Tạo - Mạng Nơron Phương pháp Ứng dụng, Nxb Giáo dục, 2000 [NHPhg] Nguyễn Hoàng Phương, Bùi Công Cường, Nguyễn Doãn Phước, Phan Xuân Minh & Chu Văn Hỷ, Hệ mờ Ứng dụng, phần 4: Mạng Nơron, Hệ thống Nơron mờ ứng dụng (pp 311-414), Nxb Khoa học Kỹ thuật, 1998 [OmiDavid] Omid Omidvar & David L Elliott, Neural Systems for Control, Acadamic Press, 1997 PDF created with FinePrint pdfFactory Pro trial version http://www.fineprint.com ...này cho phép dễ dàng tạo mô hình neuron nhân tạo (Artificial Neural Network - gọi tắt mạng neuron) 2.1 MÔ HÌNH NEURON Một neuron nhân tạo với p ngõ vào (p1, p2, , pR) cho hình Trong đó, w1,1,... luyện mạng đánh giá dựa hàm mục tiêu MSE (Mean Square Error) Với N mẫu huấn luyện đưa vào mạng, MSE tính sau: MSE = N N ∑e i =1 i NHẬN DẠNG MÔ HÌNH ĐỐI TƯỢNG Thực chất trình nhận dạng mô hình mạng. .. dụng mạng neuron để nhận dạng mô hình đối tượng đa biến phi tuyến kỹ thuật đơn giản hiệu Quá trình thực không quan tâm đến cấu trúc thông số đối tượng mà xây dựng tập liệu vào để huấn luyện mạng