BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - NGUYỄN QUỲNH NGA NGHIÊN CỨU THUẬT TOÁN NƠRON – TƯƠNG QUAN VÀ ÁP DỤNG CHO BÀI TOÁN NHẬN DẠNG THÔNG SỐ LUẬN VĂN THẠC SĨ KHOA HỌC NGÀNH ĐO LƯỜNG CÁC HỆ THỐNG ĐIỀU KHIỂN Hà Nội – Năm 2010 MỤC LỤC MỤC LỤC BẢNG KÝ HIỆU BẢNG CHỮ VIẾT TẮT VÀ TÊN MỘT SỐ MẠNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ MỞ ĐẦU CHƯƠNG I: TỔNG QUAN VỀ MẠNG NƠRON 10 1.1 LÝ THUYẾT VỀ MẠNG NƠRON 10 1.1.1 Quá trình phát triển 10 1.1.2 Cơ sở mạng nơron nhân tạo 11 1.1.2.1 Mô hình Nơron sinh vật 11 1.1.2.2 Mô hình nơron nhân tạo 15 1.1.3 Các cấu trúc mạng điển hình 20 1.1.3.1 Mạng truyền thẳng lớp 20 1.1.3.2 Mạng truyền thẳng nhiều lớp 21 1.2 HỌC CỦA MẠNG NƠRON 36 1.2.1 Học có tín hiệu đạo 37 1.2.2 Học tín hiệu đạo 38 1.3 LÝ THUYẾT PHÂN TÍCH TƯƠNG QUAN 39 1.3.1 Quá trình ngẫu nhiên 39 1.3.1.1 Khái niệm 39 1.3.1.2 Các hàm tương quan trình ngẫu nhiên 40 1.3.2 Đo đặc tính động (hàm truyền đạt, đáp ứng xung) hệ tuyến tính – nhận dạng thông số 41 1.3.2.1 Nguyên lý phương pháp 41 1.3.2.2 Khảo sát hệ hoạt động bình thường 43 1.3.2.3 Khảo sát hệ chịu tác động nhiễu 43 1.3.2.4 Khảo sát trình quan sát 44 1.3.2.5 Kết luận ứng dụng 45 1.3.3 Các Angôrit (algorithm) tính hàm tương quan tín hiệu ngẫu nhiên dừng 46 1.3.3.1 Angôrit (algorithm) thứ 47 1.3.3.2 Angôrit thứ hai 48 1.3.3.3 Angôrit thứ ba 49 CHƯƠNG II: PHƯƠNG PHÁP NƠRON-TƯƠNG QUAN CHO BÀI TOÁN NHẬN DẠNG THÔNG SỐ 52 2.1.1 Khả dùng mạng nơron nhận dạng thông số 52 2.1.2 Nhận dạng thông số sử dụng mạng nơron 52 2.2 ĐỐI TƯỢNG NHẬN DẠNG LÀ ĐỘNG CƠ ĐIỆN MỘT CHIỀU 56 2.2.1 Cấu tạo động chiều 56 2.2.2 Mô đối tượng Matlab 58 2.3 CHƯƠNG TRÌNH THỰC HIỆN PHƯƠNG PHÁP NƠRON -TƯƠNG QUAN 59 CHƯƠNG III: KẾT QUẢ MÔ PHỎNG CHƯƠNG TRÌNH 64 3.1 Kết mô 64 3.2 Đánh giá - Nhận xét 66 KẾT LUẬN VÀ KIẾN NGHỊ 68 TÀI LIỆU THAM KHẢO 69 PHỤ LỤC 71 BẢNG KÝ HIỆU A = [aịj] : ma trận n x n AT : ma trận chuyển vị A A-1 : ma trận đảo A |A| : ma trận với giá trị tuyệt đối ||A|| : chuẩn ma trận ||x|| : chuẩn véc tơ ||x||∞ =maxi=1, 2,…,n |xi| : chuẩn vô véc tơ diag(a1, ,ai) : ma trận đường chéo với phần tử g(.) : hàm quan hệ phi tuyến vào Rn : không gian thực n chiều trA : vết ma trận A W= [wij] : ma trận trọng liên kết n x m chiều x= [x1, ,xn]T є R : véc tơ cột x δg(x)/ δx : đạo hàm riêng E : hàm lượng mạng y(t) : đầu x(t) : trạng thái u(t) : tín hiệu điều khiển BẢNG CHỮ VIẾT TẮT VÀ TÊN MỘT SỐ MẠNG Adaline : (Adaptive Linnear Element), phần tử nơron tuyến tính thích nghi – Tên loại nơron Widrow đề xuất năm 1960 ART : (Adaptive Resonannce Theory) Thuyết cộng hưởng thích nghi Một loại mạng xây dựng theo lý thuyết Boltzmann : Một loại mạng lấy tên Boltzmann CAM : (Content Addressable Memory) Bộ nhớ nội dung địa hóa LMS : (Least – Mean – Square) Tên algorithm học (trung bình bình phương nhỏ nhất) LVQ : (Learning Vector Quantization) Thuật toán học lượng hóa véc tơ MIMO : Multi Input – Multi Output Perceptron : Tên loại nơron Rosenblatt đề xuất (1960) RBF : (Radial Basis Functions) Tên loại nơron Broomhead Lowe đề xuất năm 1988 VLSI : (Very Large Scale Intergation) Mạch tích hợp mật độ cao Hopfield : Tác giả loại mạng nhóm mạng phản hồi THNN : Tín hiệu ngẫu nhiên HTQ : Hàm tương quan DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1: Nơron sinh vật 12 Hình 1.2: Mô nơ-ron sinh học 15 Hình 1.3: Nơron nhân tạo 15 Hình 1.4: Một số hàm H(s) thường dùng cho nơron nhân tạo 16 Hình 1.5: Mô hình nơron nhân tạo có n đầu vào dầu 17 Hình 1.6: Các hàm kích thích hay sử dụng a) Hàm chặn cứng; (b-1), ((b2) Các hàm chặn tuyến tính; c(1-2) Các hàm sigma; (d) Hàm Gaussian 18 Hình 1.7: Phân loại mạng nơron nhân tạo 19 Hình 1.8: Mạng nơron truyền thẳng lớp 20 Hình 1.9: Mạng truyền thẳng nhiều lớp 22 Hình 1.10: Mạng nơron hai lớp 23 Hình 1.11: Mạng MLP truyền thẳng 24 Hình 1.12: Mạng MLP truyền thẳng 30 Hình 1.13: Năng lượng mạng 34 Hình 1.14: Mô hình đo đặc tính động sử dụng tương quan kế 42 Hình 1.15: Mô hình khảo sát trình nhờ tín hiệu thử 43 Hình 1.15: Mô hình khảo sát trình chịu tác động nhiễu 44 Hình 1.16: Thuật toán tính hàm tương quan 48 Hình 2.1: Mô hình nhận dạng 53 Hình 2.2: Mô hình bổ sung thông tin đầu vào cho mạng nơ rôn 53 Hình 2.3: Mô hình sử dụng tri thức tiên nghiệm 54 Hình 2.4: Mô hình nhận dạng động học nghịch 54 Hình 2.5: Cấu tạo động chiều thông thường 56 Hình 2.7: Nguyên lý hoạt động động điện chiều 57 Hình 2.8: Mô hình mạch điện thay động điện chiều 58 Hình 2.9: Mô hình tự động nhận dạng trình sử dụng phương pháp nơ rôn tưong quan 60 Hình 2.10: Lưu đồ thuật toán phương pháp 62 Hình 3.1: Các tín hiệu vào/ra mô hình nhận dạng 64 Hình 3.2: Giao diện thiết lập cấu trúc mạng nơ rôn 65 Hình 3.3: Hiển thị kết so sánh 66 MỞ ĐẦU Khoa học nơron ngành khoa học có từ lâu, theo mạng nơron để áp dụng vào ngành khoa học kỹ thuật khác vấn đề nóng hổi giới vấn đề nước ta Có thể dự đoán thời gian không xa máy tính theo mô hình nơron đưa sử dụng thay dần máy tính thời với ưu điểm trội mạng nơron Thực tế mạng nơron bắt đầu ứng dụng số lĩnh vực nhận dạng, điều khiển… TÍNH CẦN THIẾT CỦA ĐỀ TÀI Trong kỹ thuật xử lý thông tin, từ đời đến máy tính đạt tốc độ tính toán số học nhanh, làm việc xác theo chương trình Tuy nhiên nhiều vấn đề mà máy tính số chưa đáp ứng loại bỏ ảnh hưởng nhiễu tác động môi trường, máy tính chưa xử lý tốt thông tin thiếu hụt, chưa thích nghi với hoàn cảnh tự nhiên Trong mạng nơron với hàng tỉ nơron có tốc độ tính toán cực nhanh, xử lý tình xảy thực tế chưa máy tính số sánh kịp Mạng nơron có số đặc tính quan trọng trội so với hệ thống tính toán truyền thống sau [4]: • Là hệ phi tuyến, mạng nơron từ quan điểm lý thuyết có khả xấp xỉ ánh xạ phi tuyến tuỳ ý; hứa hẹn giải toán điều khiển phi tuyến phức tạp Nó thực nhiều phép lọc nằm khả lọc tuyến tính thông thường • Là hệ xử lý song song, mạng nơron có cấu trúc song song lớn; tốc độ tính toán cao hy vọng đáp ứng hệ cần có độ xác cao hệ truyền thống • Mạng nơron hệ nhiều đầu vào nhiều đầu ra, có khả tự chỉnh cao đáp ứng yêu cầu khắt khe hệ thống kỹ thuật • Mạng nơron hệ học thích nghi, mạng nơron huấn luyện từ liệu khứ, đồng thời có khả khái quát hoá liệu vào bị thiếu hụt, phù hợp với hệ thống nhận dạng, đoán kỹ thuật Với ưu điểm mạng nơron việc nghiên cứu mạng nơron đưa ứng dụng vào lĩnh vực kỹ thuật hoàn toàn cần thiết vần đề thời giới nước NHỮNG CƠ SỞ TIẾP CẬN MẠNG NƠRON NHÂN TẠO Cơ sở để xây dựng mạng nơron tóm tắt sau: • Đầu tiên phải kể đến khoa sinh học nơron Hầu hết cấu trúc nơron nhân tạo bắt nguồn từ mô hình nơron sinh vật Các nhà sinh học nơron chọn phương pháp nghiên cứu đặc tính đáp ứng nơron với xung kích thích từ thấp lên cao, từ nơron đơn thể đến mạng nhiều lớp, từ khu thần kinh trung ương đến chế thần kinh chấp hành [5] • Cơ sở thứ hai để xây dựng nơron nhân tạo sinh lý học nơron Các nhà sinh lý học nơron nghiên cứu cách nhận thức, hành vi não từ cao xuống thấp; nhiều thuật học bắt nguồn từ nghiên cứu sinh lý học Trong năm mươi năm qua, nghiên cứu dần hội tụ từ mức vi mô đến vĩ mô [6] • Cơ sở toán học Các lĩnh vực khoa học nói chung mạng nơron nói riêng cần công cụ toán học để kiểm nghiệm đảm bảo tiên đề giả thiết mạng nơron nhân tạo (ví dụ tiên đề Hebb) Các phương pháp dùng phương pháp ổn định theo lý thuyết điều khiển tự động, công cụ giải tích, phương pháp ổn định theo lý thuyết, công cụ số, lý thuyết hệ thống lớn, tối ưu [5], [7]… MỤC ĐÍCH, ĐỐI TƯỢNG VÀ NỘI DUNG CỦA LUẬN VĂN Mạng nơron nhân tạo trọng nghiên cứu từ lâu, kết nghiên cứu phụ thuộc vào phát triển nhiều lĩnh vực khoa học công nghệ khác Lý thuyết mạng nơron hình thành, phát triển ngày hoàn thiện, nhiên nhiều vấn đề chưa giải triệt để số lớp, số nơron lớp, ổn định mạng… Việc ứng dụng mạng nơron nhân tạo vào điều khiển nhận dạng chưa nhiều Luận văn nghiên cứu, phân tích, cải tiến nhằm đưa mạng nơron hàm tương quan để nhận dạng điều khiển thông số Luận văn trình bày theo ba chương trừ phần mở đầu, kết luận, phụ lục: • Chương trình bày tổng quan mạng nơron hàm tương quan; • Chương hai trình bày phương pháp nơron-tương quan để nhận dạng thông số; • Chương ba trình bày kết mô chương trình Phạm vi nghiên cứu: Sử dụng mạng nơron hàm tương quan để chỉnh tham số động điện chiều Trong đó: − Thuật toán tương quan để phát sai lệch trình thực mô hình giả thiết − Mạng nơron dùng để điều chỉnh thông số mô hình Ý nghĩa khoa học thực tiễn luận văn Mạng nơron công cụ hứa hẹn giải vấn đề xử lý song song, phi tuyến phức tạp khoa học tính toán, điều khiển tự động lĩnh vực khác Nghiên cứu nhằm phát triển thêm công cụ tìm khả áp dụng công cụ mạnh điều khiển Với đặc tính vốn có song song mạng nơron, hệ thống sử dụng tăng tốc độ xử lý tính toán theo thời gian thực Thuật toán tương quan áp dụng cho hầu hết trình như: điện tử, hoá học, thuỷ lực, học, v.v dải thông rộng không phụ thuộc vào tần số Đặc điểm đáng ý đo hệ làm việc với tín hiệu thử có biên độ bé Thực tế phương pháp áp dụng để xác định đặc tính trình hoá học, hệ khí, đặc biệt ngành hàng không (cả máy, vỏ cánh máy bay) 75 trd.skip = 0; % For multi-output nets trd.repeat = 5; % Default names dnames = fieldnames(trd); if nargin==0 tr = trd; % >>>>>>>>>>>>> DISPLAY PROPERTIES >>>>>>>> SET SPECIFIC PROPERTIES > Qua trinh huan luyen mang dang duoc tien hanh > THE END