MỤC LỤC MỤC LỤC MỞ ĐẦU Chương 1: TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO .5 1.1 Giới thiệu mạng Nơron 1.1.1 Lịch sử phát triển mạng nơron .5 1.1.2 Nơron sinh học 1.1.3 Nơron nhân tạo 1.1.4 Các thành phần nơron nhân tạo 1.2 Đơn vị xử lý .11 1.3 Hàm xử lý 12 1.3.1 Hàm kết hợp .12 1.3.2 Hàm kích hoạt (hàm chuyển) 13 1.4 Các kiến trúc mạng 15 1.4.1 Mạng tầng 15 1.4.2 Mạng đa tầng .17 1.5 Các hình trạng mạng 20 1.5.1 Mạng truyền thẳng 20 1.5.2 Mạng hồi quy 22 1.6 Tiếp cận Nơron cho tính toán 23 1.6.1 Luật học 23 1.6.2 Tốc độ học 26 1.6.3 Các luật học 27 1.7 Phạm vi ứng dụng mạng nơron 29 1.7.1 Những toán thích hợp 29 1.7.2 Phân loại 29 1.7.3 Mô hình hoá 30 1.7.4 Liên kết .31 1.8 Các lĩnh vực ứng dụng mạng nơron 31 1.9 Ưu nhược điểm mạng nơron .32 1.10 Nhận xét 33 Chương 2: 33 MẠNG TRUYỀN THẲNG NHIỀU LỚP 33 2.1 Khái niệm 33 2.2 Khả thể 35 2.3 Vấn đề thiết kế cấu trúc mạng 36 2.3.1 Số lớp ẩn 36 2.3.2 Số đơn vị lớp ẩn 37 2.4 Thuật toán lan truyền ngược (Back-Propagation) 38 2.4.1 Mô tả thuật toán 39 2.4.2 Sự hội tụ 43 2.4.3 Sự tổng quát hóa .43 Chương 3: 47 PHÂN LỚP DỮ LIỆU BẰNG MẠNG NƠRON 47 3.1 Giới Thiệu .47 3.2 Chuẩn bị liệu 49 3.3 Phân lớp liệu Spice-MLP 52 3.4 Đào tạo mạng 55 3.4.1 Chia liệu 55 3.4.2 Chọn liệu học tham số 55 3.4.3 Đào tạo mạng (training) 56 3.4.4 Kiểm tra đồ thị lỗi .58 3.4.5 Kiểm tra đồ thị trọng số đầu vào trung bình nơron 60 3.4.6 Xem đồ thị liệu đồ thị đầu mạng 61 3.5 Kết luận 64 3.6 Một số nhận xét .64 KẾT LUẬN 65 TÀI LIỆU THAM KHẢO 66 MỞ ĐẦU Chúng ta biết rằng, não người sản phẩm hoàn hảo tạo hóa, có khả tư sáng tạo Hiện nay, người nghiên cứu phương thức hoạt động não, sau áp dụng cho công nghệ đại Để tiếp cận khả học, người ta đưa mô hình mạng nơron gồm nơron liên kết với thành mạng theo cấu trúc mạng thần kinh người Mỗi nơron riêng lẻ có khả xử lý thông tin yếu, chúng ghép với thành mạng, khả xử lý thông tin mạnh nhiều Mỗi cấu trúc mạng có ưu điểm đặc thù, chúng cho ta công cụ mạnh lĩnh vực kỹ thuật điều khiển kỹ thuật thông tin Một mạng nơron nhân tạo tập hợp số lớn phần tử xử lý (các nút hay khối), thường tổ chức song song cấu hình theo kiến trúc đệ quy Cách ứng sử mạng nơron nhân tạo giống não người, chứng tỏ khả học, nhớ lại, tổng quát quát hóa từ liệu huấn luyện Mạng nơron nhân tạo công cụ tốt việc giải toán như: hợp phân lớp đối tượng, xấp xỉ hàm, tối ưu hóa, định lượng vector, phân cụm liệu, Nó thay hiệu công cụ tính toán truyền thống để giải toán Phân lớp liệu lĩnh vực đóng vai trò quan trọng khoa học kỹ thuật Trong hầu hết vấn đề kỹ thuật ngày nay, ta phải xác định, phân lớp mô hình đối tượng liên quan, để từ tìm giải pháp Phân lớp mô hình toán quan trong lý thuyết hệ thống Trong trình Xây dựng mô hình hệ thống phương diện lý thuyết, người ta thường không khảo sát ảnh hưởng môi trường đến tính động học hệ thống, tác động qua lại bên hệ thống cách xác tuyệt đối Rất nhiều yếu tố bị bỏ qua, xem xét đến tác động ngẫu nhiên Bởi vậy, nói cách chặt chẽ hiểu biết lý thuyết ban đầu hệ thống, giúp ta khoanh lớp mô hình thích hợp Để có mô hình cụ thể có chất lượng phù hợp với cụ thể toán đặt lớp mô hình thích hợp đó, phải sử dụng phương pháp phân lớp Để giải toán phân lớp, người ta đưa vào cách tiếp cận khác nhau, phương pháp tiếp cận toán cụ thể có ưu, nhược điểm riêng Phương pháp ứng dụng mạng nơron phân lớp liệu cách tiếp cận đại Nó công cụ mạnh để giải toán lĩnh vực Từ việc xác định nội dung nên em chọn đồ án “Nghiên cứu mạng nơron ứng dụng toán phân lớp liệu ” Đồ án bao gồm nội dung sau:  Chương : Tồng quan mạng nơron nhân tạo  Chương : Mạng truyền thẳng nhiều lớp  Chương : Phân lớp liệu mạng nơron  Kết luận Mặc dù nỗ lực, song kinh nghiệm kh ả nă n g nghiên cứu khoa học hạn chế nên tránh khỏi thiếu sót Em mong nhận góp ý thầy cô bạn bè để hiểu biết ngày hoàn thiện Em xin cám ơn thầy cô Trường Đại Học Công Nghệ Thông Tin Truyền Thông truyền đạt kiến thức quý báu cho chúng em suốt trình học tập Đặc biệt, em xin bày tỏ lòng cảm ơn chân thành sâu sắc đến cô giáo ThS Nguyễn Thị Tuyển, người tận tình hướng dẫn giúp đỡ em trình làm đồ án tốt nghiệp Xin cảm ơn tất bạn bè động viên, giúp đỡ trình học tập hoàn thành tốt đồ án Thái Nguyên, tháng năm 2011 Chương 1: TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO 1.1 Giới thiệu mạng Nơron 1.1.1 Lịch sử phát triển mạng nơron Mạng nơron nhân tạo xây dựng từ năm 1940 nhằm mô số chức não người Dựa quan điểm cho não người điều khiển Mạng nơron nhân tạo thiết kế tương tự nơron sinh học có khả giải hàng loạt toán tính toán tối ưu, điều khiển, công nghệ robot… Quá trình nghiên cứu phát triển nơron nhân tạo chia thành giai đoạn sau:  Giai đoạn 1: Có thể tính từ nghiên cứu William (1890) tâm lý học với liên kết nơron thần kinh Năm 1940 Mc Culloch Pitts cho biết nơron mô hình hoá thiết bị ngưỡng (Giới hạn) để thực phép tính logic mô hình mạng nơron Mc Culloch – Pitts với giải thuật huấn luyện mạng Hebb đời năm 1943  Giai đoạn 2: Vào khoảng gần năm 1960, số mô hình nơron hoàn thiện đưa như: Mô hình Perceptron Rosenblatt (1958), Adalile Widrow (1962) Trong mô hình Perceptron quan tâm nguyên lý đơn giản, có hạn chế Marvin Minsky Seymour papert MIT ( Massachurehs Insritute of Technology) chứng minh không dùng cho hàm logic phức (1969) Còn Adaline mô hình tuyến tính, tự chỉnh, dùng rộng rãi điều khiển thích nghi, tách nhiễu phát triển  Giai đoạn 3: Vào khoảng đầu thập niên 80 Những đóng góp lớn cho mạng nơron giai đoạn phải kể đến Grossberg, Kohonen, Rumelhart Hopfield Trong đóng góp lớn Hopfield gồm hai mạng phản hồi: Mạng rời rạc năm 1982 mạng liên tục năm 1984 Đặc biệt, ông dự kiến nhiều khả tính toán lớn mạng mà nơron khả Cảm nhận Hopfield Rumelhart, Hinton Williams đề xuất thuật toán sai số truyền ngược tiếng để huấn luyện mạng nơron nhiều lớp nhằm giải toán mà mạng khác không thực Nhiều ứng dụng mạnh mẽ mạng nơron đời với mạng theo kiểu máy Boltzmann mạng Neocognition Fukushima  Giai đoạn 4: Tính từ năm 1987 đến nay, hàng năm giới mở hội nghị toàn cầu chuyên ngành nơron IJCNN (International Joit Conference on Neural Networks) Rất nhiều công trình nghiên cứu để ứng dụng mạng nơron vào lĩnh vực như: Kỹ thuật tính, điều khiển, toán tối ưu, y học, sinh học, thống kê, giao thông, hoá học, Cho đến mạng nơron tìm khẳng định vị trí nhiều ứng dụng khác 1.1.2 Nơron sinh học Hệ thần kinh gồm hai lớp tế bào: Nơron (tế bào thần kinh) glia (tế bào glia) Nơron thành phần hệ thần kinh, chúng có chức xử lý thông tin Glia thực chức hỗ trợ Vì trước nghiên cứu nơron nhân tạo trình bày khái quát cấu tạo hoạt động nơron sinh học Nơron sinh học có nhiều loại, chúng khác kích thước khả thu phát tín hiệu Tuy nhiên chúng có cấu trúc nguyên lý hoạt động chung sau: Mỗi nơron sinh học gồm có thành phần: Thân nơron với nhân bên (soma), đầu dây thần kinh (axon) hệ thống phân nhánh hình (Dendrite) để nhận thông tin vào Trong thực tế có nhiều dây thần kinh vào chúng bao phủ diện tích lớn (0,25mm ) Đầu dây thần kinh rẽ nhánh nhằm chuyển giao tín hiệu từ thân nơron tới nơron khác Các nhánh đầu dây thần kinh nối với khớp thần kinh (synapse) Các khớp thần kinh nối với thần kinh vào nơron khác Các nơron sửa đổi tín hiệu khớp Hình ảnh đơn giản nơron thể hình 1.1 Hình 1.1 Mô hình nơron sinh học Hoạt động nơron sinh học mô tả sau: Mỗi nơron nhận tín hiệu vào từ tế bào thần kinh khác Chúng tích hợp tín hiệu vào, tổng tín hiệu vượt ngưỡng chúng tạo tín hiệu gửi tín hiệu tới nơron khác thông qua dây thần kinh Các nơron liên kết với thành mạng Mức độ bền vững liên kết xác định hệ số gọi trọng số liên kết 1.1.3 Nơron nhân tạo Mô nơron sinh học, ta có nơron nhân tạo Mỗi nơron có nhiều dây thần kinh vào, nghĩa nơron tiếp nhận đồng thời nhiều liệu Mạng nơron nhân tạo (Artificial Neural Network) cấu trúc mạng hình thành nên số lượng lớn nơron nhân tạo liên kết với Mỗi nơron có đặc tính đầu vào, đầu thực chức tính toán cục Với việc giả lập hệ thống sinh học, cấu trúc tính toán mạng nơron giải lớp toán định như: toán lập lịch, toán tìm kiếm, toán nhận dạng mẫu, toán xếp loại, Mạng nơron giải lớp toán sử dụng liệu không đầy đủ, xung đột mờ xác suất Những toán đặc trưng số tất tính chất sau: Sử dụng không gian nhiều chiều, tương tác phức tạp, chưa biết theo dõi mặt toán học biến; không gian nghiệm rỗng, có nghiệm có số nghiệm bình đẳng Ngoài ra, mạng nơron nhân tạo thích hợp để tìm nghiệm toán đòi hỏi đầu vào cảm nhận người như: Tiếng nói, nhìn nhận dạng, Tuy nhiên việc ánh xạ từ toán sang giải pháp mạng nơron lại việc không đơn giản 1.1.4 Các thành phần nơron nhân tạo Phần mô tả số thành phần nơron nhân tạo Những thành phần giống cho dù nơron dùng tầng vào, tầng tầng ẩn Thành phần Các nhân tố trọng số: Một nơron thường nhận nhiều đầu vào lúc Mỗi đầu vào có trọng số liên quan riêng nó, trọng số giúp cho đầu vào có ảnh hưởng cần thiết lên hàm tổng đơn vị xử lý (thành phần xử lý) Những trọng số có chức giống sức mạnh synapes khác nơron sinh học Trong hai trường hợp (nhân tạo sinh học), số đầu vào quan trọng đầu vào khác chúng có ảnh hưởng lớn tới thành phần xử lý để chúng kết hợp lại để tạo phản ứng nơron (neural response) Các trọng số hệ số thích nghi bên mạng, chúng xác định cường độ (sức mạnh sức ảnh hưởng ) tín hiệu vào lên nơron nhân tạo Những sức mạnh điều chỉnh theo tập đào tạo đa dạng khác theo kiến trúc mạng cụ thể qua luật học Thành phần Hàm tổng: Bước hoạt động thành phần xử lý tính toán tổng có trọng số tất đầu vào Về mặt toán học, đầu vào trọng số tương ứng véc tơ biểu diễn : I = (ii,i2, , in) W = (w1, w2, …, wn) Tín hiệu vào tổng tích vô hướng thành phần véc tơ I với thành phần tương ứng véc tơ W cộng lại tất tích Input1 = i1.w1, input2 = i2.w2… Kết cuối cộng lại: input1 + input2 + … + inputn Kết số nhất, véc tơ Hàm tổng phức tạp nhiều so với mô tả Đầu vào hệ số trọng số kết hợp theo nhiều cách khác trước đưa vào hàm chuyển đổi Bên cạnh việc tính tổng tích đơn giản, hàm tổng chọn max, min, tích … nhờ số thuật toán chuẩn tắc Thuật toán cụ thể để kết hợp đầu vào nơron xác định vệc chọn kiến trúc mạng mô hình mạng Thành phần Hàm chuyển đổi: Kết hàm tổng, tổng có trọng số, chuyển đổi thành đầu có ý nghĩa nhờ trình xử lý có thuật toán gọi hàm chuyển đổi Trong hàm chuyển đổi tổng so sánh với ngưỡng để định đầu mạng Nếu tổng lớn giá trị ngưỡng thành phần xử lý đưa đầu tín hiệu Nếu tổng đầu vào tích có trọng số nhỏ ngưỡng tín hiệu đầu Cả hai kiểu phản ứng quan trọng Giá trị ngưỡng, gọi hàm chuyển đổi, thường phi tuyến Các hàm tuyến tính bị giới hạn đầu đơn giản tỷ lệ đầu vào Hàm chuyển đổi đơn giản cho biết hàm tổng dương hay âm Mạng cho đầu 1, -1, hay số kết hợp Thành phần Hàm ra: Mỗi thành phần xử lý cho phép tín hiệu đầu mà đầu tới hàng trăm nơ ron khác Điều giống với nơron sinh học có nhiều đầu vào có hành động Thường đầu tương đương với kết hàm chuyển đổi Tuy nhiên, số kiến trúc mạng chỉnh sửa kết hàm chuyển đổi để kết hợp với thành phần xử lý lân cận Các nơron cho phép cạnh tranh với nơron khác, chúng hạn chế thành phần xử lý khác trừ thành phần xử lý có sức mạnh lớn Sự cạnh tranh xẩy hai mức Đầu tiên cạnh tranh định xem nơron nhân tạo tích cực, cung cấp đầu Tiếp theo đầu cạnh tranh giúp xác định thành phần xử lý tham gia trình học trình thích nghi Thành phần Giá trị truyền ngược hàm lỗi: Trong hầu hết mạng học khác biệt đầu đầu mong muốn tính toán, khác biệt gọi lỗi thô Sau tính toán, lỗi thô chuyển đổi hàm lỗi để làm cho phù hợp với kiến trúc mạng cụ thể Các kiến trúc mạng sở sử dụng lỗi cách trực tiếp số khác bình phương lỗi giữ lại dấu nó, số tính bậc ba lỗi, số khác lại hiệu chỉnh lỗi thô để đạt mục đích cụ thể Lỗi nơron nhân tạo thường truyền vào hàm học thành phần xử lý khác Số hạng lỗi gọi lỗi thời Lỗi thời thường truyền ngược tầng trước Nhưng giá trị truyền ngược lỗi thời lỗi thời điều chỉnh theo cách (thường sử dụng đạo hàm hàm chuyển đổi), đầu mong muốn đó, điều phụ thuộc vào kiểu mạng nơron sử dụng Thường giá trị truyền ngược sau điều chỉnh hàm học nhân với trọng số kết nối vào để thay đổi chúng trước bước vào chu kỳ học Thành phần Hàm học: Mục đích hàm học để thay đổi giá trị biến trọng số kết nối đầu vào thành phần xử lý theo thuật toán Quá trình thay đổi trọng số kết nối đầu nhằm thu số kết mong muốn gọi hàm thích nghi, hay gọi chế 10 Hình 3.6 chọn tham số để load liệu 53 Trong “XEM DỮ LIỆU” bên phải xem lại dataset liệu vừa load: Hình 3.7 xem liệu 54 3.4 Đào tạo mạng 3.4.1 Chia liệu Nếu muốn chia liệu làm hai phần, phần để học phần để kiểm tra, dùng chức “Chia liệu” Sau cần chọn phần liệu để học sau việc chia liệu ngẫu nhiên thành hai phần Ví dụ : chia liệu thành 70% 30%, dùng 70% để học 30% để kiểm tra Dữ liệu ban đầu 150 mẫu sau chia ta có liệu học 105 hình vẽ Hình 3.8 chia liệu 3.4.2 Chọn liệu học tham số Chọn số nơron cho lớp ẩn (hidden layer), số lần lặp, thời gian học MSE (Mean of Square Error) yêu cầu Có thể lựa chọn học thích nghi (tỉ lệ học biến đổi dựa vào MSE học Chọn hàm biến đổi cho lớp ẩn lớp 55 Hình 3.9 Chọn liệu học tham số 3.4.3 Đào tạo mạng (training) Sau chọn số nơron cho lớp ẩn, chọn tỷ lệ liệu học thông số cần thiết, lúc bắt đầu đào tạo mạng.Đây nút lệnh để đào tạo • Khởi tạo trọng số ban đầu: khởi tạo (Reset) lại trọng số ban đầu cho nút mạng • Đào tạo: đào tạo mạng • Load trọng số mạng từ File nhị phân: tải trọng số mạng từ file nhị phân có sẵn Lưu ý, thông số mạng từ file nhị phân có sẵn khác với thông số mạng tại, chương trình báo lỗi đưa kết sai • Lưu trọng số mạng vào File nhị phân: lưu trọng số mạng thời vào file nhị phân, mỗ giá trị số ghi với độ dài bytes 56 • Lưu trọng số mạng vào File text: lưu trọng số mạng thời vào file text để kiểm tra giá trị nút mạng Trọng số mạng với inputs, hiddens outputs lưu file text bảng: Hình 3.10 Nội dung file text chứa trọng số mạng với inputs, hiddens outputs Sau đào tạo mạng xong, thông tin lần học cuối mạng hiển thị box bên phải phía Hình 3.11 Thông tin lần hoc cuối 57 3.4.4 Kiểm tra đồ thị lỗi Sau đào tạo mạng, kiểm tra lỗi trình học checkbox “Xem chi tiết đồ thị lỗi” Dữ liệu lỗi lưu lại vào file text với nút lệnh “Lưu liệu lỗi” hình 3.12 minh họa tập liệu lỗi lưu file text Khi chọn checkbox “Xem chi tiết đồ thị lỗi” trước đào tạo mạng, đồ thị lỗi online tiến hành đào tạo, nhiên dùng chức thời gian đào tạo tăng lên đáng kể máy tính phải thêm việc vẽ đồ thị với đào tạo mạng Khi xem đồ thị checkbox “Xem chi tiết đồ thị lỗi”, xem chi tiết cho lần lặp cách kíck chuột vào đồ thị Hình 3.12 Đồ thị lỗi xem checkbox “Xem chi tiết đồ thị lỗi” Hình 3.13 minh họa đồ thị lỗi đồ thị tỷ lệ học (learning rate) khoảng lần lặp thứ 70 200 58 Hình 3.13 Chi tiết đồ thị lỗi Hình 3.14 Dữ liệu lỗi lưu file text 59 3.4.5 Kiểm tra đồ thị trọng số đầu vào trung bình nơron Kiểm tra biến đổi vài trọng số đầu vào trung bình số nơron trình học Bên trái hình 3.15 minh họa lựa chọn xem trọng số nơron lớp vào tới nơron lớp ẩn WIJ[0][2], trọng số từ nơron lớp ẩn tới nơ ron lớp WJK[3][1] Bên phải hình 3.15 minh họa lựa chọn xem đầu vào trung bình nơ ron ẩn số nơ ron số Chọn checkbox “Xem đồ thị” trước đào tạo mạng, đồ thị trọng số đầu vào online bạn tiến hành đào tạo, nhiên chọn checkbox “Xem chi tiết đồ thị lỗi”, dùng chức thời gian đào tạo tăng lên đáng kể máy tính phải thêm việc vẽ đồ thị với đào tạo mạng Hình 3.15 Chọn trọng số giá trị trung bình số nơ ron học 60 Hình 3.16 Đồ thị trọng số giá trị trung bình đầu vào số nơron học Hình 3.16 Minh họa đồ thị hai trọng số giá trị trung bình đầu vào hai nơron (đã chọn hình 15) học Dễ dàng nhận thấy mạng hội tụ (khi training error giảm gần tới 0) trọng số đầu vào trung bình nơ ron chọn hội tụ giá trị định 3.4.6 Xem đồ thị liệu đồ thị đầu mạng Trong phần “Load liệu” trình bày trên, bạn xem lại dataset liệu mà bạn vừa load giá trị mạng Trong Tab “Xem liệu” bạn xem đồ thị toàn liệu số lượng đầu vào đầu không lớn Bạn xem toàn liệu, xem liệu học xem liệu kiểm tra Các hình sau minh họa toàn liệu đầu vào, đầu mạng chưa học đầu mạng học Tuy nhiên sau học với 70% liệu, đầu thực tế mạng xấp xỉ đầu liệu học 61 Hình 3.17 Toàn liệu đầu vào, đầu đầu mạng ban đầu (chưa học) Đầu thực tế mạng học gần giống với đầu liệu học Hình 3.18 Toàn liệu đầu vào, đầu đầu mạng học 62 Hình 3.19 Chỉ xem liệu học (70%) Hình 3.20 Chỉ xem liệu kiểm tra (30%) 63 3.5 Kết luận Chương trình mạng nơron Spice-MLP giúp phân lớp nhiều loại liệu khác giúp hiểu rõ hoạt động mạng nơron đa lớp (Multi-Layer Neural Network) Ta dùng Spice-MLP để mô hình hóa nhiều loại liệu khác áp dụng toán thực tế nhận dạng, nhóm, clustering, hỗ trợ định … 3.6 Một số nhận xét  Mạng bị ảnh hưởng nhiều từ trạng thái khởi đầu tham số Trong trình học, mạng cố gắng điều chỉnh tham số cho tổng bình phương lỗi nhỏ Khả hội tụ mạng phụ thuộc vào tham số khởi đầu, khả tổng quát hóa lại phụ thuộc nhiều vào liệu đầu vào Nếu liệu đầu vào nhiều dẫn tới tình trạng luyện mạng nhiều thời gian khả tổng quát hóa kém, liệu sai số tăng  Ngoài đặc trưng liệu, đặc trưng khác trình huấn luyện mạng cần quan tâm số lần thực điều chỉnh tham số mạng dẫn đến tình trạng khả tổng quát hóa mạng Bởi vậy, số chu kỳ mẫu đưa vào mạng cần xem xét phải lớn ngưỡng (từ vài nghìn vài chục nghìn lần)  Để xem xét, đánh giá khả tổng quát hóa mạng, cần thực phân chia tập liệu thành tập: huấn luyện (training set) tập kiểm tra (test set) Tập liệu thử không đưa vào để kiểm tra hoạt động mạng để đảm bảo khách quan  Một vấn đề mạng nơron khả rơi vào điểm cực trị địa phương Thuật toán Lan truyền ngược lỗi không đảm bảo cho ta điểm cực trị toàn cục Nếu rơi vào điểm cực trị địa phương, ta phải bắt đầu huấn luyện lại, điều khiến cho mạng nơron áp dụng thực tế toán yêu cầu độ xác cao thời gian tối thiểu Do đó, giải pháp sử dụng hệ số học biến đổi hướng để vượt qua nhược 64 điểm Ngoài ra, liệu phân bố không mẫu khả tổng quát hóa không tốt  Một điều nữa, mạng có khả đạt đến trạng thái mong muốn, mà bỏ qua điểm cực trị Để tránh điều này, không nên đặt hệ số học lớn (cỡ 0.1 chẳng hạn), hệ số bước đà lớn (chẳng hạn 0.5) (do đặc trưng thuật toán lan truyền ngược sử dụng tham số bước đà)  Để đảm bảo khả đạt đến điểm cực tiểu, số đơn vị lớp ẩn cần đủ lớn Tuy nhiên, số đơn vị lớp ẩn vượt ngưỡng khả tổng quát hóa mạng kém, sau huấn luyện mạng có xu hướng ghi nhớ tất mẫu học Khi đó, nên xem xét đến khả sử dụng thêm lớp ẩn với số nơron nhỏ (vài nơron) giảm bớt số nơron lớp ẩn thứ KẾT LUẬN Trong bối cảnh nay mà nghiên cứu chuyển hướng xây dựng hệ thống thông minh, Mạng nơron lên giải pháp đầy hứa hẹn Nó thể ưu điểm bật so với hệ thống khác khả mềm dẻo linh hoạt khả tính toán thô Đây điểm khác biệt óc người với máy tính thông minh nhân tạo, mà đòi hỏi độ phức tạp cao thiết kế cài đặt hệ thống 65 ứng dụng để đạt tính tốt Điểm mấu chốt quy mô hệ thống số lượng nơron số lượng mức ẩn Khả cải thiện không ngừng tương lai với phát triển mạch phần cứng cỡ lớn nhớ ngày lớn cho máy vi tính Mạng nơron huấn luyện để xấp xỉ hàm mà không cần biết trước liên hệ đầu vào đầu Chúng hoạt động nhớ tự liên hợp cách sử dụng liệu đặc thù cho ứng dụng, toán lĩnh vực cụ thể Đó đặc trưng đem lại cho mạng nơron lợi mô hình khác, đặc trưng thứ lỗi Đồ án xây dựng dựa bước chập chững trình nghiên cứu lý thuyết mạng nơrron Hướng phát triển từ kết nghiên cứu từ mạng nơron, từ mô mạng nơron phần mềm Spice-MLP xây dựng ứng dụng cụ thể mang tính chất thực tiễn lĩnh vực nhận dạng, phân lớp liệu, dự đoán, điều khiển, xấp xỉ… Chắc chắn đồ án thiếu sót, em mong nhận ý kiến đóng góp nhằm hoàn thiện hiểu biết TÀI LIỆU THAM KHẢO [1] Đinh Mạnh Tường, Trí tuệ nhân tạo, NXB Khoa học Kỹ thuật, 2002 [2] Ts Nguyễn Như Hiểu Ts Lại Khắc Lãi Hệ mờ Nơron kỹ thuật điều khiển Nhà xuất Khoa học tự nhiên Công nghệ [3] Nguyễn Đình Phúc, Mạng Nơron_Phướng pháp ứng dụng, Nhà xuất giáo dục, 2000 [4] Bùi Công Cường Nguyễn Doãn Phước Hệ Mờ Mạng Nơron Và Ứng Dụng Nhà xuất bản: Khoa học kỹ thuật [5] Lê Minh Trung Giáo Trình Mạng Nơron Nhân Tạo, NXB: Thống kê 66 [6] Dipti Srinivasan, A C Liew, John S., P Chen, Short term forecasting using neural network approach, IEEE 91TH0374-9/91/0000-0012, pp 1216, 1991 … [7] Website: http://archive.ics.uci.edu/ml/datasets/Iris [8] Website: http://spice.ci.ritsumei.ac.jp/~thangc/programs [9] Website: http://www.ebook.edu.vn/ … 67 [...]... giữa các lớp mạng thể hiện trong hình 2.1: ở lớp thứ 2, vector đầu vào chính là net output của lớp thứ nhất Tương tự như vậy, nếu thêm vào các lớp khác nữa vào trong cấu trúc này thì lớp mạng cuối cùng thường là lớp cho ra kết quả của toàn bộ mạng, lớp đó gọi là lớp ra (OUTPUT LAYER) Mạng có nhiều lớp có khả năng tốt hơn là các mạng chỉ có một lớp, chẳng hạn như mạng hai lớp với lớp thứ nhất sử dụng hàm... một lớp vào, một lớp ra và một hoặc nhiều lớp ẩn Các nơron đầu vào không thực hiện bất kỳ một tính toán nào trên 33 dữ liệu vào, nó chỉ tiếp nhận các dữ liệu vào và chuyển cho các lớp kế tiếp Các nơron ở lớp ẩn và lớp ra mới thực sự thực hiện các tính toán, kết quả được định dạng bởi hàm đầu ra (hàm chuyển) Cụm từ “truyền thẳng” không phải là trái nghĩa của lan truyền ngược, thực tế là tất cả các nơron. .. nhận tín hiệu gọi là lớp đầu vào (input layer), lớp đưa các tín hiệu ra gọi là lớp đầu ra (output layer), các lớp ở giữa lớp vào và lớp ra gọi là lớp ẩn (hidden layers) Cấu trúc của mạng nơron truyền thẳng nhiều lớp được mô tả trong hình 1.9 21 Hình 1.9 Mạng nơron truyền thẳng nhiều lớp 1.5.2 Mạng hồi quy Bên cạnh mạng truyền thẳng còn có những dạng mạng khác như các mạng hồi quy Các mạng hồi quy thường... của mạng nơron Kể từ khi ra đời và phát triển mạng nơron đã được ứng dụng trong rất nhiều lĩnh vực Do vậy, liệt kê được tất cả các ứng dụng của mạng nơron là không thực tế Tuy nhiên, ta có thể đưa ra một số ứng dụng điển hình của mạng nơron như sau: 31  Xử lý ảnh, nhìn máy: Gồm trùng khớp ảnh, tiền xử lý ảnh, phân đoạn và phân tích ảnh, nén ảnh,  Xử lý tín hiệu: Phân tích tín hiệu địa chấn và hình... sigmoid và lớp thứ hai dùng hàm đồng nhất có thể áp dụng để xấp xỉ các hàm toán học khá tốt, trong khi các mạng chỉ có một lớp thì không có khả năng này .Trong chương này chúng ta đã tìm hiểu các khái niệm, cấu trúc và khả năng ứng dụng của mạng nơron truyền thẳng nhiều lớp và thuật toán học đối với loại mạng này Mạng nơron nhân tạo được coi là một công cụ mạnh, mềm dẻo để giải quyết các bài toán có... ra của lớp hiện tại tạo ra đầu vào của lớp kế tiếp Khi tất cả các nơron đã thực hiện tính toán thì kết quả được 34 trả lại bởi các nơron đầu ra Tuy nhiên, có thể là chưa đúng yêu cầu, khi đó một thuật toán huấn luyện cần được áp dụng để điều chỉnh các tham số của mạng Trong hình 2.1, số nơron ở lớp thứ nhất, và lớp thứ hai tương ứng là S1 và S2 Ma trận trọng số đối với các lớp tương ứng là W1 và W2... các lớp phía sau đến các lớp phía trước hay giữa các nơron trong bản thân một lớp  Mạng hồi quy một lớp có nối ngược Hình 1.10 Mạng hồi quy một lớp có nối ngược  Mạng hồi quy nhiều lớp có nối ngược Hình 1.11 Mạng hồi quy nhiều lớp có nối ngược 22 1.6 Tiếp cận Nơron cho tính toán 1.6.1 Luật học Các luật học đóng vai trò quan trọng trong việc xác định một mạng nơron nhân tạo Một cách đơn giản về khái... 1.7.2 Phân loại Một trong các công việc đơn giản và thường được sử dụng nhiều trong quản lý các đối tượng đa biến là phân loại (phân lớp một đối tuợng vào các nhóm, nhóm con hay chủng loại) Ví dụ: bài toán phân lớp ảnh, nhận dạng mẫu Khi phải phân loại một quyết định phức tạp, chúng ta phải bắt đầu với việc nghiên cứu, thống kê các mối liên quan giữa nhiều đối tượng Việc xây dựng một cây phân lớp và. .. mạng có nhiều hơn hai lớp ẩn Đối với phần lớn các bài toán cụ thể, chỉ cần sử dụng một lớp ẩn cho mạng là đủ Các bài toán sử dụng hai lớp ẩn hiếm khi xảy ra trong thực tế Đối với các bài toán cần sử dụng nhiều hơn một lớp ẩn thì trong phần lớn các trường hợp trong thực tế, sử dụng chỉ một lớp ẩn cho ta hiệu năng tốt hơn là sử dụng nhiều hơn một lớp Việc huấn 36 ... hướng: tới một hay nhiều các nơron khác trong lớp kế tiếp (loại trừ các nơron ở lớp ra) Hình sau ở dạng tóm tắt biểu diễn mạng nơron một cách cô đọng Hình 2.1: Mạng nơron truyền thẳng nhiều lớp Trong đó: P: Vector đầu vào (vector cột) Wi: Ma trận trọng số của các nơron lớp thứ i (SixRi: S hàng (nơron) - R cột (số đầu vào)) bi: Vector độ lệch (bias) của lớp thứ i (Six1: cho S nơron) ni: net input (Six1) ... Nghiên cứu mạng nơron ứng dụng toán phân lớp liệu ” Đồ án bao gồm nội dung sau:  Chương : Tồng quan mạng nơron nhân tạo  Chương : Mạng truyền thẳng nhiều lớp  Chương : Phân lớp liệu mạng nơron. .. truyền thẳng nhiều lớp bao gồm lớp vào, lớp nhiều lớp ẩn Các nơron đầu vào không thực tính toán 33 liệu vào, tiếp nhận liệu vào chuyển cho lớp Các nơron lớp ẩn lớp thực thực tính toán, kết định dạng... lĩnh vực ứng dụng mạng nơron Kể từ đời phát triển mạng nơron ứng dụng nhiều lĩnh vực Do vậy, liệt kê tất ứng dụng mạng nơron không thực tế Tuy nhiên, ta đưa số ứng dụng điển hình mạng nơron sau: