Công nghệ tri thức và ứng dụng GVHD: GS. TSKH. Hoàng Văn Kiếm ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN PHÒNG ĐÀO TẠO SĐH-KHCN&QHĐN TIỂU LUẬN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG TÌM HIỂU THUẬT TOÁN ROSENBLATT ĐỂ HUẤN LUYỆN MẠNG PERCEPTRON GVHD: GS. TSKH. Hoàng Văn Kiếm HVTH: Võ Thị Thúy Lan MSHV: CH1301096 TP. Hồ Chí Minh, tháng 10/2014 Công nghệ tri thức và ứng dụng GVHD: GS. TSKH. Hoàng Văn Kiếm MỤC LỤC Công nghệ tri thức và ứng dụng GVHD: GS. TSKH. Hoàng Văn Kiếm I. PHẦN MỞ ĐẦU Mạng nơ-ron nhân tạo được thiết kế để mô hình một số tính chất của mạng nơ- ron sinh học, tuy nhiên, khác với các mô hình nhận thức, phần lớn các ứng dụng lại có bản chất kỹ thuật. Vào cuối những năm 1950, Frank Rosenblatt và một số nhà nghiên cứu khác đã phát triển một loại mạng nơ-ron gọi là Perceptron. Đóng góp quan trọng của Rosenblatt là giới thiệu một luật học để huấn luyện các mạng perceptron để giải quyết vấn đề nhận dạng mẫu. Trong báo cáo này, ngoài việc tìm hiểu và đi sâu về mạng Perceptron, em xin giới thiệu phần mềm tư vấn mua máy tính nhờ áp dụng thuật toán huấn luyện Perceptron. Nội dung bài tiểu luận gồm 2 phần chính: • Thuật toán Rosenblatt để huấn luyện mạng Perceptron. • Phần mềm tư vấn mua máy tính nhờ áp dụng thuật toán Rosenblatt huấn luyện Perceptron. Em xin chân thành cảm ơn Thầy GS. TSKH. Hoàng Văn Kiếm đã cung cấp cho em những kiến thức quý báu trong môn Công nghệ tri thức và ứng dụng làm cơ sở nền tảng cho em thực hiện tiểu luận này. HVTH: Võ Thị Thúy Lan – CH1301096 3 Công nghệ tri thức và ứng dụng GVHD: GS. TSKH. Hoàng Văn Kiếm II. THUẬT TOÁN ROSENBLATT ĐỂ HUẤN LUYỆN MẠNG PERCEPTRON 2.1. Lịch sử Trong năm 1943, Warren McCulloch và Walter Pitts giới thiệu một trong những nơ-ron nhân tạo đầu tiên. Các tính năng chính của mô hình nơ-ron của họ là sự tổng hợp có trọng số của tín hiệu đầu vào được so sánh với ngưỡng để tìm đầu ra của nơ-ron. Khi tổng lớn hơn hoặc bằng ngưỡng, đầu ra là 1. Khi tổng nhỏ hơn ngưỡng, đầu ra là 0. Họ tiếp tục cho thấy mạng nơ-ron có thể tính toán số học hoặc hàm logic. Không giống như các mạng sinh học, các thông số mạng của chúng được thiết kế mà không có phương pháp đào tạo có sẵn. Tuy nhiên, mối quan hệ giữa sinh học và máy tính kỹ thuật số tạo ra rất nhiều sự quan tâm. Trong cuối những năm 1950, Frank Rosenblatt và một số nhà nghiên cứu khác phát triển một lớp học về mạng nơ-ron là perceptrons. Các nơ-ron trong mạng này cũng tương tự như của McCulloch và Pitts. Đóng góp quan trọng của Rosenblatt là giới thiệu một luật học để huấn luyện các mạng perceptron để giải quyết vấn đề nhận dạng mẫu. Ông đã chứng minh rằng luật học của mình sẽ luôn luôn hội tụ về các trọng số mạng chính xác nếu trọng số tồn tại để giải quyết vấn đề. Sự huấn luyện đã được đơn giản và tự động. Tuy nhiên, mạng perceptron có nhiều hạn chế. Những hạn chế này đã được công bố trong cuốn Perceptrons của Marvin Minsky và Seymour Papert. Họ đã chứng minh rằng mạng perceptron đã không có khả năng thực hiện một số chức năng cơ bản. Mãi đến những năm 1980 những hạn chế này mới được khắc phục với các mạng perceptron cải tiến (nhiều lớp) và những luật học liên quan. Ngày nay các perceptron vẫn còn được xem như là một mạng quan trọng. Nó vẫn còn là một mạng nhanh và đáng tin cậy cho các vấn đề mà nó có thể giải quyết. HVTH: Võ Thị Thúy Lan – CH1301096 4 Công nghệ tri thức và ứng dụng GVHD: GS. TSKH. Hoàng Văn Kiếm Ngoài ra, sự hiểu biết về hoạt động của perceptron sẽ tạo cơ sở tốt cho sự hiểu biết các mạng lưới phức tạp hơn. 2.2. Luật học Luật học là một thủ tục để sửa đổi các trọng số và hệ số hiệu chỉnh của mạng nơ-ron. (Thủ tục này cũng có thể được gọi là một thuật toán huấn luyện.) Mục đích của luật học là huấn luyện mạng để thực hiện một số nhiệm vụ. Có nhiều loại luật học huấn luyện mạng nơ-ron. Chúng gồm ba loại chính: luật học có giám sát, luật học không giám sát và luật học gia tăng (hoặc phân loại). 2.2.1. Luật học có giám sát Luật học đưa ra một tập hợp các mẫu có quy tắc và tương thích với mạng: p q là một đầu vào mạng và t q tương ứng với đầu ra chính xác (mục tiêu). Khi các đầu vào được áp dụng vào mạng, các kết quả đầu ra mạng được so sánh với các mục tiêu. Luật học sau đó được sử dụng để điều chỉnh trọng số và hệ số hiệu chỉnh của mạng để dịch chuyển đầu ra gần với các mục tiêu hơn. Luật học perceptron được xếp vào loại luật học có giám sát. 2.2.2. Luật học tăng cường Tương tự luật học có giám sát, ngoại trừ việc, thay vì đưa ra các đầu ra chính xác cho mỗi đầu vào mạng, thuật toán chỉ cho một lớp. Lớp là thước đo cho sự hoạt động của mạng trên một chuỗi đầu vào. Đây là loại luật học hiện nay ít phổ biến hơn so với luật học có giám sát. Nó dường như là phù hợp nhất để kiểm soát các ứng dụng hệ thống. 2.2.3. Luật học không giám sát HVTH: Võ Thị Thúy Lan – CH1301096 5 Công nghệ tri thức và ứng dụng GVHD: GS. TSKH. Hoàng Văn Kiếm Trọng số và hệ số hiệu chỉnh được sửa đổi để đáp ứng với đầu vào mạng. Có mục tiêu không là đầu ra có sẵn. Điều này dường như không thực tế. Làm thế nào ta có thể huấn luyện một mạng nếu ta không biết nó phải làm gì? Hầu hết các thuật toán thực hiện sự hoạt động phân cụm. Chúng được luyện để phân loại các mô hình đầu vào thành một số hữu hạn các lớp. Điều này đặc biệt hữu ích trong các ứng dụng như là lượng tử hóa vector. 2.3. Kiến trúc Perceptron Các mạng nơron mà trong mỗi nơron chỉ được liên kết với tất cả các nơron ở lớp kế tiếp và tất cả các mối liên kết chỉ được xây dựng từ trái sang phải được gọi là mạng nhiều lớp truyền thẳng (perceptrons) Đầu ra của mạng được cho bởi: Để thuận tiện cho sự xem xét các phần tử riêng lẻ của vector đầu ra. Hãy xem xét ma trận trọng số: HVTH: Võ Thị Thúy Lan – CH1301096 6 Công nghệ tri thức và ứng dụng GVHD: GS. TSKH. Hoàng Văn Kiếm Ta sẽ xác định một vector gồm các phần tử của hàng thứ i của W: ⇒ Ma trận trọng số trở thành: ⇒ Phần tử thứ i của vector đầu ra mạng: Mà hàm truyền harlim được định nghĩa như sau: HVTH: Võ Thị Thúy Lan – CH1301096 7 Công nghệ tri thức và ứng dụng GVHD: GS. TSKH. Hoàng Văn Kiếm Vì vậy, tích trong hàng thứ i của ma trận trọng số với vector đầu vào lớn hơn hoặc bằng -b i , thì đầu ra sẽ là 1, trái lại đầu ra sẽ là 0. Vì thế mỗi nơ-ron trong mạng chia không gian đầu vào thành hai khu vực. Nó rất hữu ích để điều tra các ranh giới giữa các khu vực này. Chúng tôi sẽ bắt đầu với các trường hợp đơn giản của một perceptron đơn lớp với hai đầu vào. 2.3.1. Perceptron một nơ-ron Ta hãy xem xét một perceptron hai đầu vào: Đầu ra của mạng này được xác định bởi Ranh giới phân loại các vector đầu vào được xác định bởi Cụ thể hơn, ta hãy chỉ định các giá trị của trọng số và hệ số hiệu chỉnh là: HVTH: Võ Thị Thúy Lan – CH1301096 8 Công nghệ tri thức và ứng dụng GVHD: GS. TSKH. Hoàng Văn Kiếm Ranh giới quyết định sẽ là: Điều này xác định 1 đường trong không gian đầu vào. Trên một bên của đường đầu ra sẽ là 0; trên đường và phía bên kia của đường đầu ra sẽ là 1. Để vẽ đường, ta có thể tìm những điểm cắt các trục p 1 và p 2 . Để tìm điểm cắt p 2 ta đặt p 1 = 0: Để tìm điểm cắt p 1 , ta đặt p 2 = 0: Để tìm ra khu vực mà đầu ra tương ứng là 1, ta chỉ cần kiểm tra một điểm. Đối với các đầu vào p = [2 0] T , đầu ra của mạng sẽ là : Do đó, đầu ra của mạng sẽ là 1 đối với khu vực trên và bên phải của ranh giới quyết định. Khu vực này được chỉ định bởi các khu vực bóng mờ trong hình 4.3: HVTH: Võ Thị Thúy Lan – CH1301096 9 Công nghệ tri thức và ứng dụng GVHD: GS. TSKH. Hoàng Văn Kiếm Lưu ý: Ranh giới luôn luôn là trực giao với 1 w , và được xác định bởi: Đối với tất cả các điểm nằm trên ranh giới, tích trong của các vector đầu vào với các vector trọng số là như nhau. Ngoài ra, bất kỳ vector trong khu vực bóng mờ của hình 4.3 sẽ có tích trong lớn hơn -b, và vector trong khu vực không có bóng mờ sẽ có tích trong ít hơn -b . Vì vậy vector trọng số 1 w sẽ luôn luôn hướng về phía khu vực nơi mà đầu ra của mạng là 1. Sau khi đã chọn một vector trọng số với định hướng góc chính xác, hệ số hiệu chỉnh có thể được tính bằng cách chọn một điểm trên ranh giới và thỏa mãn Eq. (4.15). Ta sẽ áp dụng một trong những khái niệm thiết kế mạng perceptron để thực hiện một hàm logic đơn giản: các cổng AND. Các cặp đầu vào/mục tiêu cho các cổng AND là: HVTH: Võ Thị Thúy Lan – CH1301096 10 [...]... cứu thuật toán Rosenblatt để huấn luyện mạng Perceptron hiệu quả và áp dụng vào bài toán phân lớp văn bản Mặc dù dữ liệu Perceptron của chương trình Demo còn đơn giản, hạn chế và độ chính xác chưa cao, song em đã hiểu được việc áp dụng thuật toán Rosenblatt trong bài toán hỗ trợ tự động phân lớp văn bản Trong thời gian tới, em sẽ cố gắng phát tri n chương trình để có thể mang về kết quả chính xác và. .. Công nghệ tri thức và ứng dụng Kiếm GVHD: GS TSKH Hoàng Văn V TÀI LIỆU THAM KHẢO Tiếng Việt [1] GS TSKH Hoàng Văn Kiếm, Slide bài giảng Công nghệ tri thức và ứng dụng, 2014 [2] Hoàng Kiếm, Nguyễn Hồng Sơn, Đào Minh Sơn, Ứng dụng mạng nơron nhân tạo trong hệ thống xử lý biểu mẫu tự động”, Kỷ yếu hội nghị kỷ niệm 25 năm thành lập Viện Công nghệ Thông tin, 2001 [3] Nhóm 17_KHMT2 K3, Tìm hiểu thuật toán. .. các mẫu theo quy tắc của mạng: HVTH: Võ Thị Thúy Lan – CH1301096 12 Công nghệ tri thức và ứng dụng Kiếm GVHD: GS TSKH Hoàng Văn Tại pq là một đầu vào mạng và tq tương ứng với đầu ra chính xác (mục tiêu) Khi các đầu vào được áp dụng vào mạng, các kết quả đầu ra mạng được so sánh với các mục tiêu Luật học sau đó được sử dụng để điều chỉnh trọng số và hệ số hiệu chỉnh của mạng để dịch chuyển đầu ra gần... CH1301096 26 Công nghệ tri thức và ứng dụng Kiếm GVHD: GS TSKH Hoàng Văn Ta có thể xem lời giải thích từ thông tin đã nhập vào khi Click vào nút Xem giải thích HVTH: Võ Thị Thúy Lan – CH1301096 27 Công nghệ tri thức và ứng dụng Kiếm GVHD: GS TSKH Hoàng Văn IV KẾT LUẬN Perceptron là một trong những hàm phân lớp đơn giản, cũng là một trong những tế bào thần kinh nhân tạo đầu tiên Vì vậy, bài tiểu luận đã... của ma trận trọng số và hệ số hiệu chỉnh là Bước đầu tiên ta sẽ áp dụng vector p1 vào mạng: HVTH: Võ Thị Thúy Lan – CH1301096 21 Công nghệ tri thức và ứng dụng Kiếm GVHD: GS TSKH Hoàng Văn Tiếp theo là tính giá trị sai số e: Bảng cập nhật trọng lượng: Bảng cập nhật hệ số hiệu chỉnh là: Bước 2: quy tắc perceptron là: HVTH: Võ Thị Thúy Lan – CH1301096 22 Công nghệ tri thức và ứng dụng Kiếm GVHD: GS TSKH... dùng 3.2 Hướng dẫn sử dụng phần mềm Trước hết ta mở và chạy chương trình Giao diện chính của phần mềm sẽ hiện lên như sau: HVTH: Võ Thị Thúy Lan – CH1301096 24 Công nghệ tri thức và ứng dụng Kiếm HVTH: Võ Thị Thúy Lan – CH1301096 GVHD: GS TSKH Hoàng Văn 25 Công nghệ tri thức và ứng dụng Kiếm GVHD: GS TSKH Hoàng Văn Nhập dữ liệu và thông tin cá nhân Click vào nút Xem tư vấn Thông báo về thông tin tư vấn... xa các vector đầu vào mà mục tiêu tương ứng là 0 Để giải quyết vấn đề này đơn giản ta chỉ cần thay phép cộng bằng phép trừ trong biểu thức 4.23: HVTH: Võ Thị Thúy Lan – CH1301096 17 Công nghệ tri thức và ứng dụng Kiếm GVHD: GS TSKH Hoàng Văn Áp dụng vào vấn đề ta được: Hình minh họa: Tiếp theo là vector p3: Tương tự áp dụng biểu thức 4.26 ta có: Hình minh họa bên đã cho kết quả huấn luyện phân loại chính... luôn là 1 Ta có thể thay đầu vào p trong biểu thức 4.34 như đầu vào luôn mang giá trị 1 để huấn luyện hệ số hiệu chỉnh: 2.4.4 Huấn luyện mạng perceptron nhiều nơ-ron Các quy tắc perceptron, được cho bởi biểu thức (4.34) và (4.35), cập nhật vector trọng số cho perceptron một nơ-ron Ta có thể khái quát hóa quy tắc này cho các perceptron nhiều nơ-ron của Hình 4.1 như sau Để cập nhật hàng thứ i của ma... việc áp dụng giải thuật huấn luyện Perceptron của Frank Rosenblatt, phần mềm sẽ đưa ra HVTH: Võ Thị Thúy Lan – CH1301096 23 Công nghệ tri thức và ứng dụng Kiếm GVHD: GS TSKH Hoàng Văn những câu tư vấn giúp giải quyết những băn khoăn trong quyết định nên mua máy tính hay không Đặc điểm của phần mềm là giao diện đẹp, đơn giản, rất trực quan, dễ sử dụng và thân thiện với người dùng 3.2 Hướng dẫn sử dụng. .. dụng để tìm HVTH: Võ Thị Thúy Lan – CH1301096 11 Công nghệ tri thức và ứng dụng Kiếm GVHD: GS TSKH Hoàng Văn Bây giờ có thể kiểm tra lại mạng trên bằng một trong các cặp đầu vào/mục tiêu Nếu ta áp dụng p2 vào mạng , đầu ra sẽ là: bằng với đầu ra đích t2 Các cặp còn lại có thể kiểm tra tương tự như trên 2.3.2 Perceptron nhiều nơ-ron Lưu ý rằng đối với mạng perceptron nhiều nơ-ron, như trong hình 4.1, sẽ . những kiến thức quý báu trong môn Công nghệ tri thức và ứng dụng làm cơ sở nền tảng cho em thực hiện tiểu luận này. HVTH: Võ Thị Thúy Lan – CH1301096 3 Công nghệ tri thức và ứng dụng GVHD: GS TRI THỨC VÀ ỨNG DỤNG TÌM HIỂU THUẬT TOÁN ROSENBLATT ĐỂ HUẤN LUYỆN MẠNG PERCEPTRON GVHD: GS. TSKH. Hoàng Văn Kiếm HVTH: Võ Thị Thúy Lan MSHV: CH1301096 TP. Hồ Chí Minh, tháng 10/2014 Công nghệ tri. việc tìm hiểu và đi sâu về mạng Perceptron, em xin giới thiệu phần mềm tư vấn mua máy tính nhờ áp dụng thuật toán huấn luyện Perceptron. Nội dung bài tiểu luận gồm 2 phần chính: • Thuật toán Rosenblatt