)( iii netfy θ −= j n j iji xwnet ∑ = = 1 i θ Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên ĐẠI HỌC QUỐC GIA THÀNH PHỐ HCM ĐẠI HỌC CÔNG NGHỆ THÔNG TIN  BÁO CÁO THU HOẠCH MÔN HỌC MÁY HỌC & ỨNG DỤNG ĐỀ TÀI MẠNG NƠRON & ỨNG DỤNG TRONG VIỆC NHẬN DẠNG CHỮ VIẾT TP.HCM 03/ 2014 DANH MỤC HÌNH ẢNH Số hiệu hình Tên hình Trang Hình Cấu trúc của một nơron sinh học điển hình 5 Hình Nơron nhân tạo 6 Hình Đồ thị các dạng hàm truyền 8 Hình Mạng tự kết hợp 9 HVTH: Nhan Thanh Nhã Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên Hình 5 Mạng kết hợp khác kiểu 9 Hình 6 Mạng truyền thẳng 10 Hình 7 Mạng phản hồi 10 Hình 8 Perceptron 10 Hình 9 Mạng MLP tổng quát 11 Hình 10 Mạng nơron ba lớp 13 Hình 11 Mạng truyền thẳng một lớp 14 Hình 12 Mạng truyền thẳng nhiều lớp 14 Hình 13 Mạng hồi tiếp một lớp 15 Hình 14 Mạng neural hồi quy 15 Hình 15 Cấu trúc của mạng Hopfield 16 Hình 16 Cấu trúc của BAM 17 Hình 17 Học có giám sát 19 Hình 18 Học không có giám sát 21 Hình 19 Sơ đồ cấu trúc chung của quá trình học 22 Hình 20 Mạng 3 lớp lan truyền ngược 23 Hình 21 Mối liên hệ giữa sai số và kích thước mẫu 29 Hình 22 Huấn luyện luân phiên trên hai tập mẫu 33 HVTH: Nhan Thanh Nhã Page 2 Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên MỤC LỤC HVTH: Nhan Thanh Nhã Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên LỜI NÓI ĐẦU Cùng với sự phát triển nhanh chóng, vượt bậc của ngành công nghiệp máy tính, nhu cầu của người dùng đối với máy tính ngày càng cao, không chỉ giải quyết các vấn đề lưu trữ, tính toán bình thường, người dùng còn mong đợi máy tính có khả năng thông minh hơn, có thể giải quyết vấn đề như con người. Do đó môn máy học ra đời. Máy học đóng vai trò hết sức quan trọng trong việc phát triển Công nghệ thông tin, nâng cao sự hữu dụng của máy tính, giúp con người gần gũi với máy tính hơn, góp phần thúc đẩy các ngành khoa học khác phát triển. Nhiều chương trình thông minh có khả năng giải quyết những vấn đề khó khăn của con người đã ra đời và đóng góp những thành tựu to lớn. Những chương trình này được ứng dụng nhiều công nghệ tri thức tiên tiến. Một trong những công nghệ đó là mạng nơron nhân tạo. Mạng noron nhân tạo là một sản phẩm phần mềm ra đời nhằm kết hợp khả năng xử lý thông tin cực nhanh của máy tính với khả năng xử lý thông tin song song gần như cùng lúc của bộ não con người. Từ đó đã tạo nên sự kỳ diệu cho máy tính. Trong phạm vi của bài báo cáo này, em xin trình bày Mô hình mạng nơron nhân tạo, phân tích cài đặt thuật toán lan truyền ngược. Chân thành cám ơn PGS.TS Vũ Thanh Nguyên đã tận tình giảng dạy, cung cấp rất đầy đủ tài liệu của môn học. Giúp chúng em tiếp thu kiến thức về các nguyên tắc, phương pháp sáng tạo để không những vận dụng tốt trong bài thu hoạch mà còn giúp ích cho chúng em giải quyết các bài toán trong đời sống cũng như trong nghiên cứu luận văn sau này. Với lượng thời gian có giới hạn và năng lực còn hạn chế nên không tránh khỏi những sai sót, em mong nhận được sự góp ý hơn nữa của Thầy và các bạn. Nội dung báo cáo gồm các phần chính: CHƯƠNG 1: TỔNG QUAN VỀ MÔ HÌNH MẠNG NƠRON, CHƯƠNG 2: HUẤN LUYỆN VÀ XÂY DỰNG MẠNG NƠRON, CHƯƠNG 3: THUẬT TOÁN LAN TRUYỀN NGƯỢC, CHƯƠNG 4: CHƯƠNG TRÌNH ỨNG DỤNG MẠNG NƠRON HVTH: Nhan Thanh Nhã Page 4 Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên CHƯƠNG 1: TỔNG QUAN VỀ MÔ HÌNH MẠNG NƠRON 1.1 Giới thiệu về mạng nơron nhân tạo 1.1.1 Mạng nơron nhân tạo là gì? Định nghĩa: Mạng nơron nhân tạo, Artificial Nơron Network (ANN) gọi tắt là mạng nơron, nơron network, là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron sinh học. Nó được tạo lên từ một số lượng lớn các phần tử (gọi là phần tử xử lý hay nơron) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó. Một mạng nơron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu, ) thông qua một quá trình học từ tập các mẫu huấn luyện. Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơron. 1.1.2 Lịch sử phát triển mạng nơron Các nghiên cứu về bộ não con người đã được tiến hành từ hàng nghìn năm nay. Cùng với sự phát triển của khoa học kĩ thuật đặc biệt là những tiến bộ trong ngành điện tử hiện đại, việc con người bắt đầu nghiên cứu các nơron nhân tạo là hoàn toàn tự nhiên. Sự kiện đầu tiên đánh dấu sự ra đời của mạng nơron nhân tạo diễn ra vào năm 1943 khi nhà thần kinh học Warren McCulloch và nhà toán học Walter Pitts viết bài báo mô tả cách thức các nơron hoạt động. Họ cũng đã tiến hành xây dựng một mạng nơron đơn giản bằng các mạch điện. Các nơron của họ được xem như là các thiết bị nhị phân với ngưỡng cố định. Kết quả của các mô hình này là các hàm logic đơn giản chẳng hạn như “ a OR b” hay “a AND b”. Tiếp bước các nghiên cứu này, năm 1949 Donald Hebb cho xuất bản cuốn sách Organization of Behavior. Cuốn sách đã chỉ ra rằng các nơron nhân tạo sẽ trở lên hiệu quả hơn sau mỗi lần chúng được sử dụng. Những tiến bộ của máy tính đầu những năm 1950 giúp cho việc mô hình hóa các nguyên lý của những lý thuyết liên quan tới cách thức con người suy nghĩ đã trở thành hiện thực. Nathanial Rochester sau nhiều năm làm việc tại các phòng thí nghiệm nghiên cứu của IBM đã có những nỗ lực đầu tiên để mô phỏng một mạng nơron. Trong thời kì này tính toán truyền thống đã đạt được những thành công rực rỡ trong khi đó những nghiên cứu về nơron còn ở giai đoạn sơ khai. Mặc dù vậy những người ủng hộ triết lý “thinking machines” (các máy biết suy nghĩ) vẫn tiếp tục bảo vệ cho lập trường của mình. Năm 1956 dự án Dartmouth nghiên cứu về trí tuệ nhân tạo (Artificial Intelligence) đã mở ra thời kỳ phát triển mới cả trong lĩnh vực trí tuệ nhân tạo lẫn mạng nơron. Tác động tích cực của nó là thúc đẩy hơn nữa sự quan tâm của các nhà khoa học về trí tuệ nhân tạo và quá trình xử lý ở mức đơn giản của mạng nơron trong bộ não con người. Những năm tiếp theo của dự án Dartmouth, John von Neumann đã đề xuất việc mô phỏng các nơron đơn giản bằng cách sử dụng rơle điện áp hoặc đèn chân không. Nhà sinh học chuyên nghiên cứu về nơron Frank Rosenblatt cũng bắt đầu nghiên cứu về Perceptron. Sau thời gian nghiên cứu này Perceptron đã được cài đặt trong phần cứng máy tính và được xem như là mạng nơron lâu đời nhất còn được sử dụng đến ngày nay. Perceptron một tầng rất hữu ích trong việc phân loại một tập các đầu vào có giá trị liên tục vào một trong hai lớp. Perceptron tính tổng có trọng số các đầu vào, rồi trừ tổng này cho một ngưỡng và cho ra một trong hai giá trị mong muốn có thể. Tuy nhiên Perceptron còn rất nhiều hạn chế, những HVTH: Nhan Thanh Nhã Page 5 Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên hạn chế này đã được chỉ ra trong cuốn sách về Perceptron của Marvin Minsky và Seymour Papert viết năm 1969. Năm 1959, Bernard Widrow và Marcian Hoff thuộc trường đại học Stanford đã xây dựng mô hình ADALINE (ADAptive LINear Elements) và MADALINE. (Multiple ADAptive LINear Elements). Các mô hình này sử dụng quy tắc học Least-Mean-Squares (LMS: Tối thiểu bình phương trung bình). MADALINE là mạng nơron đầu tiên được áp dụng để giải quyết một bài toán thực tế. Nó là một bộ lọc thích ứng có khả năng loại bỏ tín hiệu dội lại trên đường dây điện thoại. Ngày nay mạng nơron này vẫn được sử dụng trong các ứng dụng thương mại. Năm 1974 Paul Werbos đã phát triển và ứng dụng phương pháp học lan truyền ngược ( back-propagation). Tuy nhiên phải mất một vài năm thì phương pháp này mới trở lên phổ biến. Các mạng lan truyền ngược được biết đến nhiều nhất và được áp dụng rộng dãi nhất nhất cho đến ngày nay. Thật không may, những thành công ban đầu này khiến cho con người nghĩ quá lên về khả năng của các mạng nơron. Chính sự cường điệu quá mức đã có những tác động không tốt đến sự phát triển của khoa học và kỹ thuật thời bấy giờ khi người ta lo sợ rằng đã đến lúc máy móc có thể làm mọi việc của con người. Những lo lắng này khiến người ta bắt đầu phản đối các nghiên cứu về mạng neuron. Thời kì tạm lắng này kéo dài đến năm 1981. Năm 1982 trong bài báo gửi tới viện khoa học quốc gia, John Hopfield bằng sự phân tích toán học rõ ràng, mạch lạc, ông đã chỉ ra cách thức các mạng nơron làm việc và những công việc chúng có thể thực hiện được. Cống hiến của Hopfield không chỉ ở giá trị của những nghiên cứu khoa học mà còn ở sự thúc đẩy trở lại các nghiên cứu về mạng neuron. 1.1.3 . So sánh mạng nơron với máy tính truyền thống Các mạng nơron có cách tiếp cận khác trong giải quyết vấn đề so với máy tính truyền thống. Các máy tính truyền thống sử dụng cách tiếp cận theo hướng giải thuật, tức là máy tính thực hiện một tập các chỉ lệnh để giải quyết một vấn đề. Vấn đề được giải quyết phải được biết và phát biểu dưới dạng một tập chỉ lệnh không nhập nhằng. Những chỉ lệnh này sau đó phải được chuyển sang một chương trình ngôn ngữ bậc cao và chuyển sang mã máy để máy tính có thể hiểu được. Trừ khi các bước cụ thể mà máy tính cần tuân theo được chỉ ra rõ ràng, máy tính sẽ không làm được gì cả. Điều đó giới hạn khả năng của các máy tính truyền thống ở phạm vi giải quyết các vấn đề mà chúng ta đã hiểu và biết chính xác cách thực hiện. Các máy tính sẽ trở lên hữu ích hơn nếu chúng có thể thực hiện được những việc mà bản thân con người không biết chính xác là phải làm như thế nào. Các mạng nơron xử lý thông tin theo cách thức giống như bộ não con người. Mạng được tạo nên từ một số lượng lớn các phần tử xử lý được kết nối với nhau làm việc song song để giải quyết một vấn đề cụ thể. Các mạng nơron học theo mô hình, chúng không thể được lập trình để thực hiện một nhiệm vụ cụ thể. Các mẫu phải được chọn lựa cẩn thận nếu HVTH: Nhan Thanh Nhã Page 6 Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên không sẽ rất mất thời gian, thậm chí mạng sẽ hoạt động không đúng. Điều hạn chế này là bởi vì mạng tự tìm ra cách giải quyết vấn đề, thao tác của nó không thể dự đoán được. Các mạng nơron và các máy tính truyền thống không cạnh tranh nhau mà bổ sung cho nhau. Có những nhiệm vụ thích hợp hơn với máy tính truyền thống, ngược lại có những nhiệm vụ lại thích hợp hơn với các mạng nơron. Thậm chí rất nhiều nhiệm vụ đòi hỏi các hệ thống sử dụng tổ hợp cả hai cách tiếp cận để thực hiện được hiệu quả cao nhất. (thông thường một máy tính truyền thống được sử dụng để giám sát mạng nơron) 1.2 Nơron sinh học và nơron nhân tạo 1.2.1 Nơron sinh học Qua quá trình nghiên cứu về bộ não, người ta thấy rằng: bộ não con người bao gồm khoảng 10 11 nơron tham gia vào khoảng 10 15 kết nối trên các đường truyền. Mỗi đường truyền này dài khoảng hơn một mét. Các nơron có nhiều đặc điểm chung với các tế bào khác trong cơ thể, ngoài ra chúng còn có những khả năng mà các tế bào khác không có được, đó là khả năng nhận, xử lý và truyền các tín hiệu điện hóa trên các đường mòn nơron, các con đường này tạo nên hệ thống giao tiếp của bộ não. Hình : Cấu trúc của một nơron sinh học điển hình Mỗi nơron sinh học có 3 thành phần cơ bản: Các nhánh vào hình cây ( dendrites) Thân tế bào (cell body) Sợi trục ra (axon) Các nhánh hình cây truyền tín hiệu vào đến thân tế bào. Thân tế bào tổng hợp và xử lý cho tín hiệu đi ra. Sợi trục truyền tín hiệu ra từ thân tế bào này sang nơron khác. Điểm liên kết giữa sợi trục của nơron này với nhánh hình cây của nơron khác gọi là synapse. Liên kết giữa các nơron và độ nhạy của mỗi synapse được xác định bởi quá trình hóa học phức tạp. Một số cấu trúc của nơron được xác định trước lúc sinh ra. Một số cấu trúc được phát triển HVTH: Nhan Thanh Nhã Page 7 Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên thông qua quá trình học. Trong cuộc đời cá thể, một số liên kết mới được hình thành, một số khác bị hủy bỏ. Như vậy nơron sinh học hoạt động theo cách thức sau: nhận tín hiệu đầu vào, xử lý các tín hiệu này và cho ra một tín hiệu output. Tín hiệu output này sau đó được truyền đi làm tín hiệu đầu vào cho các nơron khác. Dựa trên những hiểu biết về nơron sinh học, con người xây dựng nơron nhân tạo với hy vọng tạo nên một mô hình có sức mạnh như bộ não. 1.2.2 Nơron nhân tạo Một nơron là một đơn vị xử lý thông tin và là thành phần cơ bản của một mạng nơron. Cấu trúc của một nơron được mô tả trên hình dưới. Hình : Nơron nhân tạo Các thành phần cơ bản của một nơron nhân tạo bao gồm: ♦ Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này thường được đưa vào dưới dạng một vector N chiều. ♦ Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng số liên kết – Synaptic weight). Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường được kí hiệu là w kj . Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng. ♦ Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó. ♦ Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền. ♦ Hàm truyền (Transfer function) : Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông thường, phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1, 1]. Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của người thiết kế mạng. Một số hàm truyền thường sử dụng trong các mô hình mạng nơron được đưa ra trong bảng 1 . ♦ Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra. Xét về mặt toán học, cấu trúc của một nơron k, được mô tả bằng cặp biểu thức sau: HVTH: Nhan Thanh Nhã Page 8 Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên [cong thuc] trong đó: x 1 , x 2 , , x p : là các tín hiệu vào; (w k1 , w k2, , w kp) là các trọng số liên kết của nơron thứ k; u k là hàm tổng; b k là một ngưỡng; f là hàm truyền và y k là tín hiệu đầu ra của nơron. Như vậy tương tự như nơron sinh học, nơron nhân tạo cũng nhận các tín hiệu đầu vào, xử lý ( nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền), và cho một tín hiệu đầu ra ( là kết quả của hàm truyền). Về mặt toán học, cấu trúc của một neuron i được mô tả bằng cặp biểu thức sau: )( iii netfy θ −= và j n j iji xwnet ∑ = = 1 trong đó: x 1 , x 2 , …x m là các tín hiệu đầu vào, còn w i1 , w i2 ,…,w im là các trọng số kết nối của neuron thứ i, net i là hàm tổng, f là hàm truyền, i θ là một ngưỡng, y i là tín hiệu đầu ra của neuron. Hàm truyền có thể có các dạng sau: - Hàm bước    < ≥ = 00 01 xkhi xkhi y (1) - Hàm giới hạn chặt (hay còn gọi là hàm bước)    <− ≥ == 01 01 )sgn( xkhi xkhi xy (2) - Hàm bậc thang      < ≤≤ > == 00 10 11 )sgn( xkhi xkhix xkhi xy (3) - Hàm ngưỡng đơn cực x λ − + = e y 1 1 với λ>0 (4) - Hàm ngưỡng hai cực 1 1 2 − + = − x λ e y với λ>0 (5) Đồ thị các dạng hàm truyền được biểu diễn như sau: HVTH: Nhan Thanh Nhã Page 9 Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên Hình 3: Đồ thị các dạng hàm truyền 1.3 Mô hình mạng nơron Mặc dù mỗi nơron đơn lẻ có thể thực hiện những chức năng xử lý thông tin nhất định, sức mạnh của tính toán nơron chủ yếu có được nhờ sự kết hợp các nơron trong một kiến trúc thống nhất. Một mạng nơron là một mô hình tính toán được xác định qua các tham số: kiểu nơron (như là các nút nếu ta coi cả mạng nơron là một đồ thị), kiến trúc kết nối (sự tổ chức kết nối giữa các nơron) và thuật toán học (thuật toán dùng để học cho mạng). Về bản chất một mạng nơron có chức năng như là một hàm ánh xạ F: X → Y, trong đó X là không gian trạng thái đầu vào (input state space) và Y là không gian trạng thái đầu ra (output state space) của mạng. Các mạng chỉ đơn giản là làm nhiệm vụ ánh xạ các vector đầu vào x ∈ X sang các vector đầu ra y ∈ Y thông qua “bộ lọc” (filter) các trọng số. Tức là y = F(x) = s(W, x), trong đó W là ma trận trọng số liên kết. Hoạt động của mạng thường là các tính toán số thực trên các ma trận. 1.3.1. Các kiểu mô hình mạng nơron Cách thức kết nối các nơron trong mạng xác định kiến trúc (topology) của mạng. Các nơron trong mạng có thể kết nối đầy đủ (fully connected) tức là mỗi nơron đều được kết nối với tất cả các nơron khác, hoặc kết nối cục bộ (partially connected) chẳng hạn chỉ kết nối giữa các nơron trong các tầng khác nhau. Người ta chia ra hai loại kiến trúc mạng chính: ♦ Tự kết hợp (autoassociative): là mạng có các nơron đầu vào cũng là các nơron đầu ra. Mạng Hopfield là một kiểu mạng tự kết hợp. Hình 4: Mạng tự kết hợp HVTH: Nhan Thanh Nhã Page 10 [...]... ứng dụng trong lĩnh vực hoàn thiện mẫu, trong đó có một ứng dụng cụ thể là nhận dạng chữ viết Nhiệm vụ tổng quát của một mạng neural là lưu giữ động các thông tin Dạng thông tin lưu giữ này chính là quan hệ giữa các thông tin đầu vào và các đáp ứng đầu ra tương ứng, để khi có một kích thích bất kỳ tác động vào mạng, mạng có khả năng suy diễn và đưa ra một đáp ứng phù hợp Đây chính là chức năng nhận dạng. .. Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên Nguyên lý cấu tạo của mạng nơron bao gồm nhiều lớp, mỗi lớp bao gồm nhiều neuron có cùng chức năng trong mạng Hình 9 là mô hình hoạt động của một mạng nơron 3 lớp với 8 phần tử neuron Mạng có ba đầu vào là x1, x2, x3 và hai đầu ra y1, y2 Các tín hiệu đầu vào được đưa đến 3 neuron đầu vào, 3 neuron này làm thành lớp đầu vào của mạng Các neuron trong lớp... ví dụ trong bài toán nhận dạng chữ số: với mỗi mẫu ta lưu tọa độ (x,y) của 8 điểm trên chữ số đó, và nhiệm vụ của mạng là phân loại các mẫu này vào một trong 10 lớp tương ứng với 10 chữ số 0, 1, …, 9 Khi đó p là kích thước mẫu và bằng 8 x 2 = 16; q là số lớp và bằng 10 ♦ Mỗi nơron thuộc tầng sau liên kết với tất cả các nơron thuộc tầng liền trước nó ♦ Đầu ra của nơron tầng trước là đầu vào của nơron. .. của mạng neural Để thực hiện chức năng này, mạng neural đóng vai trò như một bộ phận tổ chức các nhóm thông tin đầu vào, và tương ứng với mỗi nhóm là một đáp ứng đầu ra phù hợp Như vậy, một nhóm bao gồm một loại thông tin đầu vào và một đáp ứng đầu ra Các nhóm có thể được hình thành trong quá trình học, và cũng có thể không hình thành trong quá trình học HVTH: Nhan Thanh Nhã Page 14 Đồ Án: Máy Học & Ứng. ..Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên ♦ Kết hợp khác kiểu (heteroassociative): là mạng có tập nơron đầu vào và đầu ra riêng biệt Perceptron, các mạng Perceptron nhiều tầng (MLP: MultiLayer Perceptron), mạng Kohonen, … thuộc loại này Hình 5: Mạng kết hợp khác kiểu Ngoài ra tùy thuộc vào mạng có các kết nối ngược (feedback connections) từ các nơron đầu ra tới các nơron đầu vào hay không,... Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên Hình 7: Mạng phản hồi 1.3.2 Perceptron Perceptron là mạng nơron đơn giản nhất, nó chỉ gồm một nơron, nhận đầu vào là vector có các thành phần là các số thực và đầu ra là một trong hai giá trị +1 hoặc -1 Hình 8: Perceptron Đầu ra của mạng được xác định như sau: mạng lấy tổng có trọng số các thành phần của vector đầu vào, kết quả này cùng ngưỡng b được đưa vào... nhiều hơn so với mạng truyền thẳng và mạng hồi quy có trọng số liên kết đối xứng 1.4.5 Mạng Hopfield Mạng Hopfield là mạng phản hồi một lớp, được chỉ ra trong hình 13 Cấu trúc chi tiết của nó được thể hiện trong hình 15 Khi hoạt động với tín hiệu rời rạc, nó được gọi là mạng Hopfield rời rạc, và cấu trúc của nó cũng được gọi là mạng hồi quy HVTH: Nhan Thanh Nhã Page 16 Đồ Án: Máy Học & Ứng Dụng PGS TS:... giáo” Cũng giống như việc ta dạy một em nhỏ các chữ cái Ta đưa ra một chữ “a” và bảo với em đó rằng đây là chữ “a” Việc này được thực hiện trên tất cả các mẫu chữ cái Sau đó khi kiểm tra ta sẽ đưa ra một chữ cái bất kì (có thể viết hơi khác đi) và hỏi em đó đây là chữ gì? học có giám sát, thì tại mỗi thời điểm khi đầu vào được cung cấp tới mạng neural, phản ứng đầu ra mong muốn d tương ứng của hệ thống... song HVTH: Nhan Thanh Nhã Page 21 Đồ Án: Máy Học & Ứng Dụng - PGS TS: Vũ Thanh Nguyên Là hệ học và thích nghi: Mạng được luyện từ số liệu quá khứ, có khả năng tự chỉnh đầu vào khi số liệu đầu vào bị mất Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MISO), rất tiện dùng khi điều khiển đối tượng có nhiều biến số HVTH: Nhan Thanh Nhã Page 22 Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên CHƯƠNG 3: THUẬT... khả vi: tức là s(u) liên tục và có đạo hàm trên toàn trục số Một hàm truyền dạng - S điển hình và được áp dụng rộng rãi là hàm Sigmoid b Xác định số nơron tầng ẩn Câu hỏi chọn số lượng noron trong tầng ẩn của một mạng MLP thế nào là khó, nó phụ thuộc vào bài toán cụ thể và vào kinh nghiệm của nhà thiết kế mạng Nếu tập dữ liệu HVTH: Nhan Thanh Nhã Page 29 Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên . Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên ĐẠI HỌC QUỐC GIA THÀNH PHỐ HCM ĐẠI HỌC CÔNG NGHỆ THÔNG TIN  BÁO CÁO THU HOẠCH MÔN HỌC MÁY HỌC & ỨNG DỤNG ĐỀ TÀI MẠNG NƠRON & ỨNG. CHƯƠNG TRÌNH ỨNG DỤNG MẠNG NƠRON HVTH: Nhan Thanh Nhã Page 4 Đồ Án: Máy Học & Ứng Dụng PGS TS: Vũ Thanh Nguyên CHƯƠNG 1: TỔNG QUAN VỀ MÔ HÌNH MẠNG NƠRON 1.1 Giới thiệu về mạng nơron nhân. đầu vào và một đáp ứng đầu ra. Các nhóm có thể được hình thành trong quá trình học, và cũng có thể không hình thành trong quá trình học. HVTH: Nhan Thanh Nhã Page 14 Đồ Án: Máy Học & Ứng Dụng