CHƯƠNG 2 MÔ HÌNH MẠNG NEURAL NETWORKS Mô hình mạng Neural tổng quát có dạng như sau : Ngày nay mạng Neural có thể giải quyết nhiều vấn đề phức tạp đối với con người, áp dụng trong nhiều lónh vực như nhận dạng, đònh dạng, phân loại, xử lý tín hiệu, hình ảnh v.v… 1. MÔ HÌNH NEURON VÀ CẤU TRÚC MẠNG 1.1 Mô hình neuron Cấu trúc một Neuron Ngõ vào một neuron có thể là đại lượng vô hướng hoặc có hướng, đại lượng này được nhân với trọng số tương ứng để đưa vào neuron, hoặc có thể cộng thêm ngưỡng (bias), thường bằng 1. Dưới đây là mô hình một neuron với ngõ vào vô hướng p không có ngưỡng b (hình bên trái) và có ngưỡng b (hình bên phải). Ngõ vào vô hướng p được nhân với trọng số vô hướng w tạo thành wp, đối số wp (hình bên trái) qua hàm truyền f cho kết quả đầu ra là vô hướng a = f(wp). Hình bên phải là neuron có ngưỡng b, giá trò b được cộng với wp rồi qua hàm truyền f cho kết quả đầu ra là vô hướng a = f(wp+b). Có thể điều chỉnh những thông số của neuron như trọng số và ngưỡng (w và b) để đạt được yêu cầu mong muốn nghóa là “huấn luyện” mạng. Hàm truyền Có rất nhiều hàm truyền áp dụng trong Neural Networks, trong đó ba hàm thường sử dụng nhất là Hard Limit, Linear, Log-Sigmoid. Tổng quát với một hàm truyền có đầu vào là một hoặc một nhóm vector thì đầu ra là a = f ( p * w + b ). Với a : đầu ra p : đầu vào w : trọng số b : ngưỡng f : hàm truyền Vậy một ngõ vào với các hàm truyền khác nhau sẽ cho các kết quả khác nhau. Để có giải pháp tối ưu thì cần phải có kinh nghiệm sử dụng các hàm truyền hoặc phải tốn một khoảng thời gian để thử nghiệm hàm truyền. Neuron với Vector nhập Một neuron được cho trên hình vẽ sau với vector nhập p = [p 1 , p 2 , ……p R ], trọng số W = w 1,1 , w 1,2 ,……w 1,R , ngưỡng b và hàm truyền f . Tổng đối số và ngưỡng tạo ở ngõ ra n là n = w 1,1 p 1 + w 1,2 ,p 2 + ……w 1,R p R + b hay n = W*p + b Nếu có nhiều neuron thì cách biểu diễn trên không hiệu quả, do đó có thể đònh nghóa một lớp gồm nhiều neuron như sau. 1.2 Cấu trúc mạng Hai hay nhiều neuron kết hợp thành một lớp, và một mạng riêng biệt có thể chứa một hay nhiều lớp neuron. Một lớp neuron Trong hình dưới mô tả một lớp neuron với : R : số phần tử của vectơ đầu vào S : số neuron trong lớp a : vector ngõ ra của lớp neuron Ma trận trọng số W :             = RSSS R R www www www W ,2,1, ,22,11,2 ,12,11,1 . . . Một lớp mạng được vẽ gọn như sau : Mạng nhiều lớp neuron Mạng có nhiều lớp, mỗi lớp có một ma trận W, một ngưỡng b và một vectơ ngõ ra a. Thông thường giá trò ra của một lớp là giá trò vào của lớp tiếp theo. Mỗi lớp trong mạng đảm nhiệm vai trò khác nhau, lớp cho kết quả ở đầu ra của mạng được gọi là lớp ngõ ra _ output layer, tất cả các lớp còn lại được gọi là lớp ẩn _ hidden layers. Mạng đa lớp có khả năng xử lý rất lớn. Chẳng hạn như một mạng có hai lớp, lớp thứ nhất là sigmoid, lớp thứ hai là linear có thể được huấn luyện đến một hàm gần đúng với một số kết nối cố đònh. 2. CẤU TRÚC DỮ LIỆU Cấu trúc đònh dạng của dữ liệu vào ảnh hưởng đến việc mô phỏng của mạng. Có hai loại mạng static network và dynamic network. Hai kiểu vector đầu vào cơ bản là kiểu xảy ra đồng thời (concurrently) và kiểu xảy ra liên tục theo thời gian (sequentially). Kiểu đầu vào xảy ra đồng thời được mô phỏng trong mạng tónh (không có hồi tiếp hoặc trễ), thứ tự của các vector đầu vào không quan trọng và chúng không ảnh hưởng lẫn nhau. Kiểu đầu vào xảy ra liên tục được mô phỏng trong mạng dynamic. Thứ tự các giá trò đầu vào rất quan trọng. Trong trường hợp này, giá trò đầu ra thu được là do giá trò vào hiện tại và giá trò vào trước đó. Nếu thay đổi thứ tự của dữ liệu vào thì sẽ làm thay đổi dữ liệu ra. 3. KIỂU HUẤN LUYỆN Trong phần này mô tả hai kiểu huấn luyện khác nhau. • Incremental training : trọng số và ngưỡng của mạng được cập nhập mỗi khi có dữ liệu vào mạng. Kiểu này ứng dụng trong cả hai mạng tónh và động, tuy nhiên thường dùng trong mạng động nhiều hơn, như là những bộ lọc thích ứng. • Batch training : trọng số và ngưỡng của mạng chỉ được cập nhập sau khi tất cả dữ liệu đã vào mạng, dùng trong cả hai mạng tónh và động. 4. KẾT LUẬN Đầu vào của một neuron gồm ngưỡng b và tổng các trọng số vào. Ngõ ra của neuron phụ thuộc vào đầu vào và hàm truyền. Neuron đơn rất ít sử dụng. Tuy nhiên một vài neuron có thể kết hợp thành một lớp hay nhiều lớp thì khả năng xử lý cao hơn. Vấn đề đơn giản có thể trình bày bằng một lớp đơn. Tuy nhiên, nó không giải quyết được nhiều vấn đề phức tạp. Mạng đa lớp feedforward có khả năng giải quyết lớn hơn. Cấu trúc một mạng có thể mô tả bằng số lớp, số neuron trong một lớp, hàm truyền của mỗi lớp và kết nối giữa các lớp. Tùy thuộc vấn đề mạng cần giải quyết mà có cấu trúc khác nhau. Nếu một ánh xạ tuyến tính cần mô tả nên sử dụng neuron tuyến tính. Tuy nhiên, mạng tuyến tính không thể thực hiện bất cứ tính toán phi tuyến nào. Sử dụng hàm truyền phi tuyến để tạo cho mạng có khả năng thực hiện mối quan hệ phi tuyến giữa đầu vào và đầu ra. Mạng có ngưỡng b có thể mô tả mối quan hệ giữa đầu vào và đầu ra dễ dàng hơn mạng không có ngưỡng b. Ví dụ một neuron không có ngưỡng sẽ luôn tạo ra ngõ vào zero cho hàm truyền (khi tất cả ngõ vào neuron là zero). Tuy nhiên một neuron với ngưỡng có thể học để tạo ra một ngõ nhập cho bất kỳ hàm truyền nào trong cùng một điều kiện bằng cách học tập những giá trò gần đúng của ngưỡng. . CHƯƠNG 2 MÔ HÌNH MẠNG NEURAL NETWORKS Mô hình mạng Neural tổng quát có dạng như sau : Ngày nay mạng Neural có thể giải quyết nhiều. nhận dạng, đònh dạng, phân loại, xử lý tín hiệu, hình ảnh v.v… 1. MÔ HÌNH NEURON VÀ CẤU TRÚC MẠNG 1.1 Mô hình neuron Cấu trúc một Neuron Ngõ vào một neuron