iv              IC     (Programmable Logic Device) và FPGA (Field Programmable Gate Array) ngày    chúng          HDL (Hardwave  . M  , xâ  ng Neural          m và , c  HDL) là  . N  .    Neural        v ABSTRACT Today, with the development of increasingly powerful in IC engineering. The design companies have tended to be more integrated various fuctions on an IC. Hence, the companies have designed PLD (Programmable Logic Device) and FPGA (Field Programmable Gate Array) chip. To use the function that this chip, we have to bring up the idea to chip in our design. Along with the advent of the PLD and FPGA chip is hardware description language (HDL Hardwave Description Language) that the design of the circuit used to describe and design digital circuits on the chip. Artificial Neural Network application in various areas: Aerospace, transportation, banking, military, electronics, entertainment, construction, finance, medicine, industry, oil and gas, robotics, language, information. . . . Hence, the construction of neural network on chip architecture, implemented via FPGA or ASIC with 180nm and 65nm technology is a big challenge. The adaptation of the algorithm, the high-level programming language (Matlab, C + + ) to the hardware architecture languages (Verilog / HDL) is one of the recent study. So building successful micro architecture for Neural network is an important prerequisite for promoting the development of other sectors. Thesis approaches Neural network applications to build micro architecture and application assessment is done through micro architecture of the neural network backpropagation algorithm. Neural network after construction will be able to develop other applications easily, such as: increasing Neural per layer and the number of layers in the neural network vi  TRANG  i  ii  iii  iv ABSTRACT v  vi  ix  xii  1   1  3  4  4  5  6  7  7  10  10  quát 11  12  14  15  15  16 vii  19  20  22  22  24 2.6.3  26 2.6.4 Các  28 2.7  29 2.8  29 2.9  32 2.10  36 2.11  37  39  39  41  49 3.3.1 Hàm Sigmoid 49 3.32 Hàm Tansig 50  52  52 4.2 H 54  55  57  58 4.4.2 Tính hàm E 59  k 60  h1  h2 61  62 4.5  63 viii  65  65  66  66 5.4 Tính Net 67 5.5 Tính Tansig 1 68 5.6 Tính Tansig 2 68 5.7 Tính Net 3 69 5.8 Tính Sigmoid 69 5.9 Tính E 70 5.10  70 5.11  k 71 5.12  h1 71 5.13  h2 72 5.14  72 5.15 -Backpropagation 76 5.16  77 5.17 -register 78 5.18  79  81  82 ix  HÌNH Hình 1.1 TRANG  4 Hình 2.1  7 Hình 2.2  8 Hình 2.3  8 Hình 2.4  9 Hình 2.5 Hình 2.6  9 Mô hì 10 Hình 2.7  10 Hình 2.8  11 Hình 2.9 Hình 2.10  12  13 Hình 2.11 Hình 2.12 Hình 2.13 Hình 2.14 Hình 2.15 Hình 2.16 Hình 2.17 Hình 2.18 Hình 2.19 Hình 2.20 Hình 2.21 Hình 2.22 Hình 2.23 Hình 3.1 Hình 3.2  13 -sigmod 14  14  15  16  17  17  19  19  20 ra 22 Verilog Abstraction Level 30 Mô hình kit DE2 37  39  40 x Hình 3.3 Hình 3.4 Hình 3.5 Hình 4.1 Hình 4.2 Hình 4.3 Hình 4.4 Hình 4.5 Hình 4.6 Hình 4.7 Hình 4.8 Hình 5.1 Hình 5.2 Hình 5.3 Hình 5.4 Hình 5.5 Hình 5.6 Hình 5.7 Hình 5.8 Hình 5.9 Hình 5.10 Hình 5.11 Hình 5.12 Hình 5.13 Hình 5.14 Hình 5.15 Hình 5.16 Hình 5.17 Hình 5.18 Backpropagation 44 Hàm Sigmoid 50 Hàm Tansig 50  52  58 S 59  60  k 61  hi 61  62  63  65  66  67 Tính Net 67 Tính Tansig 1 68 Tính Tansig 2 68 Tính Net 3 69 Tính Sigmoid 69 Tính E 70  70  k 71  h1 71  h2 72  1 ) 72  2 ) 73  3 ) 73 (w 4 ) 74  5 ) 74 xi Hình 5.19 Hình 5.20 Hình 5.21 Hình 5.22 Hình 5.23 Hình 5.24  6 ) 75 -Backpropagation 76  77 -register 78  79  80 xii -     Input Ngõ vào Output Ngõ ra System on Chip  SoC Memory  I/O Ngõ vào ra I/O Comunication  Altera Công ty Altera Field Programable Gate Array  FPGA Mentor Công ty Mentor Graphic Bus  Place and Route  P & R Routing  Simulate  ModelSim  Register Transfer Level  RTL Dendrite  Synapse  Perceptron  Feedforward  Axon  Clock_50  Register Thanh ghi Error  Weight  xiii    Verilog HDL  Backpropagation  Block Diagram  System C  Place &Router  Classic Timing Analyzer  Analysis & Synthesis  [...]... nghiên c u  Nghiên cứu lý thuyết: GVHD: TS HOÀNG TRANG 4 HV: Nguyễn Lâm Thương Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học o Tìm hiểu lý thuyết mạng Neural nhân tạo và một số công trình nghiên cứu mạng Neural trong và ngoài nước o Phân tích các giải pháp xây dựng kiến trúc mạng neural, sử dụng giải thuật cho thuật toán học Backpropagation  Nghiên cứu thực nghiệm: o Nghiên cứu kiến trúc. .. thuật cho thuật toán học Backpropagation GVHD: TS HOÀNG TRANG 3 HV: Nguyễn Lâm Thương Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học Quy trình thiết kế tuân theo quy trình thiết kế chuẩn Ngôn ngữ thiết kế cho thực hiện mạng Neural và giải thuật cho thuật toán học Backpropagation là Verilog HDL-IEEE Hình 1.1:Quy trình thiết kế chip Khối mạng Neural sau khi xây dựng sẽ có khả năng phát triển cho. . .Nghiên cứu và thực hiện cấu trúc VLSI cho thuật toán học CHƯƠNG 1 TỔNG QUAN 1.1 T ng quan chung về lĩnh vực nghiên c u, các k t qu nghiên c u trong vƠ ngoƠi n ớc đƣ công b Những năm gần đây mạng Neural đã được nghiên cứu, đề xuất các cấu trúc và luật học cho nhiều loại mạng neural truyền thẳng và hồi quy mới, có rất nhiều ưu điểm Năm 1943, McCulloch và Pitts đã đề xuất một... Yean Yng (Singapore) và Minliu (USA): ng dụng mạng Neural để dự báo kế hoạch thực hiện xây dựng ở Singapore Theo nghiên cứu, đầu vào GVHD: TS HOÀNG TRANG 2 HV: Nguyễn Lâm Thương Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học thực hiện 11 phép đo và 65 nhân tố tác động đến thành công của 33 dự án trước đây, đầu ra chỉ ra 6 phép đo dự báo sự thành công của kế hoạch thực hiện dự án với mức độ... th i Những giải thuật được thực hiện trên software không tận dụng tính song song của mạng Kiến trúc vi mạch thực hiện trên nền FPGA sẽ thể hiện tính chất song song để tăng tốc độ xử lý GVHD: TS HOÀNG TRANG 5 HV: Nguyễn Lâm Thương Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học Việc xây dựng mạng Neural trên cấu trúc vi mạch, thể hiện qua FPGA hay ASIC với công nghệ 180nm và 65nm là một trong... bản mạng Neural  Ch ng 3 ậ Thu t toán Backpropagation:Giải thuật thực hiện đề tài  Ch ng 4 Nghiên c u thu t toán: Tìm hiểu các module thực hiện đề tài  Ch ng 5 ậ K t qu : Kết quả mô phỏng và chạy thực nghiệm trên kit DE2  Ch ng 6ậ K t lu n: Đánh giá và mở rộng đề tài GVHD: TS HOÀNG TRANG 6 HV: Nguyễn Lâm Thương Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học CHƯƠNG 2 CƠ SỞ Lụ THUY T 2.1... nhiều lớp Và tất nhiên ứng với mỗi ứng dụng khác nhau sẽ được nghiên cứu và phát triển một kiến trúc mạng Neural tối ưu nhất cho ứng dụng đó GVHD: TS HOÀNG TRANG 21 HV: Nguyễn Lâm Thương Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học 2.6 Xem xét vƠ đánh giá các gi i thu t huấn luy n cho m ng Neural ng với mỗi cấu trúc mạng Neural khác nhau sẽ có những giải thuật tương ứng phù hợp với nó Và vì... Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học  Y học: phân tích tế bào ung thư, thiết kế các bộ phận giả cho cơ thể  Công nghiệp: kiểm soát các dây truyền công nghiệp, phân tích và thiết kế sản phẩm, dự báo chất lượng sản phẩm  Còn nhiều các ứng dụng: giao thông, ngân hàng, robotics, xây dựng, dầu khí Thuật toán học Backpropagation được Rumelhart, Hinton và Williams đề xuất thực hiện. .. Thương Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học Phân cực  sẽ làm dịch chuyển hàm fqua trái một đoạn  , flà hàm kích hoạt, nó nhận tham số Hvào và cho đầu ra là o, thông thư ng thì f là hàm nấc (step) hay hàm sigmoid số Mấu chốt của mạng là ở chỗ  và w có thể điều khiển được thông qua tự học bắt buộc, để cho hệ có thể thực hiện được một yêu cầu cụ thể nào đó hay nói cách khác thì  và. .. luyện cho mạng Neural truyền thẳng nhiều lớp (năm 1986) Ngày này, Cấu trúc mạng Neural có rất nhiều nghiên cứu về giải thuật và thuật toán học Tuy nhiên, Những công trình nghiên cứu ứng dụng mạng Neural truyền thẳng sử dụng thuật toán Backpropagation luôn luôn được lựa chọn bởi ưu điểm đơn giản và hiệu quả Đây là một số công trình nghiên cứu trong và ngoài nước ứng dụng thuật toán Backpropagation cho .    Input Ngõ vào Output Ngõ ra System on Chip  SoC Memory  I/O Ngõ vào ra I/O Comunication  Altera Công. nhiên   toán Backpropagati.  NETtalk (Sejnowski và Rosenberg,1987): ,  ().  g bài báo và nghiên g   .