BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP - TRẦN NGỌC ÁNH NGHIÊN CỨU THIẾT KẾ MẠNG NORON TRUYỀN THẲNG NHIỀU LỚP BẰNG CÁC PHẦN TỬ ĐIỆN TỬ THÔNG THƢỜNG LUẬN VĂN THẠC SĨ Chuyên ngành : Tự động hố Mã số:… TĨM TẮT LUẬN VĂN THẠC SĨ Thái Nguyên, năm 2013 Mục lục MỞ ĐẦU 1 Tính cấp thiết đề tài: Ý nghĩa khoa học ý nghĩa thực tiễn đề tài a Ý nghĩa khoa học: b Ý nghĩa thực tiễn: Mục đích nghiên cứu: Phƣơng pháp nghiên cứu: Kết cấu luận văn: CHƢƠNG 1: TỔNG QUAN VỀ MẠNG NORON NHÂN TẠO 1.1 Mô hình nơron nhân tạo: 1.2 Cấu trúc mạng nơron: 1.3 Các tính chất mạng nơron nhân tạo: 1.4 Các luật học: 1.4.1 Học có giám sát: 1.4.2 Học củng cố: 1.4.3 Học giám sát: 1.5 Ứng dụng mạng nơron điều khiển tự động: 1.6 Công nghệ phần cứng sử dụng mạng nơron: 1.7 Kết luận chƣơng 1: CHƢƠNG 2: LÝ THUYẾT VỀ THIẾT KẾ PHẦN CỨNG MẠNG NORON NHÂN TẠO 2.1 Giới thiệu chung: 2.1.1 Thực thi mạng noron nhân tạo phần cứng tƣơng tự: 2.1.2 Thực thi luật học phần cứng tƣơng tự: 2.2 Hệ thống xử lý mạng noron: 2.2.1 Mơ hình mạng noron nhân tạo: 2.2.1.1 Noron: 2.2.1.2 Mạng noron: 2.2.2 Lập biểu đồ thuật toán VLSI: 2.2.2.1 Cấu trúc: 2.2.2.2 Sự phát tín hiệu: 2.2.2.3 Bộ nhớ: 2.2.2.4 Mạch nhân: 2.2.2.5 Hàm chuyển đổi: 2.2.3 Thiết kế chip: 2.2.3.1 Chip noron: 2.2.3.2 Chip khớp thần kinh: 2.2.3.3 Chip thần kinh đầu vào rời rạc: 2.2.4 2.2.4.1 Đo lƣờng chip: Chip noron: 2.2.4.2 Chip khớp thần kinh: 2.2.4.3 Chip đa hợp: 2.3 Kết luận chƣơng 2: CHƢƠNG 3: THỰC HIỆN ON-CHIP LAN TRUYỀN NGƢỢC 3.1 Thuật toán lan truyền ngƣợc: 3.1.1 Các khái niệm bản: 3.1.2 Những thay đổi thuật toán: 3.2 Sự đặt thuật toán VLSI: 3.3 Thiết kế chip: 3.3.1 Chip khớp thần kinh: 3.3.2 Chip noron: 3.4 Các phép đo chip: 10 3.4.1 Chip khớp thần kinh: 10 3.4.2 Chip noron: 10 3.4.3 Cải thiện tính tốn đạo hàm: 10 3.5 Thiết kế hệ thống: 10 3.5.1 Liên kết ASIC: 11 3.5.2 Phần cứng cập nhật trọng số: 11 3.6 Lan truyền ngƣợc khơng tuyến tính: 11 3.6.1 Đạo hàm thuật toán: 11 3.6.2 Thực phần cứng: 12 3.7 Kết luận chƣơng 3: 13 KẾT LUẬN, KIẾN NGHỊ VÀ HƢỚNG NGHIÊN CỨU TIẾP THEO 13 Kết luận: 13 Kiến nghị hƣớng nghiên cứu tiếp theo: 13 MỞ ĐẦU Tính cấp thiết đề tài: Bộ não ngƣời sản phẩm hồn hảo tạo hóa, có khả học tƣ sáng tạo Hiện nay, ngƣời nghiên cứu phƣơng thức hoạt động não, sau áp dụng cho nhƣng cơng nghệ đại Để tiếp cận khả học, ngƣời ta đƣa mơ hình mạng nơron gồm nơron liên kết với thành mạng theo cấu trúc mạng thần kinh ngƣời Mỗi nơron riêng lẻ có khả xử lý thơng tin chậm, nhƣng chúng đƣợc liên kết với thành mạng, khả xử lý thông tin mạnh nhiều Mỗi cấu trúc mạng có ƣu điểm đặc thù, chúng cho ta công cụ mạnh lĩnh vực kỹ thuật điều khiển kỹ thuật thông tin Một mạng nơron nhân tạo gồm nơron nhân tạo liên kết với thành mạng Các ứng xử mạng nơron nhân tạo giống nhƣ não ngƣời, có khả học tƣ nhƣ não ngƣời Các nghiên cứu ứng dụng mạng nơron nhân tạo vào giải toán nhận mẫu, nhân dạng, điều khiển kỹ thuật điều khiển tự động hóa đƣợc phát triển rộng rãi thời gian Trong việc nghiên cứu thiết kế phần cứng để tạo đƣợc nơron nhân tạo mạng nơron nhân tạo mẻ Ngày kỹ thuật điện tử phát triển mạnh với nhiều kỹ thuật tích hợp vi mạch xử lý tích hợp lớn có tốc độ cao đa dạng Việc ứng dụng thành tựu vào thiết kế để tạo đƣợc chíp thực luật học nhƣ mạng nơron nhân tạo hƣớng Do việc “Nghiên cứu thiết kế mạng nơron truyền thẳng nhiều lớp phần tử điện tử thông thƣờng” đề tài mang tính cấp thiết kỹ thuật Ý nghĩa khoa học ý nghĩa thực tiễn đề tài a Ý nghĩa khoa học: Đề tài đề xuất phƣơng pháp, xây dựng sơ đồ thiết kế để thực thiết kế phần cứng cho mạng nơron truyền thẳng nhiều lớp phần tử điện tử thông thƣờng b Ý nghĩa thực tiễn: Thiết kế đƣợc sơ đồ mạng nơron truyền thẳng nhiều lớp Mục đích nghiên cứu: - Nghiên cứu thực mạng nơron nhân tạo phần cứng dùng thiết bị tƣơng tự - Thiết kế đƣợc mạng nơron truyền thẳng nhiều lớp phần tử điện tử thông thƣờng Phƣơng pháp nghiên cứu: - Nghiên cứu sách, giáo trình, báo, luận văn, nghiên cứu khoa học khác tài liệu liên quan - Tiến hành thực thiết kế đƣợc sơ đồ mạch cụ thể Kết cấu luận văn: Ngoài phần mở đầu, kết luận, danh mục tài liệu tham khảo, lận văn đƣợc kết cấu thành chƣơng: Chƣơng 1: Tổng quan mạng noron nhân tạo Chƣơng 2: Lý thuyết thiết kế phần cứng mạng noron nhân tạo Chƣơng 3: Thực on-chip lan truyền ngƣợc CHƢƠNG 1: TỔNG QUAN VỀ MẠNG NORON NHÂN TẠO 1.1 Mô hình nơron nhân tạo: Dựa vào cấu trúc noron sinh học có nhiều mơ hình noron nhân tạo đƣợc đƣa ra; mơ hình noron nhân tạo dạng M-P, Culloch Pitts đề xuất năm 1943 có dạng nhƣ sau: x1 xi xm-1 wi1 Phần tử xử lý thứ i wij  vi yi a(.) wi(m-1) wim=bi xm=-1 Hình 1.1: Mơ hình phần tử xử lý thứ i (mơ hình noron) 1.2 Cấu trúc mạng nơron: Mạng noron bao gồm liên kết nhiều noron Đầu noron kết nối với noron khác thông qua trọng số, tự phản hồi trở đầu vào 1.3 Các tính chất mạng nơron nhân tạo: 1.4 Các luật học: Mạng noron có hai nhóm luật học: nhóm luật học thơng số nhóm luật học cấu trúc Trong nội dung nghiên cứu ta đề cập đến luật học tham số 1.4.1 Học có giám sát: 1.4.2 Học củng cố: 1.4.3 Học khơng có giám sát: 1.5 Ứng dụng mạng nơron điều khiển tự động: Mạng noron phát triển mạnh mẽ lĩnh vực điều khiển tự động, ƣng dụng để giải hai toán là: nhận dạng đối tƣợng thiết kế điều khiển noron 1.6 Công nghệ phần cứng sử dụng mạng nơron: 1.7 Kết luận chƣơng 1: Qua phân tích tìm hiểu chung mạng nơron nhân tạo, ta thấy mạng nơron nhân tạo có ƣu điểm lớn lĩnh vực nhận dạng, nhận mẫu điều khiển đối tƣợng điều khiển tự động Ngày cơng nghệ kỹ thuật ngày phát triển thể đƣợc ƣu Với khả truyền tín hiệu xử lý tín hiệu dƣới dạng song song làm tăng tốc độ xử lý tín hiệu, điều cần thiết kỹ thuật ngày Vì vấn đề nghiêm cứu thiết kế chíp sử dụng mạng nơron nhân tạo để thay chíp điện tử truyền thống hƣớng phát triển đề tài tập trung nghiên cứu vấn đề CHƢƠNG 2: LÝ THUYẾT VỀ THIẾT KẾ PHẦN CỨNG MẠNG NORON NHÂN TẠO 2.1 Giới thiệu chung: 2.1.1 Thực thi mạng noron nhân tạo phần cứng tƣơng tự: Với đặc điểm riêng mà mạng noron nhân tạo đƣợc tích hợp vào phần tử tƣợng tự Sự tƣơng đồng: Đó khả xử lý tín hiệu song song, làm tăng tốc độ xử lý dƣ liệu Sự không đồng bộ: Mạng noron khơng đồng tự nhiên, đƣợc khai thác hiệu Sai lệch cho phép: Mạng noron đƣợc huấn luyện tốt khơng nhạy với sai lệch trọng số nhỏ Ứng dụng lƣợng thấp: Ứng dụng MOSFET đƣợc điều khiển ngƣỡng lƣợng thấp Thiết bị ghép nói thực: Mạng noron tƣơng tự hiển nhiên loại bỏ đƣợc chuyển đổi A/D, D/A Tính quy luật: Làm cho mạng noron thích hợp cho xử lý tín hiệu song song cỡ lớn 2.1.2 Thực thi luật học phần cứng tƣơng tự: Các luật học đƣợc áp dụng mạng noron có tính chất tƣơng tự nhƣ mạng noron thực trọng phần cứng tƣơng tự nên thực chúng phần cứng tƣơng tự 3 2.2 Hệ thống xử lý mạng noron: 2.2.1 Mơ hình mạng noron nhân tạo: Chúng ta cần phải định hình mẫu mạng noron nhân tạo Có ba đặc tính mà mơ hình mạng noron phải có; chúng là:  Mơ hình có mục đích chung  Mơ hình phải đơn giản  Sự tiện dụng mơ hình cho kỹ thuật Để đáp ứng yêu cầu xây dựng khối thành phần modul mạng noron Các khối thành phần phải phù hợp với việc thực chúng VLSI tƣơng tự 2.2.1.1 Noron: Noron đƣợc sử dụng để xây dựng mơ hình noron bậc cao: yk  g k (sk )  g k ( w kjz j   w'kj1 j2 z j1 z j2  j j1  j2  j1  j2  j3 w" j2 j3 z j1 z j2 z j3  ) kj (2.2) 2.2.1.2 Mạng noron: Để thực mạng noron phần tử tƣơng tự lựa chọn mạng noron với cấu trúc liên kết đầy đủ 2.2.2 Lập biểu đồ thuật tốn VLSI: Trƣớc trình bày giải pháp ANN tích hợp tƣơng tự, chúng tơi tìm hiểu khía cạnh khác với hệ thống xử lý nhƣ Và cụ thể thảo luận khác cấu trúc, hệ thống tín hiệu, nhớ, mạch nhân ngƣỡng – cho hệ thống xử lý tƣơng lai thuật học 2.2.2.1 Cấu trúc: Cấu trúc đƣợc lựa chọn cấu trúc cho hệ thống nhỏ, mức lƣợng thấp Việc xây dựng khối thành phần cho hệ thống (các noron khớp thần kinh) thƣ viện khối để chế tạo nhƣ CMOS 2.2.2.2 Sự phát tín hiệu: Các tín hiệu khác đƣợc truyền có liên quan chặt chẽ đến nhu cầu nhân ma trận khớp thần kinh, phải đảm bảo yêu cầu: • Đầu từ noron (đầu vào noron) phải dễ dàng phân phối cho cột khớp thần kinh • Đầu từ hàng khớp thần kinh phải dễ dàng đƣợc tích lũy Sử dụng khớp thân fkinh với đầu vào điện áp đầu dịng điện đáp ứng đƣợc yêu cầu Hình 2.4: Một khớp thần kinh điện đặc biệt 2.2.2.3 Bộ nhớ: Lƣu giữ tín hiệu tƣơng tự khơng phải đơn giản; khơng xác, hiệu nhớ điện tử tƣơng tự tồn ngày Do đó, lƣu trữ khớp thần kinh đầy đủ liên quan việc nghiên cứu ANNs tƣơng tự Lƣu trữ điện dung phƣơng pháp để lƣu trữ tín hiệu tƣơng tự Tín hiệu tƣơng tự tín hiệu điện đƣợc tích lũy tự điện đọc giá trị cách sử dụng cổng ghép trở kháng cao MOSFET Hình 2.5: Lưu trữ điện dung 4 2.2.2.4 Mạch nhân: Mạch nhân khớp thần kinh có đặc điểm sau đặc điểm tốt hơn: • Kích thƣớc nhỏ • Đầu dịng điện • Đầu vào điện áp Một cần phải có điện trở kháng đầu vào cao (nhƣ cổng MOS) điện dung nút đƣợc sử dụng cho lƣu trữ khớp thần kinh bền Chúng lựa chọn mạch nhân điện trở Mos mạch nhân tuyến tính Hình 2.8: Mạch nhân điện trở MOS 2.2.2.5 Hàm chuyển đổi: Hàm chuyển đổi noron phải đảm bảo yêu cầu hình dạng chất lƣợng Một tính hấp dân dễ dang thực thi công nghệ phần cứng đƣợc lựa chọn Chúng lựa chọn hàm chuyển đổi dạng Noron tang hypebon, đáp ứng tốt yêu cầu Và mạch tang hypebol đƣợc thực cách sử dụng LBM MOSFETs 2.2.3 Thiết kế chip: Trong phần nghiên cứu thiết kế thành phần mạng noron chip noron, chip khớp thần kình phần tử điện tử 2.2.3.1 Chip noron: Sơ đồ mạch noron chíp noron đƣợc hình 2.15 Cốt lõi mạch cặp so lệch lƣỡng cực thực sử dụng hai LBM MOSFETs So lệch dòng điện đầu cặp cực chuyển đổi để tín hiệu điện áp giới hạn “biên độ đầu ra” MRC Điều lần đƣợc lƣu lại đệm noron điều khiển đầu vào trở kháng tƣơng đối thấp chip khớp thần kinh Tại đầu noron, “quy mô đầu ra” MRC đƣợc đặt tƣơng tự nhƣ vậy, hoạt động nhƣ điện trở chuyển đầu ra, chuyển đổi dịng điện đầu vào thành điện áp cần thiết để điều khiển cặp so lệch Hình 2.15: Noron tang hypebon 2.2.3.2 Chip khớp thần kinh: Chíp khớp thần kinh bao gồm số mạch nhân kết bên (IPM) nhân vector đầu vào (vz*) với hàng ma trận lƣu trữ (Vwk*) Một số mạch nhân kết bên đƣợc hình 2.16 Sự khác biệt đầu MRC khớp thần kinh tổng quát đƣợc thể khuếch đại thuật toán với mạch phản hồi MRC, đảm bảo yêu cầu ngắn mạch ảo đầu khớp thần kinh Điện áp kết đƣợc biến đổi độ dẫn điện tới dòng điện đầu (isk) Hình 2.16: Mạch nhân kết bên Sơ đồ mạch khớp thần kinh đơn đƣợc hình 2.17 Số lƣợng khớp thần kinh đƣợc lƣu trữ kiểu khác biệt tụ điện điểm khớp; theo cách bù nhờ điện tích đƣa vào đƣợc loại bỏ, nhƣ điện tích rị rỉ nhờ diot kênh dẫn đƣợc định thiên nghịch đảo thiết bị chuyển đổi lấy mẫu; với điều kiện thành phần phù hợp Đảm bảo truy cập ngẫu nhiên khớp thần kinh, thiết bị chuyển đổi lấy mẫu đƣợc điều khiển cổng NAND điều khiển trực tiếp hàng/cột tín hiệu lựa chọn đƣợc cung cấp hàng cột giải mã Hình 2.17: Sơ đồ mạch khớp thần kinh 2.2.3.3 Chip thần kinh đầu vào rời rạc: 2.2.4 Đo lƣờng chip: Chúng thực đo lƣờng kiểm tra chất lƣợng mạch thành phần mạng noron đa thiết kế phần trƣớc 2.2.4.1 Chip noron: Trong hình 2.19 đo đạc đặc điểm chuyển đổi noron cho giá trị khác phạm vi điện áp đầu vào VIS nhìn thấy đƣợc Hình 2.19: Đo lường chức truyền tải noron 2.2.4.2 Chip khớp thần kinh: Đo lƣờng đặc điểm chuyển đổi khớp thần kinh cho khớp thần kinh đơn thấy hình 2.20 Hình 2.20: Đo lường đặc điểm khớp thần kinh 6 2.2.4.3 Chip đa hợp: Một chip noron chíp khớp thần kinh liên kết với nhau, đặc điểm chuyển giao hỗn hợp đo lƣờng đƣợc Điều thể hình 2.21 cho giá trị khác độ bền khớp thần kinh, xác minh tƣơng thích chip noron chíp khớp thần kinh Phản ứng bƣớc nhảy kết hợp noron-khớp thần kinh đƣợc hình 2.22 Hình 2.22: Đo lương phản ứng bước nhảy Hình 2.21: Đo lường đặc điểm chuyển đổi noron-khớp thần kinh noron-khớp thần kinh 2.3 Kết luận chƣơng 2: Trong chƣơng đƣa lý thuyết để thiết kế mạng noron nhân tạo VLSI tƣơng tự lớp Để xác định noron thứ tự đƣợc sử dụng điện áp dịng điện liên tục cho tín hiệu đƣợc lựa chọn noron định vị cấu trúc nhiều lớp chip khớp thần kinh chip Các khối thành phần mạng noron: nhớ, mạch nhân ngƣơng đƣợc nghiên cứu chi tiết Bộ nhớ sử dụng nhớ lƣu trữ điện đơn giản, Ram kỹ thuật số, sử dụng lƣu trữ kỹ thuật số kết hợp với mạch điều chỉnh tƣơng tự Mạch nhân chì sử dụng mạch nhân bốn góc phần tƣ mạch nhân MRC gọn nhẹ Hàm chuyển đổi sử dụng hàm chức hypebol không hạn chế khai triển luật học phần cứng Cuối yêu cầu loại bỏ thơng số q trình hệ thống thực CHƢƠNG 3: THỰC HIỆN ON-CHIP LAN TRUYỀN NGƢỢC Trong chƣơng nghiên cứu đƣa luật học lan truyền ngƣợc chip ANN tƣơng tự cách sử dụng đƣa thêm vào lƣợng nhỏ phần cứng 3.1 Thuật toán lan truyền ngƣợc: 3.1.1 Các khái niệm bản: Thuật học sai lệch lan truyền ngƣợc cho mạng noron truyền thẳng phân tầng (perceptron nhiều lớp) đƣợc miêu tả nhƣ sau: đƣa vecto đầu vào x(t ) theo thời gian t, kích hoạt noron k lớp l nhƣ sau: l l yk (t )  g (sk (t ))  g ( w lkj (t ) z lj (t )) j (3.1) 3.1.2 Những thay đổi thuật toán: Để đảm bảo đơn giản thực phần cứng tƣơng tự, chúng tơi có thay đổi thuật tốn lan truyền ngƣợc  Giảm bớt trọng số: Điều chỉnh luật cập nhật trọng số nhƣ sau: w lkj (t  1)  (w lkj (t )  w lkj (t ))(1   dec )  (3.5) Xung lượng: điều chỉnh thay đổi trọng số, xác định tính delta nhƣ sau: w lkj (t )   mtm w lkj (t  1)   kl (t ) z lj (t )  (3.6) Giá trị hàm chuyển: Sử dụng bình phƣơng giá trị hàm chuyển điều khiển sai lệch trọng số  lj (3.3) Bằng cách sử dụng hàm chuyển đổi sigmoid đặc biệt, sai lệch trọng số giảm đầu vào mạng noron s lj lớn số lƣợng; làm phẳng sai lệch noron lớn  lj , không thay đổi trọng số diễn Vấn đề loại trừ cách sử dụng hàm chuyển giá trị entropi nhiễu loạn Fahlmann Kết luận cuối sai lệch trọng số tiếp theo:  lj (t )  ( g (slj (t ))   F ) lj (t )  (3.7) Chỉ tiêu luật học động lượng: Chỉ tiêu luật học tham số quan trọng nhất: Nếu qua lớn, giảm độ dốc dao động; nhỏ, độ dốc hội tụ chậm Một tiêu luật học thích hợp với gia tăng hàm chuyển đổi giá trị thiết lập cuối thay đổi trọng số, J (t )  J (t )  J (t  1) :  (t )  a,   (t  1)  (1  b) (t ),  (t ),   for J (t ), J (t -1), , J (t - T )  for J (t )  otherwise Bộ dò eta: Để tránh phức tạp tiêu luật học động năng, ngƣời ta lựa chọn tốc độ học tối ƣu Reyneri and Filippi đƣa (cho yk    ymax , ymax  , z j    zmax , zmax ) : kl  2 max max 2y z  M t (3.8) l k Trong đó: k   tiêu luật học lớp l M k  M số thứ tự đầu vào lớp l t độ dốc hàm chuyển chức noron Có thể sử dụng: l l l kl    l (3.9) M kl Luật học hàng loạt: thực giảm độ dốc trọng số đƣợc cập nhật sau giai đoạn: w ((1  n)Tepc )  w (nTepc )  l kj l kj Tepc 1  w t 0 l kj (nTepc  1) (3.10) 3.2 Sự đặt thuật toán VLSI: Sơ đồ khối khớp thần kinh noron mở rộng xem hình 3.1 3.2 tƣơng ứng Trên khớp thần kinh bao gồm phần cứng để tính toán thay đổi trọng số, w lkj phù hợp với (3.4) Các khớp thần kinh mở rộng có đầu vào điện áp đầu dòng điện giống nhƣ khớp thần kinh nguyên Hình 3.1: Sơ đồ mạch khớp thần kinh lan truyền ngƣợc  Hình 3.2: Sơ đồ mạch noron lan truyền ngƣợc Tiếp cận phần cứng hiệu quả: Cấu trúc hình 3.1 có hai nhƣợc điểm chính: (i) Đối với khu vực silicon xác định, số lƣợng khớp thần kinh đƣợc giảm so với số lƣợng khớp thần kinh hệ thống chê độ thu hồi, với ba mạch nhân đƣợc sử dụng thay cho mạch Ngoài ra, hầu hết chế độ thu hồi phần cứng khớp thần kinh trạng thái khơng hoạt động, tất nhiên điều không mong muốn (ii) Số lƣợng dây dẫn chíp khớp thần kinh noron đƣợc tăng gấp đôi so với hệ thống chế độ gọi lại Cả hai bất lợi nghiêm trọng hạn chế ứng dụng mạng noron thích nghi, kích thƣớc vật lý quan trọng May mắn mạch thay vƣợt qua đƣợc bất lợi Hình 3.3: MRC hoạt động chế độ truyền thẳng Hình 3.4: MRC hoạt động chế độ phản hồi Việc thực mạng noron tƣơng tự chi phí phần cứng thấp với on-chip lan truyền ngƣợc đƣợc nghiên cứu Các hoạt động chủ yếu hệ thống lan truyền ngƣợc đƣợc minh họa hình 3.5 Hình 3.5: Hệ thống lan truyền ngược 9 3.3 Thiết kế chip: Ý tƣởng chíp ANN với on-chip lan truyền ngƣợc đƣơc phát triển mang tính chất hai chiều MRC Trong phần miêu tả chip 3.3.1 Chip khớp thần kinh: Các yếu tố tính tốn chíp khớp thần kinh lan truyền ngƣợc chế độ truyền thẳng đƣợc thấy hình 3.6 Hình 3.6: Chip khớp thần kinh hệ thứ hai 3.3.2 Chip noron: Sơ đồ noron tang hypebol hệ thứ hai đƣợc hình 3.7 Mạch gƣơng dòng điện đƣợc thêm vào chắn gây gia tăng bù đầu noron Hình 3.7: Noron tang hypebol hệ thứ hai Sơ đồ khối noron lan truyền ngƣợc đƣợc thấy hình 3.8 Hình 3.8: Sơ đồ khối noron lan truyền ngược 10 3.4 Các phép đo chip: 3.4.1 Chip khớp thần kinh: Đo lƣờng đặc tính chuyển đổi khớp thần kinh chế độ truyền thẳng cho khớp thần kinh tín hiệu đƣợc thấy hình 3.9; Đặc tính chế độ đảo chiều cho khớp thần kinh tƣơng tự đƣợc thấy hình 3.10 Hình 3.9: Đặc tính khớp thần kinh chế độ truyền thẳng Hình 3.10: Đặc tính khớp thần kinh chế độ đảo chiều 3.4.2 Chip noron: Đo lƣờng đặc tính chuyển đổi noron chế độ truyền thẳng thấy hình 3.13 Hình 3.13:Đặc tính noron chế độ truyền thẳng 3.4.3 Cải thiện tính tốn đạo hàm: Ngoài việc bù đầu chip khớp thần kinh bù thay đổi trọng số – mà đƣợc hủy bỏ thiết lập chƣơng trình tự động loại bỏ bù – vấn đề liên quan hầu hết đến chip tính tốn đạo hàm noron Hình 3.20: Tính gần đạo hàm với tỷ số vi sai 3.5 Thiết kế hệ thống: Hầu hết phần cứng cho ANN với on- chip lan truyền ngƣợc bao gồm chip lan truyền ngƣợc Đối với hệ thống hoàn chỉnh, thêm vào vài ứng dụng cần thiết Đó là:  Một nhớ lƣu trữ trọng số kỹ thuật số  Hầu hết trình tự nhân rộng phần cứng O(1), ví dụ chuyển đổi D/A A/D để truy cập nhớ lƣu trữ, số phần cứng cập nhật trọng số Cũng bao gồm:  Một máy tự động hữu hạn để kiểm soát hệ thống (làm trọng số, đầu vào ứng dụng, chƣơng trình điều khiển luật học ) 11  Mơi trƣờng để đặt ANN 3.5.1 Liên kết ASIC: Sử dụng chip khớp thần kinh 16x16 đơn giản, số lƣợng chíp khớp thần kinh giảm xuống, kết nối với (khi hệ thống hoạt động chế độ lan truyền ngƣợc) nhƣ hình 3.21 (chip khớp thần kinh đƣợc rút có kiến trúc nhƣ hình thuận tiện) Hình 3.21: Cấu trúc ANN lan truyền ngược 3.5.2 Phần cứng cập nhật trọng số: Giá trị bù độ phân giải trọng số hệ thống VLSI tƣơng tự hạn chế tỷ lệ học phạm vi cao so với phần mềm mơ Hình 3.22: Ngun tắc phần cứng cập nhật trọng số kỹ thuật số Nghiên cứu sơ đồ khối noron lan truyền ngƣợc hình 3.18 Chúng tối thấy tín hiệu khơng phải truy cập trực tiếp; áp dụng tín hiệu w kj (t )  dec w kj chip noron nhƣ điểm không cho thay đổi trọng số mong muốn đầu (mặc dù tránh khỏi với lƣợng bù lớn nội w kj ) Khi đầu chip khớp thần kinh, đầu w kj đƣợc bù độ lệch trƣớc học (bằng cách áp dụng yếu tố đầu vào điểm không chế độ học điều chỉnh tín hiệu w kj (t ) nhƣ mà đầu không) 3.6 Lan truyền ngƣợc không tuyến tính: Một mối quan tâm lớn thực giảm độ dốc giống nhƣ thuật học phần cứng tính tốn đạo hàm noron Nhiều cách tiếp cận khác để làm gần giá trị đạo hàm đƣợc đề xuất luận văn: tỉ số chênh lệch (tính tốn địa phƣơng toàn bộ) phƣơng pháp gần khác, nhiễu loạn để làm giảm lƣợng bù liên quan đến lƣợng sai lệch, nhƣ triển khai thực phần lớn bỏ qua đạo hàm 3.6.1 Đạo hàm thuật toán: Đạo hàm thuật toán lan truyền ngƣợc khơng tuyến tính khn khổ lan truyền ngƣợc lặp lại đƣợc tìm thấy Hertz Trong trƣờng hợp truyền thẳng, nhớ lại quy tắc cập nhật 12 trọng số (3.3) xác định thay đổi trọng số: l l wkj (t )   kl (t ) z lj (t )   g '( sk (t )) kl (t ) z lj (t ) = N  l g '(sk (t )) kl (t ) z lj (t ) N (3.13) Trong chúng tơi gọi N giá trị miền NLBP Bây giờ, ý tƣởng lan truyền ngƣợc khơng tuyến tính để mơ tả phƣơng trình nhƣ khai triển tailor thứ tự phƣơng trình  l   l l w lkj (t )   N  g ( sk (t )   k (t ))  g ( sk (t ))  z lj (t ) N   hợp lệ nhỏ  l  (t ) N k (3.14) xác định lại định nghĩa sai lệch trọng số (3.2) để: l  Nk (t )  N   l   l l  k (t ))  g ( sk (t ))   g ( sk (t )  N   (3.15) Trong  Nk (t ) sai lệch trọng số NLBP, phƣơng trình thay đổi trọng số NLBP có dạng giống nhƣ phƣơng trình lan truyền ngƣợc ban đầu: l l w lkj (t )   Nk (t ) z lj (t ) Khi giá trị miền NLBP N nghĩ  N tốn Khi N (3.16) lớn, xấp xỉ Tailor tốt nhƣng đồi hỏi độ xác cao để tính nhỏ, thuật tốn số lƣợng ổn định nhƣng đƣợc lấy từ hình dạng độ dốc Chúng tơi nằm phạm vi    N  Trong giới hạn số lƣợng ổn định – mà thú vị việc thực VLSI độ xác giới hạn cơng nghệ – có dạng đơn giản l l l  Nk (t )  g (sk (t )   kl (t ))  g (sk (t )) for  N   (3.17) 3.6.2 Thực phần cứng: Noron NLBP thời gian liên tục: Lấy cặp khác BJT noron ban đầu nhƣ điểm khởi đầu cho thực NLBP với hàm kích hoạt noron tang hypebol, dẫn đến sơ đồ mạch hình 3.24 Hình 3.24: Noron lan truyền ngược phi tuyến thời gian thực Noron NLBP thời gian rời rạc: Nhƣ hình dạng thực tế hàm kích hoạt noron khơng thích hợp cho thực lan truyền ngƣợc khơng tun tính, khơng cần thiết phải thực cặp chênh lệch Một cách tiếp cận tốt sử dụng mạch vốn có (các đầu vào dịng điện đầu điện áp cần thiết) Ngoài ra, nhƣ chức tƣơng tự đƣợc sử dụng để tính tốn kích hoạt noron sai lệch 13 noron, thích hợp để sử dụng phần cứng cho tính tốn, điều giúp loại bỏ cần thiết cho thành phần phù hợp Điều hệ thống khơng cần thiết để thực chức thời gian liên tục, đầu phải đƣợc lấy mẫu Nhƣ hình 3.25 sơ đồ mạch đơn giản nhƣ noron thời gian rời rạc điều sử dụng lại khối hàm kích hoạt có dịng điện đầu vào/điện áp 3.7 Hình 3.25: Noron lan truyền ngược khơng tuyến tính thời gian rời rạc Kết luận chƣơng 3: Chƣơng nghiên cứu lý thuyết thiết kế chip ANN ghép liên tầng, bao gồm luật học lan truyền ngƣợc Đƣa thuật học đƣợc khả áp dụng thay đổi thuật toán phổ biến cho việc thực VLSI tƣơng tự Ứng dụng cụ thể cho chip lam truyền ngƣợc với đặc điểm nhƣ trọng số đƣợc lƣu trữ trọng Ram kỹ thuật số, biết đƣợc thay đổi trọng số thơng qua sử dụng phần cứng kỹ thuật số rời rạc Nghiên cứu thuật tốn lan truyền ngƣợc khơng tuyến tính, khơng cần tính tốn đạo hàm noron Đề xuất noron khác nhƣ noron lan truyền ngƣợc phi tuyến thời gian liên tục thời gian rời rạc Đƣa mạch ngƣỡng thay đổi trọng số, xung lƣợng suy giảm trọng số hệ thống KẾT LUẬN, KIẾN NGHỊ VÀ HƢỚNG NGHIÊN CỨU TIẾP THEO Kết luận: Luận văn nghiên cứu số nội dung:  Nghiên cứu tìm hiểu lý thuyết mạng noron nhân tạo  Trên sở nghiên cứu tìm hiểu việc xây mạng noron nhân tạo VLSI lớp, với thành phần co nhân, nhớ…bằng cách sử dụng thiết bị tƣơng tự MOSFET  Đi sâu nghiên cứu đề xuất thiết kế chip noron VLSI với cấu trúc truyền thẳng nhiều lớp thuật học lan truyền ngƣợc Kiến nghị hƣớng nghiên cứu tiếp theo:  Nâng cao chất lƣợng chip noron VLSI với cấu trúc truyền thẳng nhiều lớp thuật học lan truyền ngƣợc  Tiếp tục nghiên cứu cách thực mạng noron nhân tạo với cấu trúc mạng khác, thuật học khác  Thực vi mạch chip noron  ... thiết bị tƣơng tự - Thiết kế đƣợc mạng nơron truyền thẳng nhiều lớp phần tử điện tử thông thƣờng Phƣơng pháp nghiên cứu: - Nghiên cứu sách, giáo trình, báo, luận văn, nghiên cứu khoa học khác tài... điện tử thông thƣờng b Ý nghĩa thực tiễn: Thiết kế đƣợc sơ đồ mạng nơron truyền thẳng nhiều lớp Mục đích nghiên cứu: - Nghiên cứu thực mạng nơron nhân tạo phần cứng dùng thiết bị tƣơng tự - Thiết. .. thiết kế để tạo đƣợc chíp thực luật học nhƣ mạng nơron nhân tạo hƣớng Do việc ? ?Nghiên cứu thiết kế mạng nơron truyền thẳng nhiều lớp phần tử điện tử thơng thƣờng? ?? đề tài mang tính cấp thiết kỹ