Mạng nơron Hopfield -Ứng dụng ĐỒ ÁN TRÍ TUỆ NHÂN TẠO TÊN ĐỀ TÀI: MẠNG NƠRON HOPFIELD-ỨNG DỤNG TÊN HỌC VIÊN: HỒ ĐẮC QUÁN LỚP :CHKHMT – TPHCM23A11 NIÊN KHÓA:2011-2013 MÃ HỌC VIÊN:11870233 GVHD:TS NGUYỄN HỮU PHÚC Trang Mạng nơron Hopfield -Ứng dụng Lời cảm ơn Nội dung đồ án vào tìm hiểu xây dựng phần tử nơron bản, xem xét nghiên cứu cấu trúc mạng nơron, giới thiệu mạng nơron nhiều lớp Trọng tâm đồ án vào tìm hiểu mạng nơron Hopfield Ứng dụng Đồ án gồm ba chương Chương 1: Trình bày cấu trúc phần tử nơron bản, cấu trúc mạng nơron nhân tạo thường gặp, thuật tốn học, phân tích ưu nhược điểm chúng, giới thiệu thuật toán lan truyền ngược Chương 2: Tìm hiểu mạng nơron Hopfield Chương 3: Giải toán người du lịch, sử dụng mạng nơron Hopfield Xin cảm ơn TS Nguyễn Hữu Phúc Thầy cung cung cấp kiến thức bản, tảng cách tận tình mơn Trí tuệ nhân tạo tài liệu giúp em hoàn thành đồ án Tp Hồ Chí Minh, tháng năm 2012 Trang Mạng nơron Hopfield -Ứng dụng Chương Giới thiệu mạng nơron nhân tạo 1.1 Cấu trúc mô hình mạng nơron 1.1.1 Mơ hình nơron sinh học Phần tử xử lý mạng nơron sinh học nơron, phần tử chia làm bốn thành phần sau: dendrites, soma, axon, synapses - Dendrites: phần nhận tín hiệu đầu vào - Soma: hạt nhân - Axon: phần dẫn tín hiệu xử lý - Synapses: đường tín hiệu điện hóa giao tiếp nơron Kiến trúc sở não người có vài đặc tính chung Một cách tổng quát, nơron sinh học nhận đầu vào từ nguồn khác nhau, kết hợp chúng với nhau, thực thi tổ hợp phi tuyến chúng kết cuối đầu Hình 1.1 mối quan hệ bốn phần tử nơron sinh học Hình 1.1 Một nơron sinh học Một nơron sinh học có số chức vậy, ta nhận thấy khả xử lý thơng tin yếu Để có khả xử lý thông tin Trang Mạng nơron Hopfield -Ứng dụng hoàn hảo não người, nơron phải kết hợp trao đổi thơng tin với Ta hình dung sơ đồ liên kết, trao đổi thơng tin hai nơron hình 1.2 Hình 1.2 Sự liên kết nơron 1.1.2 Cấu trúc mơ hình nơron nhân tạo Mơ hình tốn học mạng nơron sinh học đề xuất McCulloch Pitts, thường gọi nơron M-P, ngồi cịn gọi phần tử xử lý ký hiệu PE (Processing Element) Mơ hình nơron có m đầu vào x1, x2, , xm, đầu yi sau: Hình 1.3 Mơ hình nơron nhân tạo Trang Mạng nơron Hopfield -Ứng dụng Giải thích thành phần bản: - Tập đầu vào: Là tín hiệu vào nơron, tín hiệu thường đưa vào dạng vector m chiều - Tập liên kết (các trọng số): Mỗi liên kết thể trọng số (thường gọi trọng số liên kết) Trọng số liên kết tín hiệu vào thứ j cho nơron i thường ký hiệu wij Thông thường trọng số khởi tạo ngẫu nhiên thời điểm khởi tạo mạng cập nhật liên tục trình học mạng - Bộ tổng (Hàm tổng): Thường dùng để tính tổng tích đầu vào với trọng số liên kết - Ngưỡng: Ngưỡng thường đưa vào thành phần hàm truyền - Hàm truyền: Hàm dùng để giới hạn phạm vi đầu nơron Nó nhận đầu vào kết hàm tổng ngưỡng cho Thông thường, phạm vi đầu nơron giới hạn đoạn [0,1] [-1,1] Các hàm truyền đa dạng, hàm tuyến tính phi tuyến Việc lựa chọn hàm truyền tùy thuộc vào toán kinh nghiệm người thiết kế mạng - Đầu ra: Là tín hiệu đầu nơron, với nơron có tối đa đầu Về mặt toán học, cấu trúc nơron i mô tả cặp biểu thức sau: n y i  f (neti   i ) neti   wij x j j 1 đó: x1, x2, …xm tín hiệu đầu vào, cịn wi1, wi2,…,wim trọng số kết nối nơron thứ i, neti hàm tổng, f hàm truyền,  i ngưỡng, yi tín hiệu đầu nơron Trang Mạng nơron Hopfield -Ứng dụng Như vậy, tương tự nơron sinh học, nơron nhân tạo nhận tín hiệu đầu vào, xử lý (nhân tín hiệu với trọng số liên kết, tính tổng tích thu gửi kết đến hàm truyền), cho tín hiệu đầu (là kết hàm truyền)  Hàm truyền có dạng sau: 1 x  y 0 x  - Hàm bước - Hàm giới hạn chặt (hay gọi hàm bước) (1.6)  x  y  sgn( x)    x  - Hàm bậc thang x 1 1  y  sgn( x )   x  x  0 x0  - (1.8) Hàm ngưỡng đơn cực y - (1.7) 1  e x với λ>0 (1.9) Hàm ngưỡng hai cực y 1  e x với λ>0  Đồ thị dạng hàm truyền biểu diễn sau: Trang (1.10) Mạng nơron Hopfield -Ứng dụng Hình 1.4 Đồ thị dạng hàm truyền 1.2 Cấu tạo phương thức làm việc mạng nơron Dựa phương pháp xây dựng nơron trình bày mục trên, ta hình dung mạng nơron hệ truyền đạt xử lý tín hiệu Đặc tính truyền đạt nơron phần lớn đặc tính truyền đạt tĩnh Khi liên kết đầu vào/ra nhiều nơron với nhau, ta thu mạng nơron, việc ghép nối nơron mạng với theo nguyên tắc Vì mạng nơron hệ truyền đạt xử lý tín hiệu, nên phân biệt loại nơron khác nhau, nơron có đầu vào nhận thơng tin từ mơi trường bên ngồi khác với nơron có đầu vào nối với nơron khác mạng, chúng phân biệt với qua vector hàm trọng số đầu vào w Nguyên lý cấu tạo mạng nơron bao gồm nhiều lớp, lớp bao gồm nhiều nơron có chức mạng Hình 1.5 mơ hình hoạt động mạng nơron lớp với phần tử nơron Mạng có ba đầu vào x1, x2, x3 hai đầu y1, y2 Các tín hiệu đầu vào đưa đến nơron đầu vào, nơron làm thành lớp đầu vào mạng Các nơron lớp gọi nơron đầu vào Đầu nơron đưa đến đầu vào nơron tiếp theo, nơron không trực Trang Mạng nơron Hopfield -Ứng dụng tiếp tiếp xúc với mơi trường bên ngồi mà làm thành lớp ẩn, hay gọi lớp trung gian Các nơron lớp có tên nơron nội hay nơron ẩn Đầu nơron đưa đến nơron đưa tín hiệu mơi trường bên ngồi Các nơron lớp đầu gọi nơron đầu Hình 1.5 Mạng nơron ba lớp Mạng nơron xây dựng mạng gồm lớp mắc nối tiếp từ đầu vào đến đầu Trong mạng không tồn mạch hồi tiếp Một mạng nơron có cấu trúc gọi mạng hướng hay mạng truyền thẳng hướng (Feed forward network), có cấu trúc mạng ghép nối hồn tồn (vì nơron mạng nối với vài nơron khác) Mạng nơron bao gồm hay nhiều lớp trung gian gọi mạng Multilayer Perceptrons) (MLP-Network) Mạng nơron hình thành chưa có tri thức, tri thức mạng hình thành sau trình học Mạng nơron học cách đưa vào kích thích, mạng hình thành đáp ứng tương ứng, đáp ứng tương ứng phù hợp với loại kích thích lưu trữ Giai đoạn gọi giai đoạn học mạng Khi hình thành tri thức mạng, mạng giải vấn đề cách đắn Đó vấn đề ứng dụng khác Trang Mạng nơron Hopfield -Ứng dụng nhau, giải chủ yếu dựa tổ chức hợp thông tin đầu vào mạng đáp ứng đầu  Nếu nhiệm vụ mạng hồn chỉnh hiệu chỉnh thơng tin thu không đầy đủ bị tác động nhiễu Mạng nơron kiểu ứng dụng lĩnh vực hồn thiện mẫu, có ứng dụng cụ thể nhận dạng chữ viết  Nhiệm vụ tổng quát mạng nơron lưu giữ động thông tin Dạng thông tin lưu giữ quan hệ thơng tin đầu vào đáp ứng đầu tương ứng, để có kích thích tác động vào mạng, mạng có khả suy diễn đưa đáp ứng phù hợp Đây chức nhận dạng theo mẫu mạng nơron Để thực chức này, mạng nơron đóng vai trị phận tổ chức nhóm thơng tin đầu vào, tương ứng với nhóm đáp ứng đầu phù hợp Như vậy, nhóm bao gồm loại thông tin đầu vào đáp ứng đầu Các nhóm hình thành q trình học, khơng hình thành trình học Hình 1.6 số liên kết đặc thù mạng nơron Nơron vẽ vòng tròn xem tế bào thần kinh, chúng có mối liên hệ đến nơron khác nhờ trọng số liên kết Tập hợp trọng số liên kết lập thành ma trận trọng số tương ứng 1.2.1 Mạng nơron lớp Mỗi nơron phối hợp với nơron khác tạo thành lớp trọng số Mạng lớp truyền thẳng hình 1.6a Một lớp nơron nhóm nơron mà chúng có trọng số, nhận tín hiệu đầu vào đồng thời Trong ma trận trọng số, hàng thể nơron, hàng thứ j đặt nhãn vector wj nơron thứ j gồm m trọng số wji Các trọng số cột thứ j (j=1,2, ,n) đồng thời nhận tín hiệu đầu vào xj Trang Mạng nơron Hopfield -Ứng dụng wj = [wj1, wj2, , wjm] Tại thời điểm, vector đầu vào x = [x1, x2, , xn] nguồn bên cảm biến thiết bị đo lường đưa tới mạng (a) Mạng truyền thẳng lớp (b) Mạng hồi tiếp lớp (c) Mạng truyền thẳng nhiều lớp Trang 10 Mạng nơron Hopfield -Ứng dụng 1.2.5 Mạng Perceptron Perceptron mạng nơron đơn giản nhất, gồm nơron, nhận đầu vào vector có thành phần số thực đầu hai giá trị +1 - Hình 1: Perceptron Đầu mạng xác định sau: mạng lấy tổng có trọng số thành phần vector đầu vào, kết ngưỡng b đưa vào hàm truyền (Perceptron dùng hàm Hard-limit làm hàm truyền) kết hàm truyền đầu mạng Hoạt động Perceptron mơ tả cặp cơng thức sau: [Cong thuc] y = f(u - b) = Hardlimit(u - b); y nhận giá trị +1 u - b>0, ngược lại y nhận giá trị -1 Perceptron cho phép phân loại xác trường hợp liệu phân chia tuyến tính (các mẫu nằm hai mặt đối diện siêu phẳng) Nó phân loại đầu hàm AND, OR hàm có dạng n m đầu vào (n ≤ m) Nó khơng thể phân loại đầu hàm XOR Trang 12 Mạng nơron Hopfield -Ứng dụng Chương 2: Tìm hiểu mạng nơron Hopfield Mơ hình mạng Hopfield 2.1 Mạng Hopfield nhị phân (rời rạc) Hình 1.1 minh họa mạng Hopfield hồi quy đơn lớp Mặc dù mạng đơn lớp nhờ cấu phản hồi mà hoạt động hiệu mạng đa lớp Trong mạng độ trễ trình phản hồi đưa nhằm đóng vai trị ổn định mạng, điều mang chất tự nhiên giống độ trễ neuron sinh học ghi nhận khoảng cách khớp nối tỉ lệ giới hạn vịng thần kinh Mạng hình 1.1 thỏa mãn: z j =  w ij yi (n) + I j ; n=0,1,1….(1.1) i j y j (n+1)= với  z j  Th j y j (n+1)= với  z j < Th j Hoặc (1.2) y j (n+1)= với  z j > Th j y j (n+1)= y j (n) với  z j = Th j y j (n+1)= với  z j < Th j Trọng Wii công thức (1.1) cho biết khơng có tự phản hồi Trạng thái đầu y -1 trường hợp lưỡng cực Trang 13 Mạng nơron Hopfield -Ứng dụng Hình 2.1 Cấu trúc mạng Hopfield N i : neuron thứ i D: Nút phân phối F: Hàm kích hoạt I j : Đầu vào bias w ij : Trọng Trong công thức (1.1) (1.2) mạng Hopfield sử dụng cấu trúc neuron riêng lẻ Percepton Adaline [9] Tuy nhiên Hình 1.1 mạng khởi đầu từ mẫu thiết kế trước cấu trúc thơng tin phản hồi Một mạng Hopfield nhị phân neuron coi hệ thống 2n trạng thái với kết đầu thuộc tập trạng thái {00,01,10,11} Khi đầu vào cho vector, mạng ổn định trạng thái xác định cấu hình trọng Trang 14 Mạng nơron Hopfield -Ứng dụng 2.2 Thiết lập trọng mạng Hopfield, nguyên tắc nhớ kết hợp hai chiều (BAM) Mạng Hopfield sử dụng nguyên tắc BAM (Bộ nhớ kết hợp hai chiều), nghĩa trọng mạng thiết lập để đáp ứng nguyên tắc kết hợp nhớ chiều sau: Giả sử X i  Rm, yi  Rn i=1,2….L Và giả sử: W=  yi X iT (1.3) (1.4) i Trong W ma trận trọng kết nối vector x vector y Kết nối gọi mạng lưới liên kết Đặc biệt yi = xi kết nối gọi tự L động liên kết, tức W=  X i X iT L vector (1.5) i 1 Như đầu vào xi trực giao, tức X iT X j =  ij (1.6) WX = X i (1.7) i Thiết lập gọi BAM tất xi liên kết với trọng W phục hồi Có thể thấy W phục vụ nhớ cho phép mạng ghi nhớ vector đầu vào giống nhau, giống hợp W Cấu trúc sử dụng để tái tạo lại thông tin, đặc biệt loại thông tin không đầy đủ thông tin sai Cụ thể xem xét mạng đơn lớp thì: L W=  X i X iT (1.8) Với w ij = w ji  i,j (1.9) i 1 Tuy nhiên để đáp ứng yêu cầu ổn định mạng (sẽ thảo luận sau) ta đặt: w ii =0 với  i (1.10) ta cấu trúc mạng Hopfield hình 1.1 Trang 15 Mạng nơron Hopfield -Ứng dụng Để chuyển đổi đầu vào nhị phân x(0,1) sang dạng lưỡng cực(  1) ta phải đặt: W=  (2 X i 1)(2 X i  1)T (1.11) i vector đồng nhất, tức : (1.12) Nếu tất yếu tố đầu vào trực giao trước tiên ta phải biến đổi chúng dạng trực giao gần trực giao thông qua hàm biến đổi Walsh [3] 2.3 Sự ổn định mạng Điều chỉnh trọng mạng thông tin phản hồi phải đảm bảo ổn định mạng Cohen Grossberg [4] mạng hồi quy đảm bảo ổn định ma trận W trọng đối xứng phần tử đường chéo 0, tức là: w ij = w ji  i,j w ii =0 (1.21) với  i (1.22) Yêu cầu phát biểu thông qua định lý ổn định Lyapunov Trạng thái mạng ổn định định nghĩa hàm lượng mạng (hàm Lyapunov nó) ln ln giảm theo thời gian [7] (Lyapunov 1907) Trạng thái mạng ổn định xây dựng hàm E trạng thái y thỏa mãn định lý ổn định Lyapunov theo điều kiện sau đây: Điều kiện A: Bất kỳ thay đổi hữu hạn trạng thái y mạng dẫn đến giảm hữu hạn E Điều kiện B: E hàm bị chặn Do ta định nghĩa hàm lượng E sau: E=  Th j y j   I j y j  j j  w ij y j yi i i 1 Trang 16 (1.23) Mạng nơron Hopfield -Ứng dụng i: neuron thứ i j: neuron thứ j I j : Đầu vào bias tới neuron j Th j : ngưỡng neuron j w ij phần tử ma trận trọng W biểu thị trọng từ đầu neuron i đến đầu vào neuron j Tham khảo chứng minh ổn định mạng định lý Lyapunov [9] 2.4 Mạng Hopfield liên tục Mạng Hopfield liên tục mở rộng từ mạng Hofield rời rạc sau: Giả sử zi tổng đầu mạng, đầu yi mạng thỏa mãn: yi = fi ( zi ) = [1+tanh( zi )] (1.36) Như hình 2.2 Hình 2.2 Hàm kích hoạt với biến  Trong  biến xác định độ dốc f Ngồi phương trình vi phân thay mối quan hệ thời gian trễ đầu vào tổng trọng đầu mạng Trang 17 Mạng nơron Hopfield -Ứng dụng Chương 3: Giải toán TSP, sử dụng mạng nơron Hopfield Khả ứng dụng giải toán người du lịch Sau cơng trình Hopfield Tank [6] mạng Hopfield sử dụng nhiều vào việc giải toán tối ưu tổ hợp Ta biết mạng Hopfield đạt tới trạng thái cân hàm lượng đạt tới giá trị cực tiểu Vì vậy, từ toán cho trước, ta xây dựng hàm mục tiêu F (đã xử lý ràng buộc) đặt F = E (E hàm lượng), sau tìm mối liên hệ biến chúng Chính mà mạng Hopfield phù hợp với toán tối ưu tổ hợp, đặc biệt số toán thuộc lớp toán NP-đầy đủ như: toán người bán hàng, tìm đường tối ưu cho tuyến đường xe bus trường học, toán người đưa thư, 3.1 Phát biểu toán người du lịch (TSP) Cho mạng lưới gồm n thành phố, người muốn du lịch khắp thành phố thành phố qua lần sau quay lại thành phố xuất phát Giả sử biết khoảng cách thành phố Tìm phương án để người với tổng khoảng cách ngắn 3.2 Giải toán với mạng Hopfield Để giải toán người du lịch, chiến lược đơn giản đưa liệt kê tất đường khả thi để tính toán tổng khoảng cách cho đường chọn đường với tổng khoảng cách nhỏ Tuy nhiên có n thành phố số đường khả thi (n-1)! Vì chiến lược trở nên đơn giản không khả thi số lượng thành phố lớn Ví dụ có 11 thành phố có Trang 18 Mạng nơron Hopfield -Ứng dụng 10!=3.628.800 đường (bao gồm đường với tuyến đường khác hướng) Con số tăng lên 6.2 triệu với 13 thành phố Đối với n thành phố viếng thăm , đặt X ij biến có giá trị người du lịch từ thành phố i đến thành phố j ngược lại Dij khoảng cách từ i đến j Khi tốn người du lịch phát biểu lại sau: n Cực tiểu hóa hàm mục tiêu tuyến tính: n X D ij ij i  j j 1 3.2.1 Thiết kế mạng Mạng Hopfield mạng động với số lần lặp cho hội tụ từ trạng thái đầu vào tùy ý hình 3.1 Hình 3.1: Kiến trúc mạng Hopfield cho toán TSP n thành phố Sử dụng n2 neuron mạng, n tổng số thành phố viếng thăm Các neuron có ngưỡng có hàm bước Các đầu vào gán trọng Nhiệm vụ tìm trọng kết nối thích hợp để từ đường hợp lệ chọn đường không hợp lệ ngăn chặn Trang 19 Mạng nơron Hopfield -Ứng dụng 3.2.2 Hàm lượng Một mẫu đầu vào đại diện cho điểm lượng cụ thể, mẫu lặp theo cách để tìm giải pháp Sự lặp lặp lại trạng thái đạt đến khác biệt lượng lần lặp ngưỡng giá trị nhỏ (khoảng 0.000001) Hàm lượng sử dụng phải thỏa mãn tiêu chí sau: - Hàm lượng dẫn ma trận kết hợp ổn định - Hàm lượng đưa đường ngắn Hàm lượng sử dụng mạng: E= A   X ik X ij  B   X ki X ji  C[  X ik  n]2+D   dkj X ki ( X j ,i 1  X j ,i 1 ) i k i k i k k i jk j k j k (2.1) Trong đó: A,B,C,D số nguyên dương X ij biến để biểu thị đường thực tế viếng thăm từ thành phố i đến thành phố j Vì X ij đầu neuron thứ j mảng neuron tương ứng với thành phố thứ i Ta có n2 biến giá trị cuối chúng hay gần đến Hàm lượng phân tích sau: - Ràng buộc hàng( A i  X k ik X ij ): Trong hàm lượng ba tổng jk có số cột theo thứ tự Điều đảm bảo cho khơng có thành phố viếng thăm đồng thời - Ràng buộc cột( B i   k jk X ki X ji ):Trong hàm lượng ba tổng có thành phố xuất Trang 20 Mạng nơron Hopfield -Ứng dụng cột theo thứ tự Điều đảm bảo thành phố viếng thăm lần - Ràng buộc tổng số số 1( C[( i  k X ik )  n]2 ): Tổng ba số thứ có N số xuất toàn ma trận nxn Điều đảm bảo n thành phố viếng thăm - Ràng buộc khoảng cách ngắn nhất(D  k  d i kj X ki ( X j ,i 1  X j ,i 1 ) ): Giá jk trị điều kiện cực tiểu tổng khoảng cách đường ngắn Giá trị D quan trọng định thời gian để hội tụ tính tối ưu giải pháp Nếu giá trị D thấp phải nhiều thời gian để mạng hội tụ mang lại giải pháp gần với giải pháp tối ưu, giá trị D cao mạng hội tụ nhanh giải pháp thu khơng tối ưu 3.2.3 Thiết lập ma trận trọng Mạng hoàn toàn kết nối với thơng tin phản hồi có n2 neuron Do ma trận trọng ma trận vuông gồm n2xn2 phần tử Theo hàm lượng ma trận trọng thiết lập sau: Wik ,lj =  A il (1   kj )  B (1   jl )  C  Dd jl ( j , k 1   j ,k 1 ) (2.2) Trong đó: số A,B,C,D giống hàm lượng Các trọng cập nhật để thỏa mãn ràng buộc khác để cung cấp đường hợp lệ với tổng khoảng cách ngắn Hàm trọng phân tích sau: - Các neuron có trọng cập nhật sử dụng số cho thành phố đến cho thứ tự thành phố đường Vì phần tử ma trận trọng cho kết nối neuron cần số - Hàm delta có hai đối số định nghĩa  ik = i=k Trang 21 Mạng nơron Hopfield -Ứng dụng  ik =0 i  k - Ràng buộc cung cấp cho dịng đảm bảo khơng có hai thành phố cập nhật đồng thời - Ràng buộc thứ cung cấp cho cột, đảm bảo khơng có thành phố viếng thăm nhiều lần - Ràng buộc thứ đảm bảo cho hội tụ toàn cục - Ràng buộc thứ đảm bảo tổng khoảng cách ngắn 3.2.4 Xây dựng hàm kích hoạt Hàm kích hoạt phải tuân theo ràng buộc khác để đưa đường hợp lệ Nó định nghĩa sau: (2.3) Biểu diễn neuron kích hoạt dòng thứ i cột thứ j aij đầu kí hiệu X ij Sử dụng thời gian  với giá trị 1.0 Một thông số khác sử dụng m với giá trị 15 Điều kiện hàm kích hoạt giảm sau lần lặp Điều kiện 2,3,4,5 giữ cho ràng buộc để đường hợp lệ Chức kích hoạt cập nhật sau: Trang 22 Mạng nơron Hopfield -Ứng dụng aij (moi)= aij (cu)+  aij 3.2.5 Lựa chọn đầu vào Các đầu vào mạng lựa chọn tùy ý Trạng thái ban đầu mạng không cố định, không chống lại nghiêng tuyến đường cụ thể Một vấn đề phát sinh mạng bị kẹt cực tiểu cục Để tránh xảy tình trạng nhiễu ngẫu nhiên tạo thêm vào đầu vào ban đầu Cũng có yếu tố đầu vào cho từ người sử dụng Ví dụ người sử dụng yêu cầu số lượng thành phố đầu vào hay khoảng cách thành phố 3.2.6 Kết thảo luận Sau cài đặt thuật toán, sử dụng phần mềm Matlab tiến hành cho mạng chạy với số thành phố đầu vào 5,10,15,20,25 ta bảng kết đây: Số thành phố Số lần lặp Thời gian Kết (Giây) 152 0.4652 Tốt 10 581 1.8075 Tốt 15 1021 3.2873 Tốt 20 2433 7.6458 Tốt 25 5292 16.2264 Chấp nhận - Kết cho thấy số thành phố tăng số lần lặp tăng mạnh Số lần lặp tăng khơng phải tăng tuyến tính Trang 23 Mạng nơron Hopfield -Ứng dụng - Số lần lặp cần thiết để hội tụ khơng trì giống với thành phố cụ thể Ví dụ với thành phố, mạng thường đạt hội tụ với 120170 lần lặp Trong vài trường hợp mạng cần 80 lần lặp để hội tụ, có vài trường hợp cần đến 250 lần Điều lý giải trạng thái ban đầu khởi tạo ngẫu nhiên mạng - Nhiều trường hợp lượng hệ thống tính tốn lại tăng thay giảm Vì thuật tốn khơng thành cơng vài trường hợp - Trong q trình test thử mẫu có 93% hội tụ, 7% thất bại lượng hệ thống tăng lên thay giảm mạng lặp theo hướng hội tụ Kết luận - Mạng phát triển luôn đưa giải pháp tối ưu, nhiên phần lớn trường hợp gần đến tối ưu Cách tiếp cận nhanh so với phương pháp lập trình sử dụng cho tốn người du lịch - Vài thay đổi cải tiến thực hàm lượng với hàm khác hàm cập nhật trọng, hàm kích hoạt cho giải pháp tốt - Trong nhiều trường hợp thuật toán hội tụ tới giá trị cực tiểu cục thay cực tiểu tồn cục Vấn đề giải cách thêm nhiễu ngẫu nhiên vào đầu vào ban đầu hệ thống - Vấn đề khó giải chất lượng giải pháp loại bỏ hình thức thích hợp hàm lượng sửa đổi tính động nội mạng Bằng việc thể tất ràng buộc toán điều kiện đơn tổng số điều kiện tham số hàm lượng giảm Trang 24 Mạng nơron Hopfield -Ứng dụng - Các thiết lập cho tham số khác A,B,C,D,m… cải thiện cách thử kiểm soát lỗi Trang 25 Mạng nơron Hopfield -Ứng dụng Tài liệu tham khảo [1] TS Ngô Hữu Phúc [2012], Bài giảng Trí Tuệ nhân tạo [2] Stuart J Russell and Peter Novig Artificial Intelligence - A Modern Approach (2nd edition) (Prentice Hall,2003) [3] Beauchamp, K G [1984] Applications of Walsh and Related Functions, Academic Press,London [4] Cohen, M and Grossberg, S [1983] \Absolute stability of global pattern formation and parallel memory storage by competitive neural networks", IEEE Trans Sys.; Man and Cybernet SMC-13, 815-826 [5] Hopfield, J J [1982] \Neural networks and physical systems with emergent collective computational abilities", Proceedings of the National Academy of Sciences 79, 2554-2558 [6] Hopfield, J J and Tank, D W [1985], Neural computation of decisions in optimization problems, Biol Cybern., vol 52, pp 141{152 [7] Lyapunov, A M [1907] “Probleme general de la stabilite du mouvement", Ann Fac Sci Toulouse 9, 203{474; English edition: Stability of Motion, Academic Press, New York,1957 [8] Kohonen, T [1977] Associated Memory: A System-Theoretical Approach, Springer Verlag, Berlin [9] Graupe, D [2007] Principles of Artificial Neural Networks (2nd Edition), World Scientific Publishing Co Pte Ltd Trang 26 ... đầu vào tổng trọng đầu mạng Trang 17 Mạng nơron Hopfield -Ứng dụng Chương 3: Giải toán TSP, sử dụng mạng nơron Hopfield Khả ứng dụng giải toán người du lịch Sau cơng trình Hopfield Tank [6] mạng. .. tri thức mạng, mạng giải vấn đề cách đắn Đó vấn đề ứng dụng khác Trang Mạng nơron Hopfield -Ứng dụng nhau, giải chủ yếu dựa tổ chức hợp thông tin đầu vào mạng đáp ứng đầu  Nếu nhiệm vụ mạng hoàn.. .Mạng nơron Hopfield -Ứng dụng Lời cảm ơn Nội dung đồ án vào tìm hiểu xây dựng phần tử nơron bản, xem xét nghiên cứu cấu trúc mạng nơron, giới thiệu mạng nơron nhiều lớp Trọng tâm đồ án vào