Đang tải... (xem toàn văn)
MỞ ĐẦU Mạng nơron bản đồ tự tổ chức (SOM - Self Organizing Map) được đề xuất bởi giáo sư Teuvo Kohonen vào năm 1980. Nó còn được biết đến với các tên gọi khác là: Bản đồ đặc trưng tự tổ chức (SOFM - Self Organizing Feature Map) hay mạng nơron tự tổ chức, hay đơn giản hơn là mạng nơron Kohonen. Tính tự tổ chức của SOM được thực hiện bởi nguyên tắc học cạnh tranh, không giám sát nhằm tạo ra ánh xạ của dữ liệu từ không gian nhiều chiều về không gian ít chiều hơn (thường là hai chiều), nhưng vẫn đảm bảo được quan hệ về mặt hình trạng của dữ liệu (Kohonen, 2001). Điều này có nghĩa là các dữ liệu có đặc trưng tương đồng nhau sẽ được đại diện bởi cùng một nơron hoặc các nơron gần nhau và các nơron gần nhau sẽ tương đồng với nhau hơn so với những nơron ở xa. Kết quả là hình thành bản đồ đặc trưng của tập dữ liệu. Đây thực chất là một phép chiếu phi tuyến tạo ra “ánh xạ đặc trưng” cho phép phát hiện và phân tích những đặc trưng của không gian dữ liệu vào. Do đó, SOM là một công cụ hiệu quả cho việc trực quan, phân tích dữ liệu và hữu ích để thực hiện các nhiệm vụ tiền xử lý trong khai phá dữ liệu (ví dụ như phân lớp và phân cụm dữ liệu). Tuy nhiên, bản thân mạng nơron SOM vẫn còn tồn tại nhiều nhược điểm dẫn tới những khó khăn và khả năng ứng dụng thực tiễn bị hạn chế như: phải xác định trước hình trạng (số chiều và kết nối giữa các nơron trong cấu trúc mạng) và kích thước bản đồ; bản đồ đặc trưng thiếu tính trực quan; thiếu cơ chế phân loại chính xác dữ liệu theo các tiêu chí cụ thể; tốn thời gian để xác định nơron chiến thắng (BMU), đặc biệt khi bản đồ đặc trưng có kích thước lớn; thứ tự của các mẫu vào ảnh hưởng tới xu hướng biến đổi của bản đồ; thiếu cơ chế giám sát trong quá trình học để nâng cao chất lượng của mạng khi giải quyết các các bài toán mà dữ liệu đầu vào có thông tin hướng dẫn (đầu ra) kèm theo... Do vậy, các nghiên cứu về cải tiến cấu trúc và thuật toán học của mạng nơron SOM đã được nhiều nhà nghiên cứu quan tâm. Các nghiên cứu cải tiến mạng nơron SOM được chia làm hai hướng chính, gồm: cải tiến cấu trúc và cải tiến thuật toán học của mạng. Các nghiên cứu về cải tiến cấu trúc của mạng có thể được chia làm hai nhóm: Nhóm thứ nhất gồm các cấu trúc cải tiến tăng trưởng theo chiều ngang. Các cấu trúc này có đặc điểm chung là ban đầu mạng có kích thước nhỏ, sau đó mở rộng trong quá trình huấn luyện tùy thuộc vào đặc tính của tập dữ liệu huấn luyện. Các cấu trúc điển hình thuộc nhóm này gồm: Growing Cell Structure (Fritzke, 1992), Neural Gas (1993) và Topology Representing Network (Martinetz, 1994), Growing Neural Gas và Growing Grid (Fritzke, 1995), Incremental Grid Growing (Blackmore, 1995), Growing SOM (Alahakoon, 2000)... Nhóm thứ hai gồm các cấu trúc cải tiến tăng trưởng theo chiều dọc, còn gọi là cấu trúc cây (với mỗi nút của cây là một nơron) hoặc cấu trúc cây phân tầng (với mỗi nút của cây là một mạng nơron SOM hoặc một biến thể của SOM). Các cấu trúc cây có thể cố định trước kích thước, nhưng cũng có thể tăng trưởng kích thước trong quá trình huấn luyện, do đó, còn được gọi là cấu trúc cây tăng trưởng. Các cấu trúc điển hình thuộc nhóm này gồm: Tree-Structured VQ và Tree-Structured SOM (Koikkalainen, 1990), Hierarchical Feature Map (Miikkulainen, 1990), Self-Organizing Tree Algorithm (Dopazo, 1997), Growing Hierarchical SOM (Rauber, 2002), Adaptive Hierarchical Incremental Grid Growing (Merkl, 2003), Evolving Tree (Pakkanen, 2004), Self Organising Tree Map (Guan, 2006), Growing Hierarchical Tree SOM (Forti, 2006), TTOSOM with Conditional Rotations (2009) và Tree-Based Topology-Oriented SOM (Astudillo, 2011)... Các cấu trúc cây được đưa ra chủ yếu nhằm mục đích biểu diễn tính chất phân cấp của dữ liệu. Các cải tiến về thuật toán học của mạng có thể chia làm hai nhóm chính: các thuật toán học cải tiến sử dụng phương pháp học không giám sát và các thuật toán học cải tiến sử dụng phương pháp học giám sát hoặc bán giám sát. Nhóm thứ hai hình thành các biến thể với tên gọi chung là các mạng nơron SOM học giám sát hoặc bán giám sát. Các ví dụ điển hình của nhóm này gồm: Supervised Kohonen Network (Kohonen, 1988), Counter Propagation Network (Zupan, 1997), Recurrent Self-Organizing Map (Varsta, 2001), Supervising Network Self-Organizing Map (Papadimitriou, 2001), X–Y Fused Network và Bi-Directional Kohonen network (Melssen, 2006), Semi-Supervised GSOM (Allahyar, 2015)... và một số nghiên cứu liên quan khác của Thammano (2007), Lawawirojwong (2013), Groof (2014), Gil (2015), Li (2013), Abaei (2015). Trên cơ sở nghiên cứu về mạng nơron SOM gốc và các biến thể của SOM về cấu trúc và phương pháp học, có một số vấn đề tồn tại cần tiếp tục nghiên cứu phát triển như sau: Thứ nhất, đề xuất các phương thức cải thiện chất lượng bản đồ đặc trưng khác so với các phương thức đã có trước đây; nghiên cứu cải thiện chất lượng biểu diễn dữ liệu của các mạng nơron SOM cải tiến. Đây là một hướng nghiên cứu mở do hiện nay các nghiên cứu cải thiện chất lượng các mạng nơron SOM cải tiến chưa có nhiều. Thứ hai, cả SOM gốc và hầu hết các biến thể của SOM chủ yếu được thiết kế cho mục tiêu biểu diễn dữ liệu (biểu diễn sự phân bố hoặc sự phân cấp của dữ liệu) nên khi ứng dụng SOM cho các mục đích khác cần nghiên cứu các phương án cải tiến phù hợp. Ví dụ, mạng nơron SOM chưa có phương án phân loại dữ liệu chính xác, do đó khả năng ứng dụng SOM để giải quyết các vấn đề của khai phá dữ liệu (ví dụ như phân lớp và phân cụm) còn hạn chế. Thứ ba: do sử dụng phương pháp học không giám sát nên quá trình học của SOM thiếu thông tin hướng dẫn để nâng cao hiệu quả ứng dụng trong một số bài toán thực tế, ví dụ như bài toán phân lớp dữ liệu. Các tồn tại trên là lý do lựa chọn và đưa ra các mục tiêu nghiên cứu của đề tài luận án. Mục tiêu nghiên cứu của đề tài luận án gồm: 1. Đề xuất một số giải pháp cải thiện chất lượng bản đồ đặc trưng mạng nơron SOM. 2. Cải tiến cấu trúc, thuật toán học mạng nơron SOM ứng dụng cho bài toán phân lớp, phân cụm dữ liệu. Các nội dung nghiên cứu này được thực nghiệm trong phạm vi dữ liệu dạng vector thuộc tính số thực; không áp dụng với các loại dữ liệu khác. Để đánh giá các kết quả nghiên cứu đạt được, nghiên cứu sinh cài đặt chương trình thử nghiệm bằng ngôn ngữ lập trình C# và tiến hành thực nghiệm trên các tập dữ liệu
BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VN HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Lê Anh Tú PHÁT TRIỂN CÁC CẤU TRÚC, THUẬT HỌC CỦA MẠNG NƠRON TỰ TỔ CHỨC LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2016 MỤC LỤC Lời cam đoan Lời cảm ơn .2 MỤC LỤC .3 Danh mục từ viết tắt Danh mục ký hiệu toán học .9 Danh mục bảng 11 Danh mục hình vẽ, đồ thị 12 Danh mục định nghĩa, định lý, bổ đề 13 Danh mục thuật toán .13 MỞ ĐẦU .14 CHƯƠNG 19 TỔNG QUAN VỀ CÁC MÔ HÌNH MẠNG NƠRON TỰ TỔ CHỨC 19 1.1 Tổng quan mạng nơron nhân tạo 19 1.1.1 Khái niệm mạng nơron nhân tạo 19 1.1.2 Các kiến trúc mạng nơron nhân tạo 20 1.1.3 Các phương pháp học 21 1.1.4 Lịch sử xu hướng phát triển mạng nơron nhân tạo 23 1.2 Mạng nơron tự tổ chức 25 1.2.1 Cấu trúc mạng nơron tự tổ chức 25 1.2.2 Thuật toán học mạng nơron tự tổ chức 26 1.2.3 Đánh giá chất lượng đồ đặc trưng mạng nơron tự tổ chức .29 1.3 Hạn chế mạng nơron tự tổ chức biện pháp khắc phục 32 1.4 Kết nghiên cứu nước cải tiến cấu trúc, phương pháp học mạng nơron tự tổ chức 35 1.4.1 Kết nghiên cứu nước 35 1.4.2 Kết nghiên cứu nước 35 1.5 Đặc điểm chung phương thức cải tiến mạng nơron tự tổ chức 41 1.6 Kết luận chương .43 CHƯƠNG 44 HAI PHƯƠNG THỨC CẢI THIỆN CHẤT LƯỢNG BẢN ĐỒ ĐẶC TRƯNG CỦA MẠNG NƠRON TỰ TỔ CHỨC 44 2.1 Tổng quan cải thiện chất lượng đồ đặc trưng mạng nơron tự tổ chức 44 2.2 Điều chỉnh hàm lân cận để cải thiện chất lượng đồ đặc trưng .46 2.2.1 Một số dạng hàm lân cận mạng nơron tự tổ chức 46 2.2.2 Điều chỉnh tham số hàm lân cận đối xứng dạng mũ .47 2.3 Thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử .51 2.3.1 Đặt vấn đề 51 2.3.2 Thuật toán điều chỉnh trọng số nơron 57 2.4 Các tập liệu sử dụng cho thực nghiệm 60 2.5 Thực nghiệm hàm lân cận mũ với tham số điều chỉnh .62 2.5.1 Mục tiêu thực nghiệm 62 2.5.2 Phương pháp thực nghiệm 62 2.5.3 Các tham số khởi tạo mạng 62 2.5.4 Kết thực nghiệm 63 2.5.5 So sánh hàm lân cận điều chỉnh với số dạng hàm lân cận khác 72 2.6 Thực nghiệm thuật toán Batch-IMQS 73 2.6.1 Mục tiêu thực nghiệm 73 2.6.2 Phương pháp thực nghiệm 73 2.6.3 Các tham số khởi tạo mạng 73 2.6.4 Kết thực nghiệm 73 2.7 Kết luận chương .75 CHƯƠNG 76 MỘT MẠNG NƠRON TỰ TỔ CHỨC CÓ CẤU TRÚC PHÂN TẦNG TĂNG TRƯỞNG VÀ THUẬT TOÁN HỌC BÁN GIÁM SÁT CHO BÀI TOÁN PHÂN LỚP DỮ LIỆU .76 3.1 Tổng quan mạng nơron tự tổ chức cải tiến học giám sát, bán giám sát cho phân lớp liệu 76 3.2 Phát biểu toán phân lớp liệu 79 3.3 Một cấu trúc phân tầng tăng trưởng thuật toán học bán giám sát mạng nơron tự tổ chức cho toán phân lớp liệu 79 3.3.1 Các cấu trúc tảng để xây dựng mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu .80 3.3.2 Cấu trúc mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu 83 3.3.3 Thuật toán huấn luyện kiểm thử mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu .87 3.4 Thực nghiệm mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu 92 3.4.1 Mục tiêu thực nghiệm 92 3.4.2 Phương pháp thực nghiệm 92 3.4.3 Các tham số khởi tạo mạng 93 3.4.4 Kết thực nghiệm 93 3.4.5 So sánh mô hình đề xuất với số phương thức khác 96 3.5 Kết luận chương .101 CHƯƠNG 102 MỞ RỘNG CẤU TRÚC, THUẬT TOÁN HỌC CỦA MẠNG NƠRON TỰ TỔ CHỨC CHO BÀI TOÁN PHÂN CỤM DỮ LIỆU .102 4.1 Tổng quan sử dụng mạng nơron tự tổ chức cho phân cụm liệu .102 4.2 Phát biểu toán phân cụm liệu 105 4.3 Cải tiến thuật toán học mạng nơron tự tổ chức cho phân cụm liệu .106 4.3.1 Ý tưởng thuật toán cải tiến 106 4.3.2 Thuật toán học cải tiến mạng nơron tự tổ chức cho phân cụm liệu 109 4.4 Mở rộng cấu trúc mạng nơron tự tổ chức cho phân cụm liệu .111 4.4.1 Cấu trúc mạng nơron tự tổ chức mở rộng hai lớp 112 4.4.2 Thuật toán huấn luyện mạng nơron tự tổ chức mở rộng hai lớp .112 4.5 Thực nghiệm thuật toán học cải tiến mạng tự tổ chức mở rộng hai lớp 116 4.5.1 Mục tiêu thực nghiệm 116 4.5.2 Phương pháp thực nghiệm 117 4.5.3 Các tham số khởi tạo mạng 117 4.5.4 Kết thực nghiệm 117 4.5.5 So sánh phương thức đề xuất với số phương thức khác .118 4.6 Kết luận chương .121 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI LUẬN ÁN 123 CÁC CÔNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH .125 TÀI LIỆU THAM KHẢO 126 PHỤ LỤC 134 Phụ lục 1: Một số độ đo theo cặp đánh giá chất lượng gom cụm 134 Phụ lục 2: Độ xác phân loại (Accuracy) 136 Danh mục từ viết tắt Từ viết tắt AHIGG ANN BDK Diễn giải Adaptive Hierarchical Incremental Grid Growing Artificial Neural Network Bi-Directional Kohonen BMU BoA Best Matching Unit Bubble of Activity BSOM CCS Bayesian Self-Organizing Map Cohn's CSS (Constrained Semi-Supervised) CPN CS2GS CSPA DCS DM Counter Propagation Network Constrained SemiSupervised GSOM Cluster-based Similarity Partitioning Algorithm Davidson's CSS (Constrained Semi-Supervised) Distortion Measure ET GCS GG GHSOM GHSSOM GHTSOM GMM GNG Evolving Tree Growing Cell Structure Growing Grid Growing Hierarchical SOM Growing Hierarchical Semi-Supervised SOM Growing Hierarchical Tree SOM Gaussian Mixture Model Growing Neural Gas GSOM GWCA HFM HGPA HTS IGG IMQS KGSOM Growing SOM Generalized Weighted Cluster Aggregation Hierarchical Feature Map Hyper-Graph-Partitioning Algorithm Hierarchical Tree Structure Incremental Grid Growing Improving Map Quality of SOM Kernel GSOM KNN NG k-Nearest Neighbor Neural Gas NMFC Nonnegative Matrix Factorization based Consensus QE RCS Quantization Error Ruiz's CSS (Constrained Semi-Supervised) RSOM SC SKN Recurrent Self-Organizing Map Spectral Clustering Supervised Kohonen Network sNet-SOM Supervising Network Self-Organizing Map SOM SOM-P Self Organizing Map SOM-Partitional SOMSR SOTA SOM with Selective Refractoriness Self-Organizing Tree Algorithm SOTM SSGSOM SVM Self Organising Tree Map Semi-Supervised GSOM Support Vector Machine TE TP TRN Topographic Error Topographic Product Topology Representing Network TSSOM Tree-Structured SOM TSVQ TTOCONROT TTOSOM WC XYF Tree-Structured VQ TTOSOM with Conditional Rotations Tree-Based Topology-Oriented SOM Weighted Consensus X–Y Fused Network Danh mục ký hiệu toán học Ký hiệu Diễn giải Hằng số thời gian Tham số điều chỉnh mức độ giảm kích thước nút so với nút cha Tham số xác định ngưỡng phân ly , Tham số ngưỡng ab Kích thước lớp Kohonen ceil() center d(x,wi) d, y e Hàm làm tròn lên Tâm cụm liệu Khoảng cách vector x vector wi Mẫu đầu Nhãn lỗi Ed hci(t) L0 Li(0) Li(t) m, g N N0, R0 Nc(t), R(t) Hàm lỗi đánh giá mức độ biến dạng đồ Hàm lân cận nơron i xác định lần huấn luyện thứ t Tỉ lệ học khởi tạo toàn mạng Tỉ lệ học khởi tạo nơron thứ i Tỉ lệ học nơron thứ i lần học thứ t Các nút phân tầng GHSSOM Tổng số mẫu có tập liệu Bán kính lân cận khởi tạo Bán kính lân cận lần học thứ t Nq pij(t) Q q, p QE qei r Nơron thứ q Xác suất nơron thứ i (lớp 1) thuộc vào nhóm nơron thứ j (lớp 2) lần huấn luyện thứ t Tổng khoảng cách mẫu đầu vào trọng số nơron Các tham số điều chỉnh cho hàm lân cận Lỗi lượng tử mạng Lỗi lượng tử nơron i Tổng số cụm (nhóm) Sc t Khoảng cách trọng tâm tập liệu Lần huấn luyện (lần học thứ t) 10 T Tổng số lần huấn luyện mạng T0 V, I, J Tổng số lần huấn luyện nút gốc Tập liệu wc wi wi(t) Vector trọng số nơron chiến thắng (BMU) Vector trọng số nơron thứ i Vector trọng số nơron thứ i lần học thứ t wij Thành phần trọng số nơron thứ i ứng với đầu vào thứ j x(t) Mẫu đầu vào lần học thứ t 11 Danh mục bảng Bảng 1 So sánh số mạng nơron đời trước năm 1990 .23 Bảng So sánh biến thể SOM không sử dụng cấu trúc .37 Bảng So sánh biến thể SOM sử dụng cấu trúc 38 Bảng So sánh mạng nơron tự tổ chức có giám sát 40 Bảng Thông tin tập liệu sử dụng để thực nghiệm 60 Bảng 2 Kết thực nghiệm cố định tham số p=2, thay đổi tham số q .63 Bảng Kết thực nghiệm thay đổi tham số p, cố định tham số q 64 Bảng So sánh độ đo QE, TE số dạng hàm lân cận 72 Bảng Kết thực nghiệm thuật toán Batch-IMQS 74 Bảng Tham số q hàm lân cận áp dụng cho tập liệu 92 Bảng Kết phân lớp GHSSOMv1 .93 Bảng 3 Kết phân lớp GHSSOMv2 .94 Bảng Kết phân lớp Iris GHSSOM số phương thức 97 Bảng Kết phân lớp GHSSOM số phương thức cài đặt WEKA 97 Bảng Kết phân lớp LibSVM .98 Bảng So sánh phương pháp phân cụm liệu SOM 104 Bảng Kết thực nghiệm phân cụm SOM-P SOM-2 .117 Bảng So sánh SOM-P, SOM-2 với GWCA số phương thức khác 118 Bảng 4 So sánh SOM-P, SOM-2 với GSOM KGSOM 119 Bảng So sánh SOM-P, SOM-2 với số phương thức khác .119 Bảng So sánh tỉ lệ phân loại sai SOM-P, SOM-2 với số phương thức 120 122 thực cách liên tục phân ly tranh chấp nơron cụm lần học mạng Thứ hai, đề xuất cấu trúc mở rộng SOM-2 gồm lớp đưa thuật toán học SOM-2 cho mục đích phân cụm liệu Lớp ma trận Kohonen chiều, nơron thuộc lớp đại diện cho cụm nơron thuộc lớp SOM2 sử dụng phương pháp phân cụm phân hoạch Trong lần học, bước hiệu chỉnh trọng số nơron đại diện cụm thuộc lớp 2, xác định cụm cho nơron thuộc lớp So với số phương thức phân cụm sử dụng phương pháp phân cụm phân hoạch công bố gần đặc biệt số phương thức phân cụm cải tiến từ SOM, SOM-P SOM-2 phân cụm tốt Tuy nhiên, so với số phương thức phân cụm truyền thống kết chưa có bật Có hai nguyên nhân chính: Một là, SOM-P SOM-2 phải thực hai lần phép ánh xạ liệu để phân cụm Lần ánh xạ mẫu liệu tới nơron đại diện cho chúng Lần hai gom nơron có trọng số tương đồng vào cụm Hai lần ánh xạ tạo sai số cao so với thuật toán phân cụm trực tiếp Đây hạn chế chung tất phương thức phân cụm phát triển từ SOM Hai là, việc phân nhóm nơron sử dụng phương pháp phân cụm phân hoạch chưa phù hợp thực tế cụm liệu phân bố đồ đặc trưng dạng hình cầu Hướng phát triển chương nghiên cứu phân nhóm nơron SOM dựa tính chất khoảng cách nơron thay sử dụng tư tưởng phân cụm phân hoạch 123 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI LUẬN ÁN Kết luận Với mục tiêu nghiên cứu cải tiến cấu trúc, thuật toán học mạng nơron tự tổ chức, luận án thực nội dung nghiên cứu: Nghiên cứu tổng quan mạng nơron tự tổ chức biến thể mạng nơron tự tổ chức, phân tích hạn chế giải pháp nhà nghiên cứu sử dụng để khắc phục hạn chế Ngoài ra, tổng hợp đặc điểm chung áp dụng để phát triển biến thể mạng nơron tự tổ chức Các nghiên cứu sở để phát triển hướng nghiên cứu luận án Các nội dung nghiên cứu chuyên sâu luận án tập trung theo hai mục tiêu sau: Thứ nhất, cải tiến thuật toán học nhằm cải thiện chất lượng đồ đặc trưng mạng nơron tự tổ chức Thứ hai, cải tiến cấu trúc thuật toán học mạng nơron tự tổ chức ứng dụng cho toán phân lớp phân cụm liệu Các kết cụ thể gồm: (1) Bổ sung tham số điều chỉnh cho hàm lân cận đối xứng dạng mũ (Gaussian) để đạt đồ đặc trưng có chất lượng tốt với hai độ đo lỗi lượng tử lỗi hình trạng giảm Tức cải thiện hai tiêu chí chất lượng học chất lượng chiếu (tính bảo tồn quan hệ lân cận liệu) (2) Đưa thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử mạng Mục tiêu nâng cao chất lượng học mạng hay cải thiện tính xác liệu đại diện Tuy nhiên, hạn chế thuật toán lỗi hình trạng tăng tỉ lệ nghịch với lỗi lượng tử (3) Đưa cấu trúc phân tầng tăng trưởng thuật toán học bán giám sát mạng nơron tự tổ chức cho toán phân lớp liệu Mô hình đề xuất hoạt động mô hình phân lớp truyền thống phân lớp bán giám sát So với nhiều mô hình phân lớp khác, mô hình đề xuất phân lớp xác 124 hơn, đặc biệt trường hợp số lượng mẫu liệu huấn luyện có nhãn nhỏ (4) Đưa hai đề xuất cải tiến mạng nơron tự tổ chức cho toán phân cụm liệu Một là, cải tiến thuật toán học mạng áp dụng cho toán phân cụm liệu Hai là, đưa cấu trúc mạng gồm hai lớp thuật toán học cấu trúc đề xuất áp dụng cho toán phân cụm liệu Các phương thức phân cụm xác so với số phương thức phân cụm khác sử dụng phương pháp phân hoạch số phương thức phân cụm phát triển từ SOM (5) Cài đặt thực nghiệm cấu trúc thuật toán cải tiến sử dụng 12 tập liệu giả định thực tế công bố Hướng phát triển đề tài luận án Các nội dung nghiên cứu luận án tiếp tục hoàn thiện phát triển Một số hướng phát triển cụ thể luận án sau: - Tiếp tục nghiên cứu phương thức để cải thiện chất lượng đồ đặc trưng mạng, nhằm đảm bảo giảm đồng thời hai độ đo lỗi lượng tử lỗi hình trạng Ngoài ra, nghiên cứu mở rộng thuật toán học biến thể mạng nơron tự tổ chức để cải thiện chất lượng đồ đặc trưng biến thể - Cải tiến kỹ thuật lan truyền nhãn mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát GHSSOM nhằm cải thiện độ xác phân lớp - Nghiên cứu kỹ thuật phân nhóm nơron SOM dựa tính chất khoảng cách nơron thay sử dụng tư tưởng phương pháp phân cụm phân hoạch để cải thiện độ xác phân cụm giải pháp đề xuất 125 CÁC CÔNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH 1A Lê Anh Tú, Phạm Việt Bình, Lê Sơn Thái (2013), Một giải pháp trực quan mạng nơron SOM ứng dụng phân cụm liệu, Fair 06/2013-Huế, 270-276 2A Le Anh Tu, Nguyen Quang Hoan, Le Son Thai (2013), Clustering Hierarchical Data Using SOM Neural Network, ICCASA 2012, LNICST of Springer 109, 282– 289 3A Lê Anh Tú, Lê Sơn Thái, Nguyễn Quang Hoan (2014), Một số giải pháp cải tiến nhằm tăng tốc độ thuật toán mạng nơron SOM, Tạp chí KH&CN-ĐHTN, 116(2), 79-84 4A Le Anh Tu, Nguyen Quang Hoan, Le Son Thai (2014), Hierarchy Supervised SOM Neural Network Applied for Classification Problem, Journal of Computer Science and Cybernetics, 24(3), 278-290 5A Lê Anh Tú, Phạm Việt Bình, Đỗ Năng Toàn, Lê Sơn Thái (2014), Ứng dụng mạng nơron SOM việc xác định trạng thái nhắm, mở mắt người, Kỷ yếu Hội thảo Fair 6/2014 - Thái Nguyên, 729-735 6A Le Anh Tu (2015), Improving the Quality of Self-Organizing Map by Different Elements Competitive Strategy, Journal of Computer Science and Cybernetics, 31(3), 215-229 7A Le Anh Tu, Nguyen Quang Hoan, Vu Duc Thai (2016), Improving Feature Map Quality of SOM Based on Adjusting the Neighborhood Function, International Journal of Computer Science and Information Security (ESCI index), 14(9), 746757 8A Le Anh Tu, Nguyen Quang Hoan, Vu Duc Thai (2016), A Growing Hierarchical Semi-Supervised SOM for Classification Problem, International Journal of Computer Science and Information Security (ESCI index), 14(9), 671-679 9A Lê Anh Tú, Vũ Đức Thái, Ngô Phương Thùy (2016), Cải tiến mạng nơron tự tổ chức cho mục đích phân cụm liệu, Hội nghị toàn quốc lần thứ Cơ Điện tử - VCM-2016, Cần Thơ 11/2016 126 TÀI LIỆU THAM KHẢO Tiếng Việt Đỗ Trung Hải (2008), Ứng dụng lý thuyết mờ mạng nơron để điều khiển hệ chuyển động, Luận án Tiến sĩ, Trường Đại học Bách khoa Hà Nội Nguyễn Trần Hiệp (2012), Nâng cao chất lượng điều khiển robot có tham số bất định phụ thuộc thời gian sở ứng dụng mạng nơron giải thuật di truyền, Luận án Tiến sĩ, Học viện Kỹ thuật Quân Nông Thị Hoa (2015), Cải tiến trình học số mạng nơron ghi nhớ, Luận án Tiến sĩ, Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội Nguyễn Duy Hưng (2009), Về phương pháp tổng hợp hệ điều khiển mờ dùng mạng nơron ứng dụng công nghiệp, Luận án Tiến sĩ, Viện nghiên cứu Điện tử-Tin học-Tự động hóa Nguyễn Thị Thanh Nga (2013), Về phương pháp cải tiến thuật toán học mạng nơ ron cho toán có mặt lỗi đặc biệt nhận dạng, Luận án Tiến sĩ, Viện nghiên cứu Điện tử-Tin học-Tự động hóa Đỗ Phúc (2008), Giáo trình khai thác liệu, NXB Đại học Quốc gia Tp Hồ Chí Minh Tiếng Anh G Abaei, A Selamat and H Fujita (2015), “An Empirical Study Based on SemiSupervised Hybrid Self-Organizing Map for Software Fault Prediction”, Knowledge-Based Systems, 74, 28–39 D Alahakoon, S Halgamuge, and B Srinivasan (2000), “Dynamic SelfOrganizing Maps with Controlled Growth for Knowledge Discovery,” IEEE Trans Neural Netw, 11(3), 601–614 A Allahyar, H S Yazdi, A Harati (2015), “Constrained Semi-Supervised Growing Self-Organizing Map,” Neurocomputing, 147, 456–471 10 T Aoki, T Aoyagi (2007), “Self-Organizing Maps with Asymmetric Neighborhood Function,” Neural Computation, 19, 2515-2535 127 11 C Astudillo and B Oommen (2009), “On Using Adaptive Binary Search Trees to Enhance Self Organizing Maps,” in 22nd Australasian Joint Conference On Artificial Intelligence (AI) 2009, A Nicholson and X Li, Eds., 199–209 12 C Astudillo and B Oommen (2011), “Imposing Tree-Based Topologies onto Self Organizing Maps,” Inf Sci, 181(18), 3798–3815 13 H Bauer, M Herrmann, and T Villmann (1999), “Neural Maps and Topographic Vector Quantization,” Neural Netw, 12(4-5), 659–676 14 H Bauer and K Pawelzik (1992), “Quantifying the Neighborhood Preservation of Self Organizing Feature Maps,” IEEE Transactions on Neural Networks, 3(4), 570–579 15 Y Bengio (2013), “Knowledge Matters: Importance of Prior Information for Optimization,” in International Conference on Learning Representations, 1–37 16 E Berglund and J Sitte (2006), “The Parameterless Self-Organizing Map Algorithm,” Neural Netw IEEE Trans, 17(2), 305–316 17 J Blackmore and R Miikkulainen (1995), “Visualizing High-Dimensional Structure with the Incremental Grid Growing Neural Network,” in Proceedings of the Twelfth International Conference on Machine Learning, A Prieditis and S Russell, Eds San Francisco, CA, USA: Morgan Kaufmann Publishers, 55–63 18 D Brugger, M Bogdan, and W Rosenstiel (2008), “Automatic Cluster Detection in Kohonen’s SOM,” IEEE Transactions on Neural Networks, 19(3) 19 A César Astudillo and B John Oommen (2014), “Topology-Oriented SelfOrganizing Maps: A Survey,” Pattern Analysis and Applications, 17(2), 223–248 20 M Chattopadhyay, P K Dan, and S Mazumdar (2012), “Application of Visual Clustering Properties of Self Organizing Map in Machine-Part Cell Formation,” Applied Soft Computing, 12(2), 600–610 21 T Chow and M Rahman (2009), “Multilayer SOM with Tree Structured Data for Efficient Document Retrieval and Plagiarism Detection,” Neural Netw IEEE Trans, 20(9), 1385–1402 22 D L Davies and D W Bouldin (1979), “A cluster separation measure,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol PAMI-1(2), 224– 227 23 J Dopazo and J Carazo (1997), “Phylogenetic Reconstruction Using an Unsupervised Growing Neural Network that Adopts the Topology of a Phylogenetic Tree,” J Mol Evol, 44(2), 226–233 24 J A Flanagan (1996), “Self-Organization in Kohonen’s SOM,” Neural Networks, 9(7), 1185–1197 128 25 A Forti and G Foresti (2006), “Growing Hierarchical Tree SOM: an Unsupervised Neural Network with Dynamic Topology,” Neural Netw, 19(10), 1568–1580 26 B Fritzke (1995), “Growing Grid - a Self-Organizing Network With Constant Neighborhood Range and Adaptation Strength,” Neural Process Lett, 2(5), 9–13 27 B Fritzke (1995), “A Growing Neural Gas Network Learns Topologies,” in Advances in Neural Information Processing Systems, G Tesauro, D Touretzky, and T Leen, Eds MIT Press, Cambridge, 7, 625–632 28 Fritzke (1992), “Growing Cell Structures-A Self-Organizing Network in k Dimensions,” in Artificial Neural Networks, I Aleksander and J Taylor, Eds North-Holland: Amsterdam, Netherlands, 2(2), 1051–1056 29 E Germen (2002), “Increasing the Topological Quality of Kohonen’s Self Organizing Map by Using a Hit Term,” in Neural Information Processing, Proceedings of the 9th International Conference on (ICONIP ’02), 2, 930–934 30 E Germen (2005), “Improving the Resultant Quality of Kohonens Self Organizing Map Using Stiffness Factor,” in Advances in Natural Computation, Lecture Notes in Computer Science (First International Conference, ICNC 2005) Changsha, China: Springer Berlin Heidelberg, August 27-29 2005, 3610, 353–357 31 E Germen and S Bilgen (1997), “A Statistical Approach to Determine the Neighborhood Function and Learning Rate in Self-Organizing Maps,” in Proc ICONIP97 Springer, 334–337 32 D Gil, J G Rodriguez, M Cazorla, M Johnsson (2015), “SARASOM: a Supervised Architecture Based on the Recurrent Associative SOM,” Neural Computing and Applications, 26(5), 1103-1115 33 R Groof and I Valova (2014), “Genetically Supervised Self-Organizing Map for the Classification of Glass Samples”, 13th International Conference on Machine Learning and Applications 34 L Guan (2006), “Self-Organizing Trees and Forests: A Powerful Tool in Pattern Clustering and Recognition,” in Proceedings of the 3rd International Conference Image Analysis and Recognition (ICIAR 2006), A Campilho and M Kamel, Eds., vol 4141 Berlin: Lecture notes in computer science of Springer, September-2006, 1–14 35 X Guo, H Wang, D H Glass (2013), “Bayesian Self-Organizing Map for Data Classification and Clustering,” International Journal of Wavelets, Multiresolution and Information Processing, 11 (5), 1-12, DOI: 10.1142/S0219691313500379 129 36 M Hagenbuchner, A Sperduti, and A Tsoi (2003), “A Self Organizing Map for Adaptive Processing of Structured Data,” IEEE Trans Neural Netw, 14(3), 491– 505 37 M Hagenbuchner, A Sperduti, A Tsoi (2009), “Graph Self-Organizing Maps for Cyclic and Unbounded Graphs,” Neurocomputing, 72(79), 1419–1430 38 T Heskes (1999), “Energy Functions for Self-Organizing Maps,” in Kohonen Maps, Elsevier Science, S K E Oja, Ed Amsterdam, 303–316 39 L Herrmann and A Ultsch (2007), “Label Propagation for Semi-Supervised Learning in Self-Organizing Maps,” Proceedings of the 6th International Workshop on Self-Organizing Maps (WSOM 2007) 40 A K Jain, J Mao, K M Mohiuddin (1996), Artificial Neural Networks: A Tutorial, IEEE Computer, 29 (3), 31-44, DOI: 10.1109/2.485891 41 C Uriarte (2012), Computational Intelligence Systems in Industrial Engineering, 1st ed., C E Kahraman, Ed Atlantis Press, vol 42 R Kamimura (2014), “Input Information Maximization for Improving SelfOrganizing Maps,” Applied Intelligence, 41(2), 421–438 43 K Kiviluoto (1996), “Topology Preservation in Self-Organizing Maps,” in Neural Networks, IEEE International Conference on (ICNN96), vol Washington, DC: IEEE, Jun 3-6 1996, 294–299 44 T Kohonen (2001), Self-Organizing Maps, 3rd ed Springer-Verlag 45 P Koikkalainen and E Oja (1990), “Self-Organizing Hierarchical Feature Maps,” in IJCNN Int Joint Conf Neural Netw, 2, 279–284 46 T Koskela, M Varsta, J Heikkonen, and K Kaski (1998), “Recurrent SOM with Local Linear Models in Time Series Prediction,” in 6th European Symposium on Artificial Neural Networks, D-facto Publications, 167–172 47 K Latif and R Mayer (2007), “Sky-Metaphor Visualisation for Self-Organising Maps,” in Proceedings of the 7th International Conference on Knowledge Management (IKNOW’07), Graz, Austria, September 5-7 2007 48 S Lawawirojwong, J Qi and T Suepa (2013), “Supervised Self-Organizing Map with Classification Uncertainty,” Second International Conference on, AgroGeoinformatics (Agro-Geoinformatics), 12-16 Aug 2013, 56-60 49 J A Lee, M Verleysen (2002), “Self-Organizing Maps with Recursive Neighborhood Adaptation,” Neural Networks, 15, 993–1003 50 V Leela, K Sakthi priya and R Manikandan (2014), “Comparative Study of Clustering Techniques in Iris Data Sets,” World Applied Sciences Journal, 29, 2429, DOI: 10.5829/idosi.wasj.2014.29.dmsct.5 130 51 W Li, S Zhang, and G He (2013), “Semisupervised Distance-Preserving Self- Organizing Map for Machine-Defect Detection and Classification,” IEEE Transactions on Instrumentation and Measurement, 62(5), 869-879 52 E Lopez-Rubio (2013), “Improving the Quality of Self-Organizing Maps by SelfIntersection Avoidance,” Neural Networks and Learning Systems, IEEE Transactions on, 24(8), 1253–1265 53 J MacQueen (1967), “Some Methods for Classification and Analysis of Multivariate Observations,” in Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, L M Le Cam and J Neyman, Eds., vol I: Statistics Berkeley, California, USA: University of California Press, 1967, 281– 297 54 T Martinetz, S Berkovich, and K Schulten (1993), “Neural-Gas” Network for Vector Quantization and its Application to Time-Series Prediction,” IEEE Transactions on Neural Networks, 4(4), pp 558–569 55 T Martinetz and K Schulten (1994), “Topology Representing Networks,” Neural Netw, 7(3) 507–522 56 R Mayer, T Aziz, and A Rauber (2007), “Visualising Class Distribution on SelfOrganising Maps,” in Proceedings of the International Conference on Artificial Neural Networks (ICANN’07) Porto, Portugal: Springer Verlag, September 9-13 2007 57 W S McCulloch and W Pitts (1943), “A Logical Calculus of the Ideas Immanent in Nervous Activity,” Bulletin of Mathermatical Biophysics, 5, 115–133 58 W Melssen, R Wehrens, and L Buydens (2006), “Supervised Kohonen Networks for Classification Problems,” Chemometrics and Intelligent Laboratory Systems, 83, 99–113 59 D Merkl, S He, M Dittenbach, and A Rauber (2003), “Adaptive Hierarchical Incremental Grid Growing: An Architecture for High-Dimensional Data Visualization,” in Proceedings of the 4th Workshop on Self-Organizing Maps, Advances in Self-Organizing Maps, Kitakyushu, Japan, September 11-14 2003, 293–298 60 D Merkl and A Rauber (1997), “Alternative Ways for Cluster Visualization in Self-Organizing Maps,” in Proceedings of the Workshop on Self-Organizing Maps (WSOM97), Helsinki, Finland, June 4-6 1997 61 R Miikkulainen (1990), “Script Recognition with Hierarchical Feature Maps,” Connect Sci, 2(1,2), 83–101 131 62 F Mulier and V Cherkassky (1995), “Statistical Analyses Of Self-Organization,” Neural Networks, 8(5), 717–727 63 J I Mwasiagi, H XiuBao, W XinHou, and C Qing-dong (2007), “The Use of KMeans and Kohonen Self Organizing Maps to Classify Cotton Bales,” in Beltwide Cotton Conferences (BWCC’07), New Orleans, Louisiana, January 9-12 2007 64 A Neme, E Chavez, A Cervera, and V Mireles (2008), “Decreasing Neighborhood Revisited in Selforganizing Map,” in Artificial Neural Networks ICANN 2008, vol 5163 Prague, Czech Republic: Springer Berlin Heidelberg, September 3-6 2008, 671–679 65 A Neme and P Miramontes (2014), “Self-Organizing Map Formation with A Selectively Refractory Neighborhood,” Neural Processing Letters, 39(1) 1-24 66 R Neumayer, R Mayer, G P¨olzlbauer, and A Rauber (2007), “The Metro Visualisation of Component Planes for Self-Organising Maps,” in Proceedings of the International Joint Conference on Neural Networks (IJCNN’07) Orlando, FL, USA: IEEE Computer Society, August 12-17 2007 67 R Neumayer, R Mayer, and A Rauber (2007), “Component Selection for The Metro Visualisation of the SOM,” in Proceedings of the 6th International Workshop on Self-Organizing Maps (WSOM’07), Bielefeld, Germany, September 3-6 2007 68 K Ota, T Aoki, K Kurata, T Aoyagi (2011), “Asymmetric Neighborhood Functions Accelerate Ordering Process of Self-Organizing Maps,” Physical Review, 83(2-1), 1-9 69 J Pakkanen, J Iivarinen, and E Oja (2004), “The Evolving Tree-A Novel SelfOrganizing Network for Data Analysis,” Neural Process Lett, 20(3), 199–211 70 E Pampalk, A Rauber, and D Merkl (2002), “Using Smoothed Data Histograms for Cluster Visualization in Self-Organizing Maps,” in Proceedings of the Intl Conf on Artificial Neural Networks (ICANN 2002), Madrid, Spain, August 27-30 2002, 871–876 71 S Papadimitriou, S Mavroudi, L Vladutu, and A Bezerianos (2001), “Ischemia Detection with a Self-Organizing Map Supplemented by Supervised Learning,” IEEE Transactions on Neural Networks, vol 12(3), 503-515 72 D Polani (2002), “Measures for the Organization of Self-Organizing Maps,” Studies in Fuzziness and Soft Computing, 78, 13–44 73 G Polzlbauer, M Dittenbach, and A Rauber (2006), “Advanced Visualization of Self-Organizing Maps with Vector Fields,” Neural Networks, 9(6-7), 911–922, July-August 2006 132 74 G Polzlbauer, A Rauber, and M Dittenbach (2005), “Advanced Visualization Techniques for Self-Organizing Maps with Graph-Based Methods,” in Proceedings of the Second International Symposium on Neural Networks (ISNN’05) Chongqing, China: Springer-Verlag, May 30 - June 2005, 75–80 75 G Polzlbauer (2004), “Survey and Comparison of Quality Measures for SelfOrganizing Maps,” in Proceedings of the Fifth Workshop on Data Analysis (WDA - 04), J Paralic, G Polzlbauer, and A Rauber, Eds Sliezsky dom, Vysoke Tatry, Slovakia: Elfa Academic Press, June 24-27 2004, pp 67–82 76 M F Porter (1980), “An Algorithm for Suffix Stripping,” Program 77 A Rauber, D Merkl, and M Dittenbach (2002), “The Growing Hierarchical SelfOrganizing Map: Exploratory Analysis of High-Dimensional Data,” IEEE Trans Neural Netw, 13(6), 1331–1341 78 H Schulz and S Behnke (2012), “Deep Learning,” Kunstl Intell, 26(4), 357–363 79 D Senanayake, L Muthugama, L Mendis, T Madushanka (2015), “Customer Churn Prediction: A Cognitive Approach,” International Scholarly and Scientific Research & Innovation, 9(3), 753-759 80 R K Srivastava, J Masci, S Kazerounian, F Gomez, and J Schmidhuber (2013), “Compete to Compute,” in Advances in Neural Information Processing Systems, 2013, 2310–2318 81 M Strickert and B Hammer (2005), “Merge SOM for Temporal Data,” Neurocomputing, vol 64(0), 39–71 82 Y Sun (2000), “On Quantization Error of Self-Organizing Map Network,” Neurocomputing, 34(1-4), 169–193 83 I Sutskever (2013), “Training Recurrent Neural Networks,” Ph.D dissertation, Toronto University 84 A Thammano and J Kiatwuthiamorn (2007), “Solving Classification Problems Using Supervised Self-Organizing Map,” IEEE International Symposium on Signal Processing and Information Technology 85 A Ultsch (2003), “Maps for the Visualization of High-Dimensional Data Spaces,” in Proceedings Workshop on Self-Organizing Maps (WSOM 2003), Kyushu, Japan, 2003, 225–230 86 A Ultsch (2003), “U*-matrix: A Tool to Visualize Clusters in High Dimensional Data,” Dept of Mathematics and Computer Science, University of Marburg, Germany, Tech Rep 133 87 A Ultsch and H Siemon (1990), “Kohonen’s Self-Organizing Feature Maps for Exploratory Data Analysis,” in Proceedings of the International Neural Network Conference (INNC’90), Kluwer, 305–308 88 A E Uriarte and D F Martín (2005), “Topology Preservation in SOM,” Int J Appl Math Comput Sci, 1(1), 19–22 89 J Vesanto and J Ahola (1999), “Hunting for Correlations in Data Using the SelfOrganizing Map,” in Proceeding of the International ICSC Congress on Computational Intelligence Methods and Applications (CIMA ’99) ICSC Academic Press, 79–285 90 J Vesanto, “SOM-Based Data Visualization Methods,” Intelligent Data Analysis, vol 3(2), 111–126, 1999 91 T Villmann, R Der, and T Martinez (1994), “A New Quantitative Measure of Topology Preservation in Kohonen’s Feature Maps,” in Proceedings of the IEEE International Conference on Neural Networks 94, Orlando, Florida, USA: IEE, 645–648 92 S Wang and H Wang (2002), “Knowledge Discovery Through Self-Organizing Maps: Data Visualization and Query Processing,” Knowledge and Information Systems, 4(1), 31–45 93 F Wang, X Wang and T Li (2009), “Generalized Cluster Aggregation,” in Proceedings of the 21st International jont Conference on Artifical Intelligence (IJCAI'09), 1279-1284 94 J H Ward, Jr (1963), “Hierarchical Grouping to Optimize an Objective Function,” Journal of the American Statistical Association, 58(301), 236–244 95 B M Wilamowski, Auburn Univ., AL,.(2003), “Neural Network Architectures and Learning,” Industrial Technology 2003 IEEE International Conference on, 10-12, Dec 2003, 1(1-12), DOI: 10.1109/ICIT.2003.1290197 96 J Zupan, M Novic, and I Ruisánchez (1997), “Kohonen and Counter Propagation Artificial Neural Networks in Analytical Chemistry,” Chemometrics and Intelligent Laboratory Systems, 38,1–23 134 PHỤ LỤC Phụ lục 1: Một số độ đo theo cặp đánh giá chất lượng gom cụm Cho kết gom cụm C cụm thực T, với ma trận tổng hợp kết gom cụm (Contingency Matrix) xác định sau: Clustering C Partition T T2 n12 n22 nr2 m2 T1 n11 n21 nr1 m1 C1 C2 Cr Tổng Tk n1k n2k nrk mk Tổng n1 n2 nr n đó: Partition T: Các cụm thực n đối tượng (mẫu liệu) Clustering C: Kết gom cụm n đối tượng nij=|CiTj|: Số đối tượng trọng Ci thuộc Tj Giả sử: xi xj mẫu liệu thuộc tập liệu (với ij); yi yj nhãn cụm thực sự, cụm thực tương ứng xi xj; yi^ y ^j nhãn cụm tương ứng xi xj theo kết gom cụm Nếu xi xj gom vào cụm (tức yi^ y ^j ) gọi kiện khẳng định, ngược lại, xi xj không thuộc cụm (tức yi^ y ^j ) gọi kiện phủ định Ta có bốn trường hợp sau: - Khẳng định (TP- True Positives): số lượng cặp khẳng định Một cặp xi xj thuộc cụm thực T chúng gom vào cụm C gọi cặp khẳng định TP - x , x : y i j i y j and yi^ y ^j Phủ định sai (FN- False Negatives): số lượng cặp phủ định sai Một cặp xi xj thuộc cụm thực T chúng không thuộc cụm C gọi cặp phủ định sai 135 FN - i j y j and yi^ y ^j i Khẳng định sai (FP- False Positives): số lượng cặp khẳng định sai Một cặp xi xj không thuộc cụm thực T thuộc cụm C gọi cặp khẳng định sai FP - x , x : y x , x : y i j i y j and yi^ y ^j Phủ định (TN- True Negatives): số lượng cặp phủ định Một cặp xi xj không thuộc cụm thực T không thuộc cụm C gọi cặp phủ định TN x , x : y i j Gọi N tổng số cặp, ta có: N i y j and yi^ y ^j n n 1 TP FN FP TN Các thành phần xác định sau: r k TP nij n i 1 j 1 FN 1 k r k 2 m j nij j 1 i 1 j 1 FN 1 r r k 2 ni nij i 1 i 1 j 1 TN N TP FN FP 1 r k r k 2 n ni m j nij 2 i 1 j 1 i 1 j 1 (1) Độ xác (Precision): tỉ số cặp khẳng định tổng số cặp khẳng định số cặp khẳng định sai (đánh giá độ xác) precsion TP TP FP (2) Khả nhớ (Recall): tỉ số cặp khẳng định tổng số cặp khẳng định số cặp phủ định sai (đánh giá khả thu hồi) recall TP TP FN 136 Phụ lục 2: Độ xác phân loại (Accuracy) Accuracy True True False đó, True tổng số mẫu nhận dạng (A nhận dạng A); False tổng số mẫu nhận dạng sai (A nhận dạng A) [...]... toán huấn luyện, phân tích các hạn chế của mạng nơron tự tổ chức và biện pháp khắc phục các hạn chế Thứ ba, tổng hợp các nghiên cứu trong và ngoài nước về cải tiến cấu trúc, thuật toán học của mạng nơron tự tổ chức Cuối cùng, phân tích đặc điểm chung của các phương thức cải tiến mạng nơron tự tổ chức 1.1 Tổng quan về mạng nơron nhân tạo 1.1.1 Khái niệm mạng nơron nhân tạo Mạng nơron nhân tạo (ANN) là... nghiệm của các phương thức đề xuất và so sánh kết quả với một số phương thức phân cụm khác 19 CHƯƠNG 1 TỔNG QUAN VỀ CÁC MÔ HÌNH MẠNG NƠRON TỰ TỔ CHỨC Chương này trình bày nghiên cứu tổng quan của luận án, gồm bốn nội dung chính: Thứ nhất, nghiên cứu tổng quan về mạng nơron nhân tạo: kiến trúc, thuật học và xu hướng phát triển Thứ hai, nghiên cứu tổng quan về mạng nơron tự tổ chức: cấu trúc, thuật toán... trong xu hướng phát triển các mạng nơron hiện nay 1.2 Mạng nơron tự tổ chức 1.2.1 Cấu trúc mạng nơron tự tổ chức Mạng nơron SOM có cấu trúc đơn lớp (Kohonen, 2001), gồm: các tín hiệu vào và lớp ra (được gọi là lớp Kohonen), trong đó, tất cả các đầu vào được kết nối đầy đủ với mọi nơron trên lớp ra Kohonen (Hình 1.6) Kiến trúc mạng của SOM thuộc đồng thời cả hai nhóm mạng truyền thẳng và mạng phản hồi,... dụng mạng nơron tự tổ chức để giải quyết các bài toán thực tiễn Do đó, các nhà nghiên cứu vẫn tiếp tục thực hiện các nghiên cứu cải tiến cấu trúc và phương pháp học của mạng Cho đến nay đã có rất nhiều biến thể về cấu trúc của mạng nơron tự tổ chức ra đời (Astudillo, 2014) Dưới đây trình bày tổng hợp tình hình nghiên cứu trong và ngoài nước trong phạm vi cải tiến cấu trúc và phương pháp học của mạng nơron. .. ngoài nước về cải tiến cấu trúc và phương pháp học của mạng nơron tự tổ chức (gọi chung là các biến thể), cụ thể: Về mặt cấu trúc, các biến thể của mạng nơron tự tổ chức có thể được chia thành 2 nhóm: các biến thể không sử dụng cấu trúc cây và các biến thể sử dụng cấu trúc cây Hầu hết các biến thể được áp dụng cho cấu trúc dữ liệu vector, chỉ có một số ít áp dụng 36 cho những cấu trúc dữ liệu khác như:... nơron thứ i ứng với đầu vào thứ j 1.2.2 Thuật toán học của mạng nơron tự tổ chức Mạng được huấn luyện bằng thuật toán học cạnh tranh, không giám sát, hay còn được gọi là thuật toán tự tổ chức (thuật toán SOM hay thuật toán học của SOM) Thuật toán SOM (Kohonen, 2001) gồm 4 bước: Bước 1: Khởi tạo - Kích thước mạng (là kích thước lớp Kohonen) - Vector trọng số của các nơron: khởi tạo giá trị ngẫu nhiên -... xuất Những mô hình này nhằm phát huy 35 ưu điểm của phương pháp học có giám sát nhưng vẫn duy trì được sức mạnh của phương pháp học tự tổ chức, không giám sát 1.4 Kết quả nghiên cứu trong và ngoài nước về cải tiến cấu trúc, phương pháp học của mạng nơron tự tổ chức Mặc dù mạng nơron tự tổ chức có nhiều thế mạnh và khả năng nổi bật so với các mô hình mạng nơron khác, nhưng nó vẫn tồn tại một số hạn chế... 2009, cùng với sự phát triển của phần cứng máy tính, các nghiên cứu về mạng nơron đã hồi sinh sau một giai đoạn chìm lắng, điển hình là sự phát triển mạng nơron tự tổ chức SOM, với các cấu trúc tăng trưởng nhiều tầng nhằm tối ưu tính toán (Astudillo, 2014) Giai đoạn này giống như sự chuẩn bị cho sự phát triển bùng nổ của công nghệ học sâu Học sâu được gọi là công nghệ vì bản chất của các mô hình tính... tiến sĩ của (Nông Thị Hoa, 2015) về cải tiến quá trình học của một số mạng nơron ghi nhớ nhưng cho đến nay nghiên cứu sinh chưa tìm thấy kết quả nghiên cứu nào về cải tiến cấu trúc hoặc quá trình học của mạng nơron tự tổ chức Hầu hết các nghiên cứu liên quan chỉ giới hạn trong phạm vi ứng dụng mạng nơron tự tổ chức trong các bài toán ứng dụng thực tiễn Các công trình đã công bố chủ yếu là các luận... và thuật toán học của mạng nơron SOM đã được nhiều nhà nghiên cứu quan tâm Các nghiên cứu cải tiến mạng nơron SOM 15 được chia làm hai hướng chính, gồm: cải tiến cấu trúc và cải tiến thuật toán học của mạng Các nghiên cứu về cải tiến cấu trúc của mạng có thể được chia làm hai nhóm: Nhóm thứ nhất gồm các cấu trúc cải tiến tăng trưởng theo chiều ngang Các cấu trúc này có đặc điểm chung là ban đầu mạng