ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỖ THỊ HỒNG ỨNG DỤNG MẠNG KOHONEN CHO KHẢO SÁT, ĐÁNH GIÁ, THỐNG KÊ TÌNH HÌNH CỦA TRƢỜNG CAO ĐẲNG NGHỀ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2013 S ố hóa bởi Trung tâm Học liệu http://lrc.tnu.edu.vn 1 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỖ THỊ HỒNG ỨNG DỤNG MẠNG KOHONEN CHO KHẢO SÁT, ĐÁNH GIÁ, THỐNG KÊ TÌNH HÌNH CỦA TRƢỜNG CAO ĐẲNG NGHỀ CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 60 48 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC P G S.TS LÊ BÁ DŨNG Thái Nguyên - 2013 S ố hóa bởi Trung tâm Học liệu http://lrc.tnu.edu.vn 2 LỜI CAM ĐOAN Tôi xin cam đoan luận văn là công trình nghiên cứu của riêng cá nhân tôi, không sao chép của ai do tôi tự nghiên cứu, đọc, dịch tài liệu, tổng hợp và thực hiện. Nội dung lý thuyết trong trong luận văn tôi có sử dụng một số tài liệu tham khảo như đã trình bày trong phần tài liệu tham khảo. Các số liệu, chương trình phần mềm và những kết quả trong luận văn là trung thực và chưa được công bố trong bất kỳ một công trình nào khác. Thái Nguyên, tháng 9 năm 2013 Học viên thực hiện Đỗ Thị Hồng S ố hóa bởi Trung tâm Học liệu http://lrc.tnu.edu.vn 3 LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời biết ơn sâu sắc đến PGS.TS Lê Bá Dũng người đã tận tình hướng dẫn, chỉ bảo, giúp đỡ em trong suốt quá trình làm luận văn. Em cũng xin gửi lời cảm ơn đến các thầy cô giáo trường Đại học Công nghệ thông tin và Truyền thông - Đại học Thái Nguyên, các thầy cô Viện Công nghệ thông tin đã truyền đạt những kiến thức và giúp đỡ em trong suốt quá trình học của mình. Tôi cũng xin gửi lời cảm ơn tới các đồng nghiệp, gia đình và bạn bè những người đã ủng hộ, động viên tạo mọi điều kiện giúp đỡ để tôi có thể hoàn thành tốt luận văn. Tôi cũng xin gửi lời cảm ơn tới Ban giám hiệu trường Cao đẳng nghề LICOGI đã tạo điều kiện thuận lợi cho tôi tham gia khóa học và trong suốt quá trình hoàn thành luận văn. Một lần nữa, xin chân thành cảm ơn. Thái Nguyên, tháng 9 năm 2013 Học viên Đỗ Thị Hồng S ố hóa bởi Trung tâm Học liệu http://lrc.tnu.edu.vn i MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC i DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT iv DANH MỤC CÁC BẢNG v DANH MỤC CÁC HÌNH vi MỞ ĐẦU 1 CHƢƠNG 1. MẠNG NƠRON KOHONEN VÀ BÀI TOÁN PHÂN CỤM 2 1.1. Cấu trúc và mô hình mạng Nơron 2 1.1.1. Giới thiệu về mạng Nơron 2 1.1.2. Mô hình một Nơron sinh học 2 1.1.2.1. Cấu trúc một nơron sinh học 2 1.1.2.2. Hoạt động của nơron sinh học 3 1.1.3. Mô hình Nơron nhân tạo 4 1.1.3.1. Cấu trúc và mô hình của một nơron nhân tạo 4 1.1.3.2. Mô hình mạng Nơron nhân tạo 7 1.1.3.3. Các luật học 9 1.2. Mạng Kohonen và bài toán phân cụm 12 1.2.1. Giới thiệu về mạng nơron Kohonen (SOM - Self-Organizing Maps) 12 1.2.2. Bài toán phân cụm 13 1.2.2.1. Khái niệm 13 1.2.2.2. Mục đích của phân cụm dữ liệu 14 1.2.2.3. Ứng dụng của bài toán phân cụm 15 1.2.2.4. Các yêu cầu khi phân cụm 15 1.2.2.5. Các kiểu dữ liệu và các thuộc tính trong phân cụm 16 1.3. Các hướng tiếp cận của bài toán phân cụm 18 1.3.1. Phương pháp phân cụm phân cấp 18 1.3.2. Phương pháp phân cụm phân hoạch 19 S ố hóa bởi Trung tâm Học liệu http://lrc.tnu.edu.vn ii 1.3.3. Phương pháp phân cụm dựa trên mật độ 19 1.3.4. Phân cụm dữ liệu dựa trên lưới 19 1.3.5. Phân cụm dữ liệu dựa trên sự ràng buộc 20 CHƢƠNG 2. MỘT SỐ VẤN ĐỀ VỀ PHÂN CỤM DỮ LIỆU BẰNG MẠNG KOHONEN 22 2.1. Thuật toán phân cụm dữ liệu 22 2.2. Một số thuật toán cơ bản trong phân cụm dữ liệu 23 2.2.1. Thuật toán phân cụm phân cấp 23 2.2.2. Thuật toán phân cụm phân hoạch (Thuật toán K-means) 24 2.2.3. Thuật toán phân cụm dựa trên mật độ (Thuật toán DBSCAN) 26 2.2.4. Thuật toán phân cụm dựa trên lưới (Thuật toán STING) 28 2.2.5. Các thuật toán phân cụm dựa trên mô hình (Thuật toán EM) 29 2.3. Thuật toán phân cụm bằng mạng Kohonen 30 2.3.1 .Mạng Kohonen là gì? 30 2.3.2. Cấu trúc mô hình mạng Kohonen 30 2.3.3. Thuật toán phân cụm bằng mạng Kohonen 31 2.4. Một số vấn đề phân cụm bằng mạng Kohonen 36 2.4.1. Khởi tạo mạng Kohonen (SOM) 36 2.4.2. Huấn luyện mạng Kohonen 37 2.4.3. Tỉ lệ học 38 2.4.4. Cập nhật lại trọng số 39 2.4.5. Xác định nơron chiến thắng 40 2.5. Kohonen (SOM) sử dụng trong phân cụm dữ liệu 40 2.5.1. SOM phân cụm với bản đồ một chiều 41 2.5.2. SOM phân cụm với bản đồ 2 chiều 41 2.5.3. Xác định ranh giới các cụm 42 2.5.4. Trực quan mạng 43 2.5.5. Số lượng nhóm khi phân cụm 44 S ố hóa bởi Trung tâm Học liệu http://lrc.tnu.edu.vn iii CHƢƠNG 3. ỨNG DỤNG MẠNG KOHONEN VÀO BÀI TOÁN PHÂN CỤM DỮ LIỆU MÔN HỌC CỦA HSSV TRƢỜNG CAO ĐẲNG NGHỀ LICOGI QUA VIỆC KHẢO SÁT, THỐNG KÊ KẾT QUẢ HỌC CÁC MÔN ĐỂ ĐÁNH GIÁ CHẤT LƢỢNG ĐÀO TẠO NGHỀ CỦA NHÀ TRƢỜNG 45 3.1. Phát biểu bài toán 45 3.2. Khảo sát, đánh giá, thống kê tình hình học tập của học sinh sinh viên trường Cao đẳng nghề LICOGI. 45 3.2.1. Thu thập dữ liệu 45 3.2.2. Phân tích dữ liệu 50 3.3. Thử nghiệm sử dụng mô hình mạng Kohonen để khảo sát, đánh giá, thống kê tình hình học tập của HSSV trường Cao đẳng nghề LICOGI 55 3.3.1. Các chức năng của chương trình 55 3.3.2. Giao diện chương trình 55 3.3.3. Kết quả và phân tích kết quả sau khi huấn luyện mô hình mạng Kohonen 57 3.3.3.1. Kết quả phân cụm môn học, mô đun 57 3.3.3.2. Kết quả phân cụm học sinh theo kết quả thi kết thúc môn học, mô đun 64 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 68 TÀI LIỆU THAM KHẢO 69 S ố hóa bởi Trung tâm Học liệu http://lrc.tnu.edu.vn iv DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT HSSV: Học sinh, sinh viên CSDL: Cơ sở dữ liệu KPDL: Khai phá dữ liệu PCDL : Phân cụm dữ liệu SOM(Self Organizing Maps): Mạng nơron tự tổ chức PE (Processing element): Phần tử xử lý BMU(Best - Matching unit): Đơn vị phù hợp nhất U-matrix (unified distance matrix): Ma trận thống nhất khoảng cách EM (Expectation maximization): Thuật toán tối đa hóa STING (STatistical INformation Grid ): Thuật toán thống kê thông tin lưới DBSCAN (Density Based Spatial : Phân cụm dữ liệu dựa trên không Clustering of Applications with Noise) gian mật độ ứng với nhiễu S ố hóa bởi Trung tâm Học liệu http://lrc.tnu.edu.vn v DANH MỤC CÁC BẢNG Bảng 3.1. Dữ liệu thống kê phân cụm môn học, mô đun 52 Bảng 3.2. Dữ liệu thống kê phân cụm học sinh theo điểm thi kết thúc môn học, mô đun 53 Bảng 3.3. Kết quả các cụm môn sau khi huấn luyện mạng Kohonen 58 Bảng 3.4. Kết quả các cụm học sinh sau khi huấn luyện mạng Kohonen 67 S ố hóa bởi Trung tâm Học liệu http://lrc.tnu.edu.vn vi DANH MỤC CÁC HÌNH Hình 1.1. Cấu tạo mô hình nơron sinh học 3 Hình 1.2. Cấu trúc mô hình một nơron nhân tạo cơ bản 4 Hình 1.3. Đồ thị các dạng hàm chuyển 7 Hình 1.4. Mô hình mạng nơron 3 lớp 8 Hình 1.5. Cấu trúc huấn luyện mạng nơron 9 Hình 1.6. Học có giám sát 10 Hình 1.7. Học không có giám sát 10 Hình 1.8. Sơ đồ cấu trúc chung của quá trình học 11 Hình 1.9. Các cách phân cụm phân cấp 18 Hình 1.10. Cấu trúc phân cụm dựa trên lưới điểm 20 Hình 1.11. Cấu trúc phân cụm dựa trên sự ràng buộc 21 Hình 2.1. Các thiết lập để xác định ranh giới các cụm ban đầu 24 Hình 2.2. Tính toán trọng tâm của các cụm mới 25 Hình 2.3. Hình dạng các cụm được khám phá bởi thuật toán DBSCAN 27 Hình 2.4. Cấu trúc mạng Kohonen 31 Hình 2.5. Phần tử nơron chiến thắng BMU 31 Hình 2.6. Các vùng lân cận 32 Hình 2.7. U-Matrix biểu diễn cho SOM 34 Hình 2.8. Những bức tường trong Kohonen 35 Hình 2.9: Hàm tỉ lệ học theo thời gian 39 Hình 3.1. Kết quả phân cụm môn học, mô đun sử dụng phương pháp trực quan U-Matrix 57 Hình 3.2.Kết quả phân cụm sử dụng phương pháp trực quan các bản đồ thành phần 61 Hình 3.3. Kết quả phân cụm học sinh theo môn học, mô đun sử dụng phương pháp trực quan U-Matrix 65 [...]... tạo của các trường hiện nay hầu hết được lưu trữ trong máy tính và chúng ta cần phải tìm ra những thông tin hữu ích từ cơ sở dữ liệu đó để có các biện pháp phù hợp, cần thiết cho việc cải cách, nâng cao chất lượng giáo dục đào tạo thông qua việc khảo sát, đánh giá, thống kê, báo cáo Luận văn với đề tài Ứng dụng Mạng Kohonen cho khảo sát, đánh giá, thống kê tình hình của trƣờng Cao đẳng nghề khảo. .. KPDL dùng mạng nơron Luận văn tập trung vào tìm hiểu về mạng nơron Kohonen (SOM) và dùng thuật toán SOM để giải quyết bài toán phân cụm dữ liệu theo mô hình mạng nơron Nội dung luận văn gồm có 3 chương: Chương I Mạng Kohonen và bài toán phân cụm Chương II Một số vấn đề về phân cụm bằng Kohonen Chương III Ứng dụng mạng Kohonen vào bài toán phân cụm dữ liệu môn học của HSSV trường Cao đẳng nghề LICOGI... d (Hình 1.6) Trong học có giám sát, thì tại mỗi thời điểm khi đầu vào được cung cấp tới mạng nơron, phản ứng đầu ra mong muốn d tương ứng của hệ thống được đưa ra Ở hình (1.6), khi mỗi đầu vào x(k) được đặt vào mạng, đầu ra mong muốn tương ứng d(k) cũng được cung cấp tới mạng Hiệu giữa đầu ra thực y(k) và đầu ra mong muốn d(k) được đo trong máy phát tín hiệu lỗi Máy này sẽ tạo ra tín hiệu lỗi cho mạng. .. mô hình và các thuật toán phân cụm theo nhiều cách tiếp cận Mỗi cách tiếp cận cho ta kết quả phân cụm với ý nghĩa sử dụng khác nhau Bài toán phân cụm là quá trình nhóm một cơ sở dữ liệu thành những nhóm đối tượng dữ liệu phục vụ cho mục đích cụ thể của từng ứng dụng thực tế Không có một thuật toán phân cụm nào là tốt nhất và thích hợp cho tất cả mọi ứng dụng mà mỗi ứng dụng khác nhau thì người sử dụng. .. niệm của các mạng nơron Mạng SOM có tầng nơron vào và các tầng nơron ra Mỗi nơron của tầng vào tương ứng với mỗi thuộc tính của bản ghi, mỗi một nơron vào kết nối với tất cả các nơron của tầng ra Mỗi liên kết được gắn liền với một trọng số nhằm xác định vị trí của nơron ra tương ứng 22 CHƢƠNG 2 MỘT SỐ VẤN ĐỀ VỀ PHÂN CỤM DỮ LIỆU BẰNG MẠNG KOHONEN 2.1 Thuật toán phân cụm dữ liệu PCDL là kỹ thuật sử dụng. .. việc khảo sát, thống kê kết quả học các môn để đánh giá chất lượng đào tạo nghề của nhà trường Do thời gian nghiên cứu và trình độ có hạn, luận văn không tránh khỏi hạn chế và thiếu xót Em rất mong nhận được sự chỉ bảo, đóng góp ý kiến của các thầy, cô giáo cũng như bạn bè và đồng nghiệp Em xin chân thành cảm ơn! Thái Nguyên, tháng 9 năm 2013 Ngƣời viết luận văn Đỗ Thị Hồng 2 CHƢƠNG 1 MẠNG NƠRON KOHONEN. .. mạng đã đúng: mạng được luyện xong Khi mạng được huấn luyện xong, thì người ta có thể dùng mạng cho các mục đích của mình Nghĩa là bây giờ, đưa dữ liệu các biến độc lập vào mạng sẽ cho giá trị các biến phụ thuộc cần xác định 9 1.1.3.3 Các luật học Thông thường, mạng nơron được điều chỉnh hoặc được huấn luyện để hướng các đầu vào riêng biệt đến đích ở đầu ra Cấu trúc huấn luyện mạng được chỉ ra ở hình. .. phân cụm cụ thể phù hợp với ứng dụng đó Kết quả đánh giá cho từng thuật toán cũng phụ thuộc vào yêu cầu của từng ứng dụng 1.2.2.2 Mục đích của phân cụm dữ liệu Mục đích của phân cụm dữ liệu là xác định được bản chất bên trong nhóm của dữ liệu chưa có nhãn Nó có thể không có tiêu chuẩn tuyệt đối "tốt" mà có thể 15 không phụ thuộc vào kết quả phân nhóm Vì vậy, nó đòi hỏi người sử dụng phải cung cấp tiêu... trọng số của mạng được điều chỉnh trên cơ sở so sánh đầu ra với đích mong muốn (taget), cho tới khi đầu ra của mạng phù hợp với đích Những cặp vào/đích (input/taget) được dùng để giám sát cho sự huấn luyện mạng Đích ANN Dữ liệu vào Trọng số wi So sánh Điều chỉnh Hình 1.5 Cấu trúc huấn luyện mạng nơron Để có được một số cặp vào/ra, ở đó mỗi giá trị vào được gửi đến mạng và giá trị ra tương ứng được... được biểu diễn như sau: Hình 1.3 Đồ thị các dạng hàm chuyển 1.1.3.2 Mô hình mạng Nơron nhân tạo Mạng nơron gồm một số lượng lớn các đơn vị xử lý kết nối với nhau hoạt động song song và cấu hình nên kiểu kiến trúc của hệ thống Do mô phỏng cách thức hoạt động của nơron thần kinh, nên mạng nơron có khả năng học, tái tạo, tổng quát hóa từ dữ liệu đã được huấn luyện Đơn vị tạo nên mạng nơron là các nút Các . cao chất lượng giáo dục đào tạo thông qua việc khảo sát, đánh giá, thống kê, báo cáo. Luận văn với đề tài Ứng dụng Mạng Kohonen cho khảo sát, đánh giá, thống kê tình hình của trƣờng Cao đẳng. TIN VÀ TRUYỀN THÔNG ĐỖ THỊ HỒNG ỨNG DỤNG MẠNG KOHONEN CHO KHẢO SÁT, ĐÁNH GIÁ, THỐNG KÊ TÌNH HÌNH CỦA TRƢỜNG CAO ĐẲNG NGHỀ CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 60. THÔNG TIN VÀ TRUYỀN THÔNG ĐỖ THỊ HỒNG ỨNG DỤNG MẠNG KOHONEN CHO KHẢO SÁT, ĐÁNH GIÁ, THỐNG KÊ TÌNH HÌNH CỦA TRƢỜNG CAO ĐẲNG NGHỀ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH