ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT&TT Điêu Thiện Chiến MỘT SỐ KỸ THUẬT MƠ HÌNH HĨA VÀ ÁP DỤNG CHO BÀI TOÁN DỰ BÁO KẾT QUẢ TUYỂN SINH ĐẠI HỌC LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH Người hướng dẫn: GS TS Nguyễn Thanh Thủy Thái Nguyên, tháng 01 năm 2014 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ MỤC LỤC MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH MỞ ĐẦU NỘI DUNG Chương 1: Các phương pháp mơ hình hóa liệu 1.1 Phương pháp trực quan 1.1.1 Quan sát hoạt động không theo chủ quan 1.1.2 Trực quan đòi hỏi nhận thức 1.1.3 Vẽ sơ đồ liệu lược đồ trực quan 1.2 Phương pháp truyền thống 1.2.1 Phương pháp thống kê 1.2.2 Phương pháp định luật 1.2.3 Các luật kết hợp 1.2.4 Mạng Nơron 1.2.5 Giải thuật di truyền 1.3 Phương pháp khác 1.3.1 Phân nhóm phân đoạn 1.3.2 Phương pháp suy diễn quy nạp 1.3.3 Các phương pháp dựa mẫu Chương 2: Mạng Nơron truyền thẳng thuật toán lan truyền ngược 2.1 Tổng quan mạng Nơron 2.1.1 Lịch sử phát triển 2.1.2 Khái niệm 12 2.1.3 Mô hình mạng nơron nhân tạo 14 2.1.3.1 Đơn vị xử lý 14 2.1.3.2 Hàm xử lý 15 2.2 Học lan truyền mạng 19 2.2.1 Học tổng quát hóa 19 2.2.1.1 Học có giám sát 20 2.2.1.2 Học tăng cường 22 2.2.1.3 Học không giám sát 22 2.2.2 Lan truyền mạng: 24 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 2.3 Hàm mục tiêu 24 2.4 Mạng nơ ron truyền thẳng 25 2.5 Khả thể mạng 27 2.6 Thiết kế cấu trúc mạng 28 2.6.1 Số lớp ẩn 28 2.6.2 Số nơron lớp ẩn 29 2.7 Thuật toán lan truyền ngược (Back-Propagation) 30 2.7.1 Mơ tả thuật tốn 31 2.7.2 Sử dụng thuật toán lan truyền ngược 32 2.7.2.1 Lựa chọn cấu trúc mạng 32 2.7.2.2 Quá trình hội tụ 33 2.7.2.3 Tổng quát hóa 33 2.7.3 Biến thể thuật toán lan truyền ngược 34 2.7.3.1 Sử dụng tham số bước đà 34 2.7.3.2 Sử dụng hệ số học biến đổi 35 2.7.3.3 Sử dụng phương pháp Gradient kết hợp 36 2.7.4 Nhận xét: 40 Chương 3: Ứng dụng mạng Nơ ron truyền thẳng thuật toán lan truyền ngược vào toán “Dự báo kết tuyển sinh Đại học” 42 3.1 Tổng quan toán dự báo 42 3.1.1 Phương pháp định tính 42 3.1.2 Phương pháp định lượng 43 3.2 Bài toán dự báo kết tuyển sinh Đại học 44 3.2.1 Các yếu tố ảnh hướng đến trình thiết kế xây dựng 44 3.2.2 Các bước q trình thiết kế xây dựng 45 3.3 Mơ hình “Dự báo kết tuyển sinh Đại học” 51 3.3.1 Thiết lập mơ hình chương trình 51 3.3.2 Nhận xét kết 51 3.3.2.1 Đồ thị hàm lỗi 56 3.3.2.2 Kiểm tra sau mơ hình hóa 57 KẾT LUẬN 60 TÀI LIỆU THM KHẢO 62 PHỤ LỤC 63 PHỤ LỤC A – GIỚI THIỆU VỀ PHẦN MỀM DỰ BÁO SpiceMLP 63 PHỤ LỤC B – DỮ LIỆU HỌC VÀ DỮ LIỆU KIỂM TRA 66 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT THPT: Trung học phổ thông ĐH: Đại học TK: Thế kỷ TSĐH: tuyển sinh Đại học School_Cla: trường/lớp Time_X: thời gian tự học Time_Y: thời gian học thêm Pressure: áp lực Point_School: tổng điểm môn thi Đại học bậc THPT Mark: tổng điểm thi Đại học Group: nhóm MLP: mạng nơron truyền thẳng nhiều lớp Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC BẢNG 3.1 Dữ liệu thu thập 43 3.2 Dữ liệu đầu vò đầu mạng 48 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC HÌNH 2.1 Cấu tạo tế bào nơron sinh học 2.2 Mơ hình nơron nhân tạo 2.3 Đơn vị xử lý 10 2.4 Hàm đồng 12 2.5 Hàm bước nhị phân 12 2.6 Hàm sigmoid 13 2.7 Hàm sigmoid lưỡng cực 13 2.8 Sơ đồ học tham số có giám sát 17 2.9 Sơ đồ học tăng cường 17 2.10 Sơ đồ học không giám sát 18 2.11 Sơ đồ mạng nơron truyền thẳng nhiều lớp 20 2.12 Xác định tần số 33 2.13 Giảm kích thước tần số khơng chắn 34 3.1 Màn hình làm việc ban đầu chương trình 50 3.2 Thiết lập thông số cho mạng 51 3.3 Kết mạng học 52 3.4 Đồ thị hàm lỗi 53 3.5 Đồ thị đầu liệu học 53 3.6 Đồ thị liệu kiểm tra 54 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ MỞ ĐẦU Bài toán dự báo tuyển sinh Đại học ngày trường Cao đẳng Đại học quan tâm bối cảnh, nhiều trường thành lập gặp khó khăn tuyển sinh đầu vào Học sinh sau tốt nghiệp THPT lựa chọn ngành dự thi chưa phù hợp với lực nhu cầu việc làm xã hội Sinh viên trường chưa có việc làm ngành nghề cịn nhiều Một số kỹ thuật mơ hình hóa liệu áp dụng nhằm dự báo kết tuyển sinh Đại học giúp cho học sinh THPT biết lực khả thi tuyển đầu vào trường Đại học, Cao đẳng Mạng nơron truyền thẳng thuật toán lan truyền ngược áp dụng để dự báo kết tuyển sinh Đại học Số liệu thu thập từ sinh viên trường Đại học Hùng Vương Phú Thọ Bài toán dự báo dựa vào yếu tố có ảnh hưởng đến kết tuyển sinh Đại học thí sinh Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ NỘI DUNG Chương 1: Các phương pháp mơ hình hóa liệu 1.1 Phương pháp trực quan.[1] 1.1.1 Quan sát hoạt động không theo chủ quan Kỹ thuật khai phá liệu trực quan cung cấp cho người khai phá khả đầy đủ để quan sát hoạt động mà không theo định kiến cá nhân Điều có nghĩa ta khơng cần phải biết cần phải tìm kiếm thời gian sáp tới Hơn thế, bạn bắt liệu cho bạn thấy quan trọng 1.1.2 Trực quan đòi hỏi nhận thức Có thể mở rộng lớn việc sử dụng trực quan phương pháp khai phá liệu phương pháp trực quan cốt để làm bật khả nhận thức, kinh nghiệm người làm tốt số cơng việc khác lại làm tốt Việc lựa chọn phương pháp nghiên cứu thường phải có cân nhắc kiểu xử lý thơng tin mà người địi hỏi suất trình nghiên cứu 1.1.3 Vẽ sơ đồ liệu lược đồ trực quan Khi đưa liệu vào môi trường trực quan, bạn phải định để trình bày liệu theo kiểu cách có ý nghĩa Hoạt động tập trung vào sử dụng thuộc tính phần tử liệu định nghĩa mơ hình để xác định thơng tin nhìn thấy cảm nhận bạn chọn giải thuật xác định vị trí gộp nhóm, phân cụm, … 1.2 Phương pháp truyền thống 1.2.1 Phương pháp thống kê Trong phương pháp này, ta sử dụng thông tin thống kê để suy luận miêu tả xa phân tích liệu Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Trong hệ thống hỗ trợ định việc dùng phương pháp thống kê phổ biến 1.2.2 Phương pháp định luật Cây định cơng cụ phân tích để khám phá luật mối quan hệ phương pháp phân tích thống kê phân chi thành phần nhỏ thông tin chứa tập liệu Cây định mô tả tri thức dạng đơn giản nhằm phân đối tượng liệu thành số lóp định Các nút gán nhãn tên thuộc tính, cạnh gán giá trị cụ thể thuộc tính, miêu tả lớp khác Các đối tượng phân lớp theo đường cây, cạnh tương ứng với giá trị thuộc tính đối tượng tới 1.2.3 Các luật kết hợp Những luật kết hợp dẫn xuất từ phân tích thông tin trùng hợp Phương pháp luật kết hợp cho phép khám phá tương quan, biến cố giao dịch kiện Các luật kết hợp dạng biểu diễn tri thức, hay xác dạng mẫu hình thành tri thức Phương pháp nhằm phát luật kết hợp hình thành phân liệu sở liệu Mẫu đầu giải thuật khai phá liệu tập luật kết hợp tìm 1.2.4 Mạng Nơron Mạng nơron hệ thống bao gồm nhiều phần tử xử lý đơn giản hoạt động song song Tính hoạt động hệ thống phụ thuộc vào cấu trúc hệ thống, vào cường độ liên kết phần tử hệ thống dựa vào trình xử lý bên phần tử Hệ thống học từ liệu có khả tổng quát hóa liệu 1.2.5 Giải thuật di truyền Giải thuật di truyền phát triển mô lại hệ thống tiến hóa tự nhiên, xác giải thuật tập cá thể hình Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ thành, ước lượng biến đổi Giải thuật mô lại yếu tố gen nhiễm sắc thể sinh học máy tính để giải nhiều tốn thực tế khác Giải thuật di truyền dựa ba chế bản: Chọn lọc, tương giao chéo đột biến.[1] 1.3 Phương pháp khác 1.3.1 Phân nhóm phân đoạn Phương pháp phân nhóm phân đoạn kỹ thuật phân chia liệu cho phần nhóm giống theo tiêu chuẩn 1.3.2 Phương pháp suy diễn quy nạp Một sở liệu kho thông tin thơng tin quan trọng suy diễn từ kho thơng tin Có hai kỹ thuật để thực việc suy diễn quy nạp Phương pháp suy diễn: Nhằm rút thông tin kết logic thông tin sở liệu, dựa quan hệ liệu Phương pháp quy nạp: Nhằm suy thông tin sinh từ sở liệu 1.3.3 Các phương pháp dựa mẫu Sử dụng mẫu miêu tả sơ liệu để tạo nên mọt mơ hình dự đốn mẫu dằng cách rút thuộc tính tương tự mẫu biết mo hình Ở đây, nhiệm vụ phải xác định độ đo giống mẫu, sau rạo mẫu dự đoán.[1] Chương 2: Mạng Nơron truyền thẳng thuật toán lan truyền ngược 2.1 Tổng quan mạng Nơron 2.1.1 Lịch sử phát triển Khái niệm mạng nơ-ron đề xuất nhằm mô tả hoạt động nơron não người Ý tưởng bắt đầu nêu mơ hình tính tốn mạng Perceptron (Perceptron phân loại tuyến tính dành cho Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Điểm thi đầu vào Các liệu quan tâm lưu trữ dạng: Bảng 3.2 Dữ liệu đầu vào đầu mạng Tổng STT Trường/lớp Thời gian học HPT tự học Thời Mức độ gian học tiêp thu thêm điểm môn học Tổng điểm môn thi đầu THPT dự Nhóm vào Đại học thi Đại học 19 18 23.7 21.5 1 19 19 21.5 21.5 19 18 22.6 21 18 19 22.8 21 18 18 24 21 19 17 23.6 21 19 18 21.4 21 19 16 22.5 20.5 18 18 21.2 20.5 17 19 21.3 20.5 … 147 19 16 19.6 19.5 148 16 15 18.7 19.5 153 17 16 15.5 19 154 17 18 19.5 19 155 17 13 19.3 19 669 11 11 19.8 17 10 670 19 19 19.5 17 10 671 16 16 21.2 17 10 672 14 17 22.9 17 10 673 13 11 16.7 17 10 674 10 13 18.6 17 10 … … … … Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Kiến trúc mạng: Mạng bao gồm lớp ra, lớp ẩn Như có đơn vị đầu – Nhóm điểm Số đầu vào cố định, phụ thuộc vào số nhân tố ảnh hưởng đến điểm thi Đại học Số đơn vị lớp ẩn xác định cách huấn luyện với số tập kiểm tra Mạng yêu cầu số đơn vị lớp ẩn vừa đủ để học đặc trưng tổng quát mối quan hệ nhân tố đầu vào đầu Mục tiêu mơ hình phải sử dụng số đơn vị lớp ẩn tốt, đồng thời trì khả mạng học mối quan hệ liệu Các tham số mạng lựa chọn sau: Hàm chuẩn hóa liệu đầu vào đầu hàm tuyến tính Linear Sử dụng hàm truyền mạng Sigmod: f(x) = 1/(1+e-x), đạo hàm biểu diễn dạng g’(x) = g(x)*(1 – g(x)) Các trọng số khởi tạo ngẫu nhiên với giá trị nhỏ, trọng số nơron tầng ẩn tầng lấy ngẫu nhiên quanh giá trị Thời gian học η = 0.5 cho nơron tầng ẩn, η = 0.5 cho nơron tầng Thuật toán huấn luyện thuật tốn lan truyền ngược trình bày chương Hàm lỗi trung bình bình phương sử dụng: E n (tk 2k1 yk ) k : thứ tự mẫu huấn luyện tk yk tương ứng đầu mong muốn đầu thực tế mạng cho đơn vị đầu thứ k Lỗi chấp nhận 0.05 Sự tổng quát hóa mạng Một phần liệu sử dụng tập kiểm tra, tập không sử dụng trình huấn luyện Trong trình huấn luyện tập Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ liệu huấn luyện, tổng quát hóa liệu kiểm tra hiển thị đồng thời dựa tham số mạng Chương trình dự báo sử dụng chương trình SpiceMLP Version 2.1 tác giả Cao Thang [3] Kết dự báo: Hình 3.1 Màn hình làm việc ban đầu chương trình Chức cho phép người sử dụng nhập load liệu cho mạng Tệp load vào tệp có cấu trúc: Các trường liệu ngăn cách dấu “;” (đối với tệp *.txt); dạng bảng tệp *.csv Trường trường ID dòng liệu Trường liệu dự báo trường cuối Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Ví dụ: Các liệu sau đọc vào chuẩn hóa dạng hàm tuyến tính Linear Hình 3.2: Thiết lập thông số cho mạng Chức cho phép người dùng thiết lập thông số cho mạng Hàm biến đổi mạng Thời gian học Số lần học Tỉ lệ liệu huấn luyện, học, kiểm tra Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Hình 3.3 Kết mạng học Chức học kiểm tra: Sau qua bước thiết lập thông số cho mạng, huấn luyện mạng chức Học kiểm tra Để thực ta khởi tạo trọng số ban đầu ngẫu nhiên cho mạng Việc huấn luyện thực nhiều lần cho giá trị MSE liệu học liệu kiểm tra đến mức chấp nhận theo yêu cầu tốn Hình 3.3 3.3.2 Nhận xét kết 3.3.2.1 Đồ thị hàm lỗi Sau tiến hành đào tạo mạng ta chọn lần đào tạo có lỗi liệu học liệu kiểm tra nhỏ Thơng tin mạng học đồ thị lỗi có dạng sau: Thông tin lần học cuối Thông tin lần học cuối Hàm biến đổi cho lớp ẩn: Sigmoid Hàm biến đổi cho lớp ra: Sigmoid Tỷ lệ học cuối cùng: 0.05191816 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Giá trị MSE Dữ liệu học: 0.0003354366 Giá trị MSE Dữ liệu kiểm tra: 0.0003115584 Số lượng liệu học: 700 Số lượng liệu kiểm tra: 300 Số lần lặp: 1000 Hình 3.4 Đồ thị hàm lỗi Ta thấy đồ thị liệu học đồ thị liệu kiểm tra gần đần 3.3.2.2 Kiểm tra sau mơ hình hóa Sau mạng học song, kiểm tra liệu phần “Xem liệu” đầu liệu học mạng MLP đưa (NN Output) có dạng hình 3.5 Hình 3.5 Đồ thị đầu liệu học Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Ta thấy với liệu học, đầu mạng gần trùng khớp với đầu yêu cầu (tức đầu thực liệu học) Với liệu kiểm tra (testing data) đầu mạng xấp xỉ đầu yêu cầu (đầu thực liệu học) ta có đồ thị hạng hình 3.6 Tuy nhiên số điểm cịn lỗi nhỏ, chấp nhận Hình 3.6 Đồ thị liệu kiểm tra Một số nhận xét Mạng bị ảnh hưởng từ trạng thái khởi tạo thơng số Trong q trình học, mạng cố gắng điều chỉnh tham số cho tổng bình phương lỗi nhỏ Khả hội tụ mạng phụ thuộc vào tham số khởi tạo, có khả tổng qt hóa lại phụ thuộc nhiều vào liệu đầu vào Nếu liệu đầu vào nhiều, chưa xử lý dẫn tới tình trạng luyện mạng nhiều thời gian khả tổng qt hóa khơng cao, liệu học liệu xử lý sai số tăng khơng mang tính thực tế Ngồi đặc trưng liệu, đặc trưng khác quan trọng trình luyện mạng cần quan tâm đến số lần thực điều chỉnh tham số mạng Để xem xét, đánh giá khả tổng quát hóa mạng, cần thực phân chia liệu thành tập: huấn luyện (training set) tập Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ kiểm tra (test set) Tập liệu thử không đưa vào để kiểm tra hoạt động mạng để đảm bảo tính khách quan Một vấn đề mạng nơron khả rơi vào điểm cực trị địa phương Như xét, thuật tốn Lan truyền ngược lỗi khơng đảm bảo cho ta điểm cực trị toàn cục Nếu rơi vào điểm cực trị địa phương, ta phải bắt đầu huấn luyện lại, điều khiến cho mạng nơron khơng thể áp dụng thực tế đói với tốn u cầu độ xác cao thời gian tối thiểu Do đó, giải pháp sử dụng hệ số học biến đổi trng hướng để vượt qua nhực điểm Ngồi ra, liệu phân bố khơng mẫu khả tổng qt hóa khơng tốt Như nêu, để đảm bảo khả đạt đến điểm cực tiểu, số đơn vị lớp ẩn cần đủ Tuy nhiên, số đơn vị lớp ẩn vượt q ngưỡng khả tổng qt hóa mạng khơng cao, lẽ sau huấn uyện mạng có xu hướng lưu lại mẫu học Khi đó, nên xem xét đến khả sử dụng thêm lớp ẩn số nơ ron lớp ẩn tự mạng thay đổi Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ KẾT LUẬN Mạng nơron huấn luyện đến xấp xỉ hàm mà không cần biết trước liên hệ cá đầu vào đầu Chúng hoạt động nhớ tự liên hợp cách sử dụng liệu đặc thù cho ứng dụng, toán lĩnh vực cụ thể Đó đặc trưng đem lại cho mạng nơron lợi mô hình khác, đặc trưng thứ lối Trong luận văn này, tác giả xem xét thuộc tính mạng nơron truyền thẳng trình xác định đầu vào, kiến trúc mạng phục vụ cho toán cụ thể Tác giả xây dựng mơ hình cho chương trình dự báo liệu nhằm áp dụng vấn đề lý thuyết tìm hiểu Qua cho thấy, huấn luyện tốt tập liệu đầy đủ hoàn thiện với tham số chọn xác kết dự báo xác Mơ hình có khả lưu lại tập thông số, trọng số độ lệch sau lần huấn luyện thành công nạp lại thông số để sử dụng dự báo liệu Tuy nhiên, luận văn xem xét đến khía cạnh tổng thể mạng nơron truyền thẳng nhiều lớp vấn đề dự báo liệu khoảng liệu cho phép Mạng nơron truyền thẳng nhiều lớp sử dụng nhiều toán dự dự báo lĩnh vực khác nhau: dự báo lượng sử dụng điện, nước, chứng khốn, biến đổi khí hậu, … chừng mối quan hệ đầu vào đầu thấy đưa vào mơ hình Tuy vậy, khơng tồn mơ hình chung thích hợp cho tốn dự báo thực tế Đối với toán, cần thực phân tích cặn kẽ, cụ thể liệu phạm vi sử dụng tri thức thu thập để xây dựng mơ hình thích hợp Các phân tích tri thức thu thập ln có ích việc lựa chọn đầu vào, mã hóa đầu vào định cấu trúc mạng, đặc biệt mà liệu lĩnh vực có giới hạn Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Thuật tốn lan truyền ngược chuẩn sử dụng việc huấn luyện mạng nơron truyền thẳng nhiều lớp chứng tỏ khả tốt chí tốn phức tạp Mặc dù vậy, để có khả xử lý toán vậy, ta cần nhiều thời gian để huấn luyện, điều chỉnh tham số cho mạng Điều trở ngại toán thực tế, vậy, thuật toán cải tiến cần áp dụng để tăng khả hội tụ mạng huấn luyện Luận văn nhằm làm sáng tỏ vấn đề lý thuyết mạng nơron truyền thẳng nhiều lớp, thuật toán lan truyền ngược, bước cần thực phân tích, thiết kế xây dựng ứng dungjcho toán dự báo liệu, cụ thể toán “dự báo kết tuyển sinh Đại học” Chắc chắn luận văn cịn nhiều thiếu sót, tác giả mong nhận nhiều ý kiến đóng góp nhằm hồn thiện hiểu biết Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ TÀI LIỆU THM KHẢO Tiếng Việt [1] Nguyễn Sĩ Linh (2010), "Tổng quan phương pháp dự báo khả áp dụng số mơ hình dự báo biến động tài nguyên môi trường Việt Nam", http://isponre.gov.vn/ ngày 23/2/2010 [2] Đỗ Đình Thái , Nghiên cứu số tác động yếu tố đến điểm tuyển sinh đại học trường Đại học Sài Gòn, Viện Đảm bảo chất lượng giáo dục, Luận văn Thạc sĩ ngành: Đo lường đánh giá giáo dục, 2011 [3] Cao thắng, Soft Intelligence Laboratory, Ritsumeikan University, Japan,SpiceMLP Version 2.1 [4] Nguyễn Đình Thúc (2000), Trí tuệ nhân tạo, Mạng Nơ ron phương pháp ứng dụng, Nhà xuất Giáo dục Tiếng Anh [5] Christos Stergiou and Dimitrios Siganos Neural Networks http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html [6] Fiona Nielsen(2001), Neural Networks - algorithms and applications, www.glyn.dk/download/synopsis.pdf, 12/12/2001 [7] Jiawei Han and Micheline Kamber,(2009) Data Mining: Concepts and Techniques [8] Raul Rojas (1996), Neural Networks, http://page.mi.fu- berlin.de/rojas/neural/index.html.html Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ PHỤ LỤC PHỤ LỤC A – GIỚI THIỆU VỀ PHẦN MỀM DỰ BÁO SpiceMLP SpiceMLP viết CAO THẮNG tác giả làm việc Soft Intelligence Laboratory, Ritsumeikan University, Japan, 2003 – 2007 thường xuyên cập nhật theo yêu cầu người sử dụng Cấu trúc file liệu học kiểm tra Dữ liệu dạng file text cần chuẩn bị thành hàng cột Đầu tiên ID, sau đầu vào đầu Các giá trị phân cách dấu phẩy với file CSV dấu tab với file TXT dùng MS Excel để biên soạn liệu, sau lưu vào file text file csv Mạng đầu vào đầu Lưu ý: Dữ liệu phải dạng số Load liệu chuẩn hóa liệu đầu vào đầu Giải sử dùng liệu file “DL_KIEMTRA_nhom.csv” ví dụ với 1200 datasets, đầu vào đầu nói Trong mục “Load liệu” Chọn nút “Tải từ file text” để tải liệu lên chọn hàm chuẩn hóa cho liệu đầu vào đầu mạng, nút “Chuẩn hóa” để thực việc chuẩn hóa Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Thiết lập tham số học Modul “tham số học” ta chọn tham số học cho mạng Hàm biến đổi cho lớp ẩn Hàm biến đổi cho lớp Kiểu liệu vào (tuần tự, ngẫu nhiên) Cách chia liệu để học kiểm tra Số nơron lớp ẩn Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Mạng học Tỉ lệ học MSE yêu cầu (lỗi cho phép) Số lần học Thời gian học Học kiểm tra Tại modul “Học kiểm tra” bước mạng bắt đầu tiến hành học với thông số chọn khởi tạo Ta chọn trọng số ban đầu (ngẫu nhiên, chuẩn bị từ file text) Khi chọn nút “Đào tạo” ta quan sát Xem đồ thị lỗi Xem đồ thị trọng số đầu vào trung bình Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Modul “Xem liệu” Tại modul ta có thể: Xem đồ thị với liệu học, liệu kiểm tra Lưu liệu học mạng PHỤ LỤC B – DỮ LIỆU HỌC VÀ DỮ LIỆU KIỂM TRA Dữ liệu học kiểm tra đính đĩa CD luận văn bao gồm 1000 mẫu học 250 mẫu kiểm tra theo cấu trúc : - ID: Số thứ tự mẫu - đầu vào tương ứng SCHOOL; TIME_X; TIME_Y; SMART; PONIT_School; SMART - đầu ra: Nhom Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ... dụng để dự báo kết tuyển sinh Đại học Số liệu thu thập từ sinh viên trường Đại học Hùng Vương Phú Thọ Bài toán dự báo dựa vào yếu tố có ảnh hưởng đến kết tuyển sinh Đại học thí sinh Số hóa Trung... hình hóa liệu áp dụng nhằm dự báo kết tuyển sinh Đại học giúp cho học sinh THPT biết lực khả thi tuyển đầu vào trường Đại học, Cao đẳng Mạng nơron truyền thẳng thuật toán lan truyền ngược áp dụng. .. thực pháp toán để sinh tập quần thể mới, cá thể tự tối ưu phương phương pháp backpropation.[1] 3.2 Bài toán dự báo kết tuyển sinh Đại học Luận văn đề cập đến toán dự báo kết tuyển sinh Đại học nhằm