Header Page of 126 - 1- BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG THÁI THỊ BÍCH THỦY ỨNG DỤNG MẠNG NƠRON TRUYỀN THẲNG PHÂN TÍCH NHẬT KÝ MOODLE DỰ BÁO KẾT QUẢ HỌC TẬP TRỰC TUYẾN Chuyên ngành: Khoa học Máy tính Mã số: 60.48.01 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2011 Footer Page of 126 Header Page of 126 - 2- Công trình ñược hoàn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: PGS TS Lê Văn Sơn Phản biện 1: PGS.TS Trần Quốc Chiến Phản biện 2: TS Nguyễn Mậu Hân Luận văn ñược bảo vệ trước hội ñồng chấm Luận văn tốt nghiệp Thạc sĩ Kỹ thuật họp Đại học Đà Nẵng vào ngày 11 tháng năm 2011 Có thể tìm hiểu luận văn tại: - Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng - Trung tâm Học liệu, Đại học Đà Nẵng Footer Page of 126 Header Page of 126 - 3- MỞ ĐẦU Lý chọn ñề tài Sự bùng nổ phát triển Công nghệ thông tin ñã mang lại nhiều hiệu ñối với khoa học hoạt ñộng thực tế, ñó khai phá liệu lĩnh vực ñem ñến hiệu thiết thực cho người Khai phá liệu ñã giúp người sử dụng thu ñược tri thức hữu ích từ sở liệu kho liệu khổng lồ khác Để khai thác có hiệu kho liệu khổng lồ này, ñã có nhiều công cụ ñược xây dựng ñể thỏa mãn nhu cầu khai thác liệu mức cao, chẳng hạn công cụ khai thác liệu Oracle Discoverer hãng Oracle, việc xây dựng hệ chuyên gia, hệ thống dựa sở tri thức chuyên gia ñể dự báo ñược khuynh hướng phát triển liệu, thực phân tích liệu tổ chức Mặc dù công cụ, hệ thống ñó hoàn toàn thực ñược phần lớn công việc nêu trên, chúng yêu cầu ñộ xác, ñầy ñủ ñịnh mặt liệu Hiện nay, xu hướng học trực tuyến ñang phát triển mạnh mẽ giới Tại Việt Nam, e-learning giáo dục ñã ñược ứng dụng rộng rãi năm gần ñây có nhiều sản phẩm có sẵn phục vụ cho mục ñích Với ưu mình, hệ thống mã nguồn mở Moodle ñược sử dụng rộng rãi Việt Nam Tuy nhiên ñi kèm với mô hình ñào tạo vấn Footer Page of 126 Header Page of 126 - 4ñề quản lý sử dụng nguồn tài nguyên hệ thống cho hiệu Hệ thống Moodle có sẵn nhiều công cụ ñánh giá theo dõi trình học học viên, nhiên công cụ phần lớn mang tính chất thống kê Vậy không xây dựng công cụ phân tích tập hợp hành vi học viên hệ thống e-learning nhằm ñánh giá tiến họ? Công cụ sử dụng nguồn liệu giám sát hành vi từ hệ thống e-learning (các tập tin nhật ký) làm liệu ñầu vào kết hợp với giải thuật tiên tiến trí tuệ nhân tạo ñể dự báo liệu tương lai Cụ thể hơn, công cụ giúp giảng viên dự báo kết học tập cuối khóa học viên, từ ñó có ñiều chỉnh kịp thời ñối với học viên có khả không ñạt kết tốt theo dự báo Luận văn ñược thực với mục ñích tìm hiểu số khía cạnh mạng Nơron truyền thẳng nhiều lớp, thuật toán lan truyền ngược ứng dụng chúng giải toán dự báo kết học tập trực tuyến qua liệu thống kê thu thập ñược từ tập tin nhật ký Moodle Mục tiêu nhiệm vụ Mục tiêu ñề tài xây dựng công cụ sử dụng giải thuật khai phá liệu dự báo kết học tập học viên tham gia khóa học trực tuyến Nguồn liệu dự báo ñược trích xuất từ tập tin nhật ký hệ thống CMS dựa tảng mã nguồn mở Moodle Nhiệm vụ ─ Nghiên cứu Footer Page of 126 Header Page of 126 - 5Nhiệm vụ ─ Nghiên cứu ứng dụng Đối tượng phạm vi nghiên cứu Đề tài hướng ñến ñối tượng nghiên cứu chủ yếu giải thuật khai phá liệu nhằm áp dụng cho việc khám phá tri thức giáo dục Do hạn chế thời gian, nguồn kinh phí hạn chế chủ quan tác giả luận văn nên ñề tài tập trung nghiên cứu việc áp dụng mạng Nơron truyền thẳng nhiều lớp sử dụng thuật toán lan truyền ngược cho trình khai phá liệu giáo dục từ hệ thống CMS Giả thiết nghiên cứu Mạng Nơron truyền thẳng sử dụng thuật toán lan truyền ngược có khả sử dụng mô hình dự báo nhằm ñánh giá khả hoàn thành khóa học học viên hay không? Thông qua nghiên cứu thực nghiệm xây dựng ứng dụng, ñề tài nhằm kiểm ñịnh tính hợp lý giả thiết Phương pháp nghiên cứu Phương pháp nghiên cứu tài liệu Phương pháp thực nghiệm tự nhiên Phương pháp quan sát Ý nghĩa khoa học thực tiễn ñề tài Về mặt ý nghĩa khoa học, ñề tài ñạt ñược kết sau: Footer Page of 126 Header Page of 126 - 6Đã hệ thống hóa nội dung giải toán dự báo sử dụng mạng nơron nói chung mạng truyền thẳng lan truyền ngược nói riêng Đã ñề xuất thực phương pháp tìm kiếm tham số quan trọng mạng nơron truyền thẳng lan truyền ngược từ toán thực tiễn ñơn vị công tác Đã ñề xuất quy trình tổng quát giải toán dự báo kết tương lai từ liệu khứ sử dụng thuật toán lan truyền ngược.Quy trình ñược thực nghiệm thông qua việc giải toán cụ thể: dự báo kết học tập học viên trực tuyến thông qua liệu thu thập ñược từ tập tin nhật ký Moodle Về giá trị thực tiễn, sau hoàn tất, sản phẩm ñề tài khả dự báo kết học tập, qua ñó góp phần hỗ trợ giảng viên công tác dự báo, ñánh giá học viên Bố cục luận văn Luận văn gồm ba chương: Chương - TỔNG QUAN VỀ MẠNG NƠRON VÀ VẤN ĐỀ DỰ BÁO SỬ DỤNG MẠNG NƠRON Chương - MẠNG NƠRON TRUYỀN THẲNG LAN TRUYỀN NGƯỢC VÀ ỨNG DỤNG TRONG DỰ BÁO DỮ LIỆU Chương - XÂY DỰNG GIẢI PHÁP KỸ THUẬT CHO PHÉP DỰ BÁO KẾT QUẢ HỌC TẬP TRỰC TUYẾN Footer Page of 126 Header Page of 126 - 7- CHƯƠNG - TỔNG QUAN VỀ MẠNG NƠRON VÀ VẤN ĐỀ DỰ BÁO SỬ DỤNG MẠNG NƠRON Khoa học trí tuệ nhân tạo ñược chia làm ba nhánh chính: Hệ chuyên gia, Logic mờ Mạng Nơron Trong ñó, hệ chuyên gia công cụ thích hợp ñể xử lý tín hiệu dạng phi số; Logic mờ công cụ mạnh ñể xử lý liệu dạng khái quát, mô tả không rõ ràng; mạng Nơron ñược sử dụng công tác xử lý số liệu dạng số (các toán phân loại, nhận dạng, ) Mạng Nơron nhân tạo hệ thống xử lý thông tin ñược xây dựng sở tổng quát hóa mô hình toán học Nơron sinh học theo chế làm việc não người 1.1 Tổng quan mạng Nơron 1.1.1 Lịch sử phát triển 1.1.2 Mô hình mạng Nơron 1.1.3 Các luật học Luật học yếu tố quan trọng tạo nên mạng Nơron nhân tạo Có hai vấn ñề cần học ñối với mạng Nơron nhân tạo, ñó học tham số học cấu trúc Học tham số việc thay ñổi trọng số liên kết Nơron mạng; học cấu trúc việc ñiều chỉnh cấu trúc mạng bao gồm thay ñổi số lớp Nơron, số Nơron lớp cách liên kết chúng Hai vấn ñề ñược thực ñồng thời tách biệt 1.1.4 Hình trạng mạng Các mạng tổng thể ñược chia thành hai loại dựa cách thức liên kết ñơn vị Footer Page of 126 Header Page of 126 - 81.1.4.1 Mạng truyền thẳng Dòng liệu ñơn vị ñầu vào ñầu truyền thẳng theo hướng Việc xử lý liệu mở rộng thành nhiều lớp, liên kết phản hồi Điều ñó có nghĩa không tồn liên kết mở rộng từ ñơn vị ñầu tới ñơn vị ñầu vào lớp hay lớp trước ñó 1.1.4.2 Mạng quay lui (mạng hồi quy) 1.1.5 Ứng dụng mạng Nơron Trong trình phát triển, mạng Nơron ñã ñược ứng dụng thành công nhiều lĩnh vực hàng không vũ trụ, ñiều khiển tự ñộng, ngân hàng, quốc phòng, y học,… 1.2 Ứng dụng mạng Nơron dự báo liệu 1.2.1 Khái quát lĩnh vực dự báo 1.2.1.1 Khái niệm dự báo Dự báo khoa học nghệ thuật tiên ñoán việc xảy tương lai sở phân tích khoa học liệu ñã thu thập ñược Khi tiến hành dự báo cần vào việc thu thập, xử lý số liệu khứ ñể xác ñịnh xu hướng vận ñộng tượng tương lai nhờ vào số mô hình toán học (ñịnh lượng) 1.2.1.2 Đặc ñiểm dự báo Không có cách ñể xác ñịnh tương lai cách chắn, ñó tính không xác dự báo Footer Page of 126 Header Page of 126 - 9Luôn có ñiểm mù dự báo, dự báo cách xác hoàn toàn ñiều xảy tương tương lai 1.2.1.3 Các phương pháp dự báo 1.2.2 Sử dụng mạng Nơron công cụ dự báo 1.2.2.1 Lĩnh vực áp dụng a) Bài toán phân lớp: loại toán ñòi hỏi giải vấn ñề phân loại ñối tượng quan sát ñược thành nhóm dựa ñặc ñiểm nhóm ñối tượng ñó Đây dạng toán sở nhiều toán thực tế: nhận dạng chữ viết, tiếng nói, phân loại gen, phân loại chất lượng sản phẩm,… b) Bài toán dự báo: mạng Nơron nhân tạo ñã ñược ứng dụng thành công việc xây dựng mô hình dự báo sử dụng tập liệu khứ ñể dự báo số liệu tương lai Đây nhóm toán khó quan trọng nhiều ngành khoa học c) Bài toán ñiều khiển tối ưu hóa: nhờ khả học xấp xỉ hàm mà mạng Nơron nhân tạo ñã ñược sử dụng nhiều hệ thống ñiều khiển tự ñộng góp phần giải toán tối ưu thực tế 1.2.2.2 Ứng dụng giáo dục Riêng lĩnh vực giáo dục, ứng dụng mạng Nơron nói riêng khai phá liệu nói chung ñã ñang ñược áp dụng rộng rãi Tuy nhiên, Việt Nam, việc ứng dụng trí tuệ nhân tạo hệ thống quản lý học tập công tác giảng dạy chưa ñược quan tâm nghiên cứu áp dụng nhiều thực tế Footer Page of 126 Header Page 10 of 126 - 10CHƯƠNG - MẠNG NƠRON TRUYỀN THẲNG LAN TRUYỀN NGƯỢC VÀ ỨNG DỤNG TRONG DỰ BÁO DỮ LIỆU 2.1 Mạng Nơron truyền thẳng lan truyền ngược 2.1.1 Khái niệm Một mạng Nơron lan truyền ngược ñiển hình có lớp vào, lớp lớp ẩn Trong ứng dụng mạng lan truyền ngược, có hai trình tính toán phân biệt nhau, ñó trình lan truyền thẳng trình lan truyền ngược Trong trình lan truyền thẳng, tất trọng số không thay ñổi, tín hiệu hàm ñược tính toán từ trái qua phải từ Nơron qua Nơron Trong trình lan truyền ngược, tín hiệu lỗi xuất phát từ lớp xuất lan truyền ngược phía trái Trong lan truyền trọng số ñược cập nhật theo chiều hướng làm giá trị ñầu xích gần giá trị mong muốn 2.1.2 Hướng tiếp cận mạng Nơron lan truyền ngược Mạng Nơron lan truyền ngược ñạt kết tốt trường hợp ñịnh: Một số lượng lớn liệu ñầu vào/ra có sẵn, ta không chắn chúng có liên quan ñến ñầu Dễ dàng ñể tạo số ví dụ hành vi ñúng Các giải pháp cho vấn ñề thay ñổi theo thời gian, phạm vi tham số ñầu vào, ñầu ñã cho Footer Page 10 of 126 Header Page 12 of 126 - 12Khởi tạo trọng số (thường khởi tạo ngẫu nhiên) Đối với mẫu liệu e tập huấn luyện o Lan truyền thẳng: tính O = giá trị ñầu mạng; o Với T = giá trị ñầu mong muốn e, tính toán lỗi ñơn vị ñầu (T - O) o Lan truyền ngược: tính giá trị delta_wi cho tất trọng số từ lớp ẩn ñến lớp ra; tính giá trị delta_wi cho tất trọng số từ lớp vào ñến lớp ẩn; o Cập nhật trọng số mạng Kết thúc thuật toán 2.2.2 Một số yếu tố ảnh hưởng ñến trình học Khởi tạo trọng số Hằng số học η 2.3 Phát biểu toán dự báo kết học tập trực tuyến Học trực tuyến e-Learning ñáp ứng ñược tiêu chí giáo dục mới: học nơi, học lúc, học theo sở thích, học suốt ñời E-Learning tồn song song bổ sung cho cách học tập truyền thống Nhìn chung, hệ thống E-Learning bao gồm: Hệ thống quản lý học tập (LMS) giúp xây dựng lớp học trực tuyến hiệu Footer Page 12 of 126 Header Page 13 of 126 - 13Hệ thống quản lí nội dung học tập (LCMS) cho phép tạo quản lý nội dung học tập Công cụ làm giảng cách sinh ñộng, dễ dùng ñầy ñủ multimedia Điều quan trọng E-Learning ñã ñược giới chuẩn hoá nên giảng trao ñổi với toàn giới trường học Việt Nam 2.3.1 Khái quát hệ thống quản lý học tập sử dụng Moodle Moodle hệ thống quản lý học tập mã nguồn mở Moodle thành phần quan trọng hệ thống E-learning, hỗ trợ học tập trực tuyến Moodle bật thiết kế hướng tới giáo dục Moodle phù hợp với nhiều cấp học hình thức ñào tạo Moodle ñáng tin cậy, có 10 000 site giới (thống kê Moodle.org) ñã dùng Moodle 138 quốc gia ñã ñược dịch 70 ngôn ngữ khác 2.3.2 Phát biểu toán Luận văn tập trung tìm hiểu hướng tiếp cận sử dụng mạng Nơron truyền thẳng lan truyền ngược ñể phát triển thử nghiệm với liệu thu thập tri thức sinh viên tham gia học môn Tin trường Cao ñẳng Kỹ thuật Y tế II năm 2010-2011 từ tập tin nhật ký hệ thống Moodle Các tri thức ñược kết hợp với kết ñánh giá thi lớp (theo phương thức học truyền thống) nhằm xây dựng mô hình có khả dự báo khả hoàn tất khóa học sinh viên Footer Page 13 of 126 Header Page 14 of 126 - 14- CHƯƠNG - XÂY DỰNG GIẢI PHÁP KỸ THUẬT ĐỂ DỰ BÁO KẾT QUẢ HỌC TẬP TRỰC TUYẾN Để ñơn giản tránh hiểu nhầm, thuật ngữ “mạng Nơron” ñược dùng chương ñược hiểu mạng Nơron truyền thẳng nhiều lớp lan truyền ngược 3.1 Phân tích toán Theo Kaastra and Boyd (1996), bước cần thực thiết kế mô hình mạng Nơron sử dụng cho toán dự báo nói chung, bao gồm tám bước Hình 3.1 Hình 3.1 Các bước thiết kế mô hình mạng Nơron dự báo liệu Trong trình thực hiện, không thiết phải thực theo ñúng thứ tự bước mà quay bước trước ñó, ñặc biệt bước huấn luyện lựa chọn biến Các vấn ñề chủ yếu cần giải xây dựng mạng Nơron truyền thẳng lan truyền ngược dự báo kết học tập là: Tiền xử lý liệu o Xác ñịnh tần số liệu: hàng ngày, hàng tuần,… o Kiểu liệu Footer Page 14 of 126 Header Page 15 of 126 - 15o Phương thức chuẩn hóa liệu: công thức Max/Min hay ñộ lệch trung bình,… Cấu trúc mạng o Số ñầu vào o Số lớp ẩn số Nơron lớp ẩn o Số Nơron ñầu o Hàm chuyển o Hàm lỗi Huấn luyện mạng o Hệ số học o Bước ñà o Số chu kỳ huấn luyện tối ña o Khởi tạo trọng số o Kích thước tập huấn luyện/kiểm tra/xác thực Việc sử dụng mạng Nơron khám phá tri thức tập tin nhật ký Moodle hướng ñến việc giải câu hỏi như: Có thể sử dụng mạng Nơron mô hình dự báo nhằm phát học sinh tham gia học trực tuyến cần phải ñược bổ sung kiến thức kết thúc khóa học hay không? Kết thi khóa học sinh viên nào? Footer Page 15 of 126 Header Page 16 of 126 - 163.2 Xây dựng giải pháp kỹ thuật dự báo kết học tập trực tuyến Luận văn sử dụng hướng tiếp cận từ Kaastra Boyd (1996) có số thay ñổi ñược thực cho phù hợp với khuôn khổ toán cần giải Đó toán “Ứng dụng mạng Nơron truyền thẳng lan truyền ngược phân tích tập tin nhật ký Moodle dự báo kết học tập trực tuyến” Bài toán dự báo kết học tập trực tuyến hình thành từ báo “Dự ñoán kết thi sinh viên trường ñại học mở Hellenic – Hy Lạp” hai tác giả Sotiris B Kotsiantis Panayiotis E Pintelas Tuy có ñiểm chung dự báo kết học tập sinh viên hướng tiếp cận lại hoàn toàn khác 3.2.1 Bước – Lựa chọn biến ñầu vào Mục ñích luận văn dự báo kết sinh viên từ liệu truy cập họ vào hệ thống tài nguyên, tác ñộng sinh viên tới hệ thống tài nguyên sau ñược giữ lại, bao gồm: Hình 3.2 Tác ñộng sinh viên ñến khóa học Footer Page 16 of 126 Header Page 17 of 126 - 17“Bài giảng lý thuyết”: nguồn tài nguyên chứa giảng cần thiết cho khóa học “Bài thực hành”: tập phụ trợ, bổ sung kiến thức cho phần giảng lý thuyết “Đề thi mẫu”: tập hợp ñề thi mẫu khóa học ñã ñược thực trước ñây Mục ñích cho sinh viên làm quen cấu trúc thi “Các câu hỏi trắc nghiệm”: dùng cho mục ñích củng cố kiến thức nhận ñược từ khóa học Bảng 3.1 Các biến phục vụ dự báo Mã số A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11 A12 A13 A14 A15 A16 A17 Mô tả Họ tên (tên ñăng nhập tên ñầy ñủ) Số lần ñăng ký tham gia khóa học (thi lần 1/lần 2); Tổng thời gian truy cập suốt khóa học, từ 9/2010 ñến 12/2010 Tổng thời gian truy cập với mục ñích xem tài nguyên Tỷ lệ A4 / A3 Số lần truy cập tài nguyên “Lý thuyết” Số lần truy cập tài nguyên “Đề thi mẫu” Số lần truy cập tài nguyên “Bài thực hành” Số lượng câu trắc nghiệm ñã thực Tổng thời gian ñã thực thi trắc nghiệm Số lượng câu trắc nghiệm ñã trả lời ñúng Số lượng câu trắc nghiệm ñã trả lời sai Số lần gửi viết lên diễn ñàn Số lần ñọc viết diễn ñàn Các ngày tuần Ngày cuối tuần Thời gian ñăng nhập Footer Page 17 of 126 Header Page 18 of 126 - 18Với biến ñầu vào ñầu ñã trình bày Bảng 3.1, liệu sử dụng tập tin nhật ký 100 học sinh thuộc hai lớp Cao ñẳng Điều dưỡng trường Cao ñẳng Kỹ thuật Y tế II, môn Tin học, thời gian bốn tháng cuối năm 2010 Tập tin nhật ký ñược lấy từ hệ thống Moodle chạy mạng LAN trường Hiện hệ thống tài nguyên sử dụng Moodle trường phục vụ cho mạng nội nên học sinh tham khảo khóa học trực tuyến vào thời gian từ 7g30 – 11g30, từ 13g – 17g từ 17g30 – 21g (dành cho lớp ban ñêm trung tâm) ngày tuần, trừ ngày lễ chủ nhật Các liệu lịch sử ñược chọn lọc theo Bảng 3.1 ñược xử lý theo nguyên tắc sau: 1) Họ tên/mã số sinh viên/tên ñăng nhập (biến A1): giá trị biến lấy theo số thứ tự sinh viên ñược ñăng ký tham gia hệ thống Đây liệu dạng số nguyên lấy giá trị thực 2) Số lần ñăng ký tham gia khóa học: học sinh ñược thi hai lần cho môn học Đây liệu dạng số nguyên có hai giá trị nên biểu diễn 3) Các biến tính theo thời gian (tổng thời gian truy cập suốt khóa học, tổng thời gian truy cập với mục ñích xem tài nguyên, tổng thời gian ñã thực thi trắc nghiệm): ñược biểu diễn ñơn vị tính theo phút 4) Số lần truy cập tài nguyên “Lý thuyết”/“Đề thi mẫu”/“Bài thực hành”, số lượng câu trắc nghiệm ñã thực hiện, số câu trắc Footer Page 18 of 126 Header Page 19 of 126 - 19nghiệm ñã trả lời ñúng/sai, số lần gửi/ñọc viết diễn ñàn: biểu diễn giá trị thực 5) Ngày tuần: thể số từ – tương ứng ngày từ Chủ nhật, thứ hai,…ñến thứ bảy 6) Ngày cuối tuần: ngày từ thứ hai ñến thứ sáu thể giá trị thứ bảy ñược biểu diễn 7) Thời gian ñăng nhập: thể 24 tiếng ngày: 0, 1, 2,…,23 Rõ ràng hiệu ứng 1), 2), 3) 4) biến có thứ tự Giá trị thực chúng ñưa vào mạng chúng vốn có Các hiệu ứng lại biến phân loại Luận văn sử dụng phương pháp chọn số ñầu vào theo phương pháp one-perfect-one-unit Mặc dù phương thức có khả tạo trật tự nhân tạo giá trị ngược lại, số lượng ñầu vào giảm ñi mô hình thực ñơn giản 3.2.2 Bước – Thu thập liệu 3.2.3 Bước – Tiền xử lý liệu Chuẩn hóa liệu Do tính chất hỗn loạn liệu, giá trị chúng sai lệch nhiều khoảng thời gian ngắn Điều gây khó khăn lớn ñể mạng Nơron thực công việc Hơn nữa, hàm kích hoạt sử dụng mạng Nơron bị chặn, ñó gây tình trạng không thống hai giai ñoạn huấn luyện dự báo Để tránh gặp khó khăn tiềm ẩn Footer Page 19 of 126 Header Page 20 of 126 - 20vậy, liệu thường ñược thu nhỏ khoảng -1 1, phù hợp với hàm chuyển ñược sử dụng 3.2.4 Bước – Phân hoạch liệu Phân hoạch trình chia liệu thành tập huấn luyện, tối ưu tập thử nghiệm Theo ñịnh nghĩa, tập tối ưu ñược sử dụng ñể xác ñịnh kiến trúc mạng; tập huấn luyện dùng ñể cập nhật trọng số mạng; tập thử nghiệm ñược dùng ñể kiểm tra hiệu mạng sau luyện Vì tập liệu tối ưu tùy ý, bên cạnh ñó, tham số mạng Nơron ñược xác ñịnh thông qua thực nghiệm nên luận văn không sử dụng tập tối ưu phân hoạch liệu Như tập liệu ñầu vào ñược chia thành hai tập liệu huấn luyện thử nghiệm theo tỉ lệ mặc ñịnh 80% 20% 3.2.5 Bước – Xây dựng mô hình mạng Nơron 3.2.5.1 Số lượng lớp ẩn Về mặt lý thuyết, mạng Nơron với lớp ẩn với số Nơron ẩn hợp lý có ñủ khả xấp xỉ hàm liên tục Trong thực tế, mạng Nơron có từ ñôi có hai lớp ẩn ñược sử dụng rộng rãi ñạt ñược hiệu tốt 3.2.5.2 Số Nơron lớp ẩn Cho ñến nay, công thức chung cho việc xác ñịnh số Nơron lớp ẩn Hầu hết nhà nghiên cứu sử dụng kinh nghiệm kết hợp với phương pháp thử-sai ñể tìm kết Footer Page 20 of 126 Header Page 21 of 126 - 213.2.5.3 Hàm chuyển (hàm kích hoạt) Trong luận văn sử dụng hàm chuyển hàm Bipolar Sigmoid (tansig) Hàm Bipolar Sigmoid có thuộc tính tương tự hàm Sigmoid Nó làm việc tốt với ứng dụng có yêu cầu ñầu khoảng [-1, 1] 3.2.6 Bước – Tiêu chuẩn ñánh giá Luận văn sử dụng giá trị tổng bình phương lỗi học (SSE) ñể ñánh giá tham số mạng 3.2.7 Bước – Huấn luyện mạng 3.2.7.1 Số chu kỳ huấn luyện Việc xác ñịnh ñiểm dừng trình huấn luyện nghiên cứu tuân theo quan ñiểm thử nghiệm hàng loạt phân ñoạn huấn luyện - ñào tạo khác nhau, kết hợp với hai trình tìm kiếm nhị phân tuyến tính nhằm tiết kiệm thời gian xác ñịnh số chu kỳ huấn luyện tối ưu 3.2.7.2 Hệ số học bước ñà Việc lựa chọn ñược giá trị tối ưu hệ số học hay bước ñà khó khăn Theo Rumelhart cộng sự, với hệ số học 0,05 0,5 cho kết tốt nhiều trường hợp thực tế bước ñà thường tiến gần ñến 1, ví dụ 0.9 Luận văn lựa chọn bước ñà hệ số học theo phương thức thử-và-sai qua ñồ thị kết dự báo 3.2.8 Bước – Hiện thực mô hình Chương trình ñược xây dựng dựa hệ ñiều hành Microsoft Windows XP, Windows 7, công cụ phát triển Microsoft Visual C# Footer Page 21 of 126 Header Page 22 of 126 - 222008, Excel 2007, công cụ nguồn mở Aforge.NET 2.1.5 Edraw Max phiên 5.2, dùng thử 30 ngày Bảng 3.2 Tổng kết bước xây dựng mô hình dự báo thực tế Mã số Bước Bước Bước Bước Bước Bước Bước Bước Bước Mô tả Chuẩn bị liệu huấn luyện/kiểm tra Xây dựng mạng truyền thẳng lan truyền ngược gồm: - Ba lớp: lớp vào 14 nút, lớp nút số nút ẩn khởi ñầu (theo Masters) - Hệ số học bước ñà tương ứng 0,05 ( theo Rumelhart) - Sigmoid’s Alpha = (theo khuyến cáo Aforge.NET) Tìm số chu kỳ huấn luyện (epochs) - Huấn luyện mạng với liệu thu nhận bước 1, số chu kỳ huấn luyện bắt ñầu từ 1000, tăng cấp số nhân ñến tối ña 128 000 chu kỳ - Chọn mạng có tổng bình phương lỗi học nhỏ Lưu thông tin mạng Nơron, số chu kỳ epochs Xác ñịnh số nút ẩn - Sử dụng số chu kỳ epochs ñã tìm ñược bước - Khởi tạo mạng với số nút ẩn bắt ñầu từ hai - Huấn luyện mạng lưu thông tin lỗi Thực lại bước cho ñến số nút ẩn ñạt 32 nút Chọn dải mạng ứng với hai giá trị lỗi nhỏ (trong tất năm mạng với số nút ẩn bắt dầu từ ñến 32), giả sử có số nút ẩn nh1 = x nh2 = y Thực lại bước với ñiều kiện sau: - Số nút ẩn khởi ñầu nh1, tăng tuyến tính số lượng nút ẩn ñến nh2 - Các tham số khác mạng không ñổi Chọn mạng có giá trị lỗi nhỏ nhóm mạng chọn bước Đây mạng có số nút ẩn nh sử dụng cho mô hình dự báo Footer Page 22 of 126 Header Page 23 of 126 - 23- Bước 10 Bước 11 Bước 12 Bước 13 Bước 14 Bước 15 Tìm số (hệ số học, bước ñà) thực nghiệm Cấu hình mạng gồm 14 nút vào, nút ra, nh nút ẩn, số chu kỳ epochs, hệ số khác không ñổi: - Hệ số học (theo Rumelhart) - Bước ñà Lặp lại bước huấn luyện ñể tìm mạng có bình phương lỗi bé Lưu thông tin mạng cuối Thực huấn luyện với tập liệu bước lưu mạng phục vụ giai ñoạn kiểm tra Sử dụng mạng ñã lưu bước 11, tiến hành dự báo với mẫu liệu ñầu vào xt liệu dự báo yt lấy từ tập liệu kiểm tra So sánh, ñối chiếu ñộ tin cậy dự báo mạng tiến hành ñiều chỉnh tham số cần thiết Huấn luyện mạng lần với tập liệu bước cộng thêm mẫu liệu (xt, yt) bước 12 Tiến hành dự báo mẫu liệu (xt+1, yt+1) dùng mạng ñã ñược huấn luyện Thực lại bước 12 14 ñến hết tập liệu kiểm tra 3.3 Kết thực 3.3.1 Biến ñầu vào 3.3.2 Số chu kỳ huấn luyện 3.3.3 Xác ñịnh số nút ẩn 3.3.4 Lựa chọn hệ số học bước ñà 3.3.5 Kết huấn luyện dự báo liệu 3.4 Một số nhận xét Footer Page 23 of 126 Header Page 24 of 126 - 24- KẾT LUẬN Mạng Nơron truyền thẳng nhiều lớp ñã ñang ñược sử dụng nhiều toán dự báo lĩnh vực khác dự báo lượng sử dụng ñiện, nước, thị trường chứng khoán, lưu lượng giao thông, Tuy vậy, không tồn mô hình chung thích hợp cho tất toán dự báo thực tế Đối với toán, cần thực phân tích cặn kẽ, cụ thể liệu phạm vi ñang xét sử dụng tri thức thu thập ñược nhằm hướng ñến xây dựng mô hình thích hợp Các phân tích tri thức thu thập ñược có ích việc lựa chọn ñầu vào, mã hóa ñầu vào ñịnh cấu trúc mạng, ñiều ñặc biệt hữu ích mà liệu lĩnh vực ñó có giới hạn Thuật toán lan truyền ngược chuẩn ñược sử dụng việc huấn luyện mạng Nơron truyền thẳng nhiều lớp ñã chứng tỏ khả tốt, chí ñối với toán phức tạp Dù vậy, ñể ñạt kết mong muốn, cần nhiều thời gian ñể huấn luyện, ñiều chỉnh tham số mạng (thậm chí ñối với toán có cấu trúc ñơn giản) Điều trở ngại ñối với toán thực tế Do ñó, thuật toán cải tiến cần ñược áp dụng ñể tăng khả hội tụ mạng huấn luyện Khả hội tụ mạng phụ thuộc vào tham số khởi ñầu, khả tổng quát hóa lại phụ thuộc nhiều vào liệu ñầu vào Nếu liệu ñầu vào nhiều dẫn tới tình trạng luyện mạng nhiều thời gian khả tổng quát hóa kém, ngược lại, liệu sai số tăng lên Footer Page 24 of 126 Header Page 25 of 126 - 25Những ñóng góp khoa học luận văn Nghiên cứu hệ thống hóa nội dung giải toán dự báo sử dụng mạng nơron nói chung mạng truyền thẳng lan truyền ngược nói riêng Đề xuất thực phương pháp tìm kiếm tham số quan trọng mạng nơron truyền thẳng lan truyền ngược từ toán thực tiễn ñơn vị công tác Đề xuất quy trình tổng quát giải toán dự báo kết tương lai từ liệu khứ sử dụng thuật toán lan truyền ngược Quy trình ñược thực nghiệm thông qua việc giải toán cụ thể, toán dự báo kết học tập học viên trực tuyến thông qua liệu thu thập ñược từ tập tin nhật ký Moodle Kết thực nghiệm dự báo kết học tập sinh viên có sai lệch không lớn (dưới 10%) giá trị thực tế dự báo tập liệu thử nghiệm Hướng phát triển Những kết nghiên cứu ứng dụng mạng Nơron nhân tạo với thuật toán học lan truyền ngược toán dự báo kết học tập trực tuyến ñã chứng tỏ ñây mô hình ứng dụng hiệu ñối với toán Ngoài thuật toán lan truyền ngược, phương pháp học máy khác Support Vector Machine, Decision Tree ñược sử dụng ñể giải toán Vì vậy, hướng phát triển ñề tài nghiên cứu, cải tiến thử nghiệm phương pháp học máy tiên tiến khác ñể nâng cao ñộ tin cậy dự báo thời gian dự báo Footer Page 25 of 126 Header Page 26 of 126 - 26Việc nghiên cứu kết hợp thuật toán di truyền lan truyền ngược trình khởi tạo trọng số mạng hướng phát triển luận văn Trong kết hợp hai thuật toán này, thuật toán di truyền ñược sử dụng khởi tạo cho lan truyền ngược Tập trọng số ñược mã hóa thành nhiễm sắc thể ñược tiến hóa nhờ di truyền Kết thúc trình tiến hóa, trọng số tốt tương ứng với cá thể ưu việt quần thể ñược lựa chọn làm trọng số khởi tạo cho thuật toán lan truyền ngược Tất nhiên phải có số thay ñổi thuật toán lan truyền ngược cho phù hợp với kết hợp Về mặt ứng dụng, hạn chế lớn ứng dụng trình tập hợp liệu từ hệ thống Moodle ñang tiến hành theo phương pháp thủ công cần nghiên cứu xây dựng công cụ add-in cho Moodle nhằm tự ñộng hóa trình thu thập tiền xử lý liệu Bên cạnh ñó cần cải tiến hình thức trình bày kết dự báo cho phù hợp trực quan Một hướng phát triển khác ñề tài xây dựng thành công cụ cho phép học viên tham gia khóa học tự dự báo kết học tập mình, qua ñó ñịnh hướng phương pháp học tập cụ thể nhằm hy vọng ñạt kết tốt kết thúc khóa học Trong thực tế, ñầy ñủ hay không tập số liệu ñầu vào có ảnh hưởng lớn ñến kết dự báo Vì thế, với hướng phát triển trên, tiến hành thu thập số liệu tập tin nhật ký Moodle số website học tập mạng ñể thử nghiệm ñánh giá kết dự báo nhằm cải thiện ñộ tin cậy dự báo mô hình Footer Page 26 of 126 ... toán Ứng dụng mạng Nơron truyền thẳng lan truyền ngược phân tích tập tin nhật ký Moodle dự báo kết học tập trực tuyến Bài toán dự báo kết học tập trực tuyến hình thành từ báo Dự ñoán kết thi... VỀ MẠNG NƠRON VÀ VẤN ĐỀ DỰ BÁO SỬ DỤNG MẠNG NƠRON Chương - MẠNG NƠRON TRUYỀN THẲNG LAN TRUYỀN NGƯỢC VÀ ỨNG DỤNG TRONG DỰ BÁO DỮ LIỆU Chương - XÂY DỰNG GIẢI PHÁP KỸ THUẬT CHO PHÉP DỰ BÁO KẾT QUẢ... số khía cạnh mạng Nơron truyền thẳng nhiều lớp, thuật toán lan truyền ngược ứng dụng chúng giải toán dự báo kết học tập trực tuyến qua liệu thống kê thu thập ñược từ tập tin nhật ký Moodle Mục