TỔNG LIÊN ĐỒN LAO ĐỘNG VIỆT NAM ĐẠI HỌC TƠN ĐỨC THẮNG Nguyễn Anh Khoa 810008t Nguyễn Văn Trọn 811019t TÌM HIỂU LUẬT KẾT HỢP TRONG KHAI MỎ DỮ LIỆU, ỨNG DỤNG PHÂN TÍCH KẾT QUẢ HỌC TẬP CỦA SINH VIÊN Chuyên ngành: Công Nghệ Thông Tin Mã số: 01.01.11 Luận văn Cử Nhân Khoa Học Tin Học Giáo viên hướng dẫn: PHAN ĐÌNH THẾ HN THÀNH PHỐ HỒ CHÍ MINH 2008 LỜI CÁM ƠN Trước hết, xin chân thành cám ơn thầy cô Khoa Công Nghệ Thơng Tin Tốn Ứng Dụng thầy mơn khác tận tình giảng dạy, trang bị cho kiến thức cần thiết suốt q trình học tập trường Tiếp đến chúng tơi xin gửi lời cám ơn sâu sắc đến thầy Phan Đình Thế Huân hướng dẫn tận tình, bảo động viên thời gian thực luận văn Trong trình thực luận văn hướng dẫn thầy thầy truyền đạt nhiều kiến thức kinh nghiệm, chúng tơi học hỏi từ thầy tinh thần trách nhiệm phong cách làm việc nghiêm túc Cám ơn thầy động viên giúp đỡ hồn tất luận văn Chúng tơi đồng thời gửi lời cám ơn gia đình chúng tơi đặc biệt bạn bè lớp 08TH1N sẵn sàng giúp đỡ, hỗ trợ động viên học tập, đặc biệt suốt thời gian thực luận văn Đáp lại quan tâm giúp đỡ nhà trường, thầy cơ, gia đình bạn bè, nỗ lực để hoàn tất luận văn mức tốt Chắc chắn luận văn chúng tơi thiếu sót, kính mong thầy xem xét tận tình bảo Chân thành cám ơn TP Hồ Chí Minh 7/2008 Nhóm SV thực hiện: Nguyễn Anh Khoa Nguyễn Văn Trọn Nguyễn Anh Khoa – Nguyễn Văn Trọn i MỤC LỤC LỜI CÁM ƠN i MỤC LỤC ii DANH MỤC HÌNH v DANH MỤC BẢNG vii PHẦN MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU 1.1 Đặt vấn đề 1.2 Mục tiêu đề tài 1.3 Bố cục luận văn PHẦN NỘI DUNG CHÍNH CHƯƠNG 2: TÌM HIỂU VỀ KHAI PHÁ DỮ LIỆU 2.1 Giới thiệu khai phá liệu 2.1.1 Tầm quan trọng khai phá liệu 2.1.2 Khái niệm khai phá liệu 2.1.3 Một số phương pháp khai thác liệu 2.1.4 Các ứng dụng khai phá liệu 2.1.5 Cơ sở liệu thông dụng 2.1.6 Một số thách thức khai phá liệu 2.2 Tìm hiểu khai phá luật kết hợp 2.2.1 Khai phá luật kết hợp 2.2.1.1 Phân tích danh mục mặt hàng (giỏ thị trường) 2.2.1.2 Khái niệm 2.2.1.3 Việc khai phá luật kết hợp 10 2.2.2 Việc khai phá luật kết hợp chiều từ sở liệu giao tác 11 2.2.2.1 Giải thuật Apriori 11 2.2.2.2 Việc tạo luật kết hợp từ itemset phổ biến 13 2.2.2.3 Cài đặt thuật toán 14 2.2.2.4 Giải thuật FP_Growth 17 2.2.3 Việc khai phá luật kết hợp đa cấp từ sở liệu giao dịch 21 2.2.3.1 Những luật kết hợp đa cấp 21 2.2.3.2 Những phương pháp để khai phá luật kết hợp đa cấp 22 2.2.4 Việc khai phá luật kết hợp đa chiều từ sở liệu quan hệ kho liệu 22 2.2.4.1 Những luật kết hợp đa chiều 22 2.2.4.2 Việc khai phá luật kết hợp định lượng 23 2.2.4.3 Việc khai phá luật kết hợp dựa khoảng cách 23 2.2.5 Từ việc khai phá kết hợp đến phân tích tương quan 23 2.2.5.1 Những luật mạnh không cần thiết đáng ý 24 2.2.5.2 Từ việc phân tích kết hợp đến phân tích tương quan 24 2.2.6 Việc khai phá kết hợp dựa ràng buộc 24 CHƯƠNG 3: KHAI PHÁ DỮ LIỆU TRONG SQL SERVER 2005 26 3.1 Ngôn ngữ DMX 26 3.1.1 Giới thiệu ngôn ngữ DMX (Data Mining eXtension) 26 Nguyễn Anh Khoa – Nguyễn Văn Trọn ii 3.1.2 Một số lệnh ngôn ngữ DMX 26 3.1.2.1 Tạo cấu trúc khai thác-CREATE MINING STRUCTURE 26 3.1.2.2 Tạo mơ hình khai thác-CREATE MINING MODEL 26 3.1.2.3 Huấn luyện mơ hình -INSERT INTO 27 3.1.2.4 Mơ hình dự đốn – Model prediction 29 3.1.2.5 Xóa cấu trúc khai thác mơ hình khai thác 30 3.2 Sơ lược Data Mining Microsoft SQL Server 2005 31 3.2.1 Business Intelligent Developtment Studio (BIDS) 31 3.2.2 Các thuật toán khai thác liệu Microsoft SQL Server 2005 32 3.2.2.1 Microsoft Decision Tree 32 3.2.2.2 Microsoft Clustering 33 3.2.2.3 Microsoft Naïve Bayes 33 3.2.2.4 Microsoft time series 34 3.2.2.5 Microsoft Association 34 3.2.2.6 Microsoft sequence clustering 35 3.2.2.8 Microsoft linear regression 36 3.2.2.9 Microsoft logistic regression 36 3.3 Sử dụng SQL Sever Data Mining 37 3.3.1 Cách sử dụng BIDS để thực dự án khai thác liệu 37 3.3.1.1 Chuẩn bị liệu 37 3.3.1.2 Tạo dự án khai thác liệu 37 3.3.1.3 Tạo data source 38 3.3.1.4 Tạo Data Source View 39 3.3.1.5 Xây dựng làm việc với mơ hình khai thác 42 3.3.1.6 Đưa dự đoán 51 PHẦN XÂY DỰNG CHƯƠNG TRÌNH 54 CHƯƠNG 4: CHƯƠNG TRÌNH ỨNG DỤNG 54 4.1 Giới thiệu toán 54 4.2 Mô tả giai đoạn xây dựng chương trình 54 4.3 Mô tả liệu 55 4.4 Mơ tả chi tiết chương trình 61 4.4.1 Giới thiệu chương trình 61 4.4.2 Các lớp xử lý chương trình 62 4.4.2.1 Lớp DMXquery 62 4.4.2.2 Lớp ProcessDMX 63 4.4.2.3 Lớp DataMethod 64 4.4.3 Sử dụng chương trình 65 4.4.3.1 Bắt đầu chương trình 65 4.4.3.2 Kết nối liệu chọn bảng 66 4.4.3.3 Chọn cột khóa, cột nhâp cột dự đoán 70 4.4.3.4 Kết dự đoán 73 PHẦN KẾT LUẬN 76 CHƯƠNG 5: KẾT LUẬN 76 5.1 Tổng kết đánh giá 76 5.1.1 Kết 76 5.1.2 Hạn chế 76 Nguyễn Anh Khoa – Nguyễn Văn Trọn iii 5.2 Hướng phát triển 77 TÀI LIỆU THAM KHẢO 78 Nguyễn Anh Khoa – Nguyễn Văn Trọn iv DANH MỤC HÌNH Hình 2.1: Tiến trình KDD Hình 2.2 Trực quan thuật toán 12 Hình 2.3 Ví dụ thuật tốn Apriori 13 Hình 2.4 Trực quan cách sinh luật kết hợp 14 Hình 2.5 Bước xây dựng FP 19 Hình 2.6 Bước xây dựng FP 20 Hình 2.7 Cây FP 20 Hình 2.8 Tìm tập thường xuyên từ FP 21 Hình 3.1 Kết dự đốn 29 Hình 3.2 Giao diện BIDS 31 Hình 3.3 Tạo dự án khai thác liệu 38 Hình 3.4 Tạo data source view 40 Hình 3.5 Xem bảng theo cột liệu 41 Hình 3.6 Xem bảng theo biểu đồ 42 Hình 3.7 Chọn thuật toán 43 Hình 3.8 Chọn bảng liệu 43 Hình 3.9 Chọn cột tự động 44 Hình 3.10 Chọn cột nhập dự đốn 45 Hình 3.11 Cầu trúc khai thác – Mining Structure 46 Hình 3.12 Mơ hình khai thác – Mining Model 46 Hình 3.13 Chỉnh sửa mơ hình khai thác 47 Hình 4.14 Danh sách Itemset tìm 48 Hình 3.15 Danh sách luật tìm 48 Hình 3.16 Mối quan hệ thuộc tính 49 Hình 3.17 Sử dụng Mining Acuracy Chart 50 Hình 3.18 Kết dánh giá xác 51 Hình 3.19 Mơ hình dự đốn 52 Hình 3.20 Xem câu truy vấn DMX 52 Hình 3.21 Câu truy vấn DMX 53 Hình 3.22 Kết dự đốn 53 Hình 4.1: Lược đồ quan hệ bảng sở liệu data_filter 56 Hình 4.2 Lớp DMXquery 62 Hình 4.3 Lớp ProcessDMX 63 Hình 4.4 Các đối tượng Adomd 64 Hình 4.5 Lớp DataMethod 65 Hình 4.6 Bắt đầu chương trình 66 Hình 4.7 Kết nối liệu chọn bảng 67 Hình 4.8 Kết nối 68 Hình 4.9 Chọn liệu 69 Hình 4.10 Xử lý chọn bảng 70 Hình 4.11 Chọn cột khóa, cột nhập cột dự đoán 71 Hình 4.12 Xử lý tìm luật 72 Hình 4.23 Kết tìm luật 73 Hình 4.14 Kết dự đốn 74 Nguyễn Anh Khoa – Nguyễn Văn Trọn v Hình 4.14 Hiển thị kết 75 Nguyễn Anh Khoa – Nguyễn Văn Trọn vi DANH MỤC BẢNG Bảng 2.1 Dữ liệu mẫu 18 Bảng 2.2 Kết duyệt lần 18 Bảng 2.3 Bảng Header 19 Bảng 4.1 Cột nhập 44 Bảng B-1: Mô tả chi tiết bảng SinhViên 57 Bảng B-2: Mô tả chi tiết bảng Điểm 58 Bảng B-3: Mô tả chi tiết bảng Môn học 59 Bảng B-4: Mô tả chi tiết bảng Lớp 59 Bảng B-5: Mô tả chi tiết bảng Tỉnh 60 Bảng B-6: Mô tả chi tiết bảng Khoa 60 Bảng B-7: Mô tả chi tiết bảng Hệ 60 Nguyễn Anh Khoa – Nguyễn Văn Trọn vii Chương 1: Giới thiệu PHẦN MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU 1.1 Đặt vấn đề Trong thời đại ngày nay, phát triển vượt bật ngành công nghệ thông tin giới ỏ nước ta góp phần thúc đẩy phát triển nhiều lĩnh vực, ngành nghề Ngành giáo dục ngành quan trọng bậc công xây dựng phát triển đất nước, giáo dục đại học có vị trí quan trọng việc đào tạo nhân tài Chất lượng đào tạo vấn đề quan trọng hàng đầu trường đại học Vì việc đảm bảo nâng cao chất lượng đào tạo đại học đòi hỏi ngày mang tính thiết cơng việc khó khăn mang tính định đến sứ mạng nhà trường đại học Xuất phát từ nhu cầu thực tiễn việc đánh giá chất lượng học tập sinh viên để hỗ trợ cho việc cải thiện công tác giảng dạy nhằm nâng cao chất lượng giảng dạy nhà trường Khác với phương pháp đánh giá truyền thống, chúng tơi thực chương trình ứng dụng hỗ trợ đánh giá chất lượng học tập sinh viên dựa kỹ thuật khai phá liệu 1.2 Mục tiêu đề tài Đề tài tìm hiểu luật kết hợp khai phá liệu, cài đặt ứng dụng minh hoạ đánh giá chất lượng dự đoán kết học tập sinh viên khoa Cơng Nghệ Thơng Tin Tốn Ứng Dụng Trường Đại Học Tơn Đức Thắng Mục tiêu đề tài: - Tìm hiểu lý thuyết kỹ thuật khai phá liệu - Tìm hiểu giải thuật khai phá liệu luật kết hợp - Tìm hiểu sở liệu sinh viên khoa Công Nghệ Thơng Tin Tốn Ứng Dụng trường đại học Tơn Đức Thắng - Tìm hiểu cơng cụ khai phá liệu SQL Server 2005 Nguyễn Anh Khoa – Nguyễn Văn Trọn Chương 4: Chương trình ứng dụng Hình 4.4 Các đối tượng Adomd 4.4.2.3 Lớp DataMethod Lớp dùng để tương tác với liệu tạo kết nối với server thục thi tạo database,datasource,… Lớp thuộc tầng liên kết liệu gồm có phương thức hình: Nguyễn Anh Khoa – Nguyễn Văn Trọn 64 Chương 4: Chương trình ứng dụng Hình 4.5 Lớp DataMethod • Server KetNoi(): Hàm dùng để tạo kết nối với server Trị trả đối tượng Server • Database CreateDatabase(): Hàm dùng để tạo database server Kết trả đối tượng DataBase • void DeleteDatabase(): Hàm dùng để xóa database server Hàm khơng có trị trả • DataSource CreateDatasource(): Hàm dùng để tạo datasource Kết trả đối tượng datasource • DataSourceView CreateDatasourceView(): Hàm dùng để tạo datasourceview Kết trả đối tượng DataSourceView Tầng giao tiếp người dùng bao gồm control hiển thị thực tương tác với người dùng giới thiệu phần sử dụng chương trình sau 4.4.3 Sử dụng chương trình 4.4.3.1 Bắt đầu chương trình Khi bắt đầu chương trình người dùng gặp form giới thiệu hình bên người dùng nhấn nút “Bắt đầu chương trình” để bắt đầu thực tạo mơ hình khai mỏ liệu Nguyễn Anh Khoa – Nguyễn Văn Trọn 65 Chương 4: Chương trình ứng dụng Hình 4.6 Bắt đầu chương trình Chương trình gồm có form trình bày cụ thể bên 4.4.3.2 Kết nối liệu chọn bảng Form dùng để kết nối liệu chọn bảng liệu để thực thi tìm luật Form có giao diện hình bên Nguyễn Anh Khoa – Nguyễn Văn Trọn 66 Chương 4: Chương trình ứng dụng 10 Hình 4.7 Kết nối liệu chọn bảng Mô tả chi tiết control form 1: Textbox nhập tên server dùng để kết nối tới 2: Button kết nối dùng để kết nối tới server 3: Textbox chọn liệu dùng để chọn đường dẩn tới sở liệu server 4: Button chọn liệu dùng để chọn đường dẩn tới sở liệu không muốn nhập tên textbox 5: Button ok dùng để tạo kết nối tới liệu chọn Sau kết nối xong liệt kê tên bảng có liệu liệt kê xuống datagrid bên để người dùng chọn Nguyễn Anh Khoa – Nguyễn Văn Trọn 67 Chương 4: Chương trình ứng dụng 6: Là tên bảng có liệu 7: Là nơi chọn bảng liệu để thực thi khai mỏ liệu Mỗi lần chọn bảng, cột bắt buộc phải chọn 8: Là cột chọn bảng lồng liên kết với bảng chính, cột chọn không 9: Là nơi xuất thông báo chọn bảng sai 10: Là button sau chọn bảng chọn bảng sai thơng báo cho người dùng chọn bảng lại, ngược lại chọn chuyển sang form Sự kiện luồng xử lý chính: Khi nút “Kết nối” nhấn thực xử lý kết nối đến liệu Nếu kết nối thành cơng hiển thị chọn liệu khơng thành cơng thơng báo lỗi trở lại bước đầu hình Hình 4.8 Kết nối Kế tiếp người dùng chọn liệu nhấn button OK Chương trình xử lý chọn liệu Nếu liệt kê bảng liệu vừa chọn vào datagrid bên dưới, ngược lại thơng báo lỗi trở bước đầu hình bên Nguyễn Anh Khoa – Nguyễn Văn Trọn 68 Chương 4: Chương trình ứng dụng Hình 4.9 Chọn liệu Tiếp theo xử lý chọn bảng người dùng nhấn button Nếu chọn bảng chương trình chuyền sang form kế tiêp Ngược lại thông báo lỗi trở trạng thái abn đầu hình Nguyễn Anh Khoa – Nguyễn Văn Trọn 69 Chương 4: Chương trình ứng dụng Hình 4.10 Xử lý chọn bảng 4.4.3.3 Chọn cột khóa, cột nhâp cột dự đoán Form dùng người dùng chọn cột khóa, cột nhập cột đốn cho chương trình Form có giao diện hình Nguyễn Anh Khoa – Nguyễn Văn Trọn 70 Chương 4: Chương trình ứng dụng Hình 4.11 Chọn cột khóa, cột nhập cột dự đốn Mô tả chi tiết control form: 1: Cột tên bảng tên bảng bảng lồng (nếu có) chọn form trước 2: Cột tên cột bảng tên cột bảng bảng lồng (nếu có) 3: Cột khóa cột chọn khóa bảng Mỗi bảng bảng lồng chọn khóa Và bắt buộc phải chọn 4: Cột nhập cột chọn để thực nhập vào mơ hình (là điều kiện dự đoán) Cột bắt buộc phải chọn 5: Cột dự đoán cột muốn dự đoán kết chọn nhiều cột Nguyễn Anh Khoa – Nguyễn Văn Trọn 71 Chương 4: Chương trình ứng dụng 6: Button tìm luật button chọn cột thiếu sai thơng báo cho người dùng Nếu chọn chương trình thực thi tìm luật kết hiển thị form Sự kiện luồng xử lý Khi form hiển thị ta liệt kê bảng chọn với cột bảng cho người dùng chọn cột khóa, cột nhập cột dự đốn Khi người dùng nhấn nút tìm luật chương trình xử lý chọn cột Nếu chọn cột thực tìm luật Nếu sai thơng báo lỗi trở chọn cột Khi thực thi tìm luật tìm có luật hiển thị kết tìm form Nếu khơng tìm luật trở chọn cột lại Xem hình bên Hình 4.12 Xử lý tìm luật Nguyễn Anh Khoa – Nguyễn Văn Trọn 72 Chương 4: Chương trình ứng dụng 4.4.3.4 Kết dự đoán Form dùng để hiển thị kết tìm thực thi dự đốn Form có giao diện hình Hình 4.23 Kết tìm luật Nguyễn Anh Khoa – Nguyễn Văn Trọn 73 Chương 4: Chương trình ứng dụng 10 11 12 Hình 4.14 Kết dự đốn Mơ tả cho tiết control form: 1: Tab kết tìm luật 2: Tab dự đoán 3: Độ hỗ trợ tối thiểu nơi giới hạn độ hỗ trợ luật tìm đươc 4: Độ tin cậy tối thiểu nơi giới hạn tin cậy luật tìm 5: Cột thể độ hỗ trợ luật tìm 6: Cột thể độ tin cậy luật tìm 7: Cột thể luật tìm 8: Là cột tên điều kiện nhập mà chọn form trước 9: Là nơi nhập điều kiện dự đoán 10: Button thực thi dự đoán ta nhập điều kiện dự đoán 11:Là cột muốn dự đoán 12: Là khả xẩy Nguyễn Anh Khoa – Nguyễn Văn Trọn 74 Chương 4: Chương trình ứng dụng Sự kiện luồng xử lý Khi form hiển thị liệt kê kết tìm cột dự đoán vào lưới Khi người dùng nhập điều kiện dự đốn nhấn nút “Thực thi dự đốn” dự đốn Hình 4.14 Hiển thị kết Nguyễn Anh Khoa – Nguyễn Văn Trọn 75 Chương 5: Kết luận PHẦN KẾT LUẬN CHƯƠNG 5: KẾT LUẬN 5.1 Tổng kết đánh giá 5.1.1 Kết Sau tìm hiểu cài đặt chương trình đề tài “Sử dụng kĩ thuật khai phá liệu để thực chương trình hỗ trợ đánh giá chất lượng học tập sinh viên Đại học Tôn Đức Thắng” Chúng đạt số kết sau: - Tìm hiểu bổ sung tri thức khai phá liệu kỹ thuật sử dụng cho việc khai phá liệu, đặc biệt kỹ thuật tìm kiếm luật kết hợp khai phá liệu - Áp dụng ngôn ngữ DMX để xây dựng thành cơng chương trình chương trình hỗ trợ đánh giá chất lượng học tập sinh viên khoa Công Nghệ Thông Tin Tốn Ứng Dụng trường Đại Học Tơn Đức Thắng dựa lượng liệu thực tế nhà trường cung cấp khoa Công Nghệ Thông Tin Tốn Ứng Dụng - Thơng qua chương trình, đưa đề nghị việc đánh giá chất lượng học tập sau đào tạo phương pháp máy học khác với phương pháp đánh giá truyền thống 5.1.2 Hạn chế Mặc dù cố gắng để hồn chỉnh phần cài đặt chương trình ứng dụng thực tế không tránh mặt hạn chế Những mặt hạn chế kể đến gồm: - Hạn chế mặt liệu: o Dữ liệu khơng đồng gây số khó khăn cho trình khai phá o Số lượng liệu điểm hạn chế khiến cho độ xác chương trình chưa cao Nguyễn Anh Khoa – Nguyễn Văn Trọn 76 Chương 5: Kết luận - Hạn chế mặt chương trình: o Chương trình chưa sử dụng tất tập liệu để đưa tất luật có o Với thời gian thực đề tài hạn chế nên ứng dụng khai phá số lượng thơng tin từ nguồn liệu có 5.2 Hướng phát triển Việc áp dụng kỹ thuật khai phá liệu vào thực tế với mục đích hỗ trợ cho việc đánh giá kết học tập đào tạo nước ta mẻ Ứng dụng đề tài khai phá phần thông tin từ lượng liệu cung cấp, nhu cầu đánh giá chất lượng học tập sinh viên trường đại học lớn đa dạng Ứng dụng cần mở rộng để khai phá liệu lớn đa dạng hơn, đáp ứng cho nhiều khoa khác nhiều trường khác Ngồi ra, sử dụng số thuật toán khai phá liệu khác như: Clustering, Decision tree,… bên cạnh luật kết hợp để có so sánh đánh giá kết xác Các phương hướng phát triển chương trình nhằm mục đích khai phá thêm nhiều loại thơng tin từ liệu từ nhiều ngành, khoa trường đại học khác để đưa thông tin hỗ trợ tốt để đánh giá cải tiến việc học tập đào tạo trường đại học nói chung Mở rộng chương trình nhằm giúp đánh giá nhiều lĩnh vực khác như: kinh tế, khoa học, xã hội… Nguyễn Anh Khoa – Nguyễn Văn Trọn 77 Chương 5: Kết luận TÀI LIỆU THAM KHẢO [1] – Giáo trình khai thác liệu tiến sĩ Đỗ Phúc [2] – Data mining Tutorial website: www.sqlseverdatamining.com [3] – Jiawei Han and Micheline Kamber, Data Mining-Concepts.And.Techniques, Morgan Kaufmann Publishers, 2000, chapter 1, chapter [4] Data Mining with SQL Server 2005, ZhaoHui Tang [5] Data Mining Techniques, Michael J.A Berry, Gordon S Linoff Nguyễn Anh Khoa – Nguyễn Văn Trọn 78 ... 2.2.1.3 Việc khai phá luật kết hợp Việc phân tích danh mục mặt hàng dạng việc khai phá luật kết hợp Luật kết hợp phân loại thành nhiều loại như: 1_ Dựa kiểu liệu sử dụng luật Nếu luật bao gồm... chương trình ứng dụng hỗ trợ đánh giá chất lượng học tập sinh viên dựa kỹ thuật khai phá liệu 1.2 Mục tiêu đề tài Đề tài chúng tơi tìm hiểu luật kết hợp khai phá liệu, cài đặt ứng dụng minh hoạ... phá luật kết hợp Việc khai phá luật kết hợp việc tìm kết hợp đáng ý mối quan hệ tương quan tập liệu khổng lồ Việc khai phá quan hệ giúp ích nhiều việc định kinh doanh 2.2.1 Khai phá luật kết hợp