BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM HÀ NỘI LÊ THANH HÀ NGHIÊN CỨU PHẦN TỬ NGOẠI LAI ĐỐI VỚI PHỤ THUỘC HÀM VÀ KHÓA TRONG CƠ SỞ DỮ LIỆU QUAN HỆ LUẬN VĂN THẠC SĨ MÁY TÍNH HÀ NỘI, 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM HÀ NỘI LÊ THANH HÀ NGHIÊN CỨU PHẦN TỬ NGOẠI LAI ĐỐI VỚI PHỤ THUỘC HÀM VÀ KHÓA TRONG CƠ SỞ DỮ LIỆU QUAN HỆ Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ MÁY TÍNH Người hướng dẫn khoa học: TS Lê Văn Phùng HÀ NỘI, 2016 LỜI CẢM ƠN Em xin chân thành gửi lời cảm ơn tới TS Lê Văn Phùng, thầy nhiệt tình hướng dẫn giúp đỡ em trình hoàn thành luận văn Em xin chân thành gửi lời cảm ơn tới thầy cô Viện CNTT thuộc Viện Khoa học Hàn lâm Việt Nam tận tình giảng dạy, bảo giúp đỡ em trình học tập trường thời gian hoàn thành luận văn Em xin chân thành gửi lời cảm ơn tới thầy cô phòng Sau Đại học, khoa CNTT thư viện trường ĐHSPHN2 tận tình giúp đỡ truyền đạt kiến thức quý giá trình học tập trình hoàn thành luận văn Em xin gửi lời cảm ơn đến Ban giám hiệu trường THPT Trần Hưng Đạo – Tam Dương – Vĩnh Phúc thầy cô trường tạo điều kiện để em có liệu thực tế góp phần vào hoàn thiện luận văn LỜI CAM ĐOAN Tôi xin cam đoan tất số liệu kết nghiên cứu luận văn hoàn toàn trung thực không trùng lặp với đề tài khác Tôi xin cam đoan giúp đỡ cho việc thực luận văn cảm ơn thông tin trích dẫn luận văn rõ nguồn gốc Tác giả luận văn Lê Thanh Hà MỤC LỤC MỞ ĐẦU 1 Lý chọn đề tài Mục đích nghiên cứu Nhiệm vụ nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Dự kiến kết đạt được: NỘI DUNG Chương 1: Tổng quan phụ thuộc hàm, khóa phần tử ngoại lai sở liệu quan hệ 1.1 Khái niệm phụ thuộc hàm 1.1.1 Định nghĩa phụ thuộc hàm: 1.1.2 Hệ tiên đề Armstrong 1.2 Các dạng phụ thuộc hàm đặc biệt 1.2.1 Dạng phụ thuộc hàm dạng 1.2.2 Dạng phụ thuộc hàm dạng tỉ lệ 1.3 Khái niệm khóa phương pháp xác định khóa CSDL quan hệ 1.3.1 Khoá 1.3.2 Một số thuật toán liên quan đến khóa 10 1.3.2.1 Một số thuật toán tính bao đóng 10 1.3.2.2 Một số thuật toán tính khóa tối tiểu 13 1.4 Hệ 17 1.5 Phần tử ngoại lai mối quan hệ chúng với khai phá liệu 19 1.5.1 Khái niệm phần tử ngoại lai 19 1.5.2 Mối quan hệ phần tử ngoại lai với khai phá liệu 20 1.6 Mô hình phát phần tử ngoại lai liệu sở liệu quan hệ 21 1.6.1 Định nghĩa 21 1.6.2 Phân loại phần tử ngoại lai CSDL quan hệ 21 1.6.3 Mô hình phát phần tử ngoại lai dựa theo luật CSDL quan hệ 22 1.7 Ứng dụng phần tử ngoại lai 23 Chương 2: Phát phần tử ngoại lai phụ thuộc hàm khóa sở liệu quan hệ 26 2.1 Phần tử ngoại lai phụ thuộc hàm 26 2.1.1 Khái niệm phần tử ngoại lai phụ thuộc hàm 26 2.1.2 Định lý 2.1: Nhận biết cặp ngoại lai phụ thuộc hàm 26 2.1.3 Thuật toán xác định cặp ngoại lai tập phụ thuộc hàm 27 2.1.4 Phần tử ngoại lai dạng phụ thuộc hàm đặc biệt 28 2.1.4.1 Phần tử ngoại lai phụ thuộc hàm dạng 28 2.1.4.2 Phần tử ngoại lai phụ thuộc hàm dạng tỉ lệ 30 2.2 Phần tử ngoại lai khóa 33 2.2.1 Khái niệm phần tử ngoại lai khóa 33 2.2.3 Thuật toán xác định phần tử ngoại lai theo khóa 34 Chương 3: Ứng dụng tìm phần tử ngoại lai để kiểm tra xếp loại học lực danh hiệu cho học sinh trường THPT Trần Hưng Đạo 36 3.1 Bài toán đặt mục tiêu chương trình 36 3.1.1 Bài toán đặt 36 3.1.2 Mục tiêu chương trình 36 3.2 Chọn thuật toán thử nghiệm: 38 3.3 Dữ liệu vào yêu cầu kết 41 3.4 Môi trường thử nghiệm 41 3.4.1 Hệ quản trị liệu 41 3.4.2 Ngôn ngữ lập trình 42 3.5 Một số giao diện 42 3.5.1 File liệu 42 3.6 Đánh giá kết hướng mở rộng 47 3.6.1 Đánh giá kết 47 3.6.2 Hướng mở rộng 47 KẾT LUẬN 48 TÀI LIỆU THAM KHẢO 50 BẢNG KÝ HIỆU CÁC CHỮ VIẾT TẮT Từ viết tắt Tiếng Anh Nghĩa tiếng Việt THPT Trung học phổ thông CSDL Cơ sở liệu Hk Cn Học kỳ Cả năm DANH MỤC CÁC HÌNH Hình 1.1 – Phần tử ngoại lai tập điểm có tọa độ (x,y) mặt phẳng có giá trị tung độ y nhỏ hẳn phần tử khác tập hợp 19 Hình 3.0 – Hình ảnh file liệu excel đưa vào chương trình 42 Hình 3.1 – Giao diện đăng nhập vào trang web chứa chương trình 43 Hình 3.2 – Giao diện trang web chưa chương trình 43 Hình 3.3 – Chọn Nhập điểm 44 Hình 3.4 – Giao diện nhập điểm tra học sinh file excel 44 Hình 3.5 – Giao diện liệu file excel tải lên 45 Hình 3.6 – Giao diện thông báo số phần tử ngoại lai 45 Hình 3.7 – Giao diện thể phần tử ngoại lai 46 Hình 3.8 – Giao diện hoàn chỉnh 46 Hình 3.9 – Giao diện thể nhập thành công file liệu kiểm tra không phát phần tử ngoại lai 47 MỞ ĐẦU Lý chọn đề tài Thế kỷ XXI xem thể kỷ công nghệ thông tin Các công nghệ khám phá tri thức áp dụng rộng rãi nhiều lĩnh vực đem lại thành tựu vô to lớn Nhưng công nghệ khám phá tri thức thường nhằm mục đích tìm kiếm, khám phá dạng mẫu thường gặp Chủ yếu tập trung vào hướng: Tìm kiếm luật kết hợp, nhận dạng phân lớp mẫu… Còn lĩnh vực khám phá phần tử ngoại lai chưa có quan tâm, đầu tư phát triển nước Người ta nhận thấy có nhiều tri thức tiềm ẩn liệu, vấn đề đặt làm để khai thác thông tin khai thác cách có hiệu Còn lĩnh vực khám phá phần tử ngoại lai bước đầu thực quan tâm nghiên cứu Mặc dù ứng dụng nhiều lĩnh vực sống: phát thẻ bất thường hệ thống ngân hàng, tuyến đường bất ổn không hợp lý giao thông, ứng dụng hệ thống an ninh, dự báo thời tiết, thị trường chứng khoán, lĩnh vực thể thao, y tế, giáo dục,… Tuy nhiên, với số lượng liệu tập trung lưu trữ sở liệu ngày lớn việc tìm kiếm ngoại lệ phần tử ngoại lai trở nên cấp thiết nhiều Do tính hấp dẫn tính thời khai phá dự liệu, đặc biệt phát phần tử ngoại lai sơ sở liệu quan hệ, chọn đề tài “Nghiên cứu phần tử ngoại lai phụ thuộc hàm khóa sở liệu quan hệ” luận văn cao học Trong nghiên cứu vận dụng kiến thức nghiên cứu vào hỗ trợ kiểm tra xếp loại học lực danh hiệu cho học sinh trường THPT Trần Hưng Đạo 37 lớp chuyên trường THPT chuyên phải thêm điều kiện điểm trung bình môn chuyên từ 6,5 trở lên; b) Không có môn học điểm trung bình 5,0; c) Các môn học đánh giá nhận xét đạt loại Đ Loại trung bình, có đủ tiêu chuẩn sau đây: a) Điểm trung bình môn học từ 5,0 trở lên, điểm trung bình môn Toán, Ngữ văn từ 5,0 trở lên; riêng học sinh lớp chuyên trường THPT chuyên phải thêm điều kiện điểm trung bình môn chuyên từ 5,0 trở lên; b) Không có môn học điểm trung bình 3,5; c) Các môn học đánh giá nhận xét đạt loại Đ Loại yếu: Điểm trung bình môn học từ 3,5 trở lên, môn học điểm trung bình 2,0 Loại kém: Các trường hợp lại Nếu ĐTBhk ĐTBcn đạt mức loại quy định Khoản 1, kết môn học thấp mức quy định cho loại nên học lực bị xếp thấp xuống điều chỉnh sau: a) Nếu ĐTBhk ĐTBcn đạt mức loại G kết môn học mà phải xuống loại Tb điều chỉnh xếp loại K b) Nếu ĐTBhk ĐTBcn đạt mức loại G kết môn học mà phải xuống loại Y điều chỉnh xếp loại Tb c) Nếu ĐTBhk ĐTBcn đạt mức loại K kết môn học mà phải xuống loại Y điều chỉnh xếp loại Tb d) Nếu ĐTBhk ĐTBcn đạt mức loại K kết môn học mà phải xuống loại Kém điều chỉnh xếp loại Y + Đối với danh hiệu: 38 Công nhận đạt danh hiệu học sinh giỏi học kỳ năm học, đạt hạnh kiểm loại tốt học lực loại giỏi Công nhận đạt danh hiệu học sinh tiên tiến học kỳ năm học, đạt hạnh kiểm từ loại trở lên học lực từ loại trở lên 3.2 Chọn thuật toán thử nghiệm: Với toán nêu trên, hình dung cần phải tính lại tiêu chí xếp loại học lực, danh hiệu có báo cáo giáo viên chủ nhiệm không Vậy, cần tính lại điểm trung bình cho hai cột giá trị tính bên cạnh cột mà giáo viên chủ nhiệm báo cáo Trên sở so sánh giá trị theo hàng, sai hàng “phần tử ngoại lai “ Bài toán dẫn tới thử nghiệm với việc sử dụng thuật toán phát phần tử ngoại lai phụ thuộc hàm dạng STT Tên học Ngày Toán … Điểm Xếp Xếp Hạnh Danh Danh sinh trung loại loại kiểm học sinh bình hiệu hiệu học báo tính lực lực cáo toán báo tính cáo toán p q Bài toán đòi hỏi: p = q, p  q Từ hình thành toán thử nghiệm gồm công đoạn: - Sử dụng thuật toán phát phần tử ngoại lai phụ thuộc hàm dạng cột “xếp loại học lực tính toán” “xếp loại học lực báo cáo” 39 STT Tên học Ngày Toán … Điểm Xếp Xếp sinh trung loại loại học học lực lực báo tính cáo toán sinh bình - Sử dụng thuật toán phát phần tử ngoại lai phụ thuộc hàm dạng cột xác định “danh hiệu tính toán” “danh hiệu báo cáo” STT Tên học Ngày Toán … Điểm Xếp Xếp Hạnh Danh Danh sinh trung loại loại kiểm học sinh bình hiệu hiệu học báo tính lực lực cáo toán báo tính cáo toán Thuật toán dựa việc kiểm tra giá trị thuộc tính vế trái vế phải phụ thuộc hàm Thuật toán toán phát phần tử ngoại lai phụ thuộc hàm dạng nhau: Input: r bảng liệu R; Ap  Aq phụ thuộc hàm dạng nhau: Output: Tập phần tử ngoại lai r: OTL Begin 40 Với ti  r thực kiểm tra: ti(Ap)  ti(Aq), lưu ti vào tập OTL End + Áp dụng vào thực tế vào toán ta có thuật toán phát phần tử ngoại lai xếp loại kết học tập sau: Bước 1: Nhập liệu; N; Bước 2: i  ; loi  0; Học lực_TTi  “Kém”; Bước 3: If (ĐiểmTBi>=7.95) and (Văni>=8 or Toáni>=8) and (Thể dụci ="Đ") and (MIN(các môni)>=6.5)) then Học lực_TTi  "G" Else If (ĐiểmTBi>=6.45) and (Văni>=6.5 or Toáni>=6.5) and (Thể dụci ="Đ") and (MIN(các môni)>=5.0)) then Học lực_TTi  "K" Else If (ĐiểmTBi>=4.95) and (Văni>=5.0 or Toáni>=5.0) and (MIN(các môni)>=3.5)) then Học lực_TTi  "TB" Else If (ĐiểmTBi>=3.45) and (MIN(các môni)>=2.0)) then Học lực_TTi  "Y"; Bước 4: Nếu Học lực_TTi Học lực_BCi loi  loi + 1; Bước 5: i  i + 1; Bước 6: Nếu i > N thông báo số lỗi kết thúc Bước 7: Quay bước 3; + Áp dụng vào thực tế vào toán ta có thuật toán phát phần tử ngoại lai xếp loại danh hiệu sau: Bước 1: Nhập liệu; N; Bước 2: i  ; loi  0; Danh hiệu_TTi  “ ”; 41 Bước 3: If (Học lựck ="G") and (Hạnh kiểm k ="T") then Danh hiệu_TTi  "HSG" Else If (Học lựck ="G") and (Hạnh kiểm k ="K") then Danh hiệu_TTi  "HSTT" Else If (Học lựck ="K") and (Hạnh kiểm k ="T") then Danh hiệu_TTi  "HSTT" Else If (Học lựck ="K") and (Hạnh kiểm k ="K") then Danh hiệu_TTi  "HSTT"; Bước 5: Nếu Danh hiệu_TTi Danh hiệu_BCi loi  loi + 1; Bước 6: i  i + 1; Bước 7: Nếu i > N thông báo số lỗi kết thúc Bước 8: Quay bước 3; 3.3 Dữ liệu vào yêu cầu kết + Dữ liệu vào: File Excel chứa liệu điểm trung bình môn, kết xếp loại học lực danh hiệu học sinh lớp trường THPT Trần Hưng Đạo + Kết ra: Thể số lượng đánh dấu phần tử ngoại lai dạng lỗi 3.4 Môi trƣờng thử nghiệm 3.4.1 Hệ quản trị liệu Hệ quản trị sở liệu Mysql 42 3.4.2 Ngôn ngữ lập trình Ngôn ngữ lập trình Php,Mysql, Javascript, Ajax, Css, Html, để lập trình ứng dụng web xử lý thuật toán code Php 3.5 Một số giao diện 3.5.1 File liệu File liệu file excel kết xuất điền vào theo mẫu Hình 3.0 – Hình ảnh file liệu excel đƣa vào chƣơng trình 3.5.2 Đăng nhập vào chƣơng trình Bước 1: Khỏi động trình duyệt Web Bước 2: Truy cập vào địa chứa chương trình 43 Hình 3.1 – Giao diện đăng nhập vào trang web chứa chƣơng trình Bƣớc 3: Đăng nhập vào tài khoản Admin Tên đăng nhập: admin Password: AdminPa$$word Hình 3.2 – Giao diện trang web chƣa chƣơng trình 3.5.3 Giao diện chƣơng trình Bài toán Sau thực bước (3.5.2) tiến hành thực Bài toán: Bƣớc 1: Chọn Nhập điểm 44 Hình 3.3 – Chọn Nhập điểm Sau chọn Nhập điểm giao diện kiểm tra điểm xuất (Hình 3.4) Hình 3.4 – Giao diện nhập điểm tra học sinh file excel Bƣớc 2: Click vào Chọn tệp để tải file excel cần kiểm tra sau Click Nhập 45 Hình 3.5 – Giao diện liệu file excel đƣợc tải lên Sau thực bước nêu nhập thành công file liệu ta kết hiển thị: + Đối với trường hợp có phần tử ngoại lai: Thông báo số lượng phần tử ngoại lai đánh dấu phần tử ngoại lai Hình 3.6 – Giao diện thông báo số phần tử ngoại lai 46 Hình 3.7 – Giao diện thể phần tử ngoại lai Trong trường hợp phải hoàn chỉnh để từ báo cáo Hình 3.8 – Giao diện hoàn chỉnh + Đối với trường hợp phần tử ngoại lai: Thông báo phần tử ngoại lai 47 Hình 3.9 – Giao diện thể nhập thành công file liệu kiểm tra không phát phần tử ngoại lai 3.6 Đánh giá kết hƣớng mở rộng 3.6.1 Đánh giá kết Bước đầu cài đặt thành công thuật toán toán phát phần tử ngoại lai phụ thuộc hàm dạng thử nghiệm thuật toán số liệu điểm trung bình học sinh Sau thực thuật toán ta có kết hình 3.7 trường hợp có phần tử ngoại lai bao gồm thông tin tìm kiếm phần tử ngoại lai (số phần tử ngoại lai; thông tin chi tiết phần tử ngoại lai) hình 3.9 với trường hợp phần tử ngoại lai 3.6.2 Hƣớng mở rộng Tiếp tục hoàn thiện chương trình đồng thống với chương trình quản lý điểm toàn trường Tránh tình trạng giáo viên chủ nhiệm nộp chậm 48 KẾT LUẬN 1.Kết đạt đƣợc Luận văn tìm hiểu tổng quan phụ thuộc hàm, khóa phần tử ngoại lai sở liệu quan hệ đồng thời trình bày phần tử ngoại lai phụ thuộc hàm khóa sở liệu quan hệ Với phần tử ngoại lai phụ thuộc hàm, luận văn giới thiệu trình bày định nghĩa phần tử ngoại lai phụ thuộc hàm, định lý nhận biết cặp ngoại lai phụ thuộc hàm thuật toán xác định cặp ngoại lai tập phụ thuộc hàm Với phần tử ngoại lai dạng phụ thuộc hàm dạng đặc biệt, luận văn nêu hai trường hợp đặc biệt phần tử ngoại lai phụ hàm dạng phần tử ngoại lai phụ thuộc hàm dạng tỉ lệ Cụ thể phần tử ngoại lại phụ thuộc hàm dạng nhau, luận văn nêu định nghĩa phụ thuộc hàm nhau, định nghĩa phần tử ngoại lai phụ thuộc hàm dạng nhau, thuật toán phát phần tử ngoại lai phụ thuộc hàm dạng Luận văn nêu định nghĩa phụ thuộc hàm dạng tỉ lệ, định nghĩa phần tử ngoại lai phụ thuộc hàm dạng tỉ lệ, thuật toán phát phần tử ngoại lai phụ thuộc hàm dạng tỉ lệ Với phần tử ngoại lai khóa, luận văn nêu định nghĩa phần tử ngoại lai khóa, định lý nhận biết cặp ngoại lai theo khóa, thuật toán xác định phần tử ngoại lai theo khóa Ở chương luận văn ứng dụng thuật toán phát phần tử ngoại lai phụ hàm dạng để hỗ trợ kiểm tra xếp loại học lực danh hiệu học sinh trường THPT Trần Hưng Đạo 49 Hạn chế Phần tử ngoại lai sơ sở liệu quan hệ điều mẻ nên luận văn có tính kế thừa luận văn trước Chương chưa kết hợp, đồng liệu điểm toàn trường, thực qua bước trung gian Chưa có nhận xét đánh giá tổng quan học sinh Hƣớng phát triển Trong trình thực luận văn, hạn chế trình độ thời gian thực đề tài, chương trình ứng dụng chương đơn giản Để triển khai thực tế đòi hỏi cần phải cải tiến Hy vọng tương lai, phát triển giúp luận văn hoàn thiện - Kết hợp việc phát phần tử ngoại lai việc quản lý tính điểm cho học sinh - Xây dựng nhận xét đánh giá cho học sinh, lớp cho toàn trường giúp Nhà đánh giá thực để có hướng ph át triển lâu dài 50 TÀI LIỆU THAM KHẢO A Tiếng Việt [1] Hoàng Xuân Huấn, Phạm Hạ Thủy (2006), Phát phần tử ngoại lai sở liệu nhờ phân tích hồi quy Tạp trí tin học điều khiển T22(1) trang 45-52 [2] Lê Văn Phùng, Quách Xuân Trưởng (2012), Khai phá liệu, Nhà xuất Thông tin Truyền thông [3] Vũ Đình Thi (1997), Cơ sở liệu-Kiến thức thực hành, Nhà xuất Thống kê Hà Nội [4] Phạm Hạ Thủy (2005), Xác định phần tử ngoại lai sở liệu quan hệ, Hội thảo khoa học “Một số vấn đề chọn lọc CNTT”, Hải Phòng, tháng 8, Viện Công nghệ thông tin, Viện Hàn Lâm khoa học Việt Nam [5] Phạm Hạ Thủy (2007), Nghiên cứu phần tử ngoại lai sở liệu ứng dụng Luận án tiến sĩ Viện Công nghệ thông tin Viện Hàn Lâm khoa học Việt Nam B Tiếng Anh [6] Dieter Adriaans, Dolf Zanting (1996), Data mining Addision-Wesly [7] Barnett, V and Lewis T (1994), Outliners in Statiscal Data, Jonh Wiley, 3rd edition [8] Breuing, M., Kreigel, H – P., Ng, R., and Sander, J (2000), LOF: Identifying density –based local outliners.In Proc SIGMOD, pp.93 104 [9] Edwin M Knorr (2000), Outliers And Datamining: Finding Exceptions In Data Ph:b Disertation, University of British Columbia, 2002 51 [10] Edwin M Knorr (1998), Algorithmr for Mining Distance-Based Outliers in Large Datasets In Proc VLDB.Pages 211-222 [11] Jia Wei Han, Michiline Kember (2001), Datamining MorGan KauFmann Publishers Academic Press