ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Văn Vinh THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN LUẬN VĂN THẠC SĨ Hà Nội - 2008 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Văn Vinh THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN Ngành: Công Nghệ thông Tin Mã số: 1.01.10 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS. HOÀNG XUÂN HUẤN Hà Nội - 2008 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Văn Vinh THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN LUẬN VĂN THẠC SĨ Hà Nội - 2008 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Văn Vinh THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN Ngành: Công Nghệ thông Tin Mã số: 1.01.10 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS. HOÀNG XUÂN HUẤN Hà Nội - 2008 Lời cam đoan Với mục đích học tập, nghiên cứu để nâng cao kiến thức và trình độ chuyên môn nên tôi đã làm luận văn này một cách nghiêm túc và hoàn toàn trung thực. Trong luận văn, tôi có sử dụng một số tài liệu tham khảo của một số tác giả. Tôi đã nêu ra trong phần tài liệu tham khảo ở cuối luận văn. Tôi xin cam đoan và chịu trách nhiệm về nội dung và sự trung thực trong luận văn tốt nghiệp Thạc sĩ của mình! Học viên, Phạm Văn Vinh. Lời cảm ơn Trước tiên, em xin bày tỏ lời cảm ơn sâu sắc nhất tới thầy giáo hướng dẫn PGS.TS. Hoàng Xuân Huấn là người đã tận tình hướng dẫn, chỉ bảo, giúp đỡ em rất nhiều trong quá trình tìm hiểu nghiên cứu để hoàn thành luận văn tốt nghiệp này. Em xin chân thành cảm ơn các thầy cô giáo Đại học Công Nghệ - Đại học Quốc Gia Hà Nội đã dạy bảo, trang bị cho em những kiến thức cơ bản trong suốt thời gian nghiên cứu và học tập tại trường của em. Em xin chân thành cảm ơn các cô, các chú, các anh, các chị trong Trung tâm công nghệ thông tin - Điện lực Việt Nam cùng toàn thể các bạn bè đã tạo mọi điều kiện và đóng góp những ý kiến bổ ích trong thời gian em làm luận văn tốt nghiệp. MỤC LỤC DANH SÁCH HÌNH VẼ 8 DÁNH SÁCH BẢNG BIỂU 9 BẢNG TỪ VIẾT TẮT 10 TỪ KHOÁ 11 MỞ ĐẦU 12 CHƯƠNG 1: GIỚI THIỆU CHUNG VỀ DATA WAREHOUSE 14 1.1. Giới thiệu 14 1.2. Khái niệm về data warehouse 15 1.3. Lợi ích sử dụng data warehouse 18 1.4. Các thành phần trong môi trường data warehouse 18 1.4.1. Khối các nguồn dữ liệu 19 1.4.2. Khối tạo dựng data warehouse 19 1.4.3. Thành phần lưu trữ dữ liệu 21 1.4.4. Thành phần phân phát thông tin 21 1.4.5. Thành phần siêu dữ liệu 21 1.4.6. Thành phần quản lý và kiểm soát 22 1.4.7. Thành phần ứng dụng 23 1.5. Một số khái niệm liên quan 23 1.5.1. Cơ sở dữ liệu đa chiều 23 1.5.2. Kho dữ liệu tác nghiệp 24 1.5.3. Kho dữ liệu hướng chủ đề 24 1.6. Hệ thống xử lý giao dịch trực tuyến và data warehouse 25 CHƯƠNG 2: KIẾN TRÚC DATA WAREHOUSE 28 2.1. Kiến trúc data warehouse 28 2.2. Các mô hình của data warehouse 29 2.3. Mô hình dữ liệu đa chiều 31 2.3.1. Lược đồ dữ liệu trong data warehouse 34 2.3.2. Định nghĩa lược đồ 38 2.3.3. Độ phân cấp 39 CHƯƠNG 3: OLAP VÀ DATA WAREHOUSE 41 3.1. Giới thiệu về OLAP 41 3.2. Đặc trưng của OLAP 43 3.3. Phân tích đa chiều 43 3.4. Các toán tử trong OLAP 44 3.4.1. Toán tử cuốn lên 45 3.4.2. Toán tử khoan sâu 46 3.4.3. Toán tử cắt lát và thu nhỏ 46 3.4.4. Toán tử xoay 46 3.4.5. Một số toán tử khác 46 3.5. Các mô hình trong OLAP 47 3.5.1. Mô hình MOLAP 47 3.5.2. Mô hình ROLAP 47 3.5.3. Lựa chọn mô hình ROLAP hay MOLAP 48 3.5.4. Cách triển khai OLAP 50 CHƯƠNG 4: THIẾT KẾ VẬT LÝ DATA WAREHOUSE 52 4.1. Các yếu tố khi thiết kế vật lý 52 4.1.1. Các đối tượng thiết kế vật lý 52 4.1.2. Từ thiết kế logic tới thiết kế vật lý 53 4.1.3. Các thành phần của mô hình vật lý 53 4.1.4. Ý nghĩa các chuẩn 54 4.2. Các bước thiết kế vật lý 55 4.2.1. Xây dựng tiêu chuẩn 55 4.2.2. Lập kế hoạch tổng thể 56 4.2.3. Xác định lược đồ phân chia dữ liệu 56 4.2.4. Thiết lập khả năng nhóm dữ liệu 56 4.2.5. Thiết lập cách đánh chỉ số 57 4.2.6. Xác định cấu trúc lưu trữ 57 4.2.7. Hoàn thiện mô hình vật lý 57 4.3. Cấu trúc vật lý 58 4.3.1. Cấu trúc dữ liệu lưu trữ 58 4.3.2. Tối ưu lữu trữ 58 4.3.3. Sử dụng công nghệ RAID 60 4.3.4. Dự đoán kích thước lưu trữ 60 4.4. Đánh chỉ mục cho data warehouse 61 4.4.1. Tổng quan về chỉ mục 61 4.4.2. Chỉ mục B-tree 61 4.4.3. Chỉ mục Bitmap 62 4.4.4. Chỉ mục cho bảng sự kiện 63 4.4.5. Chỉ mục cho bảng chiều 64 4.5. Các kỹ thuật cải tiến hiệu năng 64 4.5.1. Phân loại dữ liệu 64 4.5.2. Phân cụm dữ liệu 66 4.5.3. Xử lý song song 66 CHƯƠNG 5: XÂY DỰNG DATA WAREHOUSE CHO EVN 67 5.1. Tổng quan về hệ thống 67 5.1.1. Giới thiệu về EVN 67 5.1.2. Mô hình tập đoàn 68 5.1.3. Một số thống kê tình hình sản xuất hiện tại 69 5.1.4. Yêu cầu về hệ thống hỗ trợ ra quyết định 70 5.1.5. Mô tả hệ thống 70 5.2. Minh chứng trên số liệu EVN 73 5.2.1. Định hướng 73 5.2.2. Mô tả hệ thống mức khái niệm 74 5.2.3. Mô tả hệ thống mức chi tiết 78 5.2.4. Giới thiệu một số công cụ hỗ trợ 83 5.2.5 Kết quả thực hiện 87 CHƯƠNG 6: KẾT QUẢ VÀ BÀN LUẬN 90 6.1. Các kết quả đạt được 90 6.2. Hướng nghiên cứu tiếp theo 91 TÀI LIỆU THAM KHẢO 92 [...]... nghiệp trong thời kỳ nền kinh tế đang phát triển mạnh mẽ Vì lý do này, tôi chọn hướng nghiên cứu "Thiết kế data warehouse và ứng dụng trong hệ thống thông tin ngành điện" làm đề tài nghiên cứu cho luận văn của mình Luận văn trình bày là một khảo cứu về data warehouse, bao gồm từ lý thuyết đến cách xây dựng triển khai hệ thống Trên cơ sở đi sâu vào tìm hiểu, phân tích các đặc điểm, thành phần trong data warehouse. .. sạch và tải dữ liệu từ các data warehouse bên ngoài vào data warehouse Những tiến trình này lấy dữ liệu từ các data warehouse bên ngoài rồi đưa vào một kho trung gian Sau đó, chúng mới được đưa vào data warehouse Kho trung gian giúp đơn giản hoá tổng hợp dữ liệu trong data warehouse và đơn giản quản lí data warehouse Hình 11: Mô hình data warehouse và tiến trình thu thập dữ liệu Mô hình data warehouse. .. phát triển mạnh mẽ của công nghệ thống tin đang nhanh chóng đưa hệ thống thông tin kỹ thuật số ngự trị hệ thống thông tin văn bản cổ truyền và tạo điều kiện quan trọng cho quá trình toàn cầu hoá Công nghệ thông tin làm thay đổi mạnh mẽ từ hạ tầng kinh tế xã hội tới các phong cách và văn hóa của cá nhân và tổ chức Tri thức đang trở thành sức mạnh quan trọng nhất trong hệ thống kinh tế xã hội Các chuyên... Processing – OLTP) Hệ thống này bao phủ lên hầu hết các hoạt động hàng ngày của doanh nghiệp So với môi trường data warehouse, nó có những điểm khác biệt chính được mô tả qua hình vẽ bên dưới: 26 Hình 8: Data warehouse và OLTP Một trong những điểm khác nhau chính giữa hai kiểu hệ thống này là data warehouse thường được thiết kế không tuân theo chuẩn 3NF trong khi thiết kế các hệ thống OLTP thường tuân... lý và kiểm soát và thành phần ứng dụng 1.4.1 Khối các nguồn dữ liệu Là một thành phần mấu chốt trong hệ thống data warehouse Nó có thể chia thành 4 loại như sau: Dữ liệu tác nghiệp: Đây là loại dữ liệu được lấy từ các hệ thống tác nghiệp khác nhau trong doanh nghiệp Dựa trên nhưng yêu cầu thông tin trong data warehouse, ta phải chọn ra các loại dữ liệu từ các hệ thống tác nghiệp này Trong quá trình... ra data warehouse và hệ thống OLTP còn có những yêu cầu rất khác nhau thể hiện ở các đặc điểm sau: Độ chịu tải: Data warehouse được thiết kế để phù hợp với các truy vấn đặc biệt Khi truy vấn data warehouse, người dùng thường không biết trước được mức độ chịu tải của hệ thống cho nên data warehouse cần phải được thiết kế tối ưu để có thể thực hiện tốt trên nhiều các hoạt động truy vấn khác nhau Các hệ. .. dữ liệu chuẩn hóa nhưng lại rất đơn giản và hiệu quả trong môi trường data warehouse và một điểm mạnh nữa là data warehouse còn giúp giảm tải trên các hệ thống giao dịch khi có yêu cầu về báo cáo, phân tích Việc tách biệt cơ sở dữ liệu tác nghiệp và data warehouse là dựa trên cấu trúc và mục đích sử dụng khác nhau Các hệ thống hỗ trợ ra quyết định thì cần data warehouse bởi một đặc điểm hết sức quan... thông tin bất thường này Nhiều thập kỷ nay đã chứng kiến sự phát triển vô cùng mạnh mẽ của công nghệ thống tin Điều này dẫn tới sự xâm nhập mạnh mẽ của công nghệ thống tin vào tất cả các lĩnh vực trong cuộc sống hiện đại từ kinh tế, kỹ thuật cho đến đời sống xã hội Các doanh nghiệp ngày nay hầu như không thể tồn tại được nếu không có các hệ thống công nghệ thống tin tác nghiệp hàng ngày Các hệ thống. .. 22 thông tin về cấu trúc dữ liệu logic, thông tin về các files, địa chỉ, thông tin về chỉ mục Từ điển dữ liệu chứa thông tin dữ liệu về dữ liệu trong cơ sở dữ liệu Cũng giống như vậy, thành phần siêu dữ liệu là dữ liệu định nghĩa về dữ liệu trong data warehouse nhằm trả lời các câu hỏi có liên quan đến dữ liệu Thành phần này được sử dụng để xây dựng, quản lý và duy trì data warehouse Siêu dữ liệu trong. .. ta sẽ xây dựng một data warehouse tập trung vào vấn đề buôn bán Khi sử dụng data warehouse này, chúng ta sẽ trả lời được câu hỏi “Khách hàng nào mua nhiều đồ gia dụng nhất trong quí 3 năm 2000?” Hình 1: Tính chủ đề trong data warehouse  Dữ liệu được tích hợp: Đây là đặc điểm quan trọng nhất của data warehouse Dữ liệu được lấy dữ liệu từ các nguồn dữ liệu bên ngoài vào trong data warehouse theo một . NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Văn Vinh THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN Ngành: Công Nghệ thông Tin Mã số: 1.01.10 . NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Văn Vinh THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN Ngành: Công Nghệ thông Tin Mã số: 1.01.10 . ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Văn Vinh THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN LUẬN VĂN THẠC SĨ