ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Lương Thái Đức Áp dụng Data Warehouse trong phân tích thông tin về các dịch vụ giá trị gia tăng trên điện thoại KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin HÀ NỘI - 2010 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Lương Thái Đức Áp dụng Data Warehouse trong phân tích thông tin về các dịch vụ giá trị gia tăng trên điện thoại KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin Cán bộ hướng dẫn: ThS. Lê Hồng Hải HÀ NỘI - 2010 1 LỜI CẢM ƠN Trước tiên, em muốn gửi lời cảm ơn sâu sắc nhất đến thầy giáo ThS. Lê Hồng Hải, người đã tận tình hướng dẫn em trong suốt quá trình nghiên cứu và hoàn thành khóa luận tốt nghiệp. Em xin bày tỏ lời cảm ơn sâu sắc đến những thầy cô giáo đã giảng dạy em trong bốn năm qua, những kiến thức mà em nhận được trên giảng đường đại học sẽ là hành trang giúp em vững bước trong tương lai. Cuối cùng, em muốn gửi lời cảm ơn sâu sắc đến gia đình và bạn bè, những người luôn kịp thời động viên và giúp đỡ em vượt qua những khó khăn trong cuộc sống. Hà nội, ngày 21/05/2010 Nguyễn Lương Thái Đức 2 DANH SÁCH HÌNH VẼ 5 THUẬT NGỮ VÀ VIẾT TẮT 7 TÓM TẮT NỘI DUNG 8 MỞ ĐẦU 9 Chương 1: Tổng quan 8 1.1 Tổng quan về hệ thống và lý do lựa chọn đề tài 11 1.2 Dữ liệu của hệ thống 12 1.3 Mục tiêu và phạm vi của đề tài. 12 1.3.1 Mục tiêu. 12 1.3.2 Phạm vi của đề tài 13 1.4. Công cụ thực hiện 13 1.4.2 Hệ quản trị cơ sở dữ liệu cho kho dữ liệu . 13 1.4.2 Công cụ xây dựng kho dữ liệu 13 1.4.3 Công cụ xây dựng báo cáo. 13 CHƯƠNG 2: TỔNG QUAN VỀ DATA WAREHOUSE 14 2.1 Định nghĩa kho dữ liệu. 14 2.2 Các đặc trưng của kho dữ liệu 14 2.2.1 Hướng chủ đề . 14 2.2.2 Tính tích hợp 14 2.2.3 Tính bền vững: 14 2.2.4 Gắn với thời gian . 15 2.2.5 Dữ liệu tổng hợp : 15 2.3 Kiến trúc của kho dữ liệu 15 2.3.1 Nguồn dữ liệu . 15 2.3.2 Khu vực xử lý . 16 2.3.2.1 Nhiệm vụ : 16 2.3.2.2 Các bước : 16 2.3.2.3 Các kiểu kiến trúc ETL 17 2.3.3 Kho dữ liệu 19 2.4 Mô hình logic của kho dữ liệu 20 2.4.1 Lược đồ hình sao 20 2.4.2 Lược đồ hình bông tuyết. 20 2.4.3 Mô hình dữ liệu nhiều chiều 21 2.5 Kho dữ liệu ngày nay 22 2.5.1 Quản trị doanh nghiệp thông minh (Busines Intelligence). 22 2.5.2 Quản lý mối quan hệ khách hàng. 22 3 2.5.3 Khai phá dữ liệu 22 2.5.4 Quản lý dữ liệu chủ 23 2.5.5 Tích hợp dữ liệu khách hàng 23 2.6 Xu hướng tương lai của kho dữ liệu 23 2.6.1 Dữ liệu phi cấu trúc 24 2.6.2 Tìm kiếm. 24 2.6.3 Kiến trúc hướng dịch vụ 24 2.6.4 Kho dữ liệu thời gian thực 24 CHƯƠNG 3:TỔNG QUAN VỀ MICROSOFT SQL SERVER 2005 25 3.1 Tổng quan về hệ quản trị cơ sở dữ liệu Microsoft SQL Server. 25 3.2 Tổng quan về SQL Server Integration Service(SSIS) 27 3.3 Tổng quan về SQL Server Analysis Service 28 3.4 Tổng quan về ngôn ngữ truy vấn MDX 30 3.5 Tổng quan về SQL Server Reporting Services. 33 3.6 Phương pháp xây dựng kho dữ liệu bằng các công cụ của Microsoft SQL Server 2005 34 CHƯƠNG 4: PHÂN TÍCH THIẾT KẾ 36 4.1 Phân tích hệ thống nguồn 36 4.1.1 Chức năng thống kê báo cáo và theo dõi lịch sử hoạt động của khách hàng 36 4.1.2 Quản lý quảng cáo của các dịch vụ 37 4.2 Thiết kế kho dữ liệu 37 4.2.1 Kho dữ liệu chủ đề tổng hợp sản lượng dịch vụ 37 4.2.2 Hệ thống quản lý quảng cáo . 42 4.2.3 Kho dữ liệu chủ đề chi tiết sử dụng dịch vụ của khách hàng 46 4.3 Sử dụng SSIS để xây dựng tiến trình ETL 48 4.3.1 Mô tả chung 48 4.3.2 Ánh xạ dữ liệu cho các chiều. 48 4.3.2.1 Chiều mã dịch vụ. 48 4.3.2.2 Chiều mạng viễn thông 49 4.3.2.3 Chiều đầu số 49 4.3.2.4 Chiều nhóm dịch vụ. 50 4.3.2.5 Chiều thời gian 50 4.3.2.6 Bảng sự kiện tổng hợp sản lượng 50 4.3.2.7 Chiều Quảng cáo 51 4.3.2.8 Chiều khách hàng 51 4.3.2.9 Ánh xạ dữ liệu cho bảng sự kiện quảng cáo 52 4.3.2.10 Ánh xạ dữ liệu cho bảng sự kiện chi tiết dịch vụ 52 4.4 Sử dụng dịch vụ SSAS để xây dựng các cơ sở dữ liệu nhiều chiều 52 4 4.4.1 Xây dựng cube cho kho dữ liệu chủ đề tổng hợp sản lượng. 52 4.4.2 Xây dựng cube cho kho dữ liệu chủ đề quảng cáo và chi phí 57 4.4.3 Xây dựng cube cho kho dữ liệu chủ đề chi tiết sử dụng dịch vụ 58 4.4.4 Sử dụng truy vấn MDX để lấy dữ liệu trên cube 58 4.4 Sử dụng dịch vụ SSRS để xây dựng các báo cáo 59 4.4.1 Báo cáo sản lượng đầu số 59 4.4.1.1 Yêu cầu: 59 4.4.1.2 Cách xây dựng . 59 4.4.2 Báo cáo sản lượng theo các mạng viễn thông. 63 4.4.3 Báo cáo sản lượng theo đầu số và nhóm dịch vụ 64 KẾT LUẬN 66 5.1 Những điều đã làm được 66 5.2 Những điều chưa làm được và hướng phát triển 66 TÀI LIỆU THAM KHẢO 67 PHỤ LỤC 1 68 PHỤ LỤC 2 69 5 DANH SÁCH HÌNH VẺ Hình 1.1 Kiến trúc kho dữ liệu 12 Hình 2.2 tiến trình ETL nằm ở nguồn dữ liệu 15 Hình 2.3 Tiến trình ETL nằm ở server chứa kho dữ liệu 15 Hình 2.3 Tiến trình ETL nằm ở server trung gian 16 Hình 2.4 Lược đồ hình sao 17 Hình 2.5 lược đồ hình bông tuyết 18 Hình 2.6 Mô hình dữ liệu nhiều chiều 18 Hình 3.1 Các dịch vụ của SQL Server 2005 22 Hình 3.2 Công cụ phát triển SSIS 24 Hình 3.3 Kiến trúc của SSAS 26 Hình 3.4 Kết quả truy vấn 29 Hình 3.5 Kiến trúc của Reporting Service 31 Hình 3.5 Mô hình xây dựng kho dữ liệu 32 Hình 4.1 sơ đồ kho dữ liệu tổng hợp sản lượng dịch vụ 35 Hình 4.2 Sơ đồ kho dữ liệu chủ đề quảng cáo và doanh thu 40 Hình 4.3Mô hình dữ liệu nguồn của chiều quảng cáo 42 Hình 4.4 Mô hình kho dữ liệu chủ đề chi tiết sử dụng dịch vụ 43 Hình 4.5 Mô hình ETL 45 Hình 4.6 Ánh xạ chiều mã dịch vụ 46 Hình 4.7 Ánh xạ chiều mạng viễn thông 46 Hình 4.8 Ánh xạ chiều đầu số 47 Hình 4.9 Ánh xạ nhóm dịch vụ 47 Hình 4.10 Ánh xạ chiều quảng cáo 48 Hình 4.11 Ánh xạ cho chiều khách hàng. 49 Hình 4.12 Lược đồ kho dữ liệu tổng hợp sản lượng 50 6 Hình 4.13 Chọn các bảng cho data soures views 51 Hình 4.14 Đặt các quan hệ cho các bảng 52 Hình 4.15 Quyết định các bảng chiều và sự kiện 53 Hình 4.17 Chọn các Measures. Các thành phần tính toán. 53 Hình 4.18 Định nghĩa các hàm tính toán 54 Hình 4.19 Kết quả hiển thị truy vấn 55 Hình 4.20 Xây dựng truy vấn 57 Hình 4.21 Thiết kế báo cáo 58 Hình 4.22 Màn hình xây dựng báo cáo 58 Hình 4.22 Kết quả hiển thị. 59 Hình 4.24 Báo cáo theo mạng viễn thông 60 Hình 4.25 Báo cáo theo nhóm dịch vụ 61 7 THUẬT NGỮ VÀ VIẾT TẮT SSIS (SQL Server Intergration Services): Dịch vụ tích hợp dữ liệu của SQL Server 2005 SSAS(SQL Server Analysis Services): Dịch vụ phân tích dữ liệu của SQL Server 2005 SSRS(SQL Server Reporting Services): Dịch vụ quản lý báo cáo của SQL Server 2005 MSSQL(Microsoft SQL Server ): Hệ quản trị cơ sở dữ liệu của Microsoft. OLAP (Online Transaction Processing): xử lý giao dịch trực tuyến. ETL (Extract Transform Load ): Tiến trình trích xuất, chuyển đổi và nạp dữ liệu. MDX(Multidimensional eXpressions) : Ngôn ngữ truy vấn đa chiều. BIDS(Business Intelligence Deverlopment Studio) : công cụ phát triển của SQL Server 2005. 8 TÓM TẮT NỘI DUNG Nội dung chính của đề tài là xây dựng kho dữ liệu cho việc quản lý kinh doanh các dịch vụ giá trị gia tăng trên điện thoại tại Công Ty Cổ Phần Truyền Thông VMG Việt Nam. Đề tài sẽ sử dụng các công cụ của Microsoft SQL Server 2005 để xây dựng kho dữ liệu từ hệ thống hiện tại của công ty, quản lý kho dữ liệu và xây dựng các báo cáo cho người dùng có thể xem qua web. [...]... giữ lại trong cơ sở dữ liệu, nó bao gồm thông tin về dịch vụ sử dụng, yêu cầu, thời gian, trạng thái của các yêu cầu Thông thường những dữ liệu này chỉ dùng để đối soát và thanh toán với các mạng viễn thông , không được ứng dụng vào các công cụ phân tích theo dõi Cấu trúc dữ liệu các bảng bao gồm - Dữ liệu kế toán : đây là dữ liệu về các thông tin kế toán bao gồm giá trị của các dịch vụ, giá thanh... Tổng quan về hệ thống và lý do lựa chọn đề tài Công Ty Cổ Phần Truyền Thông VMG là một trong những đơn vị đi đầu về kinh doanh dịch vụ giá trị gia tăng trên điện thoại di động Công ty có một hệ thống theo dõi và báo cáo sản lượng nhằm phục vụ cho báo cáo thống kê và phân tích hoạt động của dịch vụ phục vụ cho việc quản lý Hệ thống này hoạt động dựa trên số liệu về quá trình sử dụng dịch vụ của khách... - Phân tích khách hàng: kho dữ liệu cung cấp đầy đủ thông tin cho các ứng dụng phân tích khách hàng 2.5.3 Khai phá dữ liệu Khai phá dữ liệu là quá trình đi tìm kiếm các thông tin tiềm ẩn có giá trị trong các khối dữ liệu lớn Công cụ khai phá dữ liệu có thể phát hiện các thông tin mang tính dự đoán, hay các thông tin hỗ trợ cho việc ra quyết định của người quản lý doanh nghiệp Kho dữ liệu được sử dụng. .. toán với các mạng viễn thông, thông tin về các quảng cáo của các dịch vụ Dữ liệu này kết hợp với dữ liệu lịch sử hoạt động khách hàng để thanh toán tiền với các đối tác thuê sử dụng dịch vụ và các mạng viễn thông Dữ liệu này cùng với dữ liệu tổng hợp của lịch sử hoạt động khách hàng còn dùng cho phân tích , thống kê và báo cáo định kỳ - Dữ liệu chăm sóc khách hàng: Đây là dữ liệu về thông tin về khách... Phần Truyền Thông VMG , khóa luận sẽ thực hiện “Áp dụng kho dữ liệu trong phân tích số liệu về các dịch vụ giá trị gia tăng trên điện thoại bằng công cụ của Microsoft SQL Server 2005 với mong muốn xây dựng được kho dữ liệu hoàn chỉnh hỗ trợ cho việc quản lý tại Công Ty Cổ Phần Truyển Thông VMG Nội dung của khóa luận bao gồm những phần chính như sau: Mở đầu Đây là phần giới thiệu chung về lý do chọn... Reporting Service để xây dựng các báo cáo Kết luận Đây là phần kết kuận của khóa luận đưa ra những điều đã làm được và chưa làm được của khóa luận và hướng phát triển của khóa luận Các tài liệu tham khảo Các phụ lục 10 CHƯƠNG 1: TỔNG QUAN Tóm lược nội dung : Mục tiêu của chương này nhằm trình bày lý do lựa chọn đề tài, tổng quan về dữ liệu của hệ thống cung cấp các dịch vụ giá trị gia tăng trên điện thoại, ... tài, cũng như bố cục chung của khóa luận 9 Chương 1: Tổng quan Nội dung chính của chương này là nêu lên tổng quan về dữ liệu của hệ thống cung cấp các dịch vụ giá trị gia tăng trên điện thoại, mục tiêu , phạm vi của đồ án , công cụ và phương pháp xây dựng kho dữ liệu Chương 2: Tổng quan về Data WareHouse Nội dung chính của chương này là trình bày tổng quan về data warehouse gồm: định nghĩa, đặc tính,mô... hợp, các kỹ thuật phân tích dữ liệu từ kho dữ liệu người quản lý có thể đưa ra các quyết định một cách nhanh chóng và hợp lý Ngày càng nhiều các doanh nghiệp xây dựng hệ thống quản trị doanh nghiệp thông minh để giúp cho họ xử lý các thông tin nhằm hiểu rõ hơn về công việc kinh doanh, hỗ trợ việc ra các quyết định chính xác hơn, nâng cao chất lượng kinh doanh và dịch vụ Kho dữ có thể trích xuất thông tin. .. sử dụng dịch vụ SQL Server Analysis Service để xây dựng lên các khối dữ liệu đa chiều(cubes) phục vụ phân tích 1.4.3 Công cụ xây dựng báo cáo Sử dụng dịch vụ SQL Server reporting Services và công cụ cụ SQL Server Business Intelligent để xây dựng và quản lý các báo cáo, đưa báo cáo lên web server sử dụng IIS(Internet Information System) để người dùng có thể tra cứu qua web 13 CHƯƠNG 2 TỔNG QUAN VỀ DATA. .. thời gian…), các bảng sự kiện biểu diễn các sự kiện xảy ra và các thông tin chi tiết về các sự kiện đó Ưu điểm của mô hình này bao gồm - Trực quan , đơn giản phù hợp với cách nhìn nhận về dữ liệu của người sử dụng - Dễ dàng truy vấn, hỗ trợ đa dạng các loại truy vấn - Sự phi chuẩn hóa đã tránh được việc phải nối nhiều bảng lại trong quá trình xử lý điều này làm tăng tốc độ truy vấn và việc lưu trữ các . Áp dụng Data Warehouse trong phân tích thông tin về các dịch vụ giá trị gia tăng trên điện thoại KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin . ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Lương Thái Đức Áp dụng Data Warehouse trong phân tích thông tin về các dịch vụ giá trị gia tăng trên điện thoại . tại Công Ty Cổ Phần Truyền Thông VMG , khóa luận sẽ thực hiện “Áp dụng kho dữ liệu trong phân tích số liệu về các dịch vụ giá trị gia tăng trên điện thoại bằng công cụ của Microsoft SQL Server