Đang tải... (xem toàn văn)
Tài liệu tham khảo công nghệ thông tin Áp dụng Data Warehouse trong phân tích thông tin về các dịch vụ giá trị gia tăng trên điện thoại
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Lương Thái Đức Áp dụng Data Warehouse phân tích thơng tin dịch vụ giá trị gia tăng điện thoại KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng Nghệ Thơng Tin HÀ NỘI - 2010 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Lương Thái Đức Áp dụng Data Warehouse phân tích thơng tin dịch vụ giá trị gia tăng điện thoại KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin Cán hướng dẫn: ThS Lê Hồng Hải HÀ NỘI - 2010 LỜI CẢM ƠN Trước tiên, em muốn gửi lời cảm ơn sâu sắc nhất đến thầy giáo ThS Lê Hồng Hải, người đã tận tình hướng dẫn em suốt quá trình nghiên cứu và hoàn thành khóa luận tốt nghiệp Em xin bày tỏ lời cảm ơn sâu sắc đến những thầy cô giáo đã giảng dạy em bốn năm qua, những kiến thức mà em nhận được giảng đường đại học sẽ là hành trang giúp em vững bước tương lai Cuối cùng, em muốn gửi lời cảm ơn sâu sắc đến gia đình và bạn bè, những người kịp thời động viên và giúp đỡ em vượt qua những khó khăn cuộc sống Hà nội, ngày 21/05/2010 Nguyễn Lương Thái Đức DANH SÁCH HÌNH VẼ .4 THUẬT NGỮ VÀ VIẾT TẮT TÓM TẮT NỘI DUNG MỞ ĐẦU .8 Chương 1: Tổng quan 1.1 Tổng quan hệ thống và lý lựa chọn đề tài 10 1.2 Dữ liệu hệ thống 11 1.3 Mục tiêu và phạm vi đề tài 11 1.3.1 Mục tiêu 11 1.3.2 Phạm vi đề tài .12 1.4 Công cụ thực hiện 12 1.4.2 Hệ quản trị sở dữ liệu cho kho dữ liệu 12 1.4.2 Công cụ xây dựng kho dữ liệu 12 1.4.3 Công cụ xây dựng báo cáo 12 CHƯƠNG 2: TỔNG QUAN VỀ DATA WAREHOUSE 13 2.1 Định nghĩa kho dữ liệu 13 2.2 Các đặc trưng kho dữ liệu 13 2.2.1 Hướng chủ đề .13 2.2.2 Tính tích hợp .13 2.2.3 Tính bền vững: 13 2.2.4 Gắn với thời gian 14 2.2.5 Dữ liệu tổng hợp : .14 2.3 Kiến trúc kho dữ liệu 14 2.3.1 Nguồn dữ liệu .14 2.3.2 Khu vực xử lý 15 2.3.2.1 Nhiệm vụ : 15 2.3.2.2 Các bước : 15 2.3.2.3 Các kiểu kiến trúc ETL 16 2.3.3 Kho dữ liệu 18 2.4 Mô hình logic kho dữ liệu 19 2.4.1 Lược đồ hình 19 2.4.2 Lược đồ hình tuyết .19 2.4.3 Mô hình dữ liệu nhiều chiều .20 2.5 Kho dữ liệu ngày 21 2.5.1 Quản trị doanh nghiệp thông minh (Busines Intelligence) 21 2.5.2 Quản lý mối quan hệ khách hàng .21 2.5.3 Khai phá dữ liệu 21 2.5.4 Quản lý dữ liệu chủ 22 2.5.5 Tích hợp dữ liệu khách hàng 22 2.6 Xu hướng tương lai kho dữ liệu 22 2.6.1 Dữ liệu phi cấu trúc 23 2.6.2 Tìm kiếm .23 2.6.3 Kiến trúc hướng dịch vụ .23 2.6.4 Kho dữ liệu thời gian thực 23 CHƯƠNG 3:TỔNG QUAN VỀ MICROSOFT SQL SERVER 2005 .24 3.1 Tổng quan hệ quản trị sở dữ liệu Microsoft SQL Server 24 3.2 Tổng quan SQL Server Integration Service(SSIS) .26 3.3 Tổng quan SQL Server Analysis Service 27 3.4 Tổng quan ngôn ngữ truy vấn MDX .29 3.5 Tổng quan SQL Server Reporting Services 32 3.6 Phương pháp xây dựng kho dữ liệu các công cụ Microsoft SQL Server 2005 33 CHƯƠNG 4: PHÂN TÍCH THIẾT KẾ .35 4.1 Phân tích hệ thớng nguồn 35 4.1.1 Chức thống kê báo cáo và theo dõi lịch sử hoạt động khách hàng 35 4.1.2 Quản lý quảng cáo các dịch vụ 36 4.2 Thiết kế kho dữ liệu 36 4.2.1 Kho dữ liệu chủ đề tổng hợp sản lượng dịch vụ 36 4.2.2 Hệ thống quản lý quảng cáo .41 4.2.3 Kho dữ liệu chủ đề chi tiết sử dụng dịch vụ khách hàng 45 4.3 Sử dụng SSIS để xây dựng tiến trình ETL .47 4.3.1 Mô tả chung 47 4.3.2 Ánh xạ dữ liệu cho các chiều 47 4.3.2.1 Chiều mã dịch vụ 47 4.3.2.2 Chiều mạng viễn thông 48 4.3.2.3 Chiều đầu số 48 4.3.2.4 Chiều nhóm dịch vụ .49 4.3.2.5 Chiều thời gian .49 4.3.2.6 Bảng kiện tổng hợp sản lượng 49 4.3.2.7 Chiều Quảng cáo 50 4.3.2.8 Chiều khách hàng 50 4.3.2.9 Ánh xạ dữ liệu cho bảng kiện quảng cáo .51 4.3.2.10 Ánh xạ dữ liệu cho bảng kiện chi tiết dịch vụ .51 4.4 Sử dụng dịch vụ SSAS để xây dựng các sở dữ liệu nhiều chiều 51 4.4.1 Xây dựng cube cho kho dữ liệu chủ đề tổng hợp sản lượng .51 4.4.2 Xây dựng cube cho kho dữ liệu chủ đề quảng cáo và chi phí 56 4.4.3 Xây dựng cube cho kho dữ liệu chủ đề chi tiết sử dụng dịch vụ .57 4.4.4 Sử dụng truy vấn MDX để lấy dữ liệu cube 57 4.4 Sử dụng dịch vụ SSRS để xây dựng các báo cáo 58 4.4.1 Báo cáo sản lượng đầu số 58 4.4.1.1 Yêu cầu: .58 4.4.1.2 Cách xây dựng 58 4.4.2 Báo cáo sản lượng theo các mạng viễn thông .62 4.4.3 Báo cáo sản lượng theo đầu số và nhóm dịch vụ 63 KẾT LUẬN 65 5.1 Những điều đã làm được 65 5.2 Những điều chưa làm được và hướng phát triển 65 TÀI LIỆU THAM KHẢO 66 PHỤ LỤC 67 PHỤ LỤC 68 DANH SÁCH HÌNH VẺ Hình 1.1 Kiến trúc kho dữ liệu 12 Hình 2.2 tiến trình ETL nằm nguồn dữ liệu 15 Hình 2.3 Tiến trình ETL nằm server chứa kho dữ liệu 15 Hình 2.3 Tiến trình ETL nằm server trung gian 16 Hình 2.4 Lược đồ hình .17 Hình 2.5 lược đồ hình tuyết 18 Hình 2.6 Mô hình dữ liệu nhiều chiều .18 Hình 3.1 Các dịch vụ SQL Server 2005 22 Hình 3.2 Công cụ phát triển SSIS 24 Hình 3.3 Kiến trúc SSAS 26 Hình 3.4 Kết quả truy vấn .29 Hình 3.5 Kiến trúc Reporting Service .31 Hình 3.5 Mô hình xây dựng kho dữ liệu 32 Hình 4.1 sơ đồ kho dữ liệu tổng hợp sản lượng dịch vụ 35 Hình 4.2 Sơ đồ kho dữ liệu chủ đề quảng cáo và doanh thu 40 Hình 4.3Mô hình dữ liệu nguồn chiều quảng cáo .42 Hình 4.4 Mô hình kho dữ liệu chủ đề chi tiết sử dụng dịch vụ 43 Hình 4.5 Mô hình ETL 45 Hình 4.6 Ánh xạ chiều mã dịch vụ 46 Hình 4.7 Ánh xạ chiều mạng viễn thông 46 Hình 4.8 Ánh xạ chiều đầu số 47 Hình 4.9 Ánh xạ nhóm dịch vụ 47 Hình 4.10 Ánh xạ chiều quảng cáo 48 Hình 4.11 Ánh xạ cho chiều khách hàng 49 Hình 4.12 Lược đồ kho dữ liệu tổng hợp sản lượng 50 Hình 4.13 Chọn các bảng cho data soures views 51 Hình 4.14 Đặt các quan hệ cho các bảng 52 Hình 4.15 Quyết định các bảng chiều và kiện .53 Hình 4.17 Chọn các Measures Các thành phần tính toán 53 Hình 4.18 Định nghĩa các hàm tính toán 54 Hình 4.19 Kết quả hiển thị truy vấn 55 Hình 4.20 Xây dựng truy vấn 57 Hình 4.21 Thiết kế báo cáo 58 Hình 4.22 Màn hình xây dựng báo cáo 58 Hình 4.22 Kết quả hiển thị 59 Hình 4.24 Báo cáo theo mạng viễn thông 60 Hình 4.25 Báo cáo theo nhóm dịch vụ 61 THUẬT NGỮ VÀ VIẾT TẮT SSIS (SQL Server Intergration Services): Dịch vụ tích hợp dữ liệu SQL Server 2005 SSAS(SQL Server Analysis Services): Dịch vụ phân tích dữ liệu SQL Server 2005 SSRS(SQL Server Reporting Services): Dịch vụ quản lý báo cáo SQL Server 2005 MSSQL(Microsoft SQL Server ): Hệ quản trị sở dữ liệu Microsoft OLAP (Online Transaction Processing): xử lý giao dịch trực tuyến ETL (Extract Transform Load ): Tiến trình trích xuất, chuyển đổi và nạp dữ liệu MDX(Multidimensional eXpressions) : Ngôn ngữ truy vấn đa chiều BIDS(Business Intelligence Deverlopment Studio) : cơng cụ phát triển SQL Server 2005 TĨM TẮT NỘI DUNG Nợi dung đề tài là xây dựng kho dữ liệu cho việc quản lý kinh doanh các dịch vụ giá trị gia tăng điện thoại tại Công Ty Cổ Phần Truyền Thông VMG Việt Nam Đề tài sẽ sử dụng các công cụ Microsoft SQL Server 2005 để xây dựng kho dữ liệu từ hệ thống hiện tại công ty, quản lý kho dữ liệu và xây dựng các báo cáo cho người dùng có thể xem qua web ...ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Lương Thái Đức Áp dụng Data Warehouse phân tích thơng tin dịch vụ giá trị gia tăng điện thoại KHOÁ LUẬN TỐT NGHIỆP ĐẠI... luận Các tài liệu tham khảo Các phụ lục 10 CHƯƠNG 1: TỔNG QUAN Tóm lược nội dung : Mục tiêu chương nhằm trình bày lý lựa chọn đề tài, tổng quan liệu hệ thống cung cấp dịch vụ giá trị gia tăng điện. .. dịch vụ gia? ? trị gia tăng điện thoại di động Công ty có một hệ thống theo dõi và báo cáo sản lượng nhằm phục vụ cho báo cáo thớng kê và phân tích hoạt động dịch vụ phục vụ cho