Kho liệu khai phá liệu HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG - - BÁO CÁO MÔN HỌC KHO DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU Đề tài : Kho liệu Giảng Viên: NGUYỄN QUỲNH CHI Nhóm: 10 Thành viên : Nguyễn Thị Hương B12DCCN172 Lê Thị Hằng B12DCCN163 Kho liệu khai phá liệu Mục Lục Lời nói đầu Đến hệ thống sở liệu có mặt hầu hết hoạt động kinh tế xã hội Cùng với phát triển công nghệ phần cứng vi xử lý tốc độ cao, ổ đĩa với dung lượng lưu trữ lớn, khả lưu liệu tổ chức, doanh nghiệp trình hoạt động cập nhật lưu giữ cách đầy đủ Cùng với đa dạng hoạt động hàng ngày phòng ban, nhân với đối tác bên ngoài, liệu nghiệp vụ tổ chức ngày trở nên khổng lồ Dữ liệu tệp phẳng( cấu trúc ) hình ảnh, văn đến liệu có cấu trúc lưu giữ hệ quản trị CSDL Một hãng bán lẻ phải xử lý hàng chục triệu giao dịch ngày Dữ liệu ngày qua ngày tích lũy thay dần hoạt động giấy tờ Người ta truy cập liệu cần cách nhanh chóng phép tìm kiếm hay thông qua sơ đồ thư mục lưu trữ hệ điều hành Với công nghệ đại đáp ứng tốt giai đoạn yêu cầu người dùng Data warehouse, công nghệ đời vào khoảng đầu năm 90 đón nhận đưa vào thực tiễn Tại Kho liệu khai phá liệu Việt Nam, khái niệm công nghệ làm quen cách khoảng năm thực tế chúng chưa quan tâm ứng dụng cách hiệu Điều bắt nguồn từ nhu cầu quản lý giới cạnh tranh chưa gay gắt, trình độ quản lý không cao Nắm điều trên, công ty bán lẻ lập kế hoạch thiết kế kho liệu( data warehouse) để giao dịch quản lý hàng hóa thuận tiện I Giới thiệu Mục tiêu Mục tiêu toán xây dựng kho liệu tích hợp liệu doanh nghiệp dùng cho phân tích toán kinh doanh để đảm bảo tiêu chí: − Xử lý đặt hàng khách hàng doanh nghiệp − Đáp ứng đầy đủ yêu cầu khách hàng từ cửa hàng nằm thành phố mà khách hàng sinh sống Nếu yêu cầu đáp ứng công ty chuyển yêu cầu tới thành phố đến mặt hàng có đủ để cung cấp − Nâng cao chất lượng kinh doanh doanh nghiệp cung cấp − Đo lường hiệu đợt quảng cáo, khuyến mại − Đặc biệt xác định tương đối xác thị phần đối thủ cạnh tranh − Hỗ trợ để nhân viên thực tốt, hiệu công việc mình, có định hợp lý, nhanh bán nhiều hàng hơn, suất cao hơn, thu lợi nhuận cao v.v − Kiểm soát tình hình, số lượng mặt hàng, cửa hàng khách hàng Phạm vi tập lớn • Quản lý việc kinh doanh doanh nghiệp gồm nhiều cửa hàng nằm rải rác nhiều thành phố bang khác nhằm đáp ứng nhu cầu khách hàng • Nguồn liệu hệ thống sở liệu quan hệ doanh nghiệp • Ứng dụng kỹ thuật OLAP để xây dựng khối liệu phân tích sản lượng hàng hóa, khách hàng …của doanh nghiệp theo hướng đa chiều Kho liệu khai phá liệu II Yêu cầu nghiệp vụ Các đặc tả ứng dụng kho liệu cho người sử dụng: Tìm tất cửa hàng với thành phố, bang, số điện thoại, mô tả, kích cỡ, trọng lượng đơn giá tất mặt hàng bán kho Tìm tất đơn đặt hàng với tên khách hàng ngày đặt hàng thực khách hàng Tìm tất cửa hàng với tên thành phố số điện thoại mà có bán mặt hàng đặt khách hàng Tìm địa văn phòng đại diện với tên thành phố, bang tất cửa hàng lưu kho mặt hàng với số lượng mức cụ thể Với đơn đặt hàng khách, liệt kê mặt hàng đặt với mô tả, mã cửa hàng, tên thành phố cửa hàng có bán mặt hàng Tìm thành phố bang mà khách hàng sinh sống Tìm mức độ tồn kho mặt hàng cụ thể tất cửa hàng thành phố cụ thể Tìm mặt hàng, số lượng đặt, khách hàng, cửa hàng thành phố đơn đặt hàng Tìm khách hàng du lịch, khách hàng đặt theo đường bưu điện khách hàng thuộc hai loại III • Đặc tả chức − Công cụ sử dụng cho tập lớn MS SQL Server Oracle − Đặc tả đầu vào đầu ra: o Đầu vào : Cơ sở liệu văn phòng đại diện gồm thông tin khách hàng • Cơ sở liệu văn phòng đại diện gồm: thông tin khách hàng Kho liệu khai phá liệu • • o IV A Cơ sở liệu bán hàng gồm thông tin văn phòng đại diện, cửa hàng, mặt hàng, đơn hàng, mặt hàng lưu kho mặt hàng đặt Phương thức quản lý cửa hàng ,văn phòng đại diện, doanh nghiệp Đầu kho liệu bảng liệu động để hỗ trợ cho người sử dụng định thực phép chiếu chọn, thao tác cuộn lên, khoan xuống… Thiết kế kho liệu Xây dựng mô hình thực thể liên kết mở rộng Lược đồ quan hệ hệ thống sở liệu quan hệ doanh nghiệp sau:  Cơ sở liệu Văn phòng đại diện bao gồm quan hệ với lược đồ sau: Khách hàng (Mã KH, Tên KH, *Mã Thành phố, Ngày đặt hàng đầu tiên) Khách hàng du lịch (*Mã KH, Hướng dẫn viên du lịch, Thời gian) Khách hàng bưu điện (* Mã KH, Địa bưu điện, Thời gian)  Cơ sở liệu Bán hàng gồm quan hệ với lược đồ sau: Văn phòng đại diện (Mã Thành phố, Tên Thành phố, Địa VP, Bang, Thời gian) Cửa hàng (Mã cửa hàng, * Mã Thành phố, Số điện thoại, Thời gian) Mặt hàng (Mã MH, Mô tả, Kích cỡ, Trọng lượng, Giá, Thời gian) Mặt hàng_được lưu trữ (* Mã cửa hàng, *Mã mặt hàng, Số lượng kho, Thời gian) Đơn đặt hàng (Mã đơn, Ngày đặt hàng, *Mã Khách hàng) Mặt hàng đặt (* Mã đơn, * Mã mặt hàng, Số lượng đặt, Giá đặt, Thời gian)  Trong thuộc tính gạch chân khóa thuộc tính đánh dấu (*) khóa ngoại Xác định kiểu quan hệ, khóa trường Relation Name Khách hàng Khách hàng du lịch Khách hàng bưu điện Văn phòng đại diện Cửa hàng RelType PR1 PR2 PR2 PR1 PR1 Primary Key Ma_KH Ma_KH Ma_KH Ma-TP Ma_CH FKA Ma_TP Ma_TP Kho liệu khai phá liệu Mặt hàng Mặt hàng lưu trữ PR1 SR1 Đơn đặt hàng Mặt hàng đặt PR1 SR1 Ma_CH Ma_MH Ma_CH Ma_Don Ma_Don Ma_MH Ma_KH Chuyển đổi PR1 thành thực thể Khách hàng Ma_KH Tên KH Ngày đặt hàng Văn phòng đại diện Ma_TP Tên thành phố Địa VP Bang Thời gian Mặt hàng Cửa hàng Ma_CH Số điện thoại Thời gian Đơn đặt hàng Ma_MH Mô tả Kích cỡ Gía Thời gian Ma_Don Ngày đặt hàng Ánh xạ PR2 sang thực thể lớp thực thể yếu Kho liệu khai phá liệu Ánh xạ SR1 sang quan hệ nhiều Kho liệu khai phá liệu Ánh xạ SR2 sang quan hệ nhiều Ánh xạ FKA sang quan hệ Kho liệu khai phá liệu Kho liệu khai phá liệu Ánh xạ ý nghĩa phụ thuộc bao hàm sang ngữ nghĩa Các phụ thuộc bao hàm phái sinh DonDatHang.MaKH⊆KhachHang.MaKH Ngữ nghĩa suy Quan hệ n-1 thực thể đơn đặt hàng khách hàng Quan hệ n-m thực MatHang.MaMH⊇MatHangDuocLT.MaMH CuaHang.MaCuaHang⊇MatHangDuocLT.MaCuaHang thể Mặt hàng với Cửa hàng Quan hệ n-m thực MatHang.MaMH⊇MatHangDuocDat.MaMH thể Mặt hàng với Đơn DonDatHang.MaDon⊇MatHangDuocDat.MaDon hàng KhachHang.MaThanhPho⊆VanPhongDD.MaThanhPho Quan hệ n-1 thưc thể Khách hàng với Văn phòng đại diện Quan hệ n-1 thưc CuaHang.MaThanhPho⊆ VanPhongDD.MaThanhPho thể Cửa hàng với Văn phòng đại diện 10 Vẽ lược đồ EER Kho liệu khai phá liệu define dimension CuaHang as (Ma_CH, Ma_TP, SĐT) define dimension VPĐD as (Ma_TP, Ten, Bang,DiaChiVP) define cube Sale2 [DonBanHang, KhachHang, MatHang,CuaHang]: SoLuongDat= count(*), TongTien=sum(Gia) define dimension MatHang as MatHang in cube Sale1 define dimension CuaHang as CuaHang in cube Sale1 define dimension DonBanHang as (Ma_Don,Ma_KH,NgayDatHang) define dimension KhachHang as( Ma_KH,TenKH,Ma_TP) Phân cấp • Chiều liệu VPĐD có phân cấp Thành Phố, Bang Ý nghĩa phân cấp nói Bang có nhiều Thành Phố, Thành Phố có VP đại diện Vì biết số cửa hàng thuộc văn phòng đại diện tổng hợp số cửa hàng thành phố Bang Bang Thành Phố Văn phòng đại diện 13 Các thao tác xử lý phân tích trực tuyến Kho liệu khai phá liệu Mô hình mạng truy vấn : − Tìm tất cửa hàng với thành phố, bang, số điện thoại, mô tả, kích cỡ, trọng lượng đơn giá tất mặt hàng bán kho Câu truy vấn lấy liệu theo chiều: Cửa hàng, VPĐD, Mặt hàng Ở chiều Mặt hàng Mặt hàng lưu trữ Ở chiều VPĐD Thành phố, Bang Ở chiều Cửa hàng Cửa hàng chi tiết Tìm tất đơn đặt hàng với tên khách hàng ngày đặt hàng thực khách hàng 14 Kho liệu khai phá liệu − Câu truy vấn lấy liệu theo chiều : Đơn đặt hàng Khách hàng Ở chiều Đơn đặt hàng Đơn đặt hàng chi tiết Ở chiều Khách hàng Khách hàng chi tiết Tìm tất cửa hàng với tên thành phố số điện thoại mà có bán − mặt hàng đặt khách hàng Câu truy vấn lấy liệu theo chiều : Cửa hàng , VPĐD, Khách hàng,Mặt hàng.Ở chiều Cửa hàng Cửa hàng chi tiết.Ở chiều VPĐD Thành phố Ở chiều Khách hàng Khách hàng chi tiết Ở chiều Mặt hàng Mặt hàng đặt Tìm địa văn phòng đại diện với tên thành phố, bang tất cửa − hàng lưu kho mặt hàng với số lượng mức cụ thể Câu truy vấn lấy liệu theo chiều : VPĐD, Cửa hàng ,Mặt hàng Ở chiều VPĐD Thành phố, Bang Ở Cửa hàng Cửa hàng chi tiết Ở Mặt hàng Mặt hàng lưu trữ Với đơn đặt hàng khách, liệt kê mặt hàng đặt với − mô tả, mã cửa hàng, tên thành phố cửa hàng có bán mặt hàng Câu truy vấn lấy liệu theo chiều :Đơn đặt hàng , VPĐD, Cửa hàng , Mặt hàng Ở VPĐD Thành phố Ở chiều Cửa hàng Cửa hàng chi tiết Ở Mặt hàng Mặt hàng đặt Ở chiều Đơn đặt hàng Đơn đặt hàng − chi tiết Tìm thành phố bang mà khách hàng sinh sống Câu truy vấn lấy liệu theo chiều : VPĐD Khách hàng Ở chiều VPĐD Bang Thành phố Ở chiều Khách hàng Khách hàng chi tiết Tìm mức độ tồn kho mặt hàng cụ thể tất cửa hàng − thành phố cụ thể Câu truy lấy liệu theo chiều : VPĐD, Cửa hàng , Mặt hàng Ở chiều VPĐD Thành phố Ở chiều Cửa hàng Cửa hàng chi tiết Ở chiều Mặt hàng Mặt hàng lưu trữ Tìm mặt hàng, số lượng đặt, khách hàng, cửa hàng thành phố đơn đặt hàng 15 Kho liệu khai phá liệu − Câu truy vấn lấy liệu theo chiều : Mặt hàng,Khách hàng , Cửa hàng, VPĐD, Đơn đặt hàng Ở chiều Mặt hàng Mặt hàng đặt Ở chiều Khách hàng Khách hàng chi tiết Ở Cửa hàng Cửa hàng chi tiết Ở VPĐD Thành phố Ở Đơn đặt hàng Đơn đặt hàng chi tiết Tìm khách hàng du lịch, khách hàng đặt theo đường bưu điện khách − hàng thuộc hai loại Câu truy vấn lấy liệu theo chiều : Khách hàng Chiều Khách hàng V : Khách hàng DL, Khách hàng BĐ Báo cáo phân tích trực tuyến • Khởi động SQL Server Management Studio tạo CSDL có tên DW sau nhập vào bảng số records để phân tích • 16 Khởi động SQL Server Business Intelligence Development Studio Kho liệu khai phá liệu • 17 Tạo Analysis Services Project có tên “DW” Kho liệu khai phá liệu • Trong sổ Solution Explorer Project OLAP_DW, bấm phím phải chuột vào Data Source để tạo kết nối đến liệu dùng cho phân tích 18 Kho liệu khai phá liệu • Xác định tham số kết nối đến kho liệu có tên “DW” tạo SQL Server Management Studio 19 Kho liệu khai phá liệu • Đặt tên cho Data Source vàm bấm Finish để hoàn thành việc kết nối • đến sở liệu Tạo Data Source View để lấy bảng liệu cần thiêt cần cho phân tích Bấm phím phải chuột vào Data Source View sổ Solution Explorer chọn New Data Source View 20 Kho liệu khai phá liệu • Xác định nguồn liệu (Data Source) cần lấy DW vừa tạo bước trước 21 Kho liệu khai phá liệu • 22 Chọn Next chọn bảng cần cho phân tích Kho liệu khai phá liệu Chú ý: Nếu bạn muốn chọn bảng Fact bảng Dimension liên quan đến bảng Fact cần chọn Fact Table đưa qua khung bên phải bấm nút "Add Related Tables" để tự động lấy bảng Dimensions liên quan • 23 Sau hoàn thành, bảng Fact Dimension sau: Kho liệu khai phá liệu • Sau tao Data Source Data Source View ta tạo liệu khối cho phân tích cách bấm chuột phải lên Cube Solution Explorer chọn New Cube 24 Kho liệu khai phá liệu • Chọn Next chọn nguồn liệu cho Khối (DW), hệ thống tự động dò tìm fact Dimension Tables Khối liệu chiều sinh : 25 Kho liệu khai phá liệu • Sau tạo khối liệu cho phân tích, để thực thi OLAP ta bấm phím phải chuột vào tên project Solution Explorer chọn Deploy 26 Kho liệu khai phá liệu 27 [...]... Explorer và chọn New Cube 24 Kho dữ liệu và khai phá dữ liệu • Chọn Next và chọn nguồn dữ liệu cho Khối (DW), hệ thống sẽ tự động dò tìm fact và Dimension Tables Khối dữ liệu các chiều được sinh ra : 25 Kho dữ liệu và khai phá dữ liệu • Sau khi tạo ra khối dữ liệu cho phân tích, để thực thi OLAP ta bấm phím phải chuột vào tên project trong Solution Explorer và chọn Deploy 26 Kho dữ liệu và khai phá dữ liệu. .. dữ liệu Tạo Data Source View để lấy các bảng dữ liệu cần thiêt cần cho phân tích Bấm phím phải chuột vào Data Source View trong của sổ Solution Explorer chọn New Data Source View 20 Kho dữ liệu và khai phá dữ liệu • Xác định nguồn dữ liệu (Data Source) cần lấy là DW mới vừa tạo ra ở bước trước 21 Kho dữ liệu và khai phá dữ liệu • 22 Chọn Next và chọn các bảng cần cho phân tích Kho dữ liệu và khai phá. .. mới có tên “DW” Kho dữ liệu và khai phá dữ liệu • Trong của sổ Solution Explorer của Project OLAP_DW, bấm phím phải chuột vào Data Source để tạo một bộ kết nối đến dữ liệu dùng cho phân tích 18 Kho dữ liệu và khai phá dữ liệu • Xác định các tham số kết nối đến kho dữ liệu có tên “DW” đã tạo ra trong SQL Server Management Studio 19 Kho dữ liệu và khai phá dữ liệu • Đặt tên cho Data Source vàm bấm Finish.. .Kho dữ liệu và khai phá dữ liệu B 1 11 Thiết kế lược đồ hình sao Lược đồ dải thiên hà Kho dữ liệu và khai phá dữ liệu 2 Ngôn ngữ truy vấn khai phá dữ liệu Hàm nguyên thủy định nghĩa sơ đồ dải thiên hà : define cube Sale1 [CuaHang, VPĐD, MatHang]: SoLuong = count(*) define dimension MatHang as (Ma_MH, MoTa, KichCo, TrongLuong, Gia) 12 Kho dữ liệu và khai phá dữ liệu define dimension... liệu và khai phá dữ liệu Chú ý: Nếu bạn muốn chọn bảng Fact và các bảng Dimension liên quan đến bảng Fact thì chỉ cần chọn Fact Table đưa qua khung bên phải và bấm nút "Add Related Tables" để tự động lấy các bảng Dimensions liên quan • 23 Sau khi hoàn thành, các bảng Fact và Dimension như sau: Kho dữ liệu và khai phá dữ liệu • Sau khi tao Data Source và Data Source View ta tạo dữ liệu khối cho phân... lượng và đơn giá của tất cả các mặt hàng được bán ở kho đó Câu truy vấn này lấy dữ liệu theo 3 chiều: Cửa hàng, VPĐD, và Mặt hàng Ở chiều Mặt hàng là Mặt hàng lưu trữ Ở chiều VPĐD là Thành phố, Bang Ở 2 chiều Cửa hàng là Cửa hàng chi tiết Tìm tất cả các đơn đặt hàng với tên khách hàng và ngày đặt hàng được thực hiện bởi khách hàng đó 14 Kho dữ liệu và khai phá dữ liệu − Câu truy vấn này lấy dữ liệu. .. bưu điện và khách − hàng thuộc cả hai loại Câu truy vấn này lấy dữ liệu theo 1 chiều : Khách hàng Chiều Khách hàng V là : Khách hàng DL, Khách hàng BĐ Báo cáo phân tích trực tuyến • Khởi động SQL Server Management Studio và tạo CSDL có tên DW như sau và nhập vào các bảng một số records để phân tích • 16 Khởi động SQL Server Business Intelligence Development Studio Kho dữ liệu và khai phá dữ liệu • 17... Chiều dữ liệu VPĐD có một phân cấp là Thành Phố, Bang Ý nghĩa của phân cấp này nói rằng một Bang thì có nhiều Thành Phố, và mỗi Thành Phố sẽ có một VP đại diện Vì thế nếu biết được số cửa hàng thuộc mỗi văn phòng đại diện thì sẽ tổng hợp được số cửa hàng của từng thành phố và của từng Bang Bang Thành Phố Văn phòng đại diện 4 13 Các thao tác xử lý phân tích trực tuyến Kho dữ liệu và khai phá dữ liệu. .. chiều VPĐD là Thành phố Ở chiều Cửa hàng là Cửa hàng chi tiết Ở chiều 8 Mặt hàng là Mặt hàng lưu trữ Tìm các mặt hàng, số lượng đặt, khách hàng, cửa hàng và thành phố của một đơn đặt hàng 15 Kho dữ liệu và khai phá dữ liệu − Câu truy vấn này lấy dữ liệu theo 5 chiều : Mặt hàng,Khách hàng , Cửa hàng, VPĐD, Đơn đặt hàng Ở chiều Mặt hàng là Mặt hàng được đặt Ở chiều Khách hàng là Khách hàng chi tiết Ở... hàng là Đơn đặt hàng 6 − chi tiết Tìm thành phố và bang mà một khách hàng nào đó sinh sống Câu truy vấn này lấy dữ liệu theo 2 chiều : VPĐD và Khách hàng Ở chiều 7 VPĐD là Bang và Thành phố Ở chiều Khách hàng là Khách hàng chi tiết Tìm mức độ tồn kho của một mặt hàng cụ thể tại tất cả các cửa hàng ở một − thành phố cụ thể nào đó Câu truy vẫn này lấy dữ liệu theo 3 chiều : VPĐD, Cửa hàng , Mặt hàng