Đang tải... (xem toàn văn)
Data WareHouse
TỔNG QUAN VỀ DATA WAREHOUSE Giảng Viên: Nguyễn Thế Anh TAI SAO LẠI ĐƯA NỘI DUNG DATA WAREHOUSE ? Quản trị điều hành ngày dựa phân tích liệu Số lượng người dùng chạy report phức tạp hệ thống Khi chuyển đổi số thời gian, đủ tích lũy liệu -> Cần khai thác liệu tải Dữ liệu có đủ lần cần báo cáo tuần Các hệ thống báo cáo tổng hợp nhiều chiều không làm được, khơng xác NỘI DUNG CHÍNH Dữ liệu thông tin Data WareHouse Mơ hình tiến trình xử lý thơng tin Các góc nhìn phân tích liệu Quy trình phân tích liệu (Data Analysis) Cơng cụ phân tích liệu DỮ LIỆU VÀ THÔNG TIN Dữ liệu vệ tinh -> Dự báo thời tiết -> Quyết định chơi Data -> Information Data -> Information DỮ LIỆU VÀ THÔNG TIN Sự khác biệt Data Information Data Information Dữ liệu ký tự, số, ảnh, từ, văn bản, có ý nghĩa vơ nghĩa với người Được tổ chức biểu diễn lại ngữ cảnh để khiến có ích gọi Thơng tin Dữ liệu đứng vơ nghĩa Nhưng thơng tin ln ln tự thân có nghĩa Dữ liệu dựa ghi, quan sát, Thơng tin dựa phân tích liệu Dữ liệu thường không tổ chức phụ thuộc vào thông tin Thông tin phụ thuộc vào liệu có tổ chức DỮ LIỆU VÀ THƠNG TIN OLTP VÀ OLAP SO SÁNH DATA BASE VÀ DATA WAREHOUSE Tham số Database Data warehouse Mục đích Được thiết kế để lưu lại ghi Được thiết kế để phân tích Xử lý Online Transactional Processing (OLTP) Online Analytical Processing (OLAP) Chuẩn hóa Chuẩn hóa khơng chuẩn hóa Định hướng phục vụ định hướng cho ứng dụng, sản phẩm cho loại mục đích khai thác liệu giới hạn lưu trữ thường giới hạn ứng dụng lưu trữ liệu từ nhiều nguồn khác độ khả dụng liệu có sẵn từ thời gian thực, cần có làm cần thiết từ nhiều nguồn khác nhau, cần phải đợi hệ thống chạy tạo lại liệu định kì cần thiết Kỹ thuật Capture liệu Analyze liệu Loại liệu Dữ liệu lưu trữ Cơ sở liệu cập nhật Dữ liệu lịch sử lưu trữ Có thể khơng cập nhật Lưu trữ liệu Phương pháp tiếp cận quan hệ phẳng sử dụng để lưu trữ liệu Sử dụng phương pháp tiếp cận đa chiều chuẩn hóa cho cấu trúc liệu Ví dụ: Lược đồ tuyết Loại truy vấn Các truy vấn giao dịch đơn giản sử dụng Các truy vấn phức tạp sử dụng cho mục đích phân tích Tóm tắt liệu Lưu liệu chi tiết Lưu trữ liệu tóm tắt XÂY DỰNG DATA WAREHOUSE MƠ HÌNH NGƠI SAO MƠ HÌNH NGƠI SAO MƠ HÌNH TIẾN TRÌNH XỬ LÝ THƠNG TIN MƠ HÌNH TIẾN TRÌNH XỬ LÝ THƠNG TIN DANH MỤC CƠNG NGHỆ Cơng nghệ ETL(Extract-Transfer-Load) Loại Công nghệ BI Pentaho Kettle Open source Power bi Talend Open source Tableau Public Jaspersoft-etl Open source RapidMiner Inaplex Inaport Close source Python, Excel SQL Server Integration Service Close source Kinme Loại CÁC CÔNG CỤ ETL SQL Server Integration Services CÁC CƠNG CỤ ETL CÁC GĨC NHÌN VỀ PHÂN TÍCH DỮ LIỆU CÁC GIẢI THUẬT/MODEL Regression (Hồi quy) Time series QUY TRÌNH PHÂN TÍCH DỮ LIỆU CÁC CƠNG CỤ PHÂN TÍCH DỮ LIỆU CÁC CƠNG CỤ PHÂN TÍCH DỮ LIỆU TRAO ĐỔI VÀ ĐÓNG GÓP Ý KIẾN THANK YOU ! KHOA HỌC DỮ LIỆU KHOA HỌC DỮ LIỆU KHOA HỌC DỮ LIỆU ... phụ thuộc vào liệu có tổ chức DỮ LIỆU VÀ THƠNG TIN OLTP VÀ OLAP SO SÁNH DATA BASE VÀ DATA WAREHOUSE Tham số Database Data warehouse Mục đích Được thiết kế để lưu lại ghi Được thiết kế để phân tích... liệu vệ tinh -> Dự báo thời tiết -> Quyết định chơi Data -> Information Data -> Information DỮ LIỆU VÀ THÔNG TIN Sự khác biệt Data Information Data Information Dữ liệu ký tự, số, ảnh, từ, văn bản,... tích Tóm tắt liệu Lưu liệu chi tiết Lưu trữ liệu tóm tắt XÂY DỰNG DATA WAREHOUSE MƠ HÌNH NGƠI SAO MƠ HÌNH NGƠI SAO XÂY DỰNG DATA WAREHOUSE MƠ HÌNH THIÊN HÀ (BƠNG TUYẾT) MƠ HÌNH THIÊN HÀ (BƠNG TUYẾT)
