LOGO Business Intellignet(BI) Business Intellignet(BI) 1041107_1041308_1041397_1041444 Data Warehouse Data Warehouse Olap Olap TOPIC 8 TOPIC 8 Talend Talend  Thông tin nhóm:  1041107_Nguyễn Đinh Bảo Phương.  1041308_Lê Nguyễn Sỹ Bình.  1041397_Nguyễn Hà Phương.  1041444_Nguyễn Trần Cao Thị Bích Truyền Contents Data warehouse 1 Olap 2 Business Intelligent (BI) 3 Talend 4 Contents Data warehouse 1 Olap 2 Business Intelligent (BI) 3 Talend 4 Đặt vấn đề  Để giành được lợi thế cạnh tranh , các tổ chức kinh doanh phải có những thông tin , tri thức cần thiết một cách nhanh chóng và chính xác.  Các nhà điều hành muốn lên kế hoạch cho tương lai công ty của mình. => Đòi hỏi thông tin mang tính phân tích và hệ thống thông tin có khả năng hỗ trợ quyết định Đặt vấn đề  Vấn đề đặt ra là làm thế nào để tổ chức, khai thác được những khối lượng dữ liệu khổng lồ, lưu trữ nhiều nơi, ở nhiều dạng dữ liệu khác nhau đó một cách hiệu quả trong các hệ thống thông tin lớn? Kho dữ liệu Data warehouse Theo Pandora, Swinburn University :  Là một phương thức cho việc kết nối dữ liệu từ nhiều hệ thống khác nhau.  Là một điểm truy cập tập trung dữ liệu của một tổ chức  Được trình bày ở một khuông dạng thích hợp  Là hệ thống chỉ đọc  Cho phép thiết lập các báo cáo tổng hợp giữa các ứng dụng Định nghĩa Data warehouse  Theo Paul Lucas, IBM:  Là một nơi lưu trữ dữ liệu đầy đủ và nhất quán.  Được tổng hợp về từ nhiều nguồn  Được làm sẵn cho người sử dụng cuối  Dễ hiểu Định nghĩa Data warehouse  Định nghĩa do W.H.Inmon đề xướng :  DWH là tập hợp dữ liệu tương đối ổn định (không hay thay đổi),cập nhật theo thời gian, được tích hợp theo hướng chủ đề nhằm hỗ trợ quá trình tạo quyết định về mặt quản lý.  (A data warehouse is a subject-oriented, integrated, time- variant, and nonvolatile collection of data in support of management’s decision-making process.”—W. H. Inmon) Định nghĩa Data warehouse [...]... quyết định mới được chuyển sang DW  Như vậy ta có thể thấy được sự khác biệt giữa cơ sở dữ liệu của doanh nghiệp (database) và kho dữ liệu tích hợp (data warehouse) là: Data warehouse chứa dữ liệu phục vụ phân tích báo cáo, database chứa dữ liệu hoạt động hàng ngày Lợi ích khi sử dụng Data warehouse  Đối với người khai thác:  Cung cấp công cụ phân tích, khai thác dữ liệu nhanh gọn, đầy đủ và chính... nghĩa Data warehouse  Biến thời gian (time-variant):  • Yêu cầu quan trọng cho kho dữ liệu là phạm vi về thời gian dài hơn so với các hệ thống tác nghiệp    – Cơ sở dữ liệu tác nghiệp: dữ liệu có giá trị hiện thời – Dữ liệu của kho dữ liệu: cung cấp thông tin lịch sử (ví dụ như, 5-1 0 năm trước) Yếu tố thời gian được lưu trữ trong CSDL Biến thời gian Định nghĩa Data warehouse  Bền vững (non-volatile):... trên nhiều phương tiện lưu trữ và xử lý khác nhau Data warehouse vs Database  DW thông thường chứa các dữ liệu lịch sử kết nối nhiều năm trước của các thông tin tác nghiệp được tổ chức lưu trữ có hiệu quả và có thể được hiệu chỉnh lại dễ dàng Dữ liệu trong CSDL tác nghiệp thường là mới, có tính thời sử trong một khoảng thời gian ngắn Data warehouse vs Database  Dữ liệu trong CSDL tác nghiệp được chắt...Định nghĩa Data warehouse Định nghĩa Data warehouse  Hướng chủ đề (subject-oriented):  Được tổ chức xung quanh các chủ đề chính, như khách hàng (customer), sản phẩm (product), bán hàng (sales)  Tập trung vào việc mô hình hóa và phân tích dữ... tài khoản khách hàng  Việc bán hàng  Tiền tiết kiệm của khách hàng  Các yêu sách bảo hiểm  Đặt chỗ hành khách Định nghĩa Data warehouse  Tích hợp (integrated): • Được xây dựng bằng việc tích hợp dữ liệu từ các nguồn dữ liệu hỗn tạp, đa bộ: Cơ sở dữ liệu quan hệ (relational databases), flat files( lưu trữ dữ liệu lên các tập tin dạng văn bản), các bảng ghi giao dịch trực tuyến • Các kỹ thuật làm... Dữ liệu chi tiết là thông tin mức thấp nhất được lưu trữ trong kho dữ liệu Dữ liệu tác nghiệp chính là thông tin mức thấp nhất Dữ liệu tổng hợp được tích hợp lại qua nhiều giai đoạn khác nhau Data warehouse vs Database  Kho dữ liệu phải được xác định hướng theo chủ đề Nó được thực hiện theo ý đồ của người sử dụng đầu cuối Trong khi đó các hệ CSDL tác nghiệp dùng để phục vụ các mục đích áp dụng chung... sửa đổi hay tạo mới nên nó được tối ưu cho việc phân tích và báo cáo  Các thao tác với dữ liệu của kho dữ liệu dựa trên cơ sở là Mô hình dữ liệu đa chiều ( multidimensional data model), được mô hình vào đối tượng gọi là data cube  Data cube là nơi trung tâm của vấn đề cần phân tích, nó bao gồm một hay nhiều tập dữ kiện (fact) và các dữ kiện được tạo ra từ nhiều chiều dữ kiện khác nhau (dimention) ... khai thác dữ liệu theo chủ đề với các nguồn và khoảng thời gian khác nhau   Dữ liệu được xử lý nhanh chóng Dễ dàng tạo ra các báo cáo đơn giản phù hợp với nhiều trình độ khai thác Lợi ích khi sử dụng Data warehouse  Đối với người quản trị hệ thống:  Hỗ trợ xây dựng một kho dữ liệu lớn  Thiết kế mềm dẻo giúp dễ dàng tích hợp dữ liệu tác nghiệp mới và tạo ra các báo cáo mới theo yêu cầu người khai thác... liệu Làm sạch dữ liệu  Làm sạch dữ liệu vào : Đây là quá trình kiểm tra dữ liệu đầu vào và loại bỏ các dữ liệu sai định dạng hoặc lỗi Nhiệm vụ của bước này bao gồm • • •  Sử dụng các luật về dữ liệu (Data Quality rules) để kiểm tra dữ liệu đầu vào Chỉnh sửa lỗi dữ liệu Cảnh báo về lỗi dữ liệu đầu vào Chuyển đổi dữ liệu : Đây là quá trình chuyển đổi dữ liệu nhằm đảm bảo tính nhất quán trước khi chuyển . LOGO Business Intellignet(BI) Business Intellignet(BI) 1041107_1041308_1041397_1041444 Data Warehouse Data Warehouse Olap Olap TOPIC 8 TOPIC 8 Talend Talend  Thông. Phương.  1041444_Nguyễn Trần Cao Thị Bích Truyền Contents Data warehouse 1 Olap 2 Business Intelligent (BI) 3 Talend 4 Contents Data warehouse 1 Olap 2 Business Intelligent (BI) 3 Talend 4 Đặt vấn đề  Để. lý.  (A data warehouse is a subject-oriented, integrated, time- variant, and nonvolatile collection of data in support of management’s decision-making process.”—W. H. Inmon) Định nghĩa Data warehouse Định