CHAPTER 18: DATA QUALITY IN DW 2.0 nhóm 18: 1041309 - nguyễn cơng bình 1041440 – lương minh trí CHAPTER 18: DATA QUALITY IN DW 2.0  THE DW 2.0 DATA QUALITY TOOL SET  DATA PROFILING TOOLS AND THE REVERSE-ENGINEERED DATA MODEL  DATA MODEL TYPES  DATA PROFILING INCONSISTENCIES CHALLENGE TOP-DOWN MODELING CHAPTER 18: DATA QUALITY IN DW 2.0  Môi trường DW hệ không quan tâm chất lượng liệu Nên vấn đề liệu phát ẩn giấu liệu nguồn giai đoạn cuối dự án , điều dẫn đến thất bại lớn chắn làm chậm trễ tiến độ thực dự án CHAPTER 18: DATA QUALITY IN DW 2.0  Trong hệ - DW 2.0 Việc kiểm tra liệu thực lặp lặp lại trước kế hoạch bắt đầu  Trong kho liệu DW 2.0 hệ tiếp theo, nhóm nghiên cứu chất lượng liệu mong đợi chọn từ loạt chiến lược để giải vấn đề chất lượng liệu Bao gồm số chiến lược đề cập bên CHAPTER 18: DATA QUALITY IN DW 2.0 ■ Fix the source data: (chỉnh sửa nguồn liệu)- thực tế vào bên kho liệu chỉnh sửa liệu ■ Fix the source program: (chỉnh sửa mã nguồồ chương trình) - áp dụng xác ch ỉnh sửa để n làm cho liệu hợp lệ ■ Fix the business process: (chỉnh sửa trình kinh doanh) - trình kinh doanh bị hỏng nguyên nhân liệu chất lượng ■ Adjust for changes: (điềồ chỉnh thay đổi) - nhận biềế giải quyềế tình huồế g thu ộc tính d ữ u t t n liệu được sử dụng cho mục đích khác so với ý định ban đầồ u ■ Transform the data: (chuyển đổi liệu trền đường vào kho) - chiềế l ược phổ biềế nhầế, nh ưng n n t khồng phải chiềế lược nhầế làm n t THE DW 2.0 DATA QUALITY TOOL SET BỘ CÔNG CỤ CHẤẤ LƯỢNG DỮ LIỆU DW 2.0 T THE DW 2.0 DATA QUALITY TOOL SET  Có nhiều loại công cụ để xem xét: Data Profiling tools – tìm vấn đề liệu  Cịn có cơng cụ khác hồn tồn cơng cụ sửa chữa liệu bất thường: • Data Quality Monitor – giám sát chất lượng liệu • Data Quality Report – báo cáo chất lượng liệu • ETL - phát vấn đề chất lượng liệu giai đoạn phân tích dự án dự đoán vấn đề chất lượng liệu THE DW 2.0 DATA QUALITY TOOL SET THE DW 2.0 DATA QUALITY TOOL SET n t Có bốẤ lĩnh vực cống cụ chấẤ lượng liệu DW2.0, sau : Find it — Kiểm tra khám phá liệu đ ể tìm thầế quy tắế y c liệu bầế thường t Fix it — Làm liệu theo quy định cụ th ể Move it — Cồng cụ chuyển liệu ETL ELT đ ể chuy ển d ữ li ệu vào kho liệu t Monitor it and report it — Chầế lượng liệu theo dõi báo cáo DATA PROFILING TOOLS AND THE REVERSE-ENGINEERED DATA MODEL CƠNG CỤ KIỂM TRA DỮ LIỆU VÀ PHẤN TÍCH-CẤẤ TẠO MƠ HÌNH DỮ LIỆU U DATA PROFILING TOOLS AND THE REVERSE-ENGINEERED DATA MODEL  Có thể thực kiểm tra d ữ liệu bắồ g tay khồng? n Điềồ u  Một tổ chức thuề sồế nhần viền bổ sung để rà soát sở liệu tìm thầế y record deduplicate (nhần đồi) chúng Thật khồng may, điềồ khồng xác u định mồếquan hệ bền tập tin thồng qua tập tin / hệ thồế g rầế i n t tồế tần binh phải đào tạo giám sát để đảm bảo rắồ g họ tuần n n theo quy tắế kinh doanh c DATA PROFILING TOOLS AND THE REVERSE-ENGINEERED DATA MODEL  Một cách khác để làm điềồ viềế chương trình để tìm d ữ liệu bầế th ường Tùy ch ọn u t t thường giải quyềế có vầế đềồ ược biềế đềế Nó mầế thời gian rầế t n đ t n t t dài khồng có đảm bảo rắồ g việc làm có kềế n t  Sự lựa chọn tồế nhầế để phát vầế đềồ t lượng liệu sử d ụng cồng cụ t t n chầế kiểm tra chầế lượng liệu Có rầế nhiềồ cồng cụ kiểm tra liệu để hỗ trợ đội ngũ chầế t t u t lượng liệu ngày Các cồng cụ dễ dàng phần tích giá trị d ữ liệu chứa cột, đồi lúc nhiềồ cột bảng, đồi tìm kiềế trền b ảng u m chí trền tồn hệ thồế g để xem nềế có bầế kỳ dạng giá trị n u t chứa cột lựa chọn Những mồ hình phát quy tắế kinh doanh c ẩn, ví dụ như, giá trị cột "a," giá trị cột "x" hay "y" DATA MODEL TYPES CÁC LOẠI MÔ HÌNH DỮ LIỆU DATA MODEL TYPES DATA MODEL TYPES Sơ đồồ hình 18,4 đại diện cho thành phầồ khác t ạo c ảnh quan DW 2,0 n DATA MODEL TYPES hình 18,5 mồ tả tầế mồ hình liệu quan trọng đ ược sử d ụng kho d ữ li ệu DW 2,0 thềế t hệ tiềế theo p DATA PROFILING INCONSISTENCIES CHALLENGE TOP-DOWN MODELING NHỮNG MẤU THUẪN KIỂM TRA DỮ LIỆU THỬ THÁCH MƠ HÌNH TỪ TRÊN XẤ G N DATA PROFILING INCONSISTENCIES CHALLENGE TOP-DOWN MODELING DATA PROFILING INCONSISTENCIES CHALLENGE TOP-DOWN MODELING .. .CHAPTER 18: DATA QUALITY IN DW 2.0  THE DW 2.0 DATA QUALITY TOOL SET  DATA PROFILING TOOLS AND THE REVERSE-ENGINEERED DATA MODEL  DATA MODEL TYPES  DATA PROFILING INCONSISTENCIES... chậm trễ tiến độ thực dự án CHAPTER 18: DATA QUALITY IN DW 2.0  Trong hệ - DW 2.0 Việc kiểm tra liệu thực lặp lặp lại trước kế hoạch bắt đầu  Trong kho liệu DW 2.0 hệ tiếp theo, nhóm nghiên... • Data Quality Report – báo cáo chất lượng liệu • ETL - phát vấn đề chất lượng liệu giai đoạn phân tích dự án dự đoán vấn đề chất lượng liệu THE DW 2.0 DATA QUALITY TOOL SET THE DW 2.0 DATA QUALITY