ĐẠI HỌC QUỐC GIA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN LÊ MẠNH TUẤN NGHIÊN CỨU BÀI TOÁN XÂY DỰNGKHO DỮ LIỆU VÀ HỆ THỐNG HỖ TRỢ RA QUYẾT ĐỊNHTẠI NGÂN HÀNG NÔNG NGHIỆP VÀ PHÁT TRIỂN NÔNG THÔN VIỆT NAM LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN LÊ MẠNH TUẤN NGHIÊN CỨU BÀI TOÁN XÂY DỰNGKHO DỮ LIỆU VÀ HỆ THỐNG HỖ TRỢ RA QUYẾT ĐỊNHTẠI NGÂN HÀNG NÔNG NGHIỆP VÀ PHÁT TRIỂN NÔNG THÔN VIỆT NAM Ngành: Công nghệ thông tin Chuyên ngành: Quản lý hệ thống thông tin Mã số: Chuyên ngành đào tạo thí điểm LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC:PGS TS Nguyễn Đình Hóa Hà Nội - 2015 MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Error! Bookmark not defined DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Error! Bookmark not defined DANH MỤC CÁC BẢNG, BIỂU Error! Bookmark not defined PHẦN MỞ ĐẦU CHƢƠNG I GIỚI THIỆU VỀ DW&BI 1.1 Các khái niệm 1.1.1 Data Warehouse BI gì? 1.1.2 Các đặc trƣng mặt liệu hệ thống DW&BI 1.1.3 Phân biệt hệ thống OLTP hệ thống DSS 1.2 Các phƣơng pháp luận xây dựng hệ thống DW&BI .5 1.2.1 Phƣơng pháp luận Top-down 1.2.2 Phƣơng pháp luận Bottom-up 1.2.3 Phƣơng pháp luận Spiral 1.2.4 Ƣu/Nhƣợc điểm phƣơng pháp Error! Bookmark not defined 1.2.5 Cơ sở lựa chọn phƣơng pháp luận Error! Bookmark not defined 1.3 Thiết kế logic hệ thống DW&BI Error! Bookmark not defined 1.3.1 Phạm vi công việc phƣơng pháp thực hiệnError! Bookmark not defined 1.3.2 Thiết kế tổng thể Error! Bookmark not defined 1.4 Thiết kế chi tiết thành phần Error! Bookmark not defined 1.4.1 Thiết kế Data Warehouse (Kho liệu tập trung)Error! Bookmark not defined 1.4.2 Thiết kế metadata Error! Bookmark not defined 1.4.3 Thiết kế tầng khai thác phân tích thông tinError! Bookmark not defined CHƢƠNG II BÀI TOÁN ĐẦU TƢ PHÁT TRIỂN HỆ THỐNG HỖ TRỢ RA QUYẾT ĐỊNH TẠI NGÂN HÀNG NÔNG NGHIỆP VÀ PHÁT TRIỂN NÔNG THÔN VIỆT NAM Error! Bookmark not defined 2.1 Bối cảnh xây dựng dự án Error! Bookmark not defined 2.1.1 Xu hƣớng xây dựng DW&BI Error! Bookmark not defined 2.1.2 Hiện trạng hệ thống CNTT Ngân hàng Nông nghiệpError! Bookmark not defined 2.2 Đánh giá hệ thống báo cáo (MIS) Error! Bookmark not defined 2.3 Sự cần thiết phải đầu tƣ Error! Bookmark not defined 2.3 Mục tiêu đầu tƣ Error! Bookmark not defined 2.3.1 Mục tiêu chung Error! Bookmark not defined 2.3.2 Mục tiêu cụ thể Error! Bookmark not defined 2.4 Yêu cầu lực sợ hệ thống Error! Bookmark not defined 2.5 Yêu cầu thiết bị phần cứng Error! Bookmark not defined 2.6 Quan điểm thực dự án Error! Bookmark not defined 2.7 Dự kiến quy mô đầu tƣ Error! Bookmark not defined 2.8 Thiết kế sơ Error! Bookmark not defined 2.8.1 Mô hình tổng thể Error! Bookmark not defined 2.8.2 Thiết kế mô hình vật lý hệ thống Error! Bookmark not defined 2.8.3 Giải pháp tích hợp hệ thống Error! Bookmark not defined 2.8.4 Giải pháp đồng liệu Error! Bookmark not defined CHƢƠNG III ĐỀ XUẤT DỰ ÁN XÂY DỰNG KHO DỮ LIỆU VÀ HỆ THỐNG HỖ TRỢ RA QUYẾT ĐỊNH Error! Bookmark not defined 3.1 Căn lựa chọn giải pháp xây dựng DW&BI Error! Bookmark not defined 3.2 Phân tích lựa chọn giải pháp Error! Bookmark not defined 3.2.1 Giải pháp DW&BI IBM Error! Bookmark not defined 3.2.2 Giải pháp DW&BI Oracle Error! Bookmark not defined 3.2.3 Giải pháp DW&BI SAP Error! Bookmark not defined 3.2.4 Đánh giá tính ba giải pháp Error! Bookmark not defined 3.3 Giải pháp đƣợc lựa chọn Error! Bookmark not defined 3.4 Dự trù kinh phí nguồn vốn đầu tƣ Error! Bookmark not defined 3.4.1 Căn lập tổng mức đầu tƣ Error! Bookmark not defined 3.4 Chi phí mua sắm triển khai Error! Bookmark not defined 3.4.3 Các chi phí quản lý Error! Bookmark not defined 3.4.4 Chi phí dự phòng Error! Bookmark not defined 3.4.5 Tổng mức đầu tƣ Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO PHỤ LỤC PHỤ LỤC 1: Danh sách báo cáo Phân theo nghiệp vụ NHNoError! Bookmark not defined PHỤ LỤC 2: Bảng đánh giá yêu cầu chức ngƣời sử dụng cuối Error! Bookmark not defined PHỤ LỤC 3: Bảng đánh giá yêu cầu chức ngƣời quản trị vận hành Error! Bookmark not defined PHỤ LỤC 4: Bảng đánh giá yêu cầu chức ngƣời phát triển/ xây dựng triển khai Error! Bookmark not defined 1 PHẦN MỞ ĐẦU Cơ sở khoa học thực tiễn đề tài Trong kinh tế nay, thông tin yếu tố sống doanh nghiệpnào.Việc nắm bắt thông tin giúp cho doanh nghiệp hoạch định chiến lƣợc kinhdoanh cho cách xác Trong năm gần đây, công nghệ kho liệu đời đáp ứng đƣợc nhu cầu quản lý, lƣu trữ thông tin có khối lƣợng lớn có khả khai thác liệu đa chiều theo chiều sâu nhằm hỗ trợ việc định nhà quản lý Nguồn liệu tập đoàn công nghệ, tài chính, ngân hàng vô lớn Xây dựng kho liệu cho phép rút trích tài nguyên, tính toán theo yêu cầu đểcung cấp báo cáo dựa vào sở liệu hoạt động phục vụ sản xuất, kinh doanh trở nên thông minh hơn, tăng thêm chất lƣợng tính linh hoạt việc phân tích kinh doanh có chất lƣợng cao ổn định Đối với doanh nghiệp nƣớc ngoài, họ áp dụng kho liệu quản lý phân tíchdữ liệu cho thấy hiệu to lớn giúp ích cho việc hoạch định chiến lƣợc kinhdoanh nhƣ nghiên cứu phát triển ứng dụng phân tích liệu Tại Ngân hàng Nông nghiệp phát triển Nông thôn Việt Nam (NHNo) việc xây dựng kho liệu hệ thống hỗ trợ định cần thiết Kho liệu thu thập liệu từ hệ thống nghiệp vụ, cung cấp thông tin hữu ích cho nhà quản lý có thông tin xác, nhanh chóng, hỗ trợ cho việc định kịp thời có lợi cho hoạt động tín dụng NHNo Ngoài ra, kho liệu hỗ trợ công việc quản trị rủi ro tín dụng – vấn đề quan trọng bối cảnh khó khăn ngân hàng Xuất phát từ nhu cầu thực tế NHNo,luận văn nghiên cứu toán xây dựng kho liệu hệ thống hỗ trợ định (DW&BI) Ngân hàng Nông nghiệp phát triển Nông thôn Việt Nam, với mong muốn đƣa dự án khả thi nhằm xây dựng kho liệu hoàn chỉnh hỗ trợ cho việc quản lý định NHNo Mục tiêu đề tài Xây dựng dự án khả thi để triển khai kho liệu hệ thống hỗ trợ định đáp ứng yêu cầu nghiệp vụ thông minh NHNo Phạm vi đối tƣợng đề tài: - Đối tƣợng nghiên cứu: Kho liệu hệ thống hỗ trợ định cho hoạt động nghiệp vụ ngân hàng NHNo - Phạm vi áp dụng: đề tài đƣợc áp dụng NHNo Kết đề tài Một nghiên cứu dự án khả thi xây dựng Kho liệu hệ thống hỗ trợ định Ngân hàng Nông nghiệp phát triển Nông thôn Việt Nam, trình bày đầy đủ sở phƣơng pháp luận, lựa chọn giải pháp, bƣớc xây dựng, thiết kế hệ thống DW&BI nhƣ tổng mức đầu tƣ cho dự án Kết cấu đề tài Đề tài đƣợc kết cấu gồm phần (chƣơng) đó: Phần mở đầu: Giới thiệu yêu cầu khách quan, chủ quan, sở thực tiễn nghiên cứu xây dựng đề tài Chƣơng I: Giới thiệu DW&BI Nội dung chƣơng trình bầy khái niệm kho liệu hệ thống hỗ trợ định, phƣơng pháp luận sở lựa chọn phƣơng pháp luận để xây dựng kho liệu hệ thống hỗ trợ định Các bƣớc xây dựng, thiết kế hệ thống DW&BI Chƣơng II: Bài toán đầu tƣ phát triển hệ thống hỗ trợ định Ngân hàng Nông nghiệp phát triền Nông thôn Việt Nam Đánh giá trạng hệ thống CNTT NHNo, xu hƣớng xây dựng DW&BI Ngân hàng nói chung nhu cầu cấp thiết cần phải xây dựng Kho liệu hệ thống hỗ trợ định NHNo nói riêng Đƣa mục tiêu đầu tƣ, yêu cầu lực sơ hệ thống Đƣa thiết kế logic, thiết kế vật lý để xây dựng kho liệu hệ thống hỗ trợ định Chƣơng III:Đề xuất dự án xây dựng kho liệu hệ thống hỗ trợ định Đƣa để phân tích, lựa chọn giải pháp đồng thời phân tích chi tiết ba giải pháp phổ biến, đứng đầu DW&BI, qua khuyến nghị giải pháp kỹ thuật công nghệ sử dụng dự án dự trù tổng kinh phí dự án Phần kết luận: Kết luận tổng thể luận văn Đƣa điều làm đƣợc, điều chƣa làm đƣợc hƣớng phát triển luận văn 3 CHƢƠNG I GIỚI THIỆU VỀ DW&BI Chƣơng đƣa khái niệm Data Warehouse BI Từ tìm phƣơng pháp phù hợp để xây dựng DW&BI Ngân hàng Nông nghiệp 1.1 Các khái niệm 1.1.1 Data Warehouse BI gì? Data Warehouse (viết tắt DW, gọi Kho Dữ Liệu) hệ thống tập trung liệu nhằm mục đích khai thác, phân tích thông tin hỗ trợ định, với đặc trƣng mặt liệu là: tích hợp, hƣớng chủ đề, tích lũy theo thời gian bất biến Business Intelligence (viết tắt BI) tầng ứng dụng khai thác liệu phân tích thông tin từ nguồn liệu khác mà tiêu biểu DW với thiết kế CSDL đa chiều (OLAP) Tầng ứng dụng BI bao gồm liệu metadata, chƣơng trình ứng dụng, công cụ phần mềm… nhằm mục đích đƣa kết báo cáo, phân tích nghiệp vụ,… đến trực tiếp ngƣời dùng cuối (những cán nghiệp vụ, lãnh đạo,…) Data Warehouse n isio Business Intelligent Dic En d-U ser Vai trò DW&BI việc cung cấp thông tin hỗ trợ định đƣợc minh họa (hình1.1): - Knowledge - Information - Information - Centralized Data Các hệ thống tác nghiệp (OLTP systems) - Dữ liệu tác nghiệp (Data Sources) Hình 1.1: vai trò DW&BI Các thành phần hệ thống DW&BI đƣợc minh họa (hình 1.2), bao gồm: - Data Sources (Dữ liệu nguồn): bao gồm CSDL hệ thống tác nghiệp, liệu dạng file,… - Data Warehouse (Kho liệu tập trung): bao gồm CSDL tích hợp CSDL chủ đề - BI:tầng ứng dụng khai thác phân tích thông tin hỗ trợ định; enduser tƣơng tác với hệ thống qua tầng BI - Administration: Metadata quản trị hệ thống Data Sources Data Warehouse BI End-user reports CSDL chủ đề CSDL tác nghiệp information CSDL tích hợp CSDL chủ đề CSDL tác nghiệp knowledge Files CSDL chủ đề Administration (Metadata quản trị hệ thống) Hình 1.2:Các thành phần DW&BI 1.1.2 Các đặc trƣng mặt liệu hệ thống DW&BI Một hệ thống DW bao gồm đặc trƣng mặt liệu, bao gồm: tích hợp, hƣớng chủ đề, tích lũy theo thời gian, bất biến - Tích hợp (Integrated): Dữ liệu DW đƣợc tập hợp từ nguồn khác nhƣ CSDL hệ thống tác nghiệp, file tài liệu,… - Hướng chủ đề (Subject-Oriented): Dữ liệu DW đƣợc tổ chức lƣu trữ theo chủ đề nghiệp vụ mà ngƣời khai thác quan tâm - Tích lũy theo thời gian (Time-Variant): Dữ liệu lƣu trữ có tính chất lịch sử, theo dòng thời gian tính từ thời điểm khứ liệu phát sinh tƣơng lai - Bất biến (Non-Volatile): Dữ liệu đƣa vào DW nói chung dạng read-only thay đổi (không update, không delete) DW CSDL đƣợc thiết kế cho mục đích Khai thác Phân tích thông tin (query, truy vấn) mục cập nhật (update, delete) nhƣ CSDL ứng dụng tác nghiệp 1.1.3 Phân biệt hệ thống OLTP hệ thống DSS - OLTP (OnLine Transaction Processing): Hệ thống xử lý giao dịch trực tuyến Đặc trƣng ứng dụng OLTP tác vụ tự động ghi chép liệu để xử lý nghiệp vụ tổ chức nhƣ ghi nhận đơn đặt hàng giao dịch ngân.Các tác vụ thƣờng đọc cập nhật vài dòng liệu dựa khoá chúng Những tác vụ có cấu trúc, đƣợc lặp lại, bao gồm giao dịch ngắn, tối giản tách biệt, yêu cầu liệu chi tiết Các sở liệu tác nghiệp có kích thƣớc từ vài trăm megabyte đến hàng gigabyte lƣu trữ liệu hành (vòng đời liệu ngắn) Cơ sở liệu có tính quán, khả phục hồi cao - DSS (Decision Support System): Hệ thống hỗ trợ định Phân biệt Hệ thống OLTP Hệ thống DSS: Đặc điểm OLTP DWHS Thời gian đáp ứng thao tác ngƣời dùng Dƣới giây đến hàng giây Từ hàng giây đến hàng Loại thao tác với liệu Cập nhật (thêm, sửa, xóa) tra cứu Chủ yếu đọc liệu (read-only) Phạm vi liệu 30 - 60 ngày Tích lũy theo thời gian Tổ chức liệu Theo chƣơng trình ứng dụng Theo thời gian, theo chủ đề Quy mô liệu Nhỏ đến lớn Lớn đến lớn Nguồn liệu Dữ liệu tác nghiệp, liệu bên Dữ liệu tác nghiệp, liệu bên trong, bên Hoạt động Xử lý, tác động lên liệu Phân tích liệu Bảng 1.1: Phân biệt hệ thống OLTP DSS 1.2 Các phƣơng pháp luận xây dựng hệ thống DW&BI Có nhiều phƣơng pháp tiếp cận đƣợc sử dụng phổ biến giới Nhƣng thông dụng phƣơng pháp sau: - Business-Wide Data Warehouse (hay gọi Top-down) - Independent Data Marts (hay gọi Bottom-up) - Interconnected Data Marts (hay gọi Spiral) Hình 1.3: Các phƣơng pháp luận xây dựng DW&BI 1.2.1 Phƣơng pháp luận Top-down Xây dựng kho liệu theo phƣơng pháp luận Top-down xây dựng kho liệu “đầy đủ”, xây dựng lần kho liệu đáp ứng đƣợc tất phần lớn nhu cầu khai thác thông tin, phân tích lập dự báo chiến lƣợc đối tƣợng sử dụng Một lần thiết kế cho toàn hệ thống thực xây dựng toàn nhƣ thiết kế 1.2.2 Phƣơng pháp luận Bottom-up Phƣơng pháp Bottom-up xây dựng kho liệu cho chủ đề riêng biệt độc lập, đáp ứng đƣợc nhu cầu khai thác thông tin, phân tích lập dự báo chiến lƣợc phòng ban cụ thể tổ chức / doanh nghiệp Với chủ đề thông tin nghiệp vụ phát sinh lần thiết kế xây dựng riêng biệt 1.2.3 Phƣơng pháp luận Spiral Phƣơng pháp Spiral phƣơng pháp xây dựng dần kho liệu cho chủ đề dựa mô hình xoáy trôn ốc, kho liệu chủ đề có khả tích hợp lại thành Kho liệu đầy đủ Sau phân tích nghiệp vụ mức tổng thể toàn doanh nghiệp,liệt kê danh sách chủ đề thông tin cần xây dựng kho Sau thiết kế xây dựng dần cho kho chủ đề dựa thiết kế tổng thể toàn tổ chức / doanh nghiệp Thứ tự việc xây dựng kho chủ đề đƣợc dựa tính quan trọng nghiệp vụ tính hiệu 7 TÀI LIỆU THAM KHẢO Tiếng Việt Kho bạc nhà nƣớc, “Báo cáo tư vấn lựa chọn phần mềm chuẩn xây dựng báo cáo phân tích thông tin” (tr.73-85) Nghị định số 102/2009/NĐ-CP ngày 06 tháng 11 năm 2009 Thủ tƣớng Chính phủ quản lý, đầu tư ứng dụng công nghệ thông tin sử dụng nguồn vốn ngân sách nhà nước Nghị định số 209/2013/NĐ-CP ngày 18 tháng 12 năm 2013 Chính phủ quy định chi tiết hướng dẫn thi hành số điều luật thuế giá trị gia tăng Quyết định số 993/QĐ-BTTTT ngày 01 tháng 07 năm 2011 Bộ Thông tin Truyền thông công bố định mức tạm thời chi phí quản lý dự án, chi phí tư vấn đầu tư ứng dụng công nghệ thông tin sử dụng nguồn vốn ngân sách nhà nước Thông tƣ số 19/2011/TT-BTC ngày 14 tháng năm 2011 Bộ tài quy định toán dự án hoàn thành thuộc nguồn vốn Nhà nước Thông tƣ số 06/2011/TT-BTTTT ngày 28 tháng 02 năm 2011 Bộ Thông tin Truyền thông quy định vềlập quản lý chi phí đầu tư ứng dụng công nghệ thông tin Thông tƣ số 219/2013/TT-BTC ngày 31 tháng 12 năm 2013 hướng dẫn thi hành Luật thuế giá trị gia tăng Trƣờng đào tạo cán Agribank, Hoạt động tín dụng Ngân hàng Nông nghiệp phát triển Nông thôn Việt Nam Trƣờng đào tạo cán Agribank, Tài liệu nghiệp vụ tiền gửi hệ thống IPCAS2 10 Trƣờng đào tạo cán Agribank, Tài liệu giới thiệu Tổ chức hoạt động Ngân hàng Nông nghiệp phát triển Nông thôn Việt Nam, tr.2-11 Tiếng Anh 11 Alan R Simon and Thomas C Hammergren (2009),Data Warehousing for dummies, Wiley Publising-Inc, pp 11-23 12 Claudia Imhoff, Nicholas Galemmo, and Jonathan G Geiger (2003), Mastering Data Warehouse Design Relational and Dimensional Techniques, Wiley Publishing, Inc., Indianapolis, Indiana [...]... 2011 của Bộ Thông tin và Truyền thông quy định vềlập và quản lý chi phí đầu tư ứng dụng công nghệ thông tin 7 Thông tƣ số 219/2013/TT-BTC ngày 31 tháng 12 năm 2013 hướng dẫn thi hành Luật thuế giá trị gia tăng 8 Trƣờng đào tạo cán bộ Agribank, Hoạt động tín dụng tại Ngân hàng Nông nghiệp và phát triển Nông thôn Việt Nam 9 Trƣờng đào tạo cán bộ Agribank, Tài liệu nghiệp vụ tiền gửi trong hệ thống IPCAS2... giá trị gia tăng 4 Quyết định số 993/QĐ-BTTTT ngày 01 tháng 07 năm 2011 của Bộ Thông tin và Truyền thông công bố định mức tạm thời về chi phí quản lý dự án, chi phí tư vấn đầu tư ứng dụng công nghệ thông tin sử dụng nguồn vốn ngân sách nhà nước 5 Thông tƣ số 19/2011/TT-BTC ngày 14 tháng 2 năm 2011 của Bộ tài chính quy định về quyết toán dự án hoàn thành thuộc nguồn vốn Nhà nước 6 Thông tƣ số 06/2011/TT-BTTTT...7 TÀI LIỆU THAM KHẢO Tiếng Việt 1 Kho bạc nhà nƣớc, “Báo cáo tư vấn lựa chọn phần mềm chuẩn xây dựng báo cáo và phân tích thông tin” (tr.73-85) 2 Nghị định số 102/2009/NĐ-CP ngày 06 tháng 11 năm 2009 của Thủ tƣớng Chính phủ về quản lý, đầu tư ứng dụng công nghệ thông tin sử dụng nguồn vốn ngân sách nhà nước 3 Nghị định số 209/2013/NĐ-CP ngày 18 tháng 12 năm 2013 của Chính phủ quy định chi tiết và hướng... và phát triển Nông thôn Việt Nam 9 Trƣờng đào tạo cán bộ Agribank, Tài liệu nghiệp vụ tiền gửi trong hệ thống IPCAS2 10 Trƣờng đào tạo cán bộ Agribank, Tài liệu giới thiệu Tổ chức và hoạt động Ngân hàng Nông nghiệp và phát triển Nông thôn Việt Nam, tr.2-11 Tiếng Anh 11 Alan R Simon and Thomas C Hammergren (2009),Data Warehousing for dummies, Wiley Publising-Inc, pp 11-23 12 Claudia Imhoff, Nicholas