ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LƢU HÙNG CƢỜNG NGHIÊN CỨU MỘT SỐ GIẢI PHÁP TÍCH HỢP DỮ LIỆU, ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU NGHIỆP VỤ TẬP TRUNG TRONG NGÀNH HẢI QUAN LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LƢU HÙNG CƢỜNG NGHIÊN CỨU MỘT SỐ GIẢI PHÁP TÍCH HỢP DỮ LIỆU, ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU NGHIỆP VỤ TẬP TRUNG TRONG NGÀNH HẢI QUAN Ngành: Công nghệ Thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC TS PHÙNG VĂN ỔN Hà Nội - 2015 LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Hà Nội ngày 12 tháng 09 năm 2015 Học viên Lưu Hùng Cường LỜI CẢM ƠN Do vốn kiến thức thực tế hạn chế nên nội dung luận văn tránh khỏi thiếu sót Do em mong nhận ý kiến đóng góp thầy cô giáo quan tâm đến vấn đề tích hợp liệu để em hoàn thiện lần sau cấp học cao Em xin gửi lời cảm ơn chân thành tới thầy cô Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội tạo điều kiện cho em nghiên cứu đề tài Và đặc biệt em xin gửi lời cảm ơn sâu sắc tới TS Phùng Văn Ổn, thầy tận tình bảo hướng dẫn em hoàn thành luận văn Trong luận văn có phần công sức đóng góp chung tập thể anh chị em công ty, nơi em công tác với vai trò Project Manager Hà Nội ngày 26 tháng năm 2015 Học viên Lưu Hùng Cường MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC CHỮ CÁI VIẾT TẮT DANH MỤC CÁC HÌNH VẼ LỜI MỞ ĐẦU 10 CHƢƠNG I GIỚI THIỆU CHUNG Error! Bookmark not defined 1.1 Tích hợp liệu Error! Bookmark not defined 1.1.1 Khái niệm tích hợp liệu Error! Bookmark not defined 1.1.2 Các mức độ tích hợp liệu Error! Bookmark not defined 1.1.3 Vấn đề tích hợp liệu Error! Bookmark not defined 1.1.4 Vai trò tích hợp liệu tổ chức Error! Bookmark not defined 1.1.5 Các yếu tố định đến việc lựa chọn giải pháp tích hợp liệu Error! Bookmark not defined 1.2 Cơ sở liệu hệ thống OLTP OLAP Error! Bookmark not defined 1.3 Kho liệu (Datawarehouse) Error! Bookmark not defined 1.3.1 Định nghĩa kho liệu Error! Bookmark not defined 1.3.2 Các đặc trưng kho liệu Error! Bookmark not defined 1.3.3 Kiến trúc kho liệu Error! Bookmark not defined 1.3.4 Mô hình liệu sử dụng kho liệu Error! Bookmark not defined 1.4 Hiện trạng mô hình liệu ngành hải quanError! Bookmark not defined 1.4.1 Các hệ thống sử dụng Error! Bookmark not defined 1.4.2 Quy trình thực Error! Bookmark not defined 1.4.3 Những tồn nhu cầu bổ sung Error! Bookmark not defined 1.5 Hiện trạng ứng dụng CNTT cục Hải quan TP HCMError! Bookmark not defined 1.5.1 Hệ thống mạng Error! Bookmark not defined 1.5.2 Hệ thống thiết bị Error! Bookmark not defined 1.5.3 Các ứng dụng triển khai Error! Bookmark not defined CHƢƠNG II: MỘT SỐ KỸ THUẬT, CÔNG NGHỆ TÍCH HỢP DỮ LIỆU Error! Bookmark not defined 2.1 Các kỹ thuật tích hợp liệu Error! Bookmark not defined 2.1.1 Kỹ thuật hợp liệu Error! Bookmark not defined 2.1.2 Kỹ thuật liên hợp liệu Error! Bookmark not defined 2.1.3 Kỹ thuật lan truyền liệu Error! Bookmark not defined 2.1.4 Kỹ thuật lai Error! Bookmark not defined 2.2 Các công nghệ tích hợp liệu Error! Bookmark not defined 2.2.1 Công nghệ ETL Error! Bookmark not defined 2.2.2 Công nghệ EII Error! Bookmark not defined 2.2.3 Công nghệ EAI Error! Bookmark not defined 2.2.4 Công nghệ EDR Error! Bookmark not defined 2.2.5 Công nghệ ECM Error! Bookmark not defined 2.3 Nhận xét đánh giá Error! Bookmark not defined 2.3.1 Bức tranh tổng thể Error! Bookmark not defined 2.3.2 So sánh khác biệt Error! Bookmark not defined 2.3.3 Kết hợp công nghệ Error! Bookmark not defined CHƢƠNG III: GIẢI PHÁP TÍCH HỢP DỮ LIỆU BẰNG SQL SERVER REPLICATION Error! Bookmark not defined 3.1 Tổng quan SQL Server Replication Error! Bookmark not defined 3.1.1 Thành phần Error! Bookmark not defined 3.1.2 Các kiểu replication Error! Bookmark not defined 3.2 Snapshot replication Error! Bookmark not defined 3.3 Transactional replication Error! Bookmark not defined 3.4 Merge replication Error! Bookmark not defined 3.5 Các phƣơng pháp triển khai replication Error! Bookmark not defined 3.6 Lựa chọn mô hình cách tiếp cận Error! Bookmark not defined 3.7 Nhận xét đánh giá Error! Bookmark not defined CHƢƠNG IV ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU TÍCH HỢP TOÀN NGÀNH HẢI QUAN Error! Bookmark not defined 4.1 Giới thiệu toán Error! Bookmark not defined 4.2 Yêu cầu kỹ thuật Error! Bookmark not defined 4.3 Kiến trúc tổng thể hệ thống Error! Bookmark not defined 4.3.1 Mô hình tổng thể Error! Bookmark not defined 4.3.2 Mô hình phân lớp hệ thống Error! Bookmark not defined 4.3.3 Mô hình kiến trúc ứng dụng liệuError! Bookmark not defined 4.3.4 Mô hình trao đổi liệu với hệ thống khác Error! Bookmark not defined 4.4 Giải pháp công nghệ sử dụng Error! Bookmark not defined 4.4.1 Giải pháp tích hợp liệu Error! Bookmark not defined 4.4.2 Giải pháp xây dựng ứng dụng tích hợp nghiệp vụ hải quan .Error! Bookmark not defined 4.4.3 Giải pháp xây dựng ứng dụng dự phòng, phòng chống thảm họaError! Bookmark not defined 4.5 Kết thực Error! Bookmark not defined 4.6 Đánh giá kết Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 11 DANH MỤC CÁC CHỮ CÁI VIẾT TẮT Tên đầy đủ Tên viết tắt CDC Change data capture CNTT Công nghệ thông tin EAI Enterprise Applicaion Integration ECM Enterprise Content Manager EDR Enterprise Data Replication EII Enterprise Information Integration ESB Enterprise Services Bus ETL Extract-Transform-Load MPLS Multi Protocol Label Switching OLAP On-line Analytical Processing OLTP On-line Transaction Processing SXXK Sản xuất xuất UTP Unshielded Twisted Pair XML EXtensible Markup Language XNK Xuất nhập DANH MỤC CÁC HÌNH VẼ Hình 1.1: Kiến trúc ứng dụng mức độ tích hợp liệu Error! Bookmark not defined Hình 1.2: Các thành phần ứng dụng tích hợp Error! Bookmark not defined Hình 1.3: OTLP OLAP Error! Bookmark not defined Hình 1.4: Kiến trúc kho liệu Error! Bookmark not defined Hình 1.4: Mô hình liệu hình tuyết Error! Bookmark not defined Hình 1.5: Mô hình hạ tầng mạng Cục Hải quan TP Hồ Chí Minh Error! Bookmark not defined Hình 2.1: Kỹ thuật hợp liệu Error! Bookmark not defined Hình 2.2: Mô hình kết hợp chế pull push Error! Bookmark not defined Hình 2.3: Kỹ thuật liên hợp liệu Error! Bookmark not defined Hình 2.4: Kỹ thuật lan truyền liệu Error! Bookmark not defined Hình 2.5: Tiến trình ETL Error! Bookmark not defined Hình 2.6: Công nghệ EII Error! Bookmark not defined Hình 2.7: Công nghệ EAI Error! Bookmark not defined Hình 2.8: Công nghệ EAI với ESB Error! Bookmark not defined Hình 2.9: Các kỹ thuật công nghệ tích hợp liệu Error! Bookmark not defined Hình 2.10: Mô hình kết hợp nhiều công nghệ Error! Bookmark not defined Hình 3.1: Kiến trúc công nghệ SQL Server Replication Error! Bookmark not defined Hình 3.2: Snapshot Replication Error! Bookmark not defined Hình 3.3: Transactional Replication Error! Bookmark not defined Hình 3.4: Merge Replication Error! Bookmark not defined Hình 3.5: Tạo replication Management Studtio Error! Bookmark not defined Hình 4.1: Mô hình tập trung liệu giai đoạn Error! Bookmark not defined Hình 4.3: Mô hình tổng thể hệ thống tích hợp nghiệp vụ hải quan Error! Bookmark not defined Hình 4.4: Mô hình phân lớp hệ thống tích hợp nghiệp vụ hải quanError! Bookmark not defined Hình 4.5: Mô hình kiến trúc úng dụng liệu Error! Bookmark not defined Hình 4.6: Mô hình trao đổi liệu Error! Bookmark not defined Hình 4.7: Mô hình tích hợp liệu thử nghiệm Error! Bookmark not defined Hình 4.8: Mô hình tích hợp liệu thực tế triển khai Error! Bookmark not defined Hình 4.9: Luồng hoạt động ứng dụng chuyển đổi số liệu Error! Bookmark not defined Hình 4.10: Giao diện chương trình chuyển đổi số liệu Error! Bookmark not defined Hình 4.11: Mô hình ứng dụng sharepoint Error! Bookmark not defined Hình 4.12: Đưa thêm webpart sharepoint Error! Bookmark not defined Hình 4.13: Cấu hình sử dụng control ascx Error! Bookmark not defined Hình 4.14: Giao diện sau cấu hình Error! Bookmark not defined Hình 4.15: Giao diện ứng dụng tích hợp nghiệp vụ Error! Bookmark not defined 10 Hình 4.16: Mô hình hệ thống dự phòng ứng dụng tích hợp nghiệp vụ Error! Bookmark not defined LỜI MỞ ĐẦU Trong trình tin học hóa hoạt động tổ chức, doanh nghiệp, loạt hệ thống xây dựng để đáp ứng nhu cầu quản lý,vận hành, lưu trữ riêng lẻ các phận tổ chức, doanh nghiệp Các hệ thống xây dựng dựa tảng công nghệ khác gần chia sẻ thông tin hệ thống hệ thống thiết kế để hoạt động độc lập thiết kế để giải toán đơn lẻ cho phận riêng lẻ tổ chức, doanh nghiệp Điều dẫn đến tình trạng nguồn liệu lưu trữ không đồng phân tán nhiều nơi, người sử dụng cần phải sử dụng nhiều chương trình khác để hoàn thành công việc mình, phải khai thác liệu từ chương trình khác kết hợp lại để liệu mong muốn Khi hoạt động tổ chức mở rộng (đặc biệt hoạt động kinh doanh doanh nghiệp) nhu cầu tổng hợp liệu để có báo cáo đầy đủ nhằm phục vụ cho việc điều hành tổ chức, doanh nghiệp trở nên cấp thiết hết việc thực tổng hợp liệu từ hệ thống riêng lẻ tốn thời gian gần thực liệu lớn Ngoài ra, phải thao tác với nhiều chương trình lúc thường nhiều thời gian so với việc thực hệ thống có nhiều khả dẫn đến sai sót phải làm thủ công nhiều bước Một vấn đề gặp phải việc trì hệ thống riêng lẻ chi phí vận hành lớn, tổ chức doanh nghiệp cần phải dùng nhiều nguồn lực dành cho việc trì nhiều hệ thống hoạt động Vấn đề tích hợp liệu không xu hướng mà thực trở thành nhu cầu tổ chức, doanh nghiệp lớn năm gần Một loại kỹ thuật, công nghệ, sản phẩm phẩn mềm hãng công nghệ hàng đầu giới giới thiệu Oracle Data Integrator, Oracle GoldenGate, IBM InfoSphere, Microsoft BizTalk, Microsoft Business Intelligent, Microsoft SQL Server Replication,… Tính cấp thiết đề tài Ở Việt Nam, vấn đề tích hợp liệu quan tâm lớn tổ chức, doanh nghiệp lớn đặc biệt quan nhà nước có Tổng cục Hải quan 11 Việc nghiên cứu, xây dựng nhóm giải pháp, quy trình phù hợp, bước thực toán tích hợp liệu giúp cho tổ chức, doanh nghiệp Việt Nam thực việc tích hợp liệu dễ dàng từ phát triển thêm ứng dụng xử lý tập trung đáp ứng đòi hỏi ngày cao TÀI LIỆU THAM KHẢO Các trang Web [1] http://datawarehouse4u.info/OLTP-vs-OLAP.html [2] http://docs.oracle.com/cd/B10500_01/server.920/a96520/concept.htm [3] https://msdn.microsoft.com/en-us/library/ms151198.aspx Tiếng Việt [4] Hà Quang Thụy, Bài giảng môn học kho liệu khai phá liệu, ĐHCN Tiếng Anh [5] Sebastian Meine, Ph.D (2013), Fundamentals of SQL Server 2012 Replication, [6] Sujoy P Paul(2009), Pro SQL Server 2008 Replication, Apress Stairways [7] James Fenner, Enterprise Application Integration Techniques [8] Petr Kremen and Bogdan Kostov(2014), Data Integration lecture [9] Patrick Ziegler and Klaus R Dittrich(2007), “Data Integration-Problems, Approaches, and Perspectives”, Database Technology Research Group [10] Colin White, BI Research(2005), Data Integration: Using ETL, EAI, and EII Tools to Create an Integrated Enterprise, TDWI [11] William H Inmon (Third Edition), Building the Data Warehouse, John Wiley & Sons, Inc [12] Tom Wu, EII -ETL -EAI What, Why, and How, IBM Software Group 12 [...]... chức, các doanh nghiệp lớn và đặc biệt là trong các cơ quan nhà nước trong đó có Tổng cục Hải quan 11 Việc nghiên cứu, xây dựng các nhóm giải pháp, quy trình phù hợp, các bước thực hiện trong bài toán tích hợp dữ liệu sẽ giúp cho các tổ chức, các doanh nghiệp Việt Nam có thể thực hiện việc tích hợp dữ liệu của mình dễ dàng hơn từ đó có thể phát triển thêm những ứng dụng xử lý tập trung đáp ứng những đòi...Hình 4.16: Mô hình hệ thống dự phòng ứng dụng tích hợp nghiệp vụ Error! Bookmark not defined LỜI MỞ ĐẦU Trong quá trình tin học hóa các hoạt động của tổ chức, doanh nghiệp, một loạt các hệ thống đã được xây dựng để đáp ứng nhu cầu quản lý,vận hành, lưu trữ riêng lẻ của các các bộ phận trong tổ chức, doanh nghiệp Các hệ thống này được xây dựng dựa trên các nền tảng công nghệ khác nhau và... rộng (đặc biệt trong hoạt động kinh doanh của doanh nghiệp) nhu cầu tổng hợp dữ liệu để có được các báo cáo đầy đủ nhằm phục vụ cho việc điều hành tổ chức, doanh nghiệp trở nên cấp thiết hơn bao giờ hết việc thực hiện tổng hợp dữ liệu từ các hệ thống riêng lẻ rất tốn thời gian và gần như là không thể thực hiện được nếu dữ liệu lớn Ngoài ra, nếu phải thao tác với quá nhiều chương trình cùng một lúc thường... trên một hệ thống và có nhiều khả năng dẫn đến sai sót do phải làm thủ công nhiều bước Một trong những vấn đề gặp phải nữa của việc duy trì các hệ thống riêng lẻ đó là chi phí vận hành lớn, các tổ chức doanh nghiệp sẽ cần phải dùng nhiều nguồn lực dành cho việc duy trì nhiều hệ thống hoạt động Vấn đề tích hợp dữ liệu đã không còn là một xu hướng mà thực sự đã trở thành nhu cầu của các tổ chức, doanh nghiệp. .. và được thiết kế để giải quyết các bài toán đơn lẻ cho các bộ phận riêng lẻ của tổ chức, doanh nghiệp Điều này dẫn đến tình trạng là các nguồn dữ liệu được lưu trữ không đồng nhất và phân tán ở nhiều nơi, người sử dụng cần phải sử dụng nhiều chương trình khác nhau để hoàn thành công việc của mình, hoặc phải khai thác dữ liệu từ các chương trình khác nhau rồi kết hợp lại để được dữ liệu mong muốn Khi... nghiệp lớn trong những năm gần đây Một loại những kỹ thuật, những công nghệ, những sản phẩm phẩn mềm của các hãng công nghệ hàng đầu thế giới đã được giới thiệu như Oracle Data Integrator, Oracle GoldenGate, IBM InfoSphere, Microsoft BizTalk, Microsoft Business Intelligent, Microsoft SQL Server Replication,… 1 Tính cấp thiết của đề tài Ở Việt Nam, vấn đề tích hợp dữ liệu đang là một trong những quan tâm... tập trung đáp ứng những đòi hỏi ngày càng cao của mình TÀI LIỆU THAM KHẢO 1 Các trang Web [1] http://datawarehouse4u.info/OLTP-vs-OLAP.html [2] http://docs.oracle.com/cd/B10500_01/server.920/a96520/concept.htm [3] https://msdn.microsoft.com/en-us/library/ms151198.aspx 2 Tiếng Việt [4] Hà Quang Thụy, Bài giảng môn học kho dữ liệu và khai phá dữ liệu, ĐHCN 3 Tiếng Anh [5] Sebastian Meine, Ph.D (2013),