ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LƢU HÙNG CƢỜNG NGHIÊN CỨU MỘT SỐ GIẢI PHÁP TÍCH HỢP DỮ LIỆU, ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU NGHIỆP VỤ TẬP TRUNG TRONG NGÀNH HẢI QUAN LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LƢU HÙNG CƢỜNG NGHIÊN CỨU MỘT SỐ GIẢI PHÁP TÍCH HỢP DỮ LIỆU, ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU NGHIỆP VỤ TẬP TRUNG TRONG NGÀNH HẢI QUAN Ngành: Công nghệ Thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC TS PHÙNG VĂN ỔN Hà Nội - 2015 LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Hà Nội ngày 12 tháng 09 năm 2015 Học viên Lưu Hùng Cường LỜI CẢM ƠN Do vốn kiến thức thực tế hạn chế nên nội dung luận văn tránh khỏi thiếu sót Do em mong nhận ý kiến đóng góp thầy cô giáo quan tâm đến vấn đề tích hợp liệu để em hoàn thiện lần sau cấp học cao Em xin gửi lời cảm ơn chân thành tới thầy cô Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội tạo điều kiện cho em nghiên cứu đề tài Và đặc biệt em xin gửi lời cảm ơn sâu sắc tới TS Phùng Văn Ổn, thầy tận tình bảo hướng dẫn em hoàn thành luận văn Trong luận văn có phần công sức đóng góp chung tập thể anh chị em công ty, nơi em công tác với vai trò Project Manager Hà Nội ngày 26 tháng năm 2015 Học viên Lưu Hùng Cường MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC CHỮ CÁI VIẾT TẮT DANH MỤC CÁC HÌNH VẼ LỜI MỞ ĐẦU 10 CHƢƠNG I GIỚI THIỆU CHUNG 13 1.1 Tích hợp liệu 13 1.1.1 Khái niệm tích hợp liệu 13 1.1.2 Các mức độ tích hợp liệu 13 1.1.3 Vấn đề tích hợp liệu 14 1.1.4 Vai trò tích hợp liệu tổ chức 15 1.1.5 Các yếu tố định đến việc lựa chọn giải pháp tích hợp liệu 16 1.2 Cơ sở liệu hệ thống OLTP OLAP 17 1.3 Kho liệu (Datawarehouse) 20 1.3.1 Định nghĩa kho liệu 20 1.3.2 Các đặc trưng kho liệu 20 1.3.3 Kiến trúc kho liệu 21 1.3.4 Mô hình liệu sử dụng kho liệu 22 1.4 Hiện trạng mô hình liệu ngành hải quan 23 1.4.1 Các hệ thống sử dụng 23 1.4.2 Quy trình thực 23 1.4.3 Những tồn nhu cầu bổ sung 24 1.5 Hiện trạng ứng dụng CNTT cục Hải quan TP HCM 25 1.5.1 Hệ thống mạng 25 1.5.2 Hệ thống thiết bị 27 1.5.3 Các ứng dụng triển khai 27 CHƢƠNG II: MỘT SỐ KỸ THUẬT, CÔNG NGHỆ TÍCH HỢP DỮ LIỆU31 2.1 Các kỹ thuật tích hợp liệu 31 2.1.1 Kỹ thuật hợp liệu 31 2.1.2 Kỹ thuật liên hợp liệu 32 2.1.3 Kỹ thuật lan truyền liệu 34 2.1.4 Kỹ thuật lai 35 2.2 Các công nghệ tích hợp liệu 35 2.2.1 Công nghệ ETL 35 2.2.2 Công nghệ EII 36 2.2.3 Công nghệ EAI 37 2.2.4 Công nghệ EDR 39 2.2.5 Công nghệ ECM 39 2.3 Nhận xét đánh giá 40 2.3.1 Bức tranh tổng thể 40 2.3.2 So sánh khác biệt 40 2.3.3 Kết hợp công nghệ 42 CHƢƠNG III: GIẢI PHÁP TÍCH HỢP DỮ LIỆU BẰNG SQL SERVER REPLICATION 43 3.1 Tổng quan SQL Server Replication 43 3.1.1 Thành phần 43 3.1.2 Các kiểu replication 46 3.2 Snapshot replication 46 3.3 Transactional replication 47 3.4 Merge replication 49 3.5 Các phƣơng pháp triển khai replication 49 3.6 Lựa chọn mô hình cách tiếp cận 50 3.7 Nhận xét đánh giá 51 CHƢƠNG IV ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU TÍCH HỢP TOÀN NGÀNH HẢI QUAN 53 4.1 Giới thiệu toán 53 4.2 Yêu cầu kỹ thuật 55 4.3 Kiến trúc tổng thể hệ thống 55 4.3.1 Mô hình tổng thể 55 4.3.2 Mô hình phân lớp hệ thống 56 4.3.3 Mô hình kiến trúc ứng dụng liệu 58 4.3.4 Mô hình trao đổi liệu với hệ thống khác 61 4.4 Giải pháp công nghệ sử dụng 61 4.4.1 Giải pháp tích hợp liệu 61 4.4.2 Giải pháp xây dựng ứng dụng tích hợp nghiệp vụ hải quan 66 4.4.3 Giải pháp xây dựng ứng dụng dự phòng, phòng chống thảm họa 69 4.5 Kết thực 70 4.6 Đánh giá kết 70 KẾT LUẬN 71 TÀI LIỆU THAM KHẢO 73 DANH MỤC CÁC CHỮ CÁI VIẾT TẮT Tên đầy đủ Tên viết tắt CDC Change data capture CNTT Công nghệ thông tin EAI Enterprise Applicaion Integration ECM Enterprise Content Manager EDR Enterprise Data Replication EII Enterprise Information Integration ESB Enterprise Services Bus ETL Extract-Transform-Load MPLS Multi Protocol Label Switching OLAP On-line Analytical Processing OLTP On-line Transaction Processing SXXK Sản xuất xuất UTP Unshielded Twisted Pair XML EXtensible Markup Language XNK Xuất nhập DANH MỤC CÁC HÌNH VẼ Hình 1.1: Kiến trúc ứng dụng mức độ tích hợp liệu 13 Hình 1.2: Các thành phần ứng dụng tích hợp 16 Hình 1.3: OTLP OLAP 18 Hình 1.4: Kiến trúc kho liệu 21 Hình 1.4: Mô hình liệu hình tuyết 23 Hình 1.5: Mô hình hạ tầng mạng Cục Hải quan TP Hồ Chí Minh 26 Hình 2.1: Kỹ thuật hợp liệu 31 Hình 2.2: Mô hình kết hợp chế pull push 32 Hình 2.3: Kỹ thuật liên hợp liệu 33 Hình 2.4: Kỹ thuật lan truyền liệu 34 Hình 2.5: Tiến trình ETL 36 Hình 2.6: Công nghệ EII 37 Hình 2.7: Công nghệ EAI 37 Hình 2.8: Công nghệ EAI với ESB 38 Hình 2.9: Các kỹ thuật công nghệ tích hợp liệu 40 Hình 2.10: Mô hình kết hợp nhiều công nghệ 42 Hình 3.1: Kiến trúc công nghệ SQL Server Replication 44 Hình 3.2: Snapshot Replication 47 Hình 3.3: Transactional Replication 48 Hình 3.4: Merge Replication 49 Hình 3.5: Tạo replication Management Studtio 50 Hình 4.1: Mô hình tập trung liệu giai đoạn 55 Hình 4.3: Mô hình tổng thể hệ thống tích hợp nghiệp vụ hải quan 56 Hình 4.4: Mô hình phân lớp hệ thống tích hợp nghiệp vụ hải quan 56 Hình 4.5: Mô hình kiến trúc úng dụng liệu 58 Hình 4.6: Mô hình trao đổi liệu 61 Hình 4.7: Mô hình tích hợp liệu thử nghiệm 62 Hình 4.8: Mô hình tích hợp liệu thực tế triển khai 62 Hình 4.9: Luồng hoạt động ứng dụng chuyển đổi số liệu 64 Hình 4.10: Giao diện chương trình chuyển đổi số liệu 65 Hình 4.11: Mô hình ứng dụng sharepoint 66 Hình 4.12: Đưa thêm webpart sharepoint 67 Hình 4.13: Cấu hình sử dụng control ascx 68 Hình 4.14: Giao diện sau cấu hình 68 Hình 4.15: Giao diện ứng dụng tích hợp nghiệp vụ 68 Hình 4.16: Mô hình hệ thống dự phòng ứng dụng tích hợp nghiệp vụ 69 LỜI MỞ ĐẦU Trong trình tin học hóa hoạt động tổ chức, doanh nghiệp, loạt hệ thống xây dựng để đáp ứng nhu cầu quản lý,vận hành, lưu trữ riêng lẻ các phận tổ chức, doanh nghiệp Các hệ thống xây dựng dựa tảng công nghệ khác gần chia sẻ thông tin hệ thống hệ thống thiết kế để hoạt động độc lập thiết kế để giải toán đơn lẻ cho phận riêng lẻ tổ chức, doanh nghiệp Điều dẫn đến tình trạng nguồn liệu lưu trữ không đồng phân tán nhiều nơi, người sử dụng cần phải sử dụng nhiều chương trình khác để hoàn thành công việc mình, phải khai thác liệu từ chương trình khác kết hợp lại để liệu mong muốn Khi hoạt động tổ chức mở rộng (đặc biệt hoạt động kinh doanh doanh nghiệp) nhu cầu tổng hợp liệu để có báo cáo đầy đủ nhằm phục vụ cho việc điều hành tổ chức, doanh nghiệp trở nên cấp thiết hết việc thực tổng hợp liệu từ hệ thống riêng lẻ tốn thời gian gần thực liệu lớn Ngoài ra, phải thao tác với nhiều chương trình lúc thường nhiều thời gian so với việc thực hệ thống có nhiều khả dẫn đến sai sót phải làm thủ công nhiều bước Một vấn đề gặp phải việc trì hệ thống riêng lẻ chi phí vận hành lớn, tổ chức doanh nghiệp cần phải dùng nhiều nguồn lực dành cho việc trì nhiều hệ thống hoạt động Vấn đề tích hợp liệu không xu hướng mà thực trở thành nhu cầu tổ chức, doanh nghiệp lớn năm gần Một loại kỹ thuật, công nghệ, sản phẩm phẩn mềm hãng công nghệ hàng đầu giới giới thiệu Oracle Data Integrator, Oracle GoldenGate, IBM InfoSphere, Microsoft BizTalk, Microsoft Business Intelligent, Microsoft SQL Server Replication,… Tính cấp thiết đề tài Ở Việt Nam, vấn đề tích hợp liệu quan tâm lớn tổ chức, doanh nghiệp lớn đặc biệt quan nhà nước có Tổng cục Hải quan Việc nghiên cứu, xây dựng nhóm giải pháp, quy trình phù hợp, bước thực toán tích hợp liệu giúp cho tổ chức, doanh nghiệp Việt Nam thực việc tích hợp liệu dễ dàng từ phát triển thêm ứng dụng xử lý tập trung đáp ứng đòi hỏi ngày cao 10 Cung cấp chức quản lý trình thông quan tờ khai Cung cấp chức cập nhật, khai thác, quản lý chứng từ kèm theo tờ khai hải quan Cung cấp chức tra cứu thông tin doanh nghiệp khâu nghiệp vụ Cho phép nhân viên hải quan ghi nhận ý kiến khâu quy trình thủ tục tờ khai, lô hàng để thông báo đến khâu sau thông quan Cho phép hiển thị thông tin Manifest chuyển sang từ hệ thống tiếp nhận thông tin Manifest  Module quản lý thông tin giá tính thuế Cung cấp chức tra cứu thông tin giá, cập nhật thông tin tờ khai trị giá Cung cấp chức xác định giá, kiểm tra giá, phúc tập giá…  Module quản lý loại hình nhập nguyên liệu để gia công Cung cấp chức quản lý hợp đồng, thông quan tờ khai, khoản loại hình nhâp nguyên liệu để gia công  Module quản lý loại hình nhập nguyên liệu để sản xuất hàng xuất Cung cấp chức quản lý hợp đồng, thông quan tờ khai, khoản loại hình nhâp nguyên liệu để sản xuất hàng xuất  Module kế toán thuế xuất, nhập Cung cấp chức quản lý kế toán thuế xuất khẩu, nhập  Module quản lý khu chế xuất Cung cấp chức quản lý dành riêng cho khu chế xuất  Module quản lý phƣơng tiện tạm nhập tái xuất, tạm xuất tái nhập cửa đƣờng Cung cấp chức quản lý, giám sát, tra cứu phương tiện tạm nhập tái xuất, tạm xuất tái nhập cửa đường  Module giao tiếp với hệ thống quản lý rủi ro Cung cấp chức giao tiếp với hệ thống quản lý rủi ro Cho phép thực phân luồng tờ khai hệ thống quản lý rủi ro Cho phép tra cứu thông tin rủi ro doanh nghiệp, tờ khai, mặt hàng xuất nhập khẩu… Cung cấp thông tin phản hồi hệ thống quản lý rủi ro  Module giao tiếp với hệ thống thống kê tập trung Cung cấp chức cho phép trao đổi liệu với hệ thống thống kê tập trung Cung cấp liệu tờ khai, C/O, phương tiện xuất nhập cảnh… cho hệ thống thống kê tập trung 59  Module giao tiếp với hệ thống thông quan điện tử Cung cấp chức cho phép trao đổi liệu với hệ thống thông quan điện tử  Module quản trị hệ thống Cung cấp chức đăng nhập hệ thống, quản lý phân quyền sử dụng hệ thống, thiết lập tham số hệ thống, có khả đồng thông tin với Active Directory, ghi / theo dõi nhật ký giao dịch,  Hệ thống Nghiệp vụ hải quan tích hợp thiết kế xây dựng với thành phần sở liệu sau đây:  Cơ sở liệu danh mục, tham số hệ thống, nhật ký hệ thống Chứa hệ thống danh mục chuẩn, tham số hệ thống Lưu trữ nhật ký hệ thống  Cơ sở liệu tờ khai tạm Chứa thông tin tạm tờ khai doanh nghiệp khai qua mạng đẻ chờ duyệt  Cơ sở liệu tờ khai Chứa thông tin tờ khai chứng từ kèm thông tin ghi nhận, thông tin phục vụ quy trình thủ tục tờ khai, lô hàng  Cơ sở liệu giá tính thuế Chứa thông tin tờ khai trị giá, thông tin khác phục vụ quy trình nghiệp vụ giá tính thuế  Cơ sở liệu kế toán thuế Chứa thông tin phục vụ quy trình nghiệp vụ kế toán thuế  Cơ sở liệu gia công Chứa thông tin hợp đồng, nguyên liệu, sản phẩm, thông tin khoản… phục vụ quy trình loại hình nhập nguyên liệu để gia công  Cơ sở liệu SXXK Chứa thông tin hợp đồng, nguyên liệu, sản phẩm, thông tin khoản… phục vụ quy trình loại hình nhập nguyên liệu để sản xuất hàng xuất  Cơ sở liệu khu chế xuất Chứa thông tờ khai, chứng từ, khoản… phục vụ quy trình khu chế xuất 60  Cơ sở liệu phƣơng tiện xuất nhập cảnh đƣờng Chứa thông tin phương tiện tạm nhập tái xuất, tạm xuất tái nhập qua cửa đường 4.3.4 Mô hình trao đổi liệu với hệ thống khác Mô hình trao đổi với hệ thống khác mô tả hình vẽ đây: Doanh nghiệp Quản lý rủi ro Thống kê tập trung Thông quan điện tử Web service Internet Trục tích hợp Nghiệp vụ hải quan tích hợp Hình 4.6: Mô hình trao đổi liệu Từ mô hình thấy:  Hệ thống Nghiệp vụ hải quan tích hợp giao tiếp với hệ thống khác thông qua trục tích hợp  Việc giao tiếp hệ thống Nghiệp vụ hải quan tích hợp hệ thống nội ngành Hải quan gồm Quản lý rủi ro, Thống kê tập trung, Thông quan điện tử thực thông qua Web service hệ thống  Các hệ thống khai báo qua mạng doanh nghiệp giao tiếp với Nghiệp vụ hải quan tích hợp thông qua web service internet trục tích hợp 4.4 Giải pháp công nghệ sử dụng 4.4.1 Giải pháp tích hợp liệu Qua khảo sát, hầu hết sở đữ liệu xây dựng dựa sở liệu SQL Server, số sở liệu xây dựng sở liệu Oracle giải pháp tích hợp liệu cân nhắc sử dụng Microsoft SQL Server replication để tích hợp sở liệu thành sở liệu tập trung 61 Cục Cơ sở liệu tích hợp Replication Chi Cục Cơ sở liệu chi cục A Cơ sở liệu chi cục B Cơ sở liệu chi cục C Hình 4.7: Mô hình tích hợp liệu thử nghiệm Tuy nhiên, sau tích hợp thử liệu số chi cục, tác giả phát cấu trúc liệu chi cục bị thay đổi, xuất tình trạng liệu bị sửa đổi dẫn đến việc triển khai giải pháp tích hợp sử dụng Microsoft SQL Server replication gặp khó khăn Do sở liệu tích hợp cần phải chuyển đổi để phù hợp với ứng dụng tích hợp nghiệp vụ hải quan nên mô hình điều chỉnh sau:  Dữ liệu chi cục đồng lên cục thành liệu chi cục giải pháp Microsoft SQL Server Replication  Một ứng dụng chuyển đổi số liệu dựa công nghệ ETL xây dựng để thực đọc liệu từ sở liệu có bước đưa chúng vào sở liệu tích hợp Mô hình tích hợp liệu sửa đổi thể hình vẽ đây: Cơ sở liệu tích hợp ETL Cục Cơ sở liệu chi cục A Cơ sở liệu chi cục B Cơ sở liệu chi cục C Replication Chi Cục Cơ sở liệu chi cục A Cơ sở liệu chi cục B Cơ sở liệu chi cục C Hình 4.8: Mô hình tích hợp liệu thực tế triển khai 62 Ứng dụng chuyển đổi số liệu dựa công nghệ ETL xây dựng tảng công nghệ Microsoft.NET cho phép dễ dàng cấu hình lựa chọn nguồn liệu Để làm điều này, ứng dụng sử dụng file cấu hình XML cho phép người dùng đưa câu lệnh SQL hàm chuyển đổi liệu trước đưa vào sở liệu nguồn Luồng hoạt đồng ứng dụng chuyển đổi số liệu mô tả hình vẽ đây: 63 Đọc file cấu hình XML Oracle 10.15.119.28 sa ****** MISBHXH_NAN SQLServer 10.15.119.47 Excel,csv file SQL Server Khởi tạo OracleConnection Khởi tạo SqlConnection Khởi tạo OleDbConnection Lấy liệu vào reader = OracleReader Lấy liệu vào reader = SqlDataReader Lấy liệu vào reader = OleDbDataReader Đọc liệu reader r = reader.Read KT_S53DTL_G OC 100 FPT.CIS.Tools.PushData.F unction.StandardFunctio n.ConvertToUnicode TENDVI CONGVIEC GHICHU Tăng số lượng records = records + Chưa đủ block commit Đã đủ số lượng ghi Commit vào CSDL Commit vào CSDL Khởi tạo lại số lượng records = Kết thúc xử lý Hình 4.9: Luồng hoạt động ứng dụng chuyển đổi số liệu 64 Lưu ý hàm chuyển đổi liệu cấu hình lặp lại nhiều lần file Xml Đoạn code xử lý sau thực đọc hàm chuyển đổi thực nó: foreach (Function func in instruction.EditFunctions) { EditFunction editFunc = new EditFunction(func); editFunc.Invoke(item); } Việc gọi thực động sau: public object Invoke(Item inputData) { String typeName = System.IO.Path.GetFileNameWithoutExtension(FunctionName); String functionName = System.IO.Path.GetExtension(FunctionName).Substring(1); Type type = Type.GetType(typeName); return type.InvokeMember(functionName, BindingFlags.InvokeMethod | BindingFlags.Public | BindingFlags.Static, null, null, new object[] { inputData, this.Parameters }); } Với việc thực này, dễ dàng bổ sung hàm chuyển đổi liệu mà không cần phải thay đổi lại mã nguồn chương trình từ cho phép sử dụng nhiều dự án khác Trên thực tế, ứng dụng việc sử dụng để chuyển đổi thử nghiệm số liệu Cục Hải quan TP Hồ Chí Minh sử dụng để chuyển đổi số liệu bảo hiểm xã hội tỉnh thành nước Hình 4.10: Giao diện chương trình chuyển đổi số liệu 65 4.4.2 Giải pháp xây dựng ứng dụng tích hợp nghiệp vụ hải quan Một yêu cầu toán cần phải xây dựng ứng dụng nghiệp vụ hoạt động dựa sở liệu tích hợp xây dựng nhằm giải vướng mắc Cục Hải quan TP Hồ Chí Minh cán công chức phải thao tác nhiều chương trình liền lúc để hoàn thành công việc Vấn đề giải cách xây dựng lại ứng dụng có đầy đủ chức ứng dụng cần tích hợp Tuy nhiên tiếp cận theo hướng giải vấn đề trước mắt, tương lai hệ thống xây dựng đáp ứng quy trình ban hành người sử dụng lại gặp phải vấn đề phải thao tác nhiều ứng dụng để hoàn thành công việc Để giải triệt để vấn đề, giải pháp xây dựng ứng dụng tích hợp nghiệp vụ hải quan xây dựng dựa giải pháp Microsoft Sharepoint Portal Ngoài tính ưu việt việc quản lý luồng công việc, công nghệ cổng thông tin khả dễ dàng tạo website (do khuôn khổ giới hạn luận văn nên không trình bày đây) Microsoft Sharpoint Portal cung cấp tính quan trọng Webpart Webpart hiểu thành phần để tạo nên trang web sharepoint Một cách hình dung đơn giản coi việc xây dựng ứng dụng web việc xây dựng tòa nhà có hiểu webpart viên gạch, vật dụng để xây dựng lên tòa nhà Mô hình mô tả kiến trúc ứng dụng sử dụng Webpart: Hình 4.11: Mô hình ứng dụng sharepoint Với cách tiếp cận này, xây dựng chức cho ứng dụng webpart từ cấu hình để đưa chức vào ứng dụng tích hợp Như có thêm chức mới, đơn giản lắp chức vào 66 ứng dụng tích hợp tảng Sharepoint mà không cần phải quan tâm đến vấn đề tích hợp chúng Hình 4.12: Đưa thêm webpart sharepoint Để tận dụng control có sẵn ứng dụng cũ, Webpart xây dựng để load control vào Webpart đoạn code sau: If bAccessRight Then 'User have right & active If UserControlFileName = "" Then Dim lbl As New Label lbl.Text = "Chức chưa cấu hình để vận hành, liên hệ với quản trị để xử lý " Me.Controls.Add(lbl) Else If UserControlFileName.StartsWith(".") Or UserControlFileName.StartsWith("/") Or UserControlFileName.StartsWith("~") Then _control = CType(Me.Page.LoadControl(UserControlFileName), System.Web.UI.UserControl) Else _control = CType(Me.Page.LoadControl(UserControlPath + UserControlFileName), System.Web.UI.UserControl) End If Me.Controls.Add(_control) End If End If Webpart xây dựng cung cấp hai thuộc tính cho người quản trị dễ dàng cấu hình nơi lưu trữ ascx file mã phân quyền của chức Như vậy, với việc sử dụng webpart việc lập trình đơn giản tạo control ascx ASP.NET thông thường Và thực cấu hình đường dẫn đến control mã quyền sử dụng để phân quyền đến người sử dụng: 67 Hình 4.13: Cấu hình sử dụng control ascx Sau cấu hình thấy chức tích hợp lên ứng dụng tích hợp Hình 4.14: Giao diện sau cấu hình Sau lắp đặt toàn webpart vào hệ thống có ứng dụng tích hợp đầy đủ: Hình 4.15: Giao diện ứng dụng tích hợp nghiệp vụ 68 Với cách thực này, webpart phát triển từ bên thứ 3, chức xây dựng đựa webpart hiểu chức “plug and play” 4.4.3 Giải pháp xây dựng ứng dụng dự phòng, phòng chống thảm họa Một vấn đề quan trọng hệ thống tập trung đảm bảo hiệu khả sẵn sàng cao hệ thống lẽ hệ thống bị dừng hoạt động toàn người sử dụng tiếp tục công việc Đặc biệt ứng dụng tích hợp nghiệp vụ hải quan, hệ thống dừng hoạt động toàn hoạt động xuất nhập Cục Hải quan TP Hồ Chí Minh buộc phải chuyển sang làm thủ công, với lưu lượng khoảng 7000 tờ khai thông quan ngày việc thực Mô hình hệ thống dự phòng xây dựng hình đây: TICH HOP TICH HOP TICHHOP-WEB01 TICHHOP-WEB02 HCM-ITA01 5.34 5.35 5.30 TICHHOP-APP02 5.33 HCM-BKCIS02 HCM-BKCIS06 5.44 5.48 TICHHOP-APP01 5.32 HCM-BKCIS03 5.45 HCM-BKCIS05 5.47 HCM-BKCIS04 5.46 Hình 4.16: Mô hình hệ thống dự phòng ứng dụng tích hợp nghiệp vụ Qua đó, hai máy chủ sở liệu tích hợp thiết lập chế replication online (theo chế độ gần thời gian thực) theo hai chiều cho phép online lúc Bốn máy chủ ứng dụng tích hợp nghiệp vụ online lúc phục vụ cho việc cân tải Ngoài dự phòng đường truyền thiết lập sau:  Phương án hệ thống phần cứng: Ngoài hệ thống đường truyền cáp quang từ Cục xuống Chi cục thường xuyên sử dụng, chi cục thiết lập them từ đến hệ thống đường truyền dự phòng (từ nhà cung cấp khác nhau) để sử dụng hệ thống đường truyền gặp cố  Phương án hệ thống phần mềm: Trường hợp tất hệ thống đường truyền bị cố, Chi cục phải sử dụng Phần mềm Mất điện để thực công việc thủ công (mở tờ khai qua số tiếp nhận, mở tờ khai 69 thủ công, kiểm tra hồ sơ, phân luồng …) Sau hệ thống đường truyền khôi phục, Chi cục sử dụng hệ thống Tích hợp nhập liệu từ phần mềm Mất điện vào hệ thống Tích hợp, sau xử lý hồ sơ theo quy trình thông thường 4.5 Kết thực Theo kế hoạch toán thử nghiệm triển khai năm, nhiên thực tế kéo dài đến bốn năm hoàn thành khó khăn số vấn đề kỹ thuật người Nguyên nhân chủ yếu người dùng chưa sẵn sàng cho hệ thống tập trung lý sau:  Dữ liệu chi cục bị thay đổi dẫn đến số ý kiến phản đối việc triển khai hệ thống khó khăn cho việc tích hợp liệu  Người sử dụng lớn tuổi ngại sử dụng chương trình quen với cách làm việc cũ  Việc tập trung liệu trung tâm liệu, dẫn đến cán công nghệ thông tin chi cục bị cắt giảm công việc quyền hạn  Dữ liệu tập trung làm phát nhiều sai sót trình vận hành hệ thống chi cục Sau bốn năm triển khai, hệ thống vào hoạt động tốt, ổn định đến thời điểm Đây mô hình thí điểm kiểm nghiệm, chứng minh tính khả thi cho việc triển khai tích hợp liệu toàn quốc Tổng cục Hải quan để phục vụ dự án VNACCS-VCIS (Phát triển thử nghiệm hai tháng Tokyo-Nhật Bản hai năm Việt Nam mà tác giả làm quản trị dự án) phủ Nhật Bản tài trợ sau phụ vụ cho việc thông quan tờ khai tập trung trung tâm liệu Tổng cục Hải quan 4.6 Đánh giá kết Giải pháp xây dựng dựa công nghệ (vào thời điểm triển khai) Microsoft Giải pháp giải trọng vẹn vấn đề quan trọng nóng hệ thống thông tin ngày Thông qua việc triển khai giải pháp tích hợp môi trường thực tế, tác giả học nhiều kinh nghiệm kiểm nghiệm thực tế công nghệ Microsoft công bố lĩnh vực tích hợp liệu Hệ thống triển khai giúp Hải quan phát nhiều sai sót trình vận hành trước có hệ thống tập trung, chứng minh tính khả thi ưu điểm việc quản lý liệu tập trung mở đường cho việc tập trung liệu toàn quốc trung tâm liệu Tổng cục Hải quan Những giải pháp học kinh nghiệm có từ việc triển khai thử nghiệm hoàn toàn áp dụng cho toán khác không ngành hải quan mà ngành khác, đơn vị khác tương lai 70 KẾT LUẬN Tích hợp liệu vấn đề trội việc ứng dụng công nghệ thông tin lĩnh vực quản lý quan nhà nước doanh nghiệp lớn Các hệ thống tích hợp phát triển để giúp tổ chức triển khai mở rộng ứng dụng nhanh chóng đồng thời giảm thiểu rủi ro chi phí Với thay đổi nhanh chóng nhiều thị trường thúc đẩy nhờ cải tiến, số hóa tính di động, nhu cầu tốc độ hội nhập hội tụ lớn hết Ngoài ra, hệ thống công nghệ thông tin thứ trải qua vấn đề hội tụ Ngành công nghiệp viễn thông CNTT xích lại gần dịch vụ thoại liệu có xu hướng sử dụng từ thiết bị Đóng góp đề tài Với việc vận dụng kiến thức, hiểu biết, phương pháp nghiên cứu khoa học, luận văn hoàn thành nội dung sau: - Thứ nhất, nghiên cứu trình bày tổng quát kỹ thuật, công nghệ sử dụng lĩnh vực tích hợp liệu - Thứ hai, luận văn trình bày chi tiết giải pháp tích hợp liệu công nghệ Microsoft SQL Server Replication - Thứ ba, ứng dụng giải pháp Microsoft SQL Server Replication công nghệ ETL để tập trung liệu 19 chi cục hải quan lên trung tâm liệu cục hải quan TP Hồ Chí Minh phục vụ xây dựng “Chƣơng trình tích hợp nghiệp vụ Hải Quan” đồng thời ứng dụng công nghệ để đề xuất kiểm nghiệm thành công hệ thống dự phòng, phòng chống thảm họa quan trọng hệ thống tập trung - Thứ tƣ, đề xuất thử nghiệm ứng dụng có khả tích hợp nhiều chức xây dựng từ nhiều nhà cung cấp khác với tính “plug and play” dựa tảng Microsoft Sharepoint Portal Hạn chế đề tài Do phạm vi toán xây dựng sở liệu tích hợp để phục vụ cho xử lý nghiệp vụ (OTLP) nên phần khai thác thông tin chưa tách làm kho liệu phục vụ tra cứu phân tích dẫn đến tốc độ truy vấn chưa tối ưu, lãnh đạo cần phải kết hợp nhiều báo cáo để có thông tin hữu ích việc định điều hành đơn vị Hƣớng nghiên cứu Qua việc xây dựng giải pháp tích hợp liệu cho Cục CNTT Hải quan, tác giả có đánh giá trực quan hệ thống vận hành thực tế đúc kết kinh nghiệm sau Những kinh nghiệm đúc kết học bổ ích nghiên cứu sâu giải pháp tích hợp phục vụ cho việc xây dựng liệu tích hợp toàn ngành 71 Hải quan trung tâm liệu Tổng cục Hải quan toán tích hợp cho quan tổ chức khác Tuy luận văn nhiều hạn chế, tác giả hy vọng đem lại thông tin hữu ích tài liệu tham khảo dành cho quan tâm tới lĩnh vực tích hợp liệu Tác giả mong nhận đóng góp ý kiến, nhận xét, trao đổi để nội dung nghiên cứu hoàn thiện 72 TÀI LIỆU THAM KHẢO Các trang Web [1] http://datawarehouse4u.info/OLTP-vs-OLAP.html [2] http://docs.oracle.com/cd/B10500_01/server.920/a96520/concept.htm [3] https://msdn.microsoft.com/en-us/library/ms151198.aspx Tiếng Việt [4] Hà Quang Thụy, Bài giảng môn học kho liệu khai phá liệu, ĐHCN Tiếng Anh [5] Sebastian Meine, Ph.D (2013), Fundamentals of SQL Server 2012 Replication, [6] Sujoy P Paul(2009), Pro SQL Server 2008 Replication, Apress Stairways [7] James Fenner, Enterprise Application Integration Techniques [8] Petr Kremen and Bogdan Kostov(2014), Data Integration lecture [9] Patrick Ziegler and Klaus R Dittrich(2007), “Data Integration-Problems, Approaches, and Perspectives”, Database Technology Research Group [10] Colin White, BI Research(2005), Data Integration: Using ETL, EAI, and EII Tools to Create an Integrated Enterprise, TDWI [11] William H Inmon (Third Edition), Building the Data Warehouse, John Wiley & Sons, Inc [12] Tom Wu, EII -ETL -EAI What, Why, and How, IBM Software Group 73 [...]... triển khai thực tế ứng dụng 12 CHƢƠNG I GIỚI THIỆU CHUNG 1.1 Tích hợp dữ liệu 1.1.1 Khái niệm về tích hợp dữ liệu Tích hợp dữ liệu là một trong những lĩnh vực nghiên cứu của cơ sở dữ liệu, ngay từ khi cơ sở dữ liệu được đưa vào sử dụng cho các ứng dụng phục vụ cho nhu cầu quản lý kinh doanh của các doanh nghiệp thì vấn đề tích hợp dữ liệu đã được nghiên cứu Mục đích của việc tích hợp các hệ thống thông... các giải pháp tích hợp dữ liệu, qua các nguồn Internet và qua các chuyên gia công nghệ 11  Nghiên cứu tìm hiểu các giải pháp tích hợp dữ liệu tiên tiến hiện nay trên thế giới để đưa ra các khuyến nghị áp dụng  Cài đặt và triển khai thử nghiệm một giải pháp tích hợp dữ liệu từ đó có những đánh giá cụ thể hơn 7 Bố cục của luận văn Luận văn Nghiên cứu một số giải pháp tích hợp dữ liệu, ứng dụng xây dựng. .. 2.1.1 Kỹ thuật hợp nhất dữ liệu Kỹ thuật hợp nhất dữ liệu là kỹ thuật lấy dữ liệu từ nhiều nguồn khác nhau và kết hợp chúng lại thành một cơ sở dữ liệu Cơ sở dữ liệu này có thể được sử dụng để phục vụ việc báo cáo, phân tích như trong kho dữ liệu (data warehouse) hoặc có thể được sử dụng như một cơ sở dữ liệu xử lý giao dịch trực tuyến Hình 2.1: Kỹ thuật hợp nhất dữ liệu Do phải kết hợp dữ liệu từ nhiều... xây dựng cơ sở dữ liệu nghiệp vụ tập trung trong ngành hải quan nhằm tìm hiểu, phân tích, so sánh các kỹ thuật, các công nghệ tích hợp dữ liệu tiên tiến hiện nay trên cơ sở đó đi sâu nghiên cứu, làm chủ công nghệ để triển khai ứng dụng trong hoàn cảnh thực tế Việt Nam Bố cục luận văn gồm 4 chương: Chƣơng I: Giới thiệu tổng quan về tích hợp dữ liệu và mục đích của tích hợp dữ liệu Thực trạng dữ liệu phân... nguồn: Dữ liệu nguồn có cần chuyển đổi sang dữ liệu khác hay không  Yêu cầu về sử dụng dữ liệu: Thời gian làm mới dữ liệu, mục đích sử dụng dữ liệu (đọc ghi, chỉ đọc)  Kỹ thuật và công nghệ tích hợp dữ liệu: Các kỹ thuật, công nghệ được đóng gói trong giải pháp tích hợp  Quy mô dữ liệu: Số lượng nguồn dữ liệu cần tích hợp, kích thước của từng nguồn dữ liệu, tần xuất thay đổi trên các nguồn dữ liệu. .. vấn đề tích hợp dữ liệu:  Phần cứng và hệ điều hành chạy ứng dụng  Hệ quản trị cơ sở dữ liệu  Mô hình dữ liệu, lược đồ dữ liệu và ngữ nghĩa dữ liệu  Phần mềm lớp giữa  Giao diện người dùng  Các rằng buộc toàn vẹn dữ liệu 1.1.4 Vai trò của tích hợp dữ liệu trong các tổ chức Tích hợp dữ liệu có vai trò đặc biệt quan trọng trong các tổ chức và doanh nghiệp Nó cho phép dữ liệu được chia sẻ một cách... chọn giải pháp tích hợp dữ liệu Một giải pháp tích hợp dữ liệu sẽ bao gồm một nền tảng ứng dụng tích hợp (Integrated application framework) cho phép các ứng dụng tích hợp được xây dựng trên nó, các kỹ thuật, các công nghệ, các sản phẩm cho phép việc cung cấp một khung nhìn thống nhất và nhất quán về dữ liệu của tổ chức Có thể mô tả các thành phần trong một giải pháp tích hợp dữ liệu như hình vẽ dưới... phần của một ứng dụng tích hợp 16 Các ứng dụng là các giải pháp được xây dựng dựa theo các yêu cầu của các tổ chức, doanh nghiệp và được phát triển bởi nhà cung cấp trong đó có sử dụng một hay nhiều sản phẩm tích hợp dữ liệu Các sản phẩm tích hợp dữ liệu là các giải pháp thương mại được đóng gói trong đó có hỗ trợ một hoặc nhiều các kỹ thuật, công nghệ tích hợp dữ liệu Các công nghệ thực thi một hay... kết hợp dữ liệu) một số lượng lớn dữ liệu từ các cơ sở dữ liệu nguồn sang cơ sở dữ liệu đích Tuy nhiên, chúng lại có nhược điểm là lãng phí các tài nguyên sử dụng dùng để tính toán, và lưu trữ lại dữ liệu đã được hợp nhất Kỹ thuật hợp nhất dữ liệu là kỹ thuật chính được sử dụng trong việc xây dựng kho dữ liệu Trong môi trường của kho dữ liệu công nghệ ETL (extract, transform, and load) là một trong những... phép kết xuất dữ liệu từ cơ sở dữ liệu nguồn, chuyển đổi dữ liệu đó thành dữ liệu phù hợp với yêu cầu nghiệp vụ từ đó đưa dữ liệu này vào cơ sở dữ liệu gốc Dữ liệu có thể được kết xuất theo cơ chế pull và push Chế độ pull thường được sử dụng trong các ứng dụng chạy ngầm (batch application) và thực hiện theo thời gian đã ấn định trước Chế độ push thường được sử dụng trong các ứng dụng tích hợp trực tuyến ... CƢỜNG NGHIÊN CỨU MỘT SỐ GIẢI PHÁP TÍCH HỢP DỮ LIỆU, ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU NGHIỆP VỤ TẬP TRUNG TRONG NGÀNH HẢI QUAN Ngành: Công nghệ Thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04... Nghiên cứu số giải pháp tích hợp liệu, ứng dụng xây dựng sở liệu nghiệp vụ tập trung ngành hải quan nhằm tìm hiểu, phân tích, so sánh kỹ thuật, công nghệ tích hợp liệu tiên tiến sở sâu nghiên cứu, ... triển khai ứng dụng Tích hợp nghiệp vụ ngành hải quan Phƣơng pháp nghiên cứu Đề tài tiếp cận nghiên cứu theo phương pháp đây:  Thu thập tài liệu kinh nghiệm quốc tế giải pháp tích hợp liệu, qua