HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOUANETHEVA PHOLSENA NGHIÊN CỨU CÁC GIẢI PHÁP CÔNG NGHỆ PHÂN TÁN DỮ LIỆU VÀ ỨNG DỤNG QUẢN LÝ NHÂN SỰ PHÂN TÁN TRONG CƠ QUAN NHÀ NƯỚC LÀO Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TÓM TẮT LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học: TS PHẠM THẾ QUẾ HÀ NỘI – 2013 1 MỞ ĐẦU Ở Lào, sự liên kết xã hội ngày càng trở nên chặt chẽ hơn, sự phát triển của mỗi ngành không thể thiếu thông tin về các ngành khác. Hơn nữa sự phát triển của các tổ chức xã hội không còn tập trung trong phạm vi thành phố, hoặc một số tỉnh thành, mà phân bố trên diện rộng, về mặt địa lý trải dài trên nhiều quốc gia trên thế giới. Thực tế các hệ thống tập trung đã bộc lộ những nhược điểm như việc tăng khả năng lưu trữ thông tin là khó khăn và bị giới hạn bởi khả năng tối đa của một máy cụ thể, khả năng phục vụ không đảm bảo khi số lượng người dùng tăng lên đáng kể. Cơ sở dữ liệu bị ngưng trệ phục vụ khi có sự cố xảy ra, có nghĩa là độ sẵn sàng phục vụ của cơ sở dữ liệu không còn nữa, khả năng tính toán của các máy tính đơn lẻ đang triến dần tới giới hạn vật lý, tính đa quốc gia của các tổ chức kinh tế xã hội làm cho tổ chức dữ liệu tập trung đang gặp nhiều khó khăn trong lưu trữ cũng như xử lý. Những nhược điểm này đã được khắc phục trong các hệ cơ sở dữ liệu phân tán, vì việc quản lý thông tin ở khắp mọi nơi là một yêu cầu cấp thiết đối với nhà quản lý cơ sở dữ liệu. Ví dụ như bộ máy quản lý nhà nước sẽ quản lý dữ liệu nằm ở các tỉnh, trong ngân hàng khi gửi tiền một nơi sẽ rút tiền ở các nơi khác, trong kinh doanh có thể áp dụng vào việc quản lý các doanh nghiệp về doanh số và doanh thu. Những sản phẩm của các h ệ thống phân tán đã xuất hiện nhiều trên thị trường và từng bước chứng minh tính ưu việt của nó hơn hẳn các hệ 2 thống tập trung truyền thống. Trên thực tế, các hệ thống phân tán đã thay thế dần các hệ thống tập trung. Nhu cầu thu thập, lưu trữ, xử lý và trao đổi thông tin của các hoạt động xã hội và kinh tế ngày càng cao. Yêu cầu tổ chức các hệ xử lý phân tán là yêu cầu bức thiết. Vậy, để hiểu thêm về vấn đề này em chọn đề tài “Nghiên cứu các giải pháp công nghệ phân tán dữ liệu và ứng dụng quản lý nhân sự phân tán trong cơ quan Nhà nước Lào”. Cấu trúc của luận văn được tổ chức thành 3 chương: • Chương 1, tôi trình bày các vấn đề liên quan đến cơ sở dữ liệu phân tán, đặc biệt làm rõ ưu và nhược điểm của cơ sở dữ liệu phân tán, các mô hình có thể triển khai hệ thống phân tán, các loại truy xuất, các mức trong suốt của cơ sở dữ liệu phân tán. • Chương 2, trình bày các chiến lược phân tán, các phương pháp thiết kế, các vấn đề thiết kế, các phương pháp phân mảnh, phân bố cho các mảnh. • Chương 3, trình bày về bài toán, các mô hình và các yêu cầu quản lý của hệ thống quản lý nhân sự trong Quốc Hội nước Cộng hòa Dân chủ Nhân dân Lào ; trình bày quy trình thiết kế cơ sở dữ liệu phân tán và triển khai thử nghiệm. 3 CHƯƠNG 1 TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1 Khái niệm và định nghĩa cơ sở dữ liệu phân tán 1.1.1 Mở đầu Hệ cơ sở dữ liệu phân tán được xây dựng dựa trên sự hợp nhất của hai hướng tiếp cận quá trình xử lý dữ liệu, là lý thuyết các hệ CSDL và công nghệ mạng máy tính. Cung cấp đa dạng các loại hình dịch vụ và các dịch vụ đa phương tiện cho người sử dụng. Kết nối các máy tính thành mạng với mục tiêu chia sẻ tài nguyên thông tin chung cho nhiều người cùng sử dụng, có hiệu quả tài nguyên thông tin, nâng cao khả năng tích hợp và trao đổi các loại dữ liệu giữa các thành phần trên mạng. 1.1.2 Khái niệm xử lý phân tán Có hai khái niệm xử lý phân tán liên quan với nhau. • Khái niệm việc tính toán trên Client/Server. Ứng dụng được chia ra thành hai phần, Server và Client và được vận hành ở hai nơi. Dữ liệu được phép truy nhập trực tiếp và xử lý dữ liệu trên Server và Client. • Khái niệm việc thực hiện các giao dịch được xử lý phức tạp trên nhiều hệ thống. Không gian nhớ và bộ xử lý của nhiều máy cùng chia nhau giao dịch xử lý. Máy trung tâm sẽ giám sát và quản lý các tiến trình. Hàng nghìn máy cùng x ử lý một giao dịch trên mạng Internet. 4 1.2.2 Giảm chi phí truyền thông 1.2.3 Hiệu quả công việc Sự tồn tại một số hệ thống xử lý điạ phương đạt được thông quan việc xử lý song song. Có thuận lợi trong việc phân tích dữ liệu phản ánh điều kiện phụ thuộc của các ứng dụng, cực đại hoá tính địa phương của ứng dụng. Trao đổi thông tin qua lại giữa các bộ xử lý có chi phí cức tiểu. Công việc xử lý được phân chia cho các bộ xử lý khác nhau và tránh được các tắc nghẽn thông tin trên mạng hoặc các dịch vụ chung của toàn hệ thống. 1.2.4 Độ tin cậy và tính sẵn sàng Cho phép truy nhập có độ tin cậy và tính sẵn sàng cao hơn so với truy nhập tập trung. Đòi hỏi kỹ thuật phức tạp. Lỗi xuất hiện trong một cơ sở dữ liệu phân tán có thể xảy ra nhiều hơn, vì số các thành phần cấu thành lớn hơn, nhưng ảnh hưởng của lỗi chỉ ảnh hưởng tới các ứng dụng sử dụng các vị trí-site lỗi. Sự hỏng hóc của toàn hệ thống ít khi xảy ra. Công nghệ cơ sở dữ liệu phân tán là sự kết hợp giữa hai vấn đề phân tán và hợp nhất: • Phân tán: phân tán dữ liệu trên các site của mạng • Hợp nhất: hợp nhất về mặt logic các dữ liệu phân tán sao cho chúng xuất hiện với người sử dụng giống như với cơ sở dữ liệu đơn lẻ duy nhất. Công nghệ cơ sở dữ liệu phân tán được phát triển dủa trên s ự phát triển của kỹ thuật tính toán, kỹ thuật truyền thông và mạng máy tính. 5 1.3 Đặc trưng cơ bản của cơ sở dữ liệu phân tán Phần này so sánh cơ sở dữ liệu phân tán với cơ sở dữ liệu tập trung ở một số đặc điểm: điều khiển tập trung, sự độc lập dữ liệu, sự giảm dư thừa dữ liệu, các cấu trúc vật lý phức tạp để truy xuất hiệu quả. 1.3.1 Điểu khiển tập trung Toàn bộ dữ liệu được tập trung lại nhằm để tránh sự dư thừa dữ liệu, đảm bảo được tính độc lập của dữ liệu. Dữ liệu được quản lý tập trung bởi người quản trị cơ sở dữ liệu. Chức năng cơ bản là bảo đảm sự an toàn của dữ liệu. Vấn đề điều khiển tập trung không được nhấn mạnh. Sự điều khiển được thực hiện theo một cấu trúc điều khiển phân cấp bao gồm hai loại người quản trị cơ sở dữ liệu: • Người quản trị cơ sở dữ liệu toàn cục. • Người quản trị cơ sở dữ liệu địa phương-cục bộ. Người quản trị cơ sở dữ liệu cục bộ cần phải có những quyền độc lập riêng về cơ sở dữ liệu cục bộ của mình mà người quản trị cơ sở dữ liệu toàn cục hoàn toàn không có những quyền này. Đặc điểm này được gọi là sự độc lập vị trí. Từ sự độc lập vị trí hoàn toàn đến sự điều khiển tập trung hoàn toàn. 1.3.2 Độc lập dữ liệu Là tổ chức lưu trữ dữ liệu là trong suốt đối với người lập trình ứng dụng. Ưu điểm là các chương trình không bị ảnh hưởng bởi những thay đổi về tổ chức lưu trữ vật lý của dữ liệu. Tính đúng đắn của các chương trình ứng dụng không bị ảnh hưởng bởi sự di chuyển dữ liệu từ một vị trí này đến một vị trí khác. 6 1.3.3 Giảm dư thừa dữ liệu Các cơ sở dữ liệu phân tán được dư thừa dữ liệu vì: • Làm tăng tính cục bộ của các ứng dụng. Các ứng dụng cục bộ được thực hiện nhanh hơn, không cần phải truy xuất dữ liệu từ xa. • Làm tăng tính sẵn sàng của hệ thống ứng dụng, nếu dữ liệu tại vị trí bị hỏng được nhân bản tại các vị trí khác. 1.3.4 Độ tin cậy qua các giao dịch phân tán Hệ quản trị cơ sở dữ liệu phân tán cải thiện độ tin cậy qua các giao dịch phân tán, vì các thành phần được nhân bản hạn chế được các vị trí lỗi riêng lẻ. Lỗi của trạm riêng, hoặc lỗi của truyền thông làm cho một hoặc nhiều trạm mất liên lạc, không đủ để phá vỡ toàn bộ hệ thống. Nếu biết cách hỗ trợ cho các giao dịch phân tán và các giao thức ứng dụng, thì người sử dụng vẫn có thể truy nhập được tới phần khác trong cơ sở dữ liệu phân tán. 1.3.5 Cải tiến hiệu năng Được cải tiến dựa vào hai điểm: a) Hệ quản trị cơ sở dữ liệu phân tán có khả năng phân mảnh cơ sở dữ liệu khái niệm và cho phép cục bộ hoá dữ liệu. b) Tính song song của các hệ thống phân tán có thể được khai thác để thực hiện song song liên truy vấn và nội bộ. 1.3.6 Dễ dàng mở rộng hệ thống Th ực hiện bằng cách tăng khả năng lưu trữ và xử lý của mạng. Khả năng mở rộng hệ thống dễ dàng mang tính kinh tế, chi phí giảm. 7 1.3.7 Tính toàn vẹn, phục hồi và điều khiển tương tranh Các phương pháp cung cấp các giao tác. Mỗi một giao tác là một nguyên tố. Giao tác nguyên tố là phương tiện để đạt được tính toàn vẹn dữ liệu. Sự phục hồi liên quan đến vấn đề đảm bảo tính nguyên tố của giao tác khi có sự sự cố về mặt kỹ thuật. Điều khiển tương tranh nhằm đảm bảo tính nguyên tố của giao tác khi xuất hiện sự tương tranh giao tác. 1.4 Các mô hình cơ sở dữ liệu phân tán Mọi ứng dụng CSDL gồm 3 phần:  Thành phần xử lý ứng dụng  Thành phần phần mềm CSDL  CSDL (database) 1.4.1 Mô hình CSDL Client/Server Cơ sở dữ liệu được cài đặt trên Server, phần mềm cơ sở dữ liệu trên Server sẽ truy nhập vào cơ sở dữ liệu và xử lý theo yêu cầu và gửi trả kết quả cho máy Client. Hình 1.1 Mô hình Client-Server Databas Tower System Application Network Application Application 8  Server – điều khiển, lưu trữ CSDL, xử lý các truy vấn và quản lý việc khai thác tài nguyên trên mạng của các Clients.  Client – Khai thác tài nguyên qua Server Mô hình CSDL client/server giống với mô hình CSDL file-server nhưng trên thực tề mô hình CSDL Client/Server có nhiều thuận lợi hơn mô hình file-server. 1.4.2 Mô hình CSDL phân tán -Hai mô hình CSDL File-Server và Client/Server:dữ liệu và chương trình ứng dụng truy nhập dữ liệu nằm trên 2 bộ xử lý khác nhau. -Mô hình CSDL phân tán:CSDL ở trên nhiều máy khác nhau. Hình 1.3 Distributed database model 9 CHƯƠNG II KỸ THUẬT PHÂN TÁN DỮ LIỆU 2.1 Khái niệm và sự cần thiết phân mảnh dữ liêụ Phân mảnh là chia CSDL thành các mảnh dữ liệu nhỏ hơn và xử lý mỗi mảnh nhận được như một CSDL độc lập, chỉ được thực hiện khi nó tăng hiệu quả, và có độ tin cậy. Có 2 kiểu phân mảnh: - 1. Phân mảnh ngang: CSDL được phân hoạch thành các CSDL con, mỗi CSDL con là một tập hợp các bộ thỏa mãn một số tính chất nào đó. - 2. Phân mảnh dọc: chia CSDL thành các CSDL con gồm một tập hợp con các thuộc tính cùng với các giá trị của chúng có trong tập các thuộc tính của CSDL đã cho. Khi CSDL được phân mảnh, phải dịch câu truy vấn toàn cục thành nhiều câu truy vấn theo các mảnh. 2.2 Các quy tắc phân mảnh Các nguyên tắc để đảm bảo cơ sở dữ liệu khi phân mảnh sẽ đảm bảo tính không thay đổi về ngữ nghĩa, toàn vẹn dữ liệu và đảm bảo tính độc lập dữ liệu. Có 3 qui tắc phải tuân thủ phân mảnh cơ sở dữ liệu quan hệ: 2.2.1 Tính đầy đủ 2.2.2 Tính phục hồi 2.2.3 Tính tách bi ệt [...]... hiểu và nghiên cứu về cơ sở dữ liệu phân tán Đặc biệt là lý thuyết thiết 25 kế cơ sở dữ liệu phân tán giúp người sử dụng có thể áp dụng để phát triển các hệ thống lớn trong môi trường phân tán và phạm vi sử dụng rộng Về mặt ứng dụng: áp dụng kỹ thuật tối ưu hóa phân tán vào thiết kế hệ thống quản lý nhân viên tại văn phòng Quốc hội Cộng hòa Dân chủ Nhân dân Lào Hệ thống được thiết kế theo hướng phân tán. .. Quốc hội nước Cộng hòa Dân chủ Nhân dân Lào Để áp dụng những lý thuyết đã nghiên cứu và áp dụng vào việc Tin học hoá quản lý nhân sự của Quốc hội Lào, tôi chọn hướng phát triển quản lý nhân sự Hệ thống quản lý nhân sự trong Văn phòng Quốc hội Lào sẽ giúp người quản lý có chức năng xem, tìm kiếm, tra cứu những thông tin của các nhân viên và báo cáo lại cho ông trưởng ban một cách nhanh chóng 18 và thuận... tán dữ liệu, làm cho người sử dụng cảm giác như hệ thống dữ liệu tập trung, đã ứng dụng được khả năng quản trị dữ liệu phân tán của Microsoft SQL Server Microsoft SQL Server là hệ quản trị có khả năng quản trị cơ sở dữ liệu tốt và dễ dùng, có nhiều chức năng hỗ trợ trong phân tán như đồng bộ dữ liệu tại các Server Nghiên cứu của đề tài góp phần giải quyết được vấn đề rất lớn trong việc quản lý nhân sự. .. Nhân Viên) - tbPROVINCE (Bảng Tỉnh) 20 3.1.4 Mẫu quan hệ giữa các bảng Hình 3.3 Quan hệ các bảng trong cơ sở dữ liệu 3.2 Thiết kế phân tán dữ liệu bài toán Quản Lý Nhân Sự của Quốc hội Cộng hòa Dân chủ Nhân dân Lào 3.2.1 Kỹ thuật thiết kế Việc thiết kế các hệ cơ sở dữ liệu phân tán có hai chiến lược thiết kế: • • Thiết kế phân tán dữ liệu theo mô hình từ trên xuống (Top-Down) Thiết kế phân tán dữ liệu. .. Up) Luận văn đã chọn việc thiết kế phân tán dữ liệu từ trên xuống vì nó bắt đầu việc thiết kế sơ đồ tổng thể, thiết kế phân mảnh cơ sở dữ liệu, cấp phát phân tán các mảnh cho các địa phương , xác định các yêu cầu ứng dụng của người sử dụng Người sử dụng khác nhau có khung nhìn dữ liệu khác nhau 21 3.2.2 Quy trình thiết kế dữ liệu phân tán Hình 3.4 Quá trình thiết dữ liệu phân tán Quản Lý Nhân Sự của... có yêu cầu tính tất cả tổng số đại biểu quốc hội là dân tộc "Lao Xung" có trình độ đại học và có tuổi trên 40 tuổi Hinh 3.7 Mô hình xử lý phân tán hệ thông quản lý nhân sự của Quốc hội Cộng hòa Dân chủ Nhân dân Lào 24 KẾT LUẬN Với sự phát triển mạnh mẽ của hệ thống phân tán và internet thì việc nghiên cứu cơ sở dữ liệu phân tán và thiết kế hệ thống phân tán cho hệ thống lớn có phạm vi sử dụng rộng là... chủ Nhân dân Lào Do hệ thống được thiết kế phân tán dựa vào tần suất sử dụng và khai thác dữ liệu nên làm tăng được tốc độ xử lý và giảm nghẽn mạng khi có nhiều đối tượng khai thác hệ thống Để hoàn thành đề tài thì luận văn phát triển theo hướng sau, về mặt lý thuyết cần nghiên cứu thêm ủy thác phân tán, điều khiển đồng thời phân tán theo nhãn thời gian, tối ưu hóa vấn tin trong cơ sở dữ liệu phân tán. .. ưu hóa vấn tin trong cơ sở dữ liệu phân tán tán, điều khiển tương tranh trong cơ sở dữ liệu phân tán Nghiên cứu sâu hơn về Microsoft SQL Server để khai thác triệt để khả năng quản trị cơ sở dữ liệu phân tán của Microsoft SQL Server đảm bảo cho dữ liệu được bảo mật, an toàn và tính đồng bộ dữ liệu của hệ thống giải quyết được tranh chấp dữ liệu Về mặt ứng dụng thì hệ 26 thống triển khai được trên phạm... phí bộ xử lý đến mức thấp nhất mà vẫn đảm bảo được kết quả tương đương Đây là công cụ được các hệ thống thông tin lớn chọn làm môi trường cài đặt cơ sở dữ liệu và phát triển ứng dụng với khả năng quản trị cơ sở dữ liệu phân tán rất tốt phù hợp với các hệ thống phân cấp, phân tán về vị trí địa lý cũng như khả năng về an toàn dữ liệu cho hệ thống Luận văn là cơ sở lý thuyết vững chắc để người sử dụng muốn... cao trên một cơ sở dữ liệu phân tán thành một giải pháp thực hiện hiệu quả được xác định dưới dạng ngôn ngữ mức thấp trên các cơ sở dữ liệu cục bộ Ngôn ngữ mức cao có thể hiểu là các phép tính quan hệ, các ngôn ngữ mức thấp là sự mở rộng của đại số quan hệ và các thao tác truyền dữ liệu giữa các vị trí dữ liệu 2.6.3 Phân rã truy vấn Có chức năng ánh xạ câu truy vấn phân tán ở dạng phép tính quan hệ thành . HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOUANETHEVA PHOLSENA NGHIÊN CỨU CÁC GIẢI PHÁP CÔNG NGHỆ PHÂN TÁN DỮ LIỆU VÀ ỨNG DỤNG QUẢN LÝ NHÂN SỰ PHÂN TÁN TRONG CƠ QUAN NHÀ NƯỚC. phân tán là yêu cầu bức thiết. Vậy, để hiểu thêm về vấn đề này em chọn đề tài Nghiên cứu các giải pháp công nghệ phân tán dữ liệu và ứng dụng quản lý nhân sự phân tán trong cơ quan Nhà nước Lào HÌNH DỮ LIỆU PHÂN TÁN CHO BÀI TOÁN QUẢN LÝ NHÂN SỰ Ở LÀO 3.1 Bài toán quản lý nhân sự của Quốc hội nước Cộng hòa Dân chủ Nhân dân Lào Để áp dụng những lý thuyết đã nghiên cứu và áp dụng vào