ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN  CAO HỌC KHÓA 8 BÀI THU HOẠCH MÔN HỌC TÍNH TOÁN LƯỚI ĐỀ TÀI ÁP DỤNG MÔ HÌNH TÍNH TOÁN LƯỚI TRONG TRUY VẤN CƠ SỞ DỮ LIỆU Giảng viên hướng dẫn: PGS.TS Nguyễn Phi Khứ Học viên thực hiện: CH1301031 - Nguyễn Thành Phương Lớp: CH08 TP. Hồ Chí Minh, tháng 6 năm 2014 GVHD: PGS.TS Nguyễn Phi Khứ HV: Nguyễn Thành Phương MỤC LỤC CHƯƠNG 1: TỔNG QUAN 1 1.1 Đặt vấn đề 1 1.2 Mục tiêu đề tài 1 CHƯƠNG 2: TÍNH TOÁN LƯỚI 2 2.1 Khái niệm grid 2 2.1.1 Khái niệm 2 2.1.2 Tài nguyên của grid 3 2.2 Phân loại grid và đồ hình grid 5 2.2.1 Phân loại grid 5 2.2.2 Đồ hình grid - grid topology 6 2.3 Các thành phần cơ bản của một hệ thống cơ sở hạ tầng grid 11 2.3.1 Portal/Giao diện người dùng 12 2.3.2 Bảo mật 12 2.3.3 Broker 12 2.3.4 Bộ lập lịch (scheduler) 12 2.3.5 Thành phần quản lý dữ liệu (Data management) 13 2.3.6 Thành phần quản lý công việc và tài nguyên 13 2.3.7 Các thành phần khác 13 2.4 Kiến trúc grid 14 2.4.1 Bản chất Kiến trúc Grid 14 2.4.2 Chi tiết Kiến trúc Grid tổng quát 15 CHƯƠNG 3: CƠ SỞ DỮ LIỆU VÀ TÍNH TOÁN LƯỚI 25 3.1 Tính toán lưới và bài toán quản lý cơ sở dữ liệu 25 3.2 Thiết kế cơ sở dữ liệu trong tính toán lưới 26 3.2.1 Các kiểu phân mảnh 27 3.3 Hiện thực mô hình tính toán lưới với cơ sở dữ liệu 28 3.3.1 Giới thiệu mô hình 29 3.3.2 Các ưu điểm 30 3.3.3 Chạy thử và kết quả 30 CHƯƠNG 4: KẾT LUẬN 34 5.1 Kết quả 34 5.2 Hạn chế 34 Trang 1 GVHD: PGS.TS Nguyễn Phi Khứ HV: Nguyễn Thành Phương CHƯƠNG 1: TỔNG QUAN 1.1 Đặt vấn đề Hiện nay các dịch vụ trên nên tảng internet ngày cảng phát triển mạnh, dẫn đến các nhu cầu tính toán ngày một cao. Một máy tính đơn, một nhóm các máy tính(cluster) hay thậm chí một siêu máy tính chuyên dụng cũng không thể đáp ứng được nhu cầu tính toán, lưu trữ ngày càng lớn nhưvậy. Một số bài toán cũng có thể được giải quyết nhưng rất khó khăn, với chi phí rất cao mà không phải quốc gia, tổ chức nào cũng thực hiện được (đặc biệt là các nước đang phát triển). Thực tế khiến người ta nảy sinh ý tưởng phải kết hợp các máy tính phân tán khắp nơi trên thếgiới trở thành một siêu máy tính khổng lồ nhằm tận dụng năng lực tính toán, lưu trữ hiện đang lãng phí để giải quyết các bài toán phức tạp trên đây với chi phí thấp hơn. Grid computing là lời giải để giải quyết vấn đề này. Việc nghiên cứu, áp dụng công nghệ Grid Computing đã xuất hiện từ lâu, nhưng hiện tại nó đang là một mối quan tâm lớn vì sự bùng nổ của nhu cầu tính toán, xử lý thông tin lớn như hiện tại. 1.2 Mục tiêu đề tài Tiểu luận này nhằm mục đích nghiên cứu các khải niệm tổng quát của grid computing và minh họa bằng hiện thực mô hình tính toán lưới trong truy vấn cơ sở dữ liệu. Trang 2 GVHD: PGS.TS Nguyễn Phi Khứ HV: Nguyễn Thành Phương CHƯƠNG 2: TÍNH TOÁN LƯỚI 2.1 Khái niệm grid 2.1.1 Khái niệm Một định nghĩa về Grid khá hoàn chỉnh được đưa ra bởi tiến sỹ Ian Foster như sau: “Grid là một loại hệ thống song song, phân tán cho phép chia sẻ, lựa chọn, kết hợp các tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác nhau dựa trên tính sẵn sàng, khả năng, chi phí của chúng và yêu cầu về chất lượng dịch vụ (QoS) của người dùng để giải quyết các bài toán, ứng dụng có quy mô lớn trong khoa học, kỹ thuật và thương mại. Từ đó hình thành nên các “tổ chức ảo” (Virtual Organization (VO)), các liên minh tạm thời giữa các tổ chức và tập đoàn, liên kết với nhau để chia sẻ tài nguyên và/hoặc kỹ năng nhằm đáp ứng tốt hơn các cơ hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán và dữ liệu, toàn bộ việc liên minh này dựa trên các mạng máy tính” Một hệ thống Grid có những đặc trưng sau:  Có sự kết hợp, chia sẻ các tài nguyên không được quản lý tập trung: Grid tích hợp và phối hợp tài nguyên, người dùng thuộc nhiều vùng quản lý khác nhau, nhiều đơn vị khác nhau trong một tổ chức, hay nhiều tổ chức khác nhau. Công nghệ Grid tập trung giải quyết các vấn đề về bảo mật, chính sách quản trị, chi phí, thành viên,… nảy sinh trong quá trình chia sẻ và sử dụng tài nguyên.  Sử dụng các giao diện và giao thức chuẩn, mang tính mở, đa dụng. Grid được xây dựng trên các giao thức và giao diện tổng quát, đa dụng để giải quyết các vấn đề cơ bản như chứng thực người dùng, phân quyền, tìm kiếm và truy xuất tài nguyên.  Đáp ứng yêu cầu cao về chất lượng dịch vụ. [...]... như tầng Fabric trong kiến trúc tổng quát Dưới đây là một số dự án Grid tương ứng với các tầng khác nhau GVHD: PGS.TS Nguyễn Phi Khứ HV: Nguyễn Thành Phương Trang 25 CHƯƠNG 3: CƠ SỞ DỮ LIỆU VÀ TÍNH TOÁN LƯỚI 3.1 Tính toán lưới và bài toán quản lý cơ sở dữ liệu Với việc phân bố ngày càng rộng rãi của các công ty, xí nghiệp, dữ liệu bài toán là rất lớn và không tập trung được Các cơ sở dữ liệu (CSDL) thuộc... mảnh cho phép giảm tối đa thời gian thực thi các ứng dụng chạy trên mảnh đó 3.3 Hiện thực mô hình tính toán lưới với cơ sở dữ liệu Tiểu luận hiện thực phân tán CSDl trong hệ quản trị CSDL MySQL, áp dụng mô hình phân mảnh, CSDL mẫu được phân tán trên 2 server độc lập Các truy vấn được thực hiện song song trên 2 server database và kết quả được tính toán tổng hợp lại bằng thư viện mã nguồn mở shard-query... SHARD1(ontime) So sánh truy vấn song song với shard query và truy vấn tuần tự Ta có thể nhận thấy với truy vấn song song, thời gian đươc rút ngắn đáng kể GVHD: PGS.TS Nguyễn Phi Khứ HV: Nguyễn Thành Phương Trang 34 CHƯƠNG 4: KẾT LUẬN 4.1 Kết quả tiểu luận  Tổng hợp được các kiến thức tổng quan về điện toán lưới và cơ sở dữ liệu phân tán  Hiện thực được hệ thống truy vấn các cơ sở dữ liệu phân tán 4.2... của cơ sở dữ liệu phân tán Các máy tính được nối với nhau bởi một mạng truy n thông GVHD: PGS.TS Nguyễn Phi Khứ HV: Nguyễn Thành Phương Trang 26 3.2 Thiết kế cơ sở dữ liệu trong tính toán lưới Do đây không là kiến trúc tường minh cho tất cả các CSDL phân tán, tuy vậy kiến trúc này thể hiện tổ chức của bất kỳ một CSDL phân tán nào - Sơ đồ tổng thể: Định nghĩa tất cả các dữ liệu sẽ được lưu trữ trong. .. được các bài toán trong môi trường mới không tập trung mà phân tán Thế hệ cở sở dữ liệu mới ra đời với mô hình phân tán, kèm theo nó là các yêu cầu mở rộng theo chiều ngang với nhiều thực thể, thực hiện các phép truy vấn song song với các dữ liệu và hệ thống không thuần nhất (tính toán lưới) Một CSDL phân tán là một tập hợp nhiều CSDL có liên đới logic và được phân bố trên một mạng máy tính - Tính chất... trú tại các vị trí khác nhau trong một mạng máy tính Trong hệ thống cơ sở dữ liệu phân tán gồm nhiều trạm, mỗi trạm có thể khai thác các giao tác truy nhập dữ liệu trên nhiều trạm khác Ví dụ 1: Với một ngân hàng có 3 chi nhánh đặt ở các vị trí khác nhau Tại mỗi chi nhánh có một máy tính điều khiển một số máy kế toán cuối cùng (Teller terminal) Mỗi máy tính với cơ sở dữ liệu thống kê địa phương của... Phương Trang 29 3.3.1 Giới thiệu mô hình GVHD: PGS.TS Nguyễn Phi Khứ HV: Nguyễn Thành Phương Trang 30 Trong hiện thực của tiểu luận, hệ thống gồm 1 server chính để trả lời truy vấn cho người dùng, khi nhận được yêu cầu truy vấn, server chính sẽ yêu cầu các node con trong lưới thực hiện các truy vấn thích hợp, sau đó tổng hợp kết quả lại bằng thư viện shard query Các truy vấn được gọi tới các node con... dựng các service cơ bản phục vụ truy cập đến tài nguyên tính toán, dữ liệu, tìm kiếm tài nguyên, lập lịch và đồng bộ hoá, sao chép dữ liệu, … cho phép xây dựng các service cao cấp hơn cho ứng dụng đồng thời trừu tượng hoá các chi tiết về tài nguyên Cũng cần phải xây dựng các bộ API và SDK, vì các nhà phát triển ứng dụng cần phải có công cụ để hỗ trợ phát triển các ứng dụng phức tạp trong môi trường Grid,... tài nguyên lưu trữ của VO để tối ưu hiệu suất truy cập dữ liệu theo các độ đo như thời gian áp ứng, tính toàn vẹn, tin cậy, chi phí,…  Grid-enable programming system GVHD: PGS.TS Nguyễn Phi Khứ HV: Nguyễn Thành Phương Trang 20 Cho phép các sử dụng các mô hình lập trình hiện tại trong môi trường Grid, sử dụng nhiều loại dịch vụ Grid để giải quyết các vấn đề như phát hiện, tìm kiếm tài nguyên, bảo... chạy các ứng dụng sử dụng các tài nguyên và dịch vụ của Grid Giao diện kiểu portal cũng có thể giúp người dùng học cách sử dụng Grid 2.3.2 Bảo mật Các máy tính trong Grid đều được nối mạng và chạy các ứng dụng; chúng có thể phải xử lý các dữ liệu nhạy cảm hoặc có giá trị lớn, do đó thành phần bảo mật của Grid là hết sức quan trọng Ở mức cơ sở, bất kỳ môi trường Grid nào cũng phải có các cơ chế bảo mật . 3: CƠ SỞ DỮ LIỆU VÀ TÍNH TOÁN LƯỚI 25 3.1 Tính toán lưới và bài toán quản lý cơ sở dữ liệu 25 3.2 Thiết kế cơ sở dữ liệu trong tính toán lưới 26 3.2.1 Các kiểu phân mảnh 27 3.3 Hiện thực mô. THÔNG TIN  CAO HỌC KHÓA 8 BÀI THU HOẠCH MÔN HỌC TÍNH TOÁN LƯỚI ĐỀ TÀI ÁP DỤNG MÔ HÌNH TÍNH TOÁN LƯỚI TRONG TRUY VẤN CƠ SỞ DỮ LIỆU Giảng viên hướng dẫn: PGS.TS Nguyễn Phi. minh họa bằng hiện thực mô hình tính toán lưới trong truy vấn cơ sở dữ liệu. Trang 2 GVHD: PGS.TS Nguyễn Phi Khứ HV: Nguyễn Thành Phương CHƯƠNG 2: TÍNH TOÁN LƯỚI 2.1 Khái niệm grid