ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN ________________ BÀI THU HOẠCH TÍNH TOÁN LƯỚI Đề tài: TÌM HIỂU CÔNG NGHỆ GRID COMPUTING & BÀI TOÁN TÌM SỐ NGUYÊN TỐ MERSENNE TRONG MÔI TRƯỜNG GRID COMPUTING VỚI GT4IDE Giảng viên hướng dẫn: PGS. TS. Nguyễn Phi Khứ Học viên thực hiện: Phạm Ngọc Giàu Mã số học viên: CH1101080 TP. Hồ Chí Minh - 2013 MỤC LỤC Lời cảm ơn iii Mở đầu iv Chương I. Giới thiệu chung Grid Computing 1 1.1 Grid 1 1.1.1 Khái niệm 1 1.1.2 Đặc trưng của hệ thống Grid 2 1.1.3 Kiến trúc của hệ thống Grid 3 1.1.4 Chuẩn hoá Grid 5 1.1.5 Sự tiến hóa của công nghệ Grid 8 1.2 Công nghệ Grid Computing 9 1.2.1 Giới thiệu chung Grid Computing 9 1.2.2 Lợi ích và ứng dụng 10 Chương II. Grid Middleware 13 2.1 Grid Middleware 13 2.1.1 Khái niệm 14 2.1.2 Kiến trúc 14 2.1.3 Chức năng 16 2.1.4 Lợi ích 17 2.2 Một số kỹ thuật thông dụng của Grid Middleware 18 2.2.1 Globus Toolkit 18 2.2.2 UNICORE 21 2.2.3 gLite 23 2.2.4 So sánh các Middleware 31 Chương III. Globus Toolkit 4.0 33 3.1 Tổng quan về Globus Toolkit 4.0 33 3.2 Mô hình môi trường mạng Grid 38 3.3 Cấu hình và thử nghiệm môi trường Grid 39 Chương IV. Bài toán tìm số nguyên tố Mersenne trong môi trường Grid Computing với GT4IDE 48 4.1 Giới thiệu công cụ phát triển 49 4.2 Tạo Project GT4 với GT4IDE 51 4.3 Thuật toán tìm số nguyên tố Mersenne 52 4.3.1 Các khái niệm và mệnh đề 52 4.3.2 Phân tích và thiết kế bài toán 56 Chương V. Kết luận và hướng phát triển 61 5.1 Kết luận 61 5.2 Hướng phát triển 61 Tài liệu tham khảo 62 Trang i LỜI CẢM ƠN Đầu tiên, em xin gửi lòng biết ơn sâu sắc đến Thầy PGS. TS. Nguyễn Phi Khứ đã tận tình hướng dẫn, truyền đạt cho em những kiến thức quí báu, cũng như hướng chúng em nghiên cứu nguồn kiến thức mới, khơi nguồn cho em thực hiện đề tài này. Qua đây, em xin cảm ơn các Thầy Cô ở phòng Đào tạo sau đại học, Trường Đại học Công nghệ thông tin, đã hỗ trợ tạo điều kiện thuận lợi cho em trong quá trình học tập cũng như quá trình thực hiện đề tài này. Trang ii Em cũng xin cảm ơn các anh chị, các bạn học viên cùng lớp đã trao đổi, thảo luận đề tài này. Mặc dù em đã nỗ lực hết sức để hoàn thành đề tài của mình nhưng dù sao những sai sót trong đề tài là điều không thể tránh khỏi, kính mong nhận được sự góp ý và nhận xét của Thầy. Em xin chân thành cảm ơn! Học viên thực hiện Phạm Ngọc Giàu MỞ ĐẦU Hiện nay, Grid Computing đang là “điểm nóng” công nghệ trên các diễn đàn công nghệ thông tin trên khắp thế giới. Trên thế giới, công nghệ Grid (Grid Technologies) đang được giới khoa học – công nghệ nghiên cứu, phát triển sôi nổi. Grid Computing hiện đang là nền tảng công nghệ chủ đạo của mạng Internet thế hệ mới, giữ vai trò giống như giao thức TCP/IP đối với mạng Internet hiện nay. Ở Việt Nam hiện nay, Grid Computing đang còn là một vấn đề khá mới mẻ. Đã có một số nhóm, tổ chức nghiên cứu về Grid Computing, tuy nhiên quy mô và điều kiện nghiên cứu còn rất hạn chế. Nhận thấy những ý nghĩa thiết thực của Grid Trang iii Computing có thể mang lại trong tương lai, tôi quyết định đi vào nghiêu cứu công nghệ Grid Computing và một số kỹ thuật middleware. Các chương trình chạy trên môi trường lưới có một số ưu điểm nổi trội hơn so với các chương trình chạy trên máy tính thông thường. Chẳng hạn như: thời gian xử lý công việc ngắn hơn nhờ khả năng tính toán song song, hiệu suất sử dụng tài nguyên tính toán cao hơn nhờ khả năng phân tán tài nguyên, Với những ưu điểm đó của các chương trình Grid, tôi nghiên cứu đề tài: “Tìm hiểu công nghệ Grid Computing và Bài toán tìm số nguyên tố Mersenne trong môi trường Grid với GT4IDE”. Tiểu luận được chia thành các chương, nội dung chính của các chương gồm có: Chương 1: Giới thiệu chung Grid Computing Chương 2: Grid Middleware Chương 3: Globus Toolkit 4.0 Chương 4: Bài toán tìm số nguyên tố Mersenne trong môi trường Grid Computing với GT4IDE Chương 5: Kết luận và hướng phát triển Trang iv Tiểu luận Tính Toán Lưới PGS.TS. Nguyễn Phi Khứ Chương I GIỚI THIỆU CHUNG GRID COMPUTING 1.1. Grid 1.1.1. Khái niệm Grid là một loại hệ thống phân tán, bố trí song song, cho phép linh hoạt chia sẻ, tuyển lựa và tập hợp các nguồn tài nguyên độc lập và rải rác về địa lý, tùy theo khả năng sẵn có, công suất, hoạt động, chi phí và yêu cầu về chất lượng dịch vụ(QoS) của người sử dụng để giải quyết các bài toán, ứng dụng có quy mô lớn trong khoa học, kỹ thuật và thương mại. Từ đó hình thành nên các “tổ chức ảo” (Virtual Organization (VO)), các liên minh tạm thời giữa các tổ chức và tập đoàn, liên kết với nhau để chia sẻ tài nguyên và/hoặc kỹ năng nhằm đáp ứng tốt hơn các cơ hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán và dữliệu, toàn bộ việc liên minh này dựa trên các mạng máy tính. Giả dụ, khi một người có chiếc máy tính cá nhân tham gia đóng góp sức mạnh xử lý trong một mạng lưới grid muốn chạy một ứng dụng đòi hỏi thêm sức mạnh xử lý thì công việc đang được giải quyết trên chiếc máy đó sẽ được tự động tái phân bổ tới một máy khác trong lưới đang “rảnh rỗi” và không bị trưng dụng sức mạnh tính toàn vào công việc nào. Xây dựng một lưới grid có thể đơn giản như việc cho phép một số lượng nhỏ PC hoặc server hoặc mạng lưu trữ tận dụng những khả năng chưa được khai thác hết. Từ một quy mô triển khai ban đầu nhỏ, người sử dụng có thể dần dần hoặc lập tức mở rộng lưới tùy theo nhu cầu của doanh nghiệp. Lưới này không chỉ có thể liên kết các quy trình hoạt động của một bộ phận mà có thể phối hợp các phòng ban với nhau hoặc thậm chí liên kết sức mạnh hạ tầng của một số doanh nghiệp độc lập. HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 1 Tiểu luận Tính Toán Lưới PGS.TS. Nguyễn Phi Khứ Hình 1. Tiến trình làm việc trong hệ thống Grid. 1.1.2. Đặc trưng của hệ thống Grid Có sự kết hợp, chia sẻ các tài nguyên không được quản lý tập trung: Grid tích hợp và phối hợp tài nguyên, người dùng thuộc nhiều vùng quản lý khác nhau, nhiều đơn vị khác nhau trong một tổ chức hay nhiều tổ chức khác nhau. Công nghệ Grid tập trung giải quyết các vấn đề bảo mật, chính sách quản trị, chi phí, thành viên, … nảy sinh trong quá trình chia sẻ và sử dụng tài nguyên. Sử dụng các giao diện và giao thức chuẩn, mang tính mở, đa dụng: Grid được xây dựng dựa trên các giao thức và giao diện tổng quát, đa dụng để giải quyết các vấn đề cơ bản như chứng thực người dùng, phân quyền, tìm kiếm và truy xuất tài nguyên. Đáp ứng yêu cầu cao về chất lượng dịch vụ: Grid cho phép sử dụng phối hợp các tài nguyên để cung cấp nhiều loại dịch vụ với các mức chất lượng khác nhau, liên quan đến nhau, ví dụ như thời gian đáp ứng, hiệu suất, tính sẵn sàng, bảo mật, cho phép kết hợp nhiều kiểu tài nguyên để đáp ứng nhu cầu phức tạp của người dùng. Mục tiêu là phải phối hợp làm sao để khả năng của hệ thống sau khi kết hợp phải lớn hơn hẳn tổng khả năng của từng đơn vị cấu thành nên Grid. HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 2 OGSA/OGSI Super -compung Network Compung Cluster comp ung High throughput compung High-performance compung Web Services Condor Globus Client/server OGSA/WSRF Grid Systems 2nd Gen. 1st Gen. Application(Tầng ứng dụng) Fabric(Tầng thiết bị) Connectivity(Tầng kết nối) Collective(Tầng kết hợp) Internet Transport Application Link Internet Protocol Architecture Resource(Tầng tài nguyên) R ? R R R R R ? R R R R ? R R R R R ? RR VO A VO B VO C Tiểu luận Tính Toán Lưới PGS.TS. Nguyễn Phi Khứ 1.1.3. Kiến trúc hệ thống Grid 1.1.3.1. Kiến trúc Grid tổng quát Hình 2. Vấn đề GIS: Many Information Sources, Many Views Tổ chức ảo (VO): là đơn vị cơ bản quan trọng trong hệ thống Grid. Việc thiết lập, quản lý, khai thác các quan hệ chia sẻ tài nguyên giữa các tổ chức ảo đòi hỏi phải có kiến trúc hệ thống mới, kiến trúc Grid. Kiến trúc Grid phải là kiến trúc dựa chuẩn, hướng mở để dễ sử dụng, liên kết hoạt động tốt, có tính khả chuyển (portability) cao. Những protocol chuẩn sẽ giúp định nghĩa các service chuẩn, nhờ đó có thể xây dựng các service cao cấp hơn một cách dễ dàng. HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 3 Tiểu luận Tính Toán Lưới PGS.TS. Nguyễn Phi Khứ Hình 3. Kiến trúc Grid tổng quát Trong mô hình trên: Tầng Fabric: là tầng thấp nhất của kiến trúc lưới, đại diện cho các thiết bị vật lý và toàn bộ tài nguyên của lưới mà các tổ chức, người dùng muốn chia sẻ, sử dụng. Tầng Connectivity: định nghĩa các giao thức liên lạc và chứng thực cơ bản cần thiết cho các giao dịch mạng đặc trưng của lưới. Các giao thức liên lạc cho phép trao đổi dữ liệu giữa các tài nguyên tầng Fabric. Các giao thức chứng thực xây dựng trên những dịch vụ liên lạc nhằm cung cấp cơ chế mã hóa, bảo mật, xác minh và nhận dạng người dùng và tài nguyên. Tầng Resource: dựa trên các giao thức liên lạc và chứng thực của tầng Connectivity để xây dựng các giao thức, API, và SDK nhằm hỗ trợ việc thương lượng, khởi tạo, theo dõi, điều khiển, tính toán chi phí và chi trả cho các hoạt động chia sẻ trên từng tài nguyên riêng lẻ một cách an toàn. Bản cài đặt các giao thức của tầng Resource sẽ gọi các chức năng của tầng Fabric để truy cập và điều khiển các tài nguyên cục bộ. Tầng Collective: Trong khi tầng Resource tập trung vào các tài nguyên đơn lẻ, tầng Collective chứa các giao thức, dịch vụ, API, SDK không liên hệ đến bất kỳ một tài nguyên cụ thể nào mà thực hiện quản lý toàn cục, tập trung vào các giao tác giữa các tập tài nguyên. Tầng Application: tầng trên cùng của kiến trúc lưới bao gồm các ứng dụng của người dùng chạy trong môi trường VO. 1.1.3.2. Kiến trúc Grid thực tế HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 4 Grid Fabric Networked Resources across Organisations Computers Clusters Data Sources Scienc Instruments Storage Systems Local Resource Managers Operang Systems Queuing Systems TCP/IP & UDP … Libraries & App Kernels … Distributed Resources Coupling Services Comm. Sign on & Security Informaon … QoS Process Data Access Development Environments and Tools Languages Libraries Debuggers … Web tools Resource BrokersMonitoring Applications and Portals Prob. Solving Env. Scienc … Collaboraon Engineering Web enabled Apps Grid Apps. Grid Middleware Grid Tools Tiểu luận Tính Toán Lưới PGS.TS. Nguyễn Phi Khứ Hình 4. Kiến trúc Grid thực tế với các thành phần + Tầng Fabric: Giống như tầng Fabric trong kiến trúc tổng quát. + Tầng Middleware (Connectivity và Resource và nửa dưới của Collective): Cung cấp các dịch vụ như quản lý tiến trình ở xa, kết hợp, phân phối các tài nguyên, quản lý truy cập không gian lưu trữ, đăng ký và tìm kiếm thông tin, bảo mật và các khía cạnh của QoS như đặt trước, mua bán và trao đổi tài nguyên,… Các dịch vụ này là sự trừu tượng hoá tính phức tạp và đa dạng của các tài nguyên bằng cách cung cấp một phương pháp chung để truy cập tài nguyên. + Tầng Tools (Collective): Tận dụng các giao diện ở tầng Core Middleware để cung cấp các dịch vụ có mức độ trừu tượng cao hơn. Tầng này bao gồm các môi trường phát triển phần mềm, công cụ lập trình, resource broker, bộ lập lịch,… HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 5 [...]... này đã khai sinh ra công nghệ Grid Computing Công nghệ Grid Computing ra đời được dự đoán là công nghệ nền tảng của thế kỷ XXI, làm thay đổi cách thức tính toán Grid Computing có nghĩa là tất cả hoặc một phần của một nhóm máy tính, máy chủ và thiết bị lưu trữ trong mạng doanh nghiệp, được “ảo hóa” (virtualize) thành một cỗ máy tính lớn Vì Grid Computing giải phóng những khả năng tính toán không HVTH:... Một trong những đóng góp quan trọng của công nghệ Grid Computing là cho phép và đơn giản hoá hợp tác chia sẻ, làm việc giữa một cộng đồng rộng lớn trên toàn thế giới Các công nghệ tính toán phân tán trước đây cũng cho phép hợp tác nhưng chỉ trong một phạm vi nhỏ, còn Grid cho phép mở rộng trên phạm vi toàn cầu khi đưa ra những chuẩn quan trọng cho phép các hệ thống không đồng dạng làm việc chung với. .. một công việc NJS sẽ thực thi các công việc do người dùng gửi vào hệ thống Một công việc có thể có một hoặc nhiều công việc nhỏ Các công việc nhỏ cũng là một công việc và được xem như là một tác vụ đơn giản Khi NJS thực thi một công việc, nó sẽ tạo một thư mục trên hệ thống cho công việc này Thư mục này được xem như là một Uspace của công việc Tất cả các tập tin sử dụng trong quá trình thực thi công. .. trước Với tầm nhìn rộng hơn do Grid cung cấp, các tình huống trên có thể được giải quyết dễ dàng Công nghệ Grid Computing có thể được ứng dụng trong các bài toán trong khoa học lẫn thương mại: + Đòi hỏi năng lực xử lý lớn (High-performance computing) , yêu cầu rút ngắn thời gian hoàn thành kết quả càng nhanh càng tốt + Hướng dữ liệu, đòi hỏi phải thu thập, lưu trữ, phân tích một lượng lớn dữ liệu, mang tính... chính chứa các công cụ để xây dựng các cơ chế bảo mật, gửi các công việc để thực thi (job submission), quản lý tài nguyên, quản lý thông tin tài nguyên Tầng cao hơn cung cấp các dịch vụ và công cụ để tương tác với các dịch vụ bên dưới và hiện thực các chức năng còn thiếu  Tầng bảo mật GSI Tầng này cung cấp các phương thức xác thực của người dùng trong môi trường lưới và cơ chế bảo một trong trao đổi... báo, quản lý thời gian sống, …  Do đó, OGSA đã định nghĩa khái niệm Grid service để khắc phục những hạn chế trên Grid service (dịch vụ grid) , thực ra cũng là dịch vụ web cải tiến, và tương thích với dịch vụ web Điểm khác biệt chính là nó có thêm trạng thái cho tài nguyên (stateful resource), đáp ứng yêu cầu của Grid Grid service có thể duy trì trạng thái trong, cho suốt chu trình sống của một dịch vụ... service Như vậy, thực chất OGSA dựa trên Grid service, một khái niệm mới trong hệ thống lưới Hình 7 Mối quan hệ giữa OGSA và OGSI với Grid service, Web service 1.1.5 Sự tiến hóa của công nghệ Grid  Initial exploration(1996-1999; Globus 1.0): mở rộng application experiments; core protocols  Data Grids(1999; Globus 2.0+): phân tích và quản lý dữ liệu qui mô lớn  Open Grid Services Architecture(2001, Globus... nhiên với chi quá đắt khi phụ kiện đi kèm cũng phải nhân lên Sáu là, tăng khả năng quản trị các hệ thống: Mục tiêu ảo hoá tất cả các tài nguyên và cung cấp giao diện quản lý đơn nhất các hệ thống hỗn tạp đem lại những cơ hội mới để quản trị tốt hơn trong các cơ sở hạ tầng công nghệ thông tin lớn, phân tán Bên cạnh đó, đối với tầm quản lý vĩ mô, có nhiều dự án sử dụng cơ sở hạ tầng công thông tin, Grid. .. tiên sử dụng tài nguyên của các dự án này Trước đây, mỗi dự án thường chịu trách nhiệm quản lý một số tài nguyên, HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 12 Tiểu luận Tính Toán Lưới PGS.TS Nguyễn Phi Khứ thường xảy ra tình trạng các tài nguyên của dự án này đang nhàn rỗi trong khi dự án khác đang gặp vấn đề, thiếu tài nguyên do gặp các sự kiện không lường trước Với tầm nhìn rộng hơn do Grid cung cấp,... Toán Lưới PGS.TS Nguyễn Phi Khứ được sử dụng vào một thời điểm bất kỳ, chúng có thể cho phép các doanh nghiệp tăng cường rất nhiều về tốc độ, sức mạnh xử lý thông tin và sự liên kết, thúc đẩy các quy trình tính toán mật độ cao Trong khi đó, chi phí vẫn sẽ được giữ ở mức thấp vì Grid Computing có thể được xây dựng từ chính hạ tầng hiện có, góp phần đảm bảo sự huy động tối ưu các khả năng tính toán Grid . MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN ________________ BÀI THU HOẠCH TÍNH TOÁN LƯỚI Đề tài: TÌM HIỂU CÔNG NGHỆ GRID COMPUTING & BÀI TOÁN TÌM SỐ NGUYÊN TỐ MERSENNE TRONG MÔI TRƯỜNG GRID. Mô hình môi trường mạng Grid 38 3.3 Cấu hình và thử nghiệm môi trường Grid 39 Chương IV. Bài toán tìm số nguyên tố Mersenne trong môi trường Grid Computing với GT4IDE 48 4.1 Giới thiệu công cụ. các chương trình Grid, tôi nghiên cứu đề tài: Tìm hiểu công nghệ Grid Computing và Bài toán tìm số nguyên tố Mersenne trong môi trường Grid với GT4IDE . Tiểu luận được chia thành các chương,