TRƯỜNG ĐẠI HỌC BÁCH KHOA TP. HỒ CHÍ MINH KHOA KHOA HỌC MÁY TÍNH BÁO CÁO SEMINAR Đề tài: TÌM HIỂU VỀ GRID MIDDLEWARE Môn học: TÍNH TOÁN LƯỚI GVGD: TS. Phạm Trần Vũ Học viên: Vũ Chí Hiếu - 09070437 Trần Thị Thanh Nga – 10070489 TP. Hồ Chí Minh, tháng 5 năm 2011 Tìm hiểu về Grid Middleware 2 MỤC LỤC 1. Giới thiệu chung 3 1.1. Hệ thống lưới 3 1.2. Các thành phần trong kiến trúc Grid tổng quát 5 1.3. Chuẩn hóa Grid 6 1.4. Grid Middleware 9 1.4.1. Định nghĩa Grid Middleware 10 1.4.2. Nhiệm vụ và lợi ích của Grid Middleware 10 1.4.3. Kiến trúc Grid Middleware 12 2. Một số Grid Middleware 15 2.1. Unicore 15 2.1.1. Kiến trúc của UNICORE 16 2.1.2. Các chức năng và đặc tính chính của UNICORE 17 2.1.3. UNICORE 6 18 2.2. Globus 21 2.2.1. Mô hình kiến trúc GT2 23 2.2.2. Mô hình kiến trúc GT3 24 2.2.3. Mô hình kiến trúc GT4 26 2.3. gLite 30 2.3.1 Kiến trúc của gLite 31 TÀI LIỆU THAM KHẢO 34 Tìm hiểu về Grid Middleware 3 1. Giới thiệu chung 1.1. Hệ thống lưới Ngày nay với sự phát triển mạnh mẽ trong nền công nghiệp sản xuất phần cứng máy tính, những thế hệ máy tính đã trở nên mạnh mẽ và rẻ hơn rất nhiều so với thế hệ trước đó. Với sự hữu ích, máy tính đã được sử dụng trong hầu hết mọi công việc của con người, từ công việc hàng ngày, công sở, kinh doan đến sản xuất, nghiên cứu khoa học. Do đó số lượng máy tính hiện nay rất lớn với tổng cộng năng lực xử lý và lưu trữ khổng lồ. Tuy nhiên, các ứng dụng ngày nay chỉ mới sử dụng được một phần rất nhỏ năng lực xử lý và lưu trữ do ứng dụng thường chạy trên máy tính cục bộ, phân tán khắp nơi trên thế giới dẫn tới vấn đề lãng phí quá lớn. Vậy làm sao để tận dụng tốt hơn năng lực của máy tính? Ngoài ra cùng với sự phát triển của nhiều lĩnh vực khác nhau, con người ngày càng đối mặt với nhiều vấn đề lớn, phức tạp trong khoa học, thương mại đòi hỏi xử lý tính toán, lưu trữ lớn. Một máy tính đơn hay một nhóm các máy tính (cluster) hay thậm chí một siêu máy tính chuyên dụng cũng không thể đáp ứng được nhu cầu tính toán, lưu trữ ngày càng lớn như vậy. Một số bài toán có thể được giải quyết nhưng rất khó khăn, chi phí cao mà không phải tổ chức nào, quốc gia nào cũng thực hiện được. Trong khi đó còn nhiều bài toán khác không thể giải quyết được với công nghệ tính toán hiện nay. Thực tế đó khiến người ta nảy sinh ý tưởng kết hợp nhiều máy tính phân tán khắp nơi trên thế giới thành một siêu máy tính khổng lồ nhằm tận dụng năng lực tính toán, lưu trữ hiện đang lãng phí để giải quyết bài toán phức tạp với chi phí thấp hơn. Cùng với sự phát triển của công nghệ mạng, ý tưởng về “siêu máy tính” toàn cầu đã có cơ sở để trở thành hiện thực. Đến những năm cuối thế kỷ XX, các dự án nghiên cứu đầu tiên về lĩnh vực này đã khai sinh ra công nghệ Grid Computing. Công nghệ Grid Computing ra đời được dự đoán là công nghệ nền tảng của thế kỷ XXI, làm thay đổi cách Tìm hiểu về Grid Middleware 4 thức tính toán. Công nghệ này đã mở ra cơ hội cho các nước không có nền công nghiệp thiết kế, chế tạo phần cứng máy tính mạnh tạo ra siêu máy tính để giải quyết các bài toán của riêng mình với chi phí thấp. “Grid là một hệ thống song song, phân tán cho phép chia sẻ, lựa chọn, kết hợp các tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác nhau dựa trên tính sẵn sàng, khả năng, chi phí của chúng và yêu cầu về chất lượng dịch vụ (QoS) của người dùng để giải quyết các bài toán, ứng dụng có quy mô lớn trong khoa học, kỹ thuật và thương mại. Từ đó hình thành nên các tổ chức ảo “Virtual Organization (V))”, các liên minh tạm thời giữa các tổ chức và tập đoàn, liên kết với nhau để chia sẻ tài nguyên và/hoặc kỹ năng nhằm đáp ứng tốt hơn các cơ hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán và dữ liệu, toàn bộ việc liên minh này dựa trên mạng máy tính” (Ian Foster). Một hệ thống Grid có những đặc trưng sau: - Có sự kết hợp, chia sẻ các tài nguyên không được quản lý tập trung: Grid tích hợp và phối hợp tài nguyên, người dùng thuộc nhiều vùng quản lý khác nhau, nhiều đơn vị khác nhau trong một tổ chức hay nhiều tổ chức khác nhau. Công nghệ Grid tập trung giải quyết các vấn đề bảo mật, chính sách quản trị, chi phí, thành viên, … nảy sinh trong quá trình chia sẻ và sử dụng tài nguyên. - Sử dụng các giao diện và giao thức chuẩn, mang tính mở, đa dụng: Grid được xây dựng dựa trên các giao thức và giao diện tổng quát, đa dụng để giải quyết các vấn đề cơ bản như chứng thực người dùng, phân quyền, tìm kiếm và truy xuất tài nguyên. - Đáp ứng yêu cầu cao về chất lượng dịch vụ: Grid cho phép sử dụng phối hợp các tài nguyên để cung cấp nhiều loại dịch vụ với các mức chất lượng khác nhau, liên quan đến nhau, ví dụ như thời gian đáp ứng, hiệu suất, tính sẵn sàng, bảo mật, cho phép kết hợp nhiều kiểu tài nguyên để đáp ứng nhu cầu phức tạp của người dùng. Mục tiêu là phải phối hợp làm sao để khả năng của hệ thống sau khi kết hợp phải lớn hơn hẳn tổng khả năng của từng đơn vị cấu thành nên Grid. Tìm hiểu về Grid Middleware 5 1.2. Các thành phần trong kiến trúc Grid tổng quát Tổ chức ảo (VO): là đơn vị cơ bản quan trọng trong hệ thống Grid. Việc thiết lập, quản lý, khai thác các quan hệ chia sẻ tài nguyên giữa các tổ chức ảo đòi hỏi phải có kiến trúc hệ thống mới, kiến trúc Grid. Kiến trúc Grid phải là kiến trúc dựa chuẩn, hướng mở để dễ sử dụng, liên kết hoạt động tốt, có tính khả chuyển (portability) cao. Những protocol chuẩn sẽ giúp định nghĩa các service chuẩn, nhờ đó có thể xây dựng các service cao cấp hơn một cách dễ dàng. Hình 1: Kiến trúc Grid tổng quát Tầng Fabric: là tầng thấp nhất của kiến trúc lưới, đại diện cho các thiết bị vật lý và toàn bộ tài nguyên của lưới mà các tổ chức, người dùng muốn chia sẻ, sử dụng. Tầng Connectivity: định nghĩa các giao thức liên lạc và chứng thực cơ bản cần thiết cho các giao dịch mạng đặc trưng của lưới. Các giao thức liên lạc cho phép trao đổi Tìm hiểu về Grid Middleware 6 dữ liệu giữa các tài nguyên tầng Fabric. Các giao thức chứng thực xây dựng trên những dịch vụ liên lạc nhằm cung cấp cơ chế mã hóa, bảo mật, xác minh và nhận dạng người dùng và tài nguyên. Tầng Resource: dựa trên các giao thức liên lạc và chứng thực của tầng Connectivity để xây dựng các giao thức, API, và SDK nhằm hỗ trợ việc thương lượng, khởi tạo, theo dõi, điều khiển, tính toán chi phí và chi trả cho các hoạt động chia sẻ trên từng tài nguyên riêng lẻ một cách an toàn. Bản cài đặt các giao thức của tầng Resource sẽ gọi các chức năng của tầng Fabric để truy cập và điều khiển các tài nguyên cục bộ. Tầng Collective: Trong khi tầng Resource tập trung vào các tài nguyên đơn lẻ, tầng Collective chứa các giao thức, dịch vụ, API, SDK không liên hệ đến bất kỳ một tài nguyên cụ thể nào mà thực hiện quản lý toàn cục, tập trung vào các giao tác giữa các tập tài nguyên. Tầng Application: tầng trên cùng của kiến trúc lưới bao gồm các ứng dụng của người dùng chạy trong môi trường VO. 1.3. Chuẩn hóa Grid Một trong các vấn đề lớn của bất kỳ công nghệ tính toán nào là làm sao để những thành phần khác nhau có thể “nói chuyện” được với nhau. Đây cũng là một thách thức của tính toán lưới (Grid Computing), vì tính toán lưới cần phải đáp ứng nhiều nhu cầu khác nhau, hỗ trợ nhiều loại công nghệ, tài nguyên, trải rộng khắp thế giới, do nhiều tổ chức tham gia xây dựng, nên để các thành phần lưới, ứng dụng lưới tương thích được với nhau cần phải có một chuẩn chung thống nhất. Ngoài lợi ích mang lại khả năng mở rộng các số lượng tài nguyên sẵn sàng cho lưới. Bên cạnh đó, còn mang lại nhiều lợi ích khác:  Liên kết hoạt động: cho phép hệ thống lưới có thể được thiết kế và phát triển theo nhiều ngôn ngữ lập trình, nhiều môi trường, nhiều nền tảng khác nhau một cách dễ dàng và hiệu quả.  Tăng tính mềm dẻo: người dùng có thể chuyển đổi qua lại giữa các hệ thống lưới. Tìm hiểu về Grid Middleware 7  Tăng năng lực của lưới: khả năng phát hành các dịch vụ sẽ dễ dàng hơn và từ đó làm tăng năng lực của hệ thống lưới.  Tăng tốc độ phát triển ứng dụng: sử dụng các bộ toolkit được chuẩn hóa sẽ làm giảm thời gian xây dựng, phát triển những hệ thống lưới. Thay vì dành nhiều thời gian xây dựng các chức năng giao tiếp, các hệ thống quản lý, với việc sử dụng các hệ thống chuẩn hóa có sẵn, các nhà phát triển ứng dụng có nhiều thời gian hơn để tối ưu các chức năng xử lý dữ liệu. Để đáp ứng nhu cầu xây dựng các chuẩn, tổ chức Global Grid Forum (GGF) ra đời và đang phát triển các chuẩn về Grid Computing như: Open Grid Services Architecture (OGSA), Open Grid Services Infrastructure (OGSI), Web Services Resource Framework (WSRF).  Open Grid Services Architecture (OGSA): chuẩn OGSA xác định toàn bộ các kết cấu, cấu trúc, dịch vụ cơ bản của một ứng dụng và có thể được áp dụng trong bất kỳ một hệ thống lưới nào. Thực chất OGSA định nghĩa các dịch vụ lưới là gì, chúng cần có những khả năng gì, được xây dựng trên những công nghệ nào. Nó cũng xác định mô hình lập trình cho Grid service. Tuy nhiên, OGSA không đi sâu vào mặt kỹ thuật của vấn đề, nó chỉ giúp phân biệt cái gì là lưới và cái gì không phải là lưới. OGSA xác định Grid service phải được xây dựng dựa trên các chuẩn về Web service hiện hành, xem Grid service như là các Web service được chỉnh sửa để đáp ứng các yêu cầu mới. Ví dụ, bản thân các Grid service được định nghĩa bằng chuẩn WSDL (Web Services Definition Language) với một số mở rộng. Điều này rất quan trọng, vì nó cung cấp một loạt các công nghệ dựa trên một chuẩn chung và mở để truy cập nhiều loại Grid service dựa trên các chuẩn hiện hành như SOAP, XML và WS-Security. Với điều kiện như vậy, có thể thêm và tích hợp các Grid service mới một cách đơn giản, dễ dàng. Nó cung cấp một phương pháp chung nhất để tìm kiếm, xác định, sử dụng các service mới khi chúng có mặt. Từ đó giải quyết được vấn đề liên kết hoạt động giữa các lưới và tài nguyên. Tìm hiểu về Grid Middleware 8  Open Grid Service Infrastructure (OGSI): OGSI là một bản đặc tả chính thức các khái niệm được mô tả trong OGSA. OGSI 1.0 xác định một tập các service cơ bản, xác định cách xây dựng một Grid service, định nghãi các hoạt động chung nhất của tất cả Grid service, vạch ra các cơ chế để tạo lập; quản lý những Grid service, cơ chế trao đổi thông tin giữa các Grid service. Chuẩn OGSI dựa trên các chuẩn khác như XML, Web service, WSDL, … do đó nó cũng là một chuẩn mở.  Web Services Resource Framework (WSRF): là một bước phát triển của OGSI, nó kết hợp kiến trúc lưới vào công nghệ Web service hiện hành. Thay vì xây dựng một kiểu Grid service mới, những đặc tả này cho phép các dịch vụ xác định trong OGSI được xây dựng hoàn toàn dựa trên Web service. Hình 2: Mối quan hệ giữa các chuẩn về Grid Service Giải thích hình vẽ: OGSA định nghĩa và dựa trên Grid service, OGSI đặc tả Grid service theo OGSA, Grid service là một mở rộng của Web service, một công nghệ cho phép các thành phần phân tán giao tiếp với nhau, GT3 (Globus Toolkit) là một bản cài đặt hoàn chỉnh OGSI với ngôn ngữ Java. Tìm hiểu về Grid Middleware 9 1.4. Grid Middleware Hệ thống lưới có một số đặc điểm chính sau đây:  Tính không đồng nhất (heterogeneity): tài nguyên trên hệ thống lưới rất đa dạng, thuộc nhiều loại khác nhau từ kiến trúc phần cứng (CPU, các loại thiết bị lưu trữ, thiết bị truyền thông, …) đến phần mềm (hệ điều hành, thư viện, những công cụ,…), ngôn ngữ.  Tính quy mô lớn (large-scale): một hệ thống lưới kết hợp nhiều dạng tài nguyên trên phạm vi cả thế giới cho nên một hệ thống lưới sẽ rất phức tạp và khó mà có thể biết được một hình thù cụ thể của nó tại một thời điểm.  Tính thích nghi, đáp ứng cao và khả năng mở rộng: hệ thống lưới phát triển trên môi trường không đồng nhất đương nhiên phải có khả năng xử lý ngoại lệ, chịu đựng lỗi tốt, có thể bắt tay với một số hệ thống khác để thực hiện tác vụ nhưng vẫn đảm bảo vấn đề an toàn thông tin. Bên cạnh đó, hệ thống lưới phải có khả năng mở rộng, hệ thống phải đảm bảo là khi gia tăng hay giảm đi các phần tử trên lưới (tăng giảm quy mô) thì hệ thống không cần phải điều chỉnh lớn lao làm ảnh hưởng đến hoạt động của cả hệ thống, chẳng hạn như cả hệ thống phải dừng lại tạm thời khi thêm, bớt một đơn vị lưới nào đó sau đó mới hoạt động trở lại. Do đó hệ thống lưới cần phải có một thành phần đáp ứng được các yêu cầu, một nhóm chương trình có chức năng, nhiệm vụ làm trung gian để tương tác giữa các ứng dụng từ phía người dùng và môi trường lưới bên dưới, gọi là middleware. Tìm hiểu về Grid Middleware 10 Hình 3: Người dùng chỉ cần cắm và sử dụng dịch vụ mà không cần quan tâm phía sau đó là gì 1.4.1. Định nghĩa Grid Middleware - Grid middleware là gói phần mềm nằm giữa lớp ứng dụng và hệ điều hành. - Grid middleware quản lý security, truy cập và trao đổi thông tin: o Cung cấp khả năng kết nối số lượng người dùng lớn. o Che giấu tài nguyên chia sẻ như máy tính, trung tâm dữ liệu, những thiết bị cần thiết khác… o Cung cấp các công cụ để quản lý, khởi tạo các liên kết trao đổi thông tin. 1.4.2. Nhiệm vụ và lợi ích của Grid Middleware  Có 3 mục đích: o Xây dựng các giao tiếp và các giao thức có tính mục đích chung, tính mở và tính chuẩn. Vì hệ thống lưới được xây dựng trên những giao tiếp và giao thức với rất nhiều mục đích khác nhau. Những giao tiếp và giao thức này đều chỉ ra được những kết quả cơ bản mang tính nền tảng như việc xác thực, khám phá tài nguyên, truy xuất tài nguyên. Do đó, việc xây dựng các [...]... như máy tính, tài nguyên lưu trữ, các thiết bị khoa học Tài nguyên tính toán có rất nhiều cấu trúc như clusters, siêu máy tính, server, PC chạy trên nhiều hệ điều hành khác nhau (UNIX, Windows…) Các thiết bị khoa học như kính hiển vi, cảm biến cung cấp dữ liệu thời gian thực được truyền trực tiếp qua bộ phận tính toán hay được lưu trữ trong cơ sở dữ liệu 12 Tìm hiểu về Grid Middleware Grid middleware. .. được sử dụng để xây dựng các Grid tính toán và những ứng dụng dựa trên Grid Nó cho phép chia sẻ năng lực tính toán, dữ liệu, các công cụ khác một cách bảo mật, an toàn trực tuyến giữa các tập đoàn, viện nghiên cứu mà không cần loại bỏ các chính sách quản trị cục bộ Những service, interface, protocol nền tảng trong bộ Globus Toolkit cho phép người dùng truy 21 Tìm hiểu về Grid Middleware cập đến các tài... lập các phương pháp để định vị lưới dịch vụ  Network Performance Monitoring: giám sát hiệu suất của mạng Hình 10: các lớp dịch vụ cấp cao trong gLite Job Management Services 32 Tìm hiểu về Grid Middleware  Accounting: tích lũy thông tin về cách sử dụng các nguồn tài nguyên trong lưới  Computing element: đại diện cho một nguồn tài nguyên máy tính (một cụm, siêu máy tính, máy trạm duy nhất)  Workload.. .Tìm hiểu về Grid Middleware giao tiếp, giao thức chuẩn và mở là rất quan trọng, nếu không chúng ta chỉ xây dựng được những ứng dụng mang tính đặc thù mà thôi o Định nghĩa những giao thức chuẩn: grid middleware định nghĩa nội dung và chuỗi các sự kiện trao đổi thông điệp sử dụng các thao tác yêu cầu từ xa Điều này rất quan trọng và cấp thiết để thực hiện tính interoperability (khả... triển chuyên môn trước rồi mới phát triển ứng dụng bằng cách tái sử dụng framework chứ không cần xây dựng lại từ đầu o Cung cấp các trừu tượng hướng mạng ở mức cao gần với yêu cầu ứng dụng cho việc phát triển hệ thống rời rạc o Cung cấp nhiều dịch vụ phát triển, như đăng nhập và bảo mật giúp cho việc hoạt động hiệu quả trong môi trường mạng 11 Tìm hiểu về Grid Middleware 1.4.3 Kiến trúc Grid Middleware. .. MDS đảm nhận phần Information Service - GridFTP đảm nhận phần Data management Ba thành phần này được xây dựng trên nền tảng bảo mật chung là Grid Security Infrastructure (GSI) Các thành phần được thiết kế theo mô đun, có thể sử dụng độc lập hoặc phối hợp với nhau thông qua giao diện của từng thành phần Mô hình hệ thống Grid sử dụng GT2 như sau: 23 Tìm hiểu về Grid Middleware Hình 1 2: Mô hình các thành... (Job Preparation 16 Tìm hiểu về Grid Middleware Agent) và JMC (Job Monitor Component) Các công việc được xây dựng bằng JPA, trạng thái và kết quả công việc được lấy từ JMC Các công việc và truy vấn về trạng thái và kết quả của chúng được định dạng bằng Abstract Job Object (AJO) - Lớp server: ở mức cao nhất, mỗi trung tâm máy tính thành viên phải xác định một hoặc nhiều UNICORE Grid site (USite) để... là một môi trường Grid tích hợp theo chiều thẳng đứng nhằm hỗ trợ: - Khả năng truy cập tài nguyên một cách đơn giản, an toàn, bảo mật, trực quan trong môi trường phân tán cho người dùng - Tích hợp các cơ chế chứng thực trong các thủ tục quản trị, nhằm giảm chi phí đào tạo và hỗ trợ cho các Grid site - Phân phối dễ dàng các công việc trên nhiều nền tảng khác nhau 15 Tìm hiểu về Grid Middleware 2.1.1... song song 2 mô hình kiến trúc như trong hình vẽ Các nhà phát triển có thể sử dụng một trong hai mô hình này để xây dựng các ứng dụng và các hệ thống Grid của mình Tuy nhiên, mô hình Grid service dựa theo OGSI được khuyến khích sử dụng 22 Tìm hiểu về Grid Middleware (a) Kiến trúc non-OGSI based (GT2) (b) Kiến trúc OGSI based(GT3) Hình 1 1: Kiến trúc của bộ Globus Toolkit 2.2.1 Mô hình kiến trúc GT2 Trong... đầu ra từ Uspace (Uspace là tập các file 17 Tìm hiểu về Grid Middleware sẵn sàng cho một công việc UNICORE) và các tập dữ liệu nào cần phải truyền qua lại giữa các Uspace UNICORE sẽ thực hiện việc di chuyển dữ liệu trong thời gian thi thành mà không cần sự can thiệp của người dùng - Hỗ trợ ứng dụng: để hỗ trợ những ứng dụng khoa học đặc biệt của các nhà khoa học, giao diện của UNICORE được xây dựng dưới . TRƯỜNG ĐẠI HỌC BÁCH KHOA TP. HỒ CHÍ MINH KHOA KHOA HỌC MÁY TÍNH BÁO CÁO SEMINAR Đề tài: TÌM HIỂU VỀ GRID MIDDLEWARE Môn học: TÍNH TOÁN LƯỚI GVGD: TS. Phạm Trần Vũ Học viên:. năm 2011 Tìm hiểu về Grid Middleware 2 MỤC LỤC 1. Giới thiệu chung 3 1.1. Hệ thống lưới 3 1.2. Các thành phần trong kiến trúc Grid tổng quát 5 1.3. Chuẩn hóa Grid 6 1.4. Grid Middleware. ngữ Java. Tìm hiểu về Grid Middleware 9 1.4. Grid Middleware Hệ thống lưới có một số đặc điểm chính sau đây:  Tính không đồng nhất (heterogeneity): tài nguyên trên hệ thống lưới rất đa