gLite và việc triển khai ứng dụng Grid

13 258 0
gLite và việc triển khai ứng dụng Grid

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

gLite và việc triển khai ứng dụng Grid

gLite việc triển khai ứng dụng Grid Trần Văn Lăng, Ninh Khánh Trung, Nguyễn Thị Thu Dự, Đào Văn Tuyết Viện Cơ học Tin học Ứng dụng (IAMI) Viện Khoa học Công nghệ Việt Nam (VAST) {tvlang;nktrung; nttdu;tuyetdv}@vast-hcm.ac.vn Tóm tắt: Tính toán lưới là một giải pháp hiệu quả đối với các bài toán đòi hỏi một lượng tài nguyên lớn nhất định. Để xây dựng một hệ thống tính toán lưới, cần có một middleware đảm nhiệm vai trò làm trung gian, cung cấp môi trường các dịch vụ cơ bản cần thiết. Bài báo này trình bày về kiến trúc của một hệ thống Grid dựa trên middleware gLite, cách cài đặt việc triển khai các ứng dụng trên đó. Mục tiêu củ a bài báo là cố gắng cung cấp một cách nhìn đầy đủ về gLite các ứng dụng Grid dưới góc độ của người xây dựng, người quản trị người sử dụng hệ thống. Bài báo này gồm có 5 phần: phần thứ nhất giới thiệu về gLite những vấn đề cần phải giải quyết; phần thứ hai trình bày về phương pháp triển khai một hệ thống gLite, những điều ki ện cần thiết để triển khai một hệ thống Grid với gLite làm nền tảng. Phần thứ ba giới thiệu về cách thức triển khai ứng dụng trên gLite. Phần thứ tư minh họa hệ thống Grid dùng gLite; phần cuối cùng trình bày một số nhận định, nêu lên một số công việc cần phải làm với gLite khi triển khai ở Việt Nam. Từ khóa: glite middleware, Grid computing, EGEE, EUAsiaGrid I. Giới thiệu gLite là một middleware (phần mềm trung gian) được phát triển bởi dự án EGEE với mục đích hỗ trợ xây dựng các hệ thống tính toán lưới của dự án. Hệ thống Grid với gLite gắn liền với những tổ chức ảo – VO (Virtual Organization), là một cách tổ chức hệ thống lưới mô phỏng theo dạng tổ chức thật, giúp cho nhà quản trị có thể dễ dàng quản trị hệ thống cũng như quản trị người dùng. gLite ngay sau đó đã nhanh chóng được nhiều tổ chức chọn làm nền tảng xây dựng hệ thống lưới của mình. Nhiều tổ chức ảo được tạo ra với nhiều ứng dụng khác nhau trong rất nhiều lĩnh vực, từ khoa học cho đến các lĩnh vực thuộc về công nghiệp. Có thể kể ra như: Khoa học máy tính Toán học, Khoa học về sự sống, Hóa h ọc, Khoa học về trái đất, Vật lý năng lượng cao, Vật lý hạt nhân, Nghiên cứu vũ trụ,… đã thu được nhiều kết quả quan trọng. Ví dụ như dự án LHC – Large Hadon Collider, một dự án rất nổi tiếng về lĩnh vực vật lý hạt nhân. Dự án này sử dụng một máy gia tốc lớn nhất thế giới (cũng có tên gọi là LHC) để thực hiện các thí nghiệm về vật lý h ạt nhân. 4 VO chính được xây dựng để đảm nhiệm việc phân tích dữ liệu từ các thí nghiệm: ALICE, ATLAS, CMS, LHCb. Gần đây nhất, LHC đã được dùng để tái tạo lại khoảnh khắc của vụ nổ Big Bang. Theo thống kê, hiện đang có 150 VO đang hoạt động với số người sử dụng chính thức lên đến trên 150.000 người ( http://cic.gridops.org ). Riêng tại Châu Á, một dự án hợp tác giữa Châu Âu Châu Á (EUAsiaGrid) nhằm mang EGEE đến với các nước trong châu lục này, đó cũng là mục tiêu chính của EGEE: xây dựng một hệ thống Grid chung nhằm phục cho tất cả các nghiên cứu viên trong các viện nghiên cứu các trường đại học trên thế giới. Tại Việt Nam, trong một vài năm gần đây, gLite đã trở nên phổ biến trong giới khoa học công nghệ thông tin. Những dự án hợp tác nghiên cứu giữa Viện khoa công nghệ Việt nam CNRS nhằm xây dựng một hệ thống tính toán lưới dựa trên gLite đang hoạt động thu được một số kết quả ban đầu. Một số lớp huấn luyện gLite đã được tổ chức cùng nhiều buổi hội thảo trong những năm qua nhằm giúp cho mọi người tiếp cận với gLite dự án EGEE: lớp học ACGRID Đồ Sơn tại Viện Công nghệ thông tin 5-6/11/ 2007, The first forum “Grid Computing for research” tại Phân viện Công nghệ thông tin đầu năm 2008, APAN tại Hawaii 01/2008, Southeast Asia 08 and the 4 th PRAGMA institution tại Taichung cuối năm 2008 [7], dự kiến tại PRAGMA 17, 28-31/10/2009 tại Hà nội. Phân Viện Công nghệ thông tin Việt Nam tại TP Hồ Chí Minh (nay thuộc viện Cơ học Tin học Ứng Dụng) cũng đã có một số đề tài nghiên cứu về các ứng dụng trên hệ thống tính toán lưới từ năm 2004. Viện đã thực hiện triển khai một số ứng dụng về Tin-Sinh học (Bioinformatics), Access Grid, e-Health trên hệ thống l ưới Globus gLite ([4], [5]). Trong năm 2006, viện đã tiến hành kết nối hệ thống lưới của mình với tổ chức Pragma tháng 11/2007, cũng đã kết nối với TWgrid - một hệ thống tính toán lưới của Đài Loan quản trị một VO là VNGrid trong hệ thống tính toán lưới Châu Á Thái Bình Dương. Hiện nay, viện đang tham gia vào lưới EUAsiaGrid trong dự án FP7 ( http://www.euasiagrid.org/wiki ). Các ưu điểm của lưới với gLite : − gLite kế thừa từ các dự án Grid trước đó nên tận dụng nhiều ưu điểm của các thành phần vốn đã hoạt động rất ổn định hiệu quả như bộ lập lịch điều phối công việc Condor, cơ chế bảo mật lưới GSI, Globus Gatekeeper, … − Xây dựng thêm nhiều dịch v ụ nhằm tăng cường khả năng quản lý người dùng các tài nguyên, đồng thời hỗ trợ cho người dùng khả năng sử dụng lưới một cách hiệu quả nhất. − Được xây dựng theo hướng dịch vụ, các thành phần được phân phối theo kiểu mô đun nên dễ dàng chọn lựa những thành phần cần thiết khi xây dựng một hệ thống lưới theo nhu cầu riêng. − Được hỗ tr ợ mạnh mẽ từ dự án EGEE nhiều tổ chức cũng như chính phủ các nước trên thế giới. Với những ưu điểm trên, gLite đã trở thành một lựa chọn tốt khi bắt đầu xây dựng một hệ thống lưới. Đối với Việt Nam, nhu cầu cần có một hệ thống Grid là thực sự cần thiết, nó không chỉ phục vụ cho giới khoa h ọc như là một công cụ hỗ trợ tính toán mạnh mà trong tương lai nó còn mang lại cho các tổ chức, các doanh nghiệp hay bất kì cá nhân nào cần đến lợi ích của sự chia sẻ tài nguyên hay các ứng dụng Grid. Tuy nhiên, hiện nay vẫn chưa có một tài liệu thống nhất hoàn chỉnh hướng dẫn cách cài đặt hệ thống lưới với gLite. Ngoài ra, công việc quản trị hệ thống cũng khá phức tạp, đòi hỏi những hiểu biế t nhất định về kiến trúc cũng như sự tương tác giữa các thành phần, các dịch vụ trên lưới. Vì vậy, công việc xây dựng một hệ thống lưới với gLite hoàn chỉnh vẫn còn nhiều vấn đề mà chúng ta cần phải giải quyết trước khi bắt tay vào triển khai bất cứ ứng dụng nào trên đó. II. Phương pháp triển khai hệ thống Grid với gLite Middleware gLite cung cấp các thành phần sau: − Thành phần giao tiếp với người dùng (User Interface). − Thành phần quản trị chung (VOMS server). − Các thành phần tài nguyên của lưới (Computing Element, Storage Element, Worker Node). − Thành phần quản lý thực thi công việc (Workload Management Service). − Các thành phần cung cấp thông tin cho lưới (Information Service). Ngoài ra gLite còn mang đến một số dịch vụ : FTS ,FTM ,LFC, LSF, VOBOX, MON, PX. II.1. Các yêu cầu hệ thống Triển khai một hệ thống gLite cơ bản gồm 7 thành phần: − User Interface. − VOMS server. − Information Service. − Workload Management Service Logging & Book keeping. − Computing Element. − Worker Node. − Storage Element. Bảy thành phần trên được cài đặt trên 7 máy tính riêng rẽ hoặc có thể cài đặt kết hợp một số thành phần trên cùng một máy. Tuy nhiên việc kết hợp này phải tính toán đến hiệu suất sử dụng các dịch vụ trên cùng một máy nhằm tránh quá tải cho hệ th ống lưới. Ví dụ, Worker Node có thể được cài cùng các dịch vụ như Information Service, Computing Element, User Interface. Hệ thống minh họa chọn User Interface cài đặt cùng Worker Node vì User Interface đa số thực hiện các tác vụ truy vấn nên không chiếm giữ nhiều tài nguyên hệ thống. Các máy tính trên được nối mạng LAN với nhau nếu hệ thống triển khai là cục bộ, hoặc nối mạng internet trong trường hợp hệ thống là phân tán. Cấu hình phần cứng của mỗi máy tùy theo qui mô củ a lưới sau này. Về bản chất, hệ thống lưới với gLite tận dụng các tài nguyên nhàn rỗi dư thừa nên có thể cài đặt trên bất kì máy tính nào, tuy nhiên để đáp ứng tốt nhu cầu của người sử dụng, các máy này nên được trang bị cấu hình mạnh. Mỗi máy có thể truy cập được internet ít nhất là trong quá trình cài đặt vì quá trình này download các gói phần mềm từ internet. Hệ điều hành cài đặt trên mỗi máy là Scientific Linux 4.x. (được gLite 3.1 hỗ trợ), [6]. II.2. Các cài đặt chung Sơ đồ tổng quát của hệ thống sẽ xây dựng có thể được đề nghị như sau: Public NTP se rv er Local NTP se rv er NTP client Internet PC1.grid PC2.grid PC3.grid PC4.grid PC5.grid PC6.grid Hình 1. Sơ đồ tham khảo cho một hệ thống Grid với middleware gLite. Domain: Grid. PC1.grid: VOMS server. PC2.grid: User Interface + Worker Node + Batch client (Torque). PC3.grid: Workload Management + Logging & Bookkeeping. PC4.grid: Computing Element + BDII_site + Batch server (Torque). PC5.grid: BDII_top. PC6.grid: Storage Element (DPM) + BDII_site. Chú ý firewall tại mỗi máy cần cho phép các cổng ứng với các dịch vụ đang cài đặt trên đó. Để loại trừ những vấn đề nảy sinh trong quá trình cài đặt kiểm thử, firewall có thể tạm thời được tắt đi. Trước hết, các máy tính cần đồng bộ về mặt thời gian. Điều này được thực hiện bằng cách thiết lập cho một máy tính đảm nh ận vai trò NTP server để thực hiện đồng bộ với các máy tính còn lại trong hệ thống. Đến lượt nó thực hiện đồng bộ với một NTP server công cộng khác trên internet. Điều này giúp giảm lưu lượng mạng tăng tính đồng bộ cho hệ thống. gLite 3.1 sử dụng YUM làm công cụ cài đặt, YUM có ưu điểm là hỗ trợ nhiều chức năng quản lý cài đặt, khả năng cài đặt tự động một repository thông qua một file dẫn đường .repo. Các máy trong hệ thống sở hữu một hostname phải được nhận biết bởi các máy khác. Điều này được thực hiện bằng cách sử dụng DNS server hoặc có thể cấu hình thông tin trực tiếp tại các file /etc/hosts trên mỗi máy. Các file: dag.repo jpackage.repo cung cấp các package cần thiết cho quá trình cài đặt các thành phần gLite sau này. Chúng được đặt trong /etc/yum.repos.d được tải từ địa chỉ: http://grid-deployment.web.cern.ch/grid-deployment/glite/repos/ Thực hiện : #yum update để cập nhật các gói phần mềm mới nhất cho máy tính. Có 3 file cấu hình chính được sử dụng trong lúc cấu hình các thành phần: − siteinfo.def: Tập trung tất cả các biến cần thiết để cấu hình các dịch vụ cho tất cả các thành phần. − users.conf: Định nghĩa các pool account dùng cho các hoạt động trên lưới. − groups.conf: Ánh xạ nhóm trên lưới đến nhóm cục bộ trên máy. 3 file này phải được đặt trong thư mục chỉ đọc bởi root. Tốt nhất là nên đặt trong cùng một thư mục, ví dụ /root/siteinfo/. Ngoài ra, thành phần CE còn cần danh sách các WN đặt trong file wn-list.conf, có thể cùng thư mục với các file trên. Về bảo mật, hệ thống lưới dùng cơ chế xác thực thông qua các chứng chỉ số (certificates) được cung cấp bởi những CA đáng tin cậy. Cơ bản gồm các thông tin sau: − Certificate của host : hostcer.pem hostkey.pem đặt tại /etc/grid-security, hostkey.pem chỉ đọc bởi root. − Thông tin nhận diện CA: <hash>.0 <hash>.singing_policy được đặt trong thư mục /etc/grid-security/certificates. − Public key của certificate VOMS server (ví dụ: pc1.grid.pem) được đặt tại /ect/grid-security/vomsdir. Ngoài ra, hệ thống còn sử dụng một số cơ chế bảo vệ khác như hệ thống xác thực GRAM tại các thành phần tính toán, hay Grid Access Control List tại WMS. II.3. Cài đặt cấu hình các thành phần Cách cài đặt cấu hình các thành phần của gLite nói chung thực hiện tương tự nhau, gồm hai bước: − Download cài đặt thông qua công cụ YAIM các repository. − Cấu hình dịch vụ bằng công cụ YAIM (ngoại trừ VOMS server dùng các script cấu hình trực tiếp). Sau khi thực hiện các cài đặt chung ở trên, chuẩn bị các file repository trong /etc/yum.repos.d tương ứng với thành phần sẽ cài đặt. sau đó thực hiện lệnh yum install <các tên meta-package của các repository tương ứng> để tiến hành cài quá trình download cài đặt. Các tên meta-package được đề cập ở bảng dưới đây. Các file repository này có thể tự tạo hoặc tải về từ địa chỉ : http://grid-deployment.web.cern.ch/grid-deployment/glite/repos/ ví dụ cài đặt thành phần UI, Worker Node trên cùng một máy tính: #yum install glite-UI glite-WN glite-TORQUE_client Cấu hình trong gLite 3.1 dùng công cụ YAIM (ngoại trừ thành phần VOMS server vẫn dùng cách cấu hình của phiên bản 3.0). Cú pháp cấu hình với YAIM như sau: yaim -c -s <đường dẫn file siteinfo.def> -n <node_type1> -n <node_type2> … Trong đó: − siteinfo.def là một trong 3 file cấu hình cần thiết khi cấu hình một thành phần gLite. Giả sử 3 file này được đặt tại /root/siteinfo/. − nodetype 1 nodetype n : tên cấu hình của dịch vụ. nodetype có liên quan đến meta-package của repository của yum nhưng không giống nhau hoàn toàn (bảng sau) Thành phần Meta-package name Nodetype VOMS server (mysql) glite-VOMS_mysql (không dùng yaim) UI glite-UI glite-UI WN glite-WN glite-WN CE lcg-CE lcg-CE LB glite-LB glite-LB WMS glite-WMS glite-WMS BDII site glite-BDII BDII_site BDII top glite-BDII BDII_top Torque server glite-TORQUE_server TORQUE_server Torque client glite-TORQUE_client TORQUE_client Torque utils glite-TORQUE_utils TORQUE_utils SE_DPM_mysql glite-se_dpm_mysql SE_dpm_mysql SE_DPM_disk glite-se_dpm_dsk SE_dpm_disk Hình 2. Meta-package name nodetype tương ứng của các thành phần Khi thực hiện cấu hình một thành phần với YAIM, YAIM sẽ thực thi các kịch bản cấu hình tương ứng với thành phần đó, bao gồm thiết lập các biến môi trường, tạo các kịch bản thực thi cần thiết thiết lập một số thông tin hệ thống như cài đặt cron tab cho dịch vụ, tạo các user trên máy cục bộ hoặc các cơ sở dữ liệu mysql, … Riêng đối với VOMS server, quá trình cấu hình g ồm các bước sau: − Cấu hình Tomcat: VOMS server dùng tomcat làm web server. Thiết lập các biến môi trường dịch vụ trong $CATALINA_HOME/config/server.xml với $CATALINA_HOME là đường dẫn tomcat, ví dụ /usr/share/tomcat5. − Chuẩn bị các file cấu hình cần thiết: glite-voms-server.cfg.xml, glite- global.cfg.xml, glite-security-utils.cfg.xml, vo-list.cfg.xml. − Thực hiện cấu hình bằng trực tiếp bằng các script python đặt tại thư mục /opt/glite/etc/config/scripts. Hệ thống được mở rộng dễ dàng thông qua việc chia sẻ các file cấu hình. Một node có th ể tham gia vào hệ thống khi sử dụng các file cấu hình sẵn có của thành phần tương ứng. III. Triển khai ứng dụng Grid trên gLite III.1. Các loại công việc được gLite hỗ trợ Hệ thống Grid dựa trên middleware gLite hỗ trợ thực thi các loại công việc sau: − Job Collections: Job collections là một loại công việc gồm tập các công việc độc lập. Loại công việc này được hỗ trợ khi hệ thống có thành phần WMProxy. Đặc điểm của nó là nhiều công việc độc lập nhau được đệ trình chung trong một lần duy nhất sử dụng chung một ủy thác proxy. Kết quả là giúp giảm bớt được th ời gian đệ trình tận dụng sự xác thực cho tất cả các công việc. Các công việc được hệ thống quản lý job phân phối đến các CE khác nhau để thực hiện. Kết quả của từng công việc không làm ảnh hưởng đến các công việc khác trong tập hợp. − Dag jobs: Ngược lại với Collection job, DAG job ( Direct Acyclic Graph) là tập hợp các công việc có phụ thuộc lẫn nhau: input, output, hoặc sự thực thi của một hoặc nhiều công việc ph ụ thuộc vào các công việc khác. DAG job được biểu diễn thành một đồ thị mà mỗi công việc là một node trong đồ thị các cạnh đồ thị là sự phụ thuộc giữa các công việc đó. Node A Node B Node C Node D Hình 3. Minh họa Dag jobs − Parametric jobs: là loại công việc có thể chỉ định tham số đầu vào khi công việc được thực thi (run-time). Tham số được đính kèm trong file mô tả công việc. Điều này giúp tăng tính mềm dẻo cho sự thực thi công việc trên lưới vì ngoài các file input đi kèm, tham số còn được cung c ấp cho công việc theo những cách do người dùng qui định. − Interactive jobs: Loại công việc này cho phép người dùng trực tiếp tương tác với công việc khi công việc đang được thực thi. Người dùng có thể tương tác với công việc trong thời gian thực như đối với một ứng dụng trên máy cục bộ. Để thực hiện điều này,.hệ thống quản lý công việc đưa dòng output của công việc ngược trở về giao diện người dùng để thực hiện tương tác. − MPI jobs: MPI là một thư viện chuẩn hỗ trợ lập trình song song. gLite cho phép người dùng đệ trình loại công việc có thể được thực hiện trên nhiều tiến trình trên các máy WN khác nhau trong cùng một site (hoặc có thể khác site). III.2. Cách triển khai các ứng dụng Grid trên gLite Một hệ thống Grid hoàn chỉnh sẽ che dấu những chi tiết phức tạp khi thực thi ứng dụng thông qua một Grid Portal. Đó là một giao diện nằm giữa người dùng middleware Grid bên dưới nhằm hỗ trợ tốt hơn cho người dùng nhà quản trị trong việc thực thi ứng dụng. Thường thấy Grid Portal là một giao diện web. gLite hỗ trợ các ứng dụng được viết bằng ngôn ngữ C++/Java cung cấp các API để truy c ập các dịch vụ Grid. Các công việc được đệ trình thông qua một file mô tả là JDL (Job Description Language). JDL dựa trên ngôn ngữ Classified Advertisement (ClassAd), được dùng để mô tả công việc hoặc một tập công việc có sự phụ thuộc bất kì. Nó có thể được dùng để chỉ định các đặc điểm các ràng buộc của những công việc - được đưa đến WMS để chọn lựa tài nguyên tốt nhất thực hiện. File JDL gồm những dòng mô tả có cấ u trúc như sau: <attribute> = <expression> <;> Trong đó attribute là các thuộc tính dùng để xác định các đặc điểm cho công việc cần đệ trình expression là một giá trị hoặc một biểu thức thể hiện giá trị cho thuộc tính đó. Một ứng dụng lưới thông thường trong chu trình sống của nó sẽ thực hiện một hoặc nhiều công việc, do đó sẽ thực hiện một hoặc nhiều lần đệ trình đến hệ thố ng. Mỗi lần đệ trình, một file JDL tương ứng được gửi đi cùng các file dữ liệu cần thiết cho công việc. Kết quả trả về dưới dạng một file ouput được ứng dụng nhận lấy để thực hiện tiếp các công việc khác. Tùy theo nhu cầu riêng mà mỗi đệ trình có thể là một trong những loại công việc được gLite hỗ trợ nêu trên. Mã thực thi cho công việc đó có thể được biên dịch tr ước hoặc sau khi đệ trình. Quá trình thực thi một ứng dụng có thể mô tả như sau: Hình 4. Quá trình thực thi ứng dụng trên gLite. Trên thực tế, các ứng dụng thực tế triển khai trên Grid đa số đều có tính chất chung là có khối lượng tính toán lớn hoặc xử lý khối lượng dữ liệu lớn (hoặc cả hai), ví dụ như các ứng dụng vật lý hạt nhân, thời tiết, vũ trụ, do đó trong thường thấy công việc dạng MPI trong các ứng dụng này. MPI trên gLite được thực hiện ở 2 mức: − Mức thông thường: MPI đượ c thực thi giữa các Worker Node trong cùng một site. Mức này được hỗ trợ tốt bởi gLite không đòi hỏi một thao tác cấu hình đặc biệt nào. − Mức site: Ngoài mức thông thường, MPI còn được thực thi giữa các site. Mức này đòi hỏi nhiều kinh nghiệm của những người quản trị xây dựng hệ thống hiện nay các site dạng này vẫn chưa được phổ biến. Execute binary binary Submit jobs  application Batch system WMS Code execute IV. Minh họa hệ thống gLite IV.1. Về phía người quản trị Quản trị lưới là một công việc phức tạp, đòi hỏi sự tham gia của nhiều cá nhân, chịu trách nhiệm về nhiều thành phần khác nhau trên lưới. Về cơ bản, quản trị lưới có thể chia thành các lĩnh vực quản trị sau: - Quản trị security chung cho lưới. - Quản trị VO. - Quản trị thực thi công việc. Quản trị security được thực hiện trên hầu h ết các thành phần của lưới, trong khi quản trị VO thực hiện tại node VOMS server quản trị thực thi công việc thực hiện tại WMS. Đối với quản trị security, một số điểm cần lưu ý là thư mục /etc/grid-security là thư mục mặc định chứa các thông tin dành cho hoạt động xác thực trên lưới. Thư mục này được cấp quyền chỉ đọc bởi user root. Xác thực trên lưới chủ yếu dựa vào chứng chỉ số X509 (certificate) được cấp bởi một CA đáng tin cậy. Vì thế, bất cứ một VO nào hoạt động trên lưới đều cung cấp những gói cài đặt về thông tin của những CA mà VO đó tin cậy. Trong các hoạt động đòi hỏi sự xác thực người dùng, certificate người dùng luôn được thành phần lưới kiểm tra trước nhất. Đầu tiên, CA của certificate phải được tìm thấy ở một trong các file trong thư mục bảo mật, sau đó, DN của certificate được kiểm tra với những chính sách của CA tương ứng. Nếu DN thỏa mãn, certificate được xem như được chấp nhận. Ngoài ra, hầu hết các thành phần lưới (trừ UI,WN,BDII) cũng cần xác thực lẫn nhau trong nhiều hoạt động. Chứng chỉ số cũng được sử dụng cho mục đích này. Một certificate được cấp cho host gọi là host certificate bởi một CA đáng tin cậy. Hình 5. Nội dung của một file chính sách của SimpleCA. Công việc của người quản trị VO là tổ chức VO của mình sao cho phù hợp với hoạt động của các nhóm người dùng trong tổ chức. Sự phù hợp thể hiện ở cách phân chia các nhóm (group), luật (role) thuộc tính (attribute) áp dụng lên các user sao cho đối với mỗi người dùng khác nhau với những nhu cầu khác nhau đều được truy cập vào lưới mà không gặp bất kì trở ngại nào. Quản trị VO còn có chức năng quản lý các thành viên thuộc về VO đó, gồ m kết nạp thành viên mới, điều chỉnh chính sách áp dụng lên thành viên, sắp xếp thành viên vào đúng vị trí trong tổ chức loại bỏ thành viên khỏi tổ chức. Để thực hiện việc quản trị có 2 cách: - Thực hiện qua các CLI (Command Line Interface) - Thực hiện qua giao diện web. trong đó quản trị bằng giao diện web có thể thực hiện được trên máy cục bộ hoặc từ xa. Hình 6. Xem thông tin về user, kết hợp với chỉnh sửa, gán quyền qua giao diện web Trong khi đó, công việc của quản trị thực thi là đảm bảo sự thực thi của hệ thống lưới luôn trong tình trạng tốt nhất có thể, đáp ứng được các nhu cầu của người dùng. Đồng thời vẫn đảm bảo tính hợp lệ trong các truy cập lưới sự an toàn cho các thành phần bên trong lưới. WMS là cửa ngõ để thể truy cập được các tài nguyên trên lưới, vì vậy các thiết lập trên dịch vụ này rất quan tr ọng. Thay đổi trên các tham số cấu hình dịch vụ sẽ ảnh hưởng đến hoạt động chung của toàn lưới. Quản trị thực thi gồm xác thực proxy người dùng với các dịch vụ thông qua file GACL (Grid Access Control List) điều khiển hoạt động chung của lưới qua các file config riêng của dịch vụ. Trên thực tế, cách tốt nhất là mỗi thành phần trên lưới đều có một nhà quản trị, chịu trách nhiệm về hoạt động cũng như các sự cố xảy ra trên thành phần đó. Bản thân người cài đặt hệ thống có khả năng hiểu rõ chi tiết hoạt động của thành phần có thể phân tích chính xác tình huống xảy ra. Từ đó kết hợp với các thông tin khác nhằm giải quyết mọi v ấn đề một cách nhanh chóng chính xác. IV.2. Về phía người sử dụng Để sử dụng các dịch vụ cung cấp bởi lưới một cách đầy đủ, người dùng cần thuộc về một VO được lưới hỗ trợ. Để trở thành một thành viên của một VO, những người sử dụng (gọi chung là các VO user) trước hết phải sở hữu một certificate được chấp nhận bởi VO đó. Để có được certificate này, user đăng kí nhận certificate tại một CA đáng tin cậy. Vi ệc chấp nhận CA nào của lưới có ý nghĩa hết sức quan trọng. Tinh thần của lưới là phân tán nên các site của nó có thể đặt ở bất kì nơi nào trên thế giới. Tuy nhiên, không phải CA nào cũng được thế giới công nhận không phải ai cũng có thể được sở hữu certificate từ CA đó. Quá trình để một CA được công nhận cũng khá phức tạp, bao gồm các buổi họp báo giới thiệu những cuộc thẩ m định về chất lượng mức độ an toàn của CA đó. Sau khi được chấp nhận bởi hệ thống, VO user cần được cấp quyền để truy cập các dịch vụ được cung cấp bởi Gridyền hạn của một VO user trên Grid hiện sự giới hạn truy cập các tài nguyên các dịch vụ trên Grid nó được thiết lập bởi nhà quản trị VO. Hệ thống lưới cung cấp một giao diệ n để người dùng có thể truy cập trực tiếp các dịch vụ, hoặc thông qua ứng dụng. [...]... gần đây sự hỗ trợ từ dự án EUAsiaGrid, khả năng định hình phát triển một hệ thống Grid của riêng chúng ta là hiện thực Lời cảm ơn: chúng tôi xin cảm ơn Viện khoa học Công nghệ Việt nam, Viện Công nghệ Thông tin đã tổ chức Do Son school on advanced Computing and GRID Technologies for Research, chủ nhiệm EUAsiaGrid-VN, PGS TS Trần Văn Lăng, đã hỗ trợ trong việc biên soạn các tài liệu Grid bài... ký hợp lý, từ việc cấp certificate, gia nhập VO cho đến việc sử dụng tài nguyên trên lưới Hiện nay, Phân viện Công nghệ thông tin tại TPHCM (IOIT-HCM) nay là Viện cơ học Tin học Ứng dụng (IAMI) đang tiến hành thực hiện dự án EUAsiaGrid Đây là một dự án hợp tác giữa hai châu lục Á – Âu với mục đích nhằm tạo điều kiện cho các nước châu Á tiếp cận với hệ thống Grid chung của châu Âu thế giới Đây... tác quản lý công việc bao gồm: Đệ trình, xem trạng thái, hủy, tìm kiếm tài nguyên phù hợp, thu thập kết quả công việc, … Hình 7 Liệt kê các thành phần tính toán phù hợp với yêu cầu công việc Hình 8 Lấy kết quả của công việc sau khi thực hiện xong Cùng với các CLI, gLite hỗ trợ người dùng một tập các API cho phép các ứng dụng truy cập đến các dịch vụ trên Người dùng hoàn toàn đủ khả năng phát triển. .. : glite 3.1 user guide 07-2008 [2] twiki.cern.ch, Generic Installation and Configuration Guide for gLite 3.1 082007 [3] EGEE, Installation and Configuration Guide v 3.0 (rev.2) 08-2006 [4] Trần Văn Lăng et al Tính toán lưới: Xây dựng hệ thống triển khai ứng dụng, NXB Giáo dục, 05/ 2008 [5] Đào Văn Tuyết, Lê Phước Lộc, Bùi Hồng Phúc, Ngô Anh Tuấn, Telemedicine Platform phát triển trên hệ thống Grid. .. các ứng dụng phục vụ cho cá nhân hoặc tổ chức của mình V Kết luận Việc xây dựng, quản trị hệ thống tính toán lưới với gLite thực sự không đơn giản Nó đòi hỏi sự tham gia cộng tác của nhiều cá nhân, với sự hiểu biết tường tận được huấn luyện tốt Hệ thống lưới minh họa ở trên vẫn còn ở mức đơn giản, cần được tiếp tục hoàn thiện trong thời gian tới Hiện nay, hơn 50 quốc gia đã gia nhập vào hệ thống Grid. .. quốc gia đã gia nhập vào hệ thống Grid chung của thế giới, trong đó có Việt Nam Hệ thống Grid chung này mang lại lợi ích rất to lớn từ nguồn tài nguyên của nó, tuy nhiên, để gia nhập hệ thống này đòi hỏi một số qui định nghiêm ngặt về tính an toàn, sự tin cậy yêu cầu hạ tầng Trong khi đó, nhu cầu triển khai các ứng dụng trên một hệ thống tính toán lưới phục vụ nghiên cứu ở nước ta hiện tại rất lớn Tuy... khi bắt tay vào giai đoạn xây dựng: - Xây dựng một CA đáng tin cậy, có chính sách quản lý certificate hợp lý, được công nhận ít nhất trong nước, sau đó là cả thế giới - Xây dựng một hoặc nhiều tổ chức ảo hỗ trợ cho việc đăng ký thành viên kiểm soát các chính sách về sử dụng tài nguyên trên lưới - Xây dựng một hoặc nhiều site, cung cấp nguồn tài nguyên luôn sẵn có phục vụ cho người sử dụng Các site... gia nhập hệ thống lưới thế giới nên việc xây dựng một hệ thống lưới cục bộ dành riêng cho Việt Nam là rất cần thiết Với hệ thống lưới do chính chúng ta xây dựng, các chính sách về quản trị sẽ phù hợp hơn với điều kiện thực tế ở Việt Nam, giúp cho các cá nhân hay tổ chức có nhu cầu sử dụng lưới tiếp cận với tính toán lưới một cách dễ dàng hơn Để triển khai một hệ thống Grid ở Việt Nam, cần thực hiện một...Các dịch vụ người dùng có thể truy cập gồm: các dịch vụ truy vấn thông tin lưới, các dịch vụ về dữ liệu, các dịch vụ thao tác quản lý công việc Dịch vụ truy vấn thông tin cho phép người dùng truy cập đến hệ thống thông tin của một lưới có thể thu thập được rất nhiều loại thông tin về hoạt động của hệ thống, trạng thái của các tài nguyên, tìm ra các tài nguyên thích hợp,…Các... Lê Phước Lộc, Bùi Hồng Phúc, Ngô Anh Tuấn, Telemedicine Platform phát triển trên hệ thống Grid , kỷ yếu hội thảo quốc gia Huế, 12- 13 tháng 6 năm 2008, trang 395-411, NXB KH&KT 2008 [6] http:/ /glite. web.cern.ch /glite [7] http://www.nchc.org.tw/event/2008/southeast_asia/

Ngày đăng: 07/01/2014, 01:07

Từ khóa liên quan

Mục lục

  • Giới thiệu

  • Phương pháp triển khai hệ thống Grid với gLite

    • Các yêu cầu hệ thống

    • Các cài đặt chung

    • Cài đặt và cấu hình các thành phần

    • Triển khai ứng dụng Grid trên gLite

      • Các loại công việc được gLite hỗ trợ

      • Cách triển khai các ứng dụng Grid trên gLite

      • Minh họa hệ thống gLite

        • Về phía người quản trị

        • Về phía người sử dụng

        • Kết luận

Tài liệu cùng người dùng

Tài liệu liên quan