GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN ****** BÁO CÁO: Môn: Tính toán lưới & Điện toán đám mây CÀI ĐẶT GLOBUS TOOLKIT 5.2.0 TRÊN CENTOS 6.2 SINH VIÊN THỰC HIỆN: GIẢNG VIÊN HƯỚNG DẪN: Huỳnh Thanh Việt – CH1301114 PGS.TS Nguyễn Phi Khứ TPHCM, 06-2014 Tính toán lưới và Điện toán đám mây GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt LỜI CÁM ƠN Đầu tiên, em xin chân thành cám ơn thầy PGS.TS Nguyễn Phi Khứ đã truyền đạt hết sức nhiệt tình cho tôi những kiến thức quý báu trong môn Tính toán lưới và Điện toán đám mây để tôi hoàn thành đề tài này. Em cũng xin gửi lời cám ơn chân thành đến các thầy cô trong trường Đại học Công Nghệ Thông Tin đã tận tình giúp đỡ em trong thời gian học vừa qua. Xin cảm ơn tất bạn bè đã và đang động viên, giúp đỡ tôi trong quá trình học tập và hoàn thành đề tài này. TPHCM, ngày 03 tháng 06 năm 2014 Lớp CH08 Học viên thực hiện Huỳnh Thanh Việt Tính toán lưới và Điện toán đám mây GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt LỜI NÓI ĐẦU Ngày nay, tính toán lưới (Grid Computing) đang là công nghệ nổi bật trên khắp thế giới và đang được nhiều tổ chức lớn áp dụng. Grid Computing hiện đang là nền tảng công nghệ mới với nhiều chức năng tiên tiến cung cấp nền tảng công nghệ, năng lực tính toán cho các tổ chức và doanh nghiệp với các yêu cầu cụ thể. Grid Computing đáp ứng tốt các nhu cầu về bảo mật, nhu cầu cung cấp các chức năng cơ bản và khả năng quản lý các tiến trình trong lưới một cách hiệu quả. Các chương trình chạy trên môi trường mạng lưới có thời gian xử lý công việc ngắn hơn và đạt hiệu suất nhanh hơn vì có khả năng truy cập nhanh đến các nguồn tài nguyên phân tán trong môi trường lưới. Các đặt tính nổi bật của Grid Computing bao gồm: - Khai thác tài nguyên để xử lý chương trình. - Kết hợp nhiều tài nguyên tạo thành tổ chức ảo. - Khả năng xử lý song song đồng bộ và không đồng bộ. - Khả năng quản lý người dùng, quản lý tài nguyên và tiến trình. - Khả năng bảo mật cao với chứng thực, kiểm soát truy cập, mã hóa. Trong bài báo cáo này, tôi sẽ nghiên cứu về cách cài đặt Globus Toolkit 5.2.0 trên hệ điều hành CentOS 6.2 để xây dựng một hệ thống lưới tính toán với nhiều máy tính và cách chạy một ứng dụng Grid dựa trên hệ quản trị tài nguyên GRAM được cài đặt trong Globus Toolkit. Tính toán lưới và Điện toán đám mây GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt NHẬN XÉT CỦA GIẢNG VIÊN Tính toán lưới và Điện toán đám mây GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt MỤC LỤC ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH 1 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN 1 LỜI CÁM ƠN 2 LỜI NÓI ĐẦU 3 MỤC LỤC 5 6 CHƯƠNG 1: TỔNG QUAN VỀ GRID COMPUTING 1 CHƯƠNG 2: CÀI ĐẶT GRID 5 CHƯƠNG 3: THỰC THI ỨNG DỤNG 22 TÀI LIỆU THAM KHẢO 26 DANH MỤC CÁC BẢNG, SƠ ĐỒ, HÌNH Tính toán lưới và Điện toán đám mây GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt Hình 1: Sơ đồ mô hình CA và Host Bảng 1: Các máy trong mạng lưới Bảng 2: Tên người dùng của từng máy Bảng 3: Các gói phần mềm cài đặt Tính toán lưới và Điện toán đám mây GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt CHƯƠNG 1: TỔNG QUAN VỀ GRID COMPUTING 1. Khái niệm: Một định nghĩa về Grid khá hoàn chỉnh được đưa ra bởi tiến sỹ Ian Foster như sau : “Grid là một loại hệ thống song song, phân tán cho phép chia sẻ, lựa chọn, kết hợp các tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác nhau dựa trên tính sẵn sàng, khả năng, chi phí của chúng và yêu cầu về chất lượng dịch vụ (QoS) của người dùng để giải quyết các bài toán, ứng dụng có quy mô lớn trong khoa học, kỹ thuật và thương mại. Từ đó hình thành nên các “tổ chức ảo” (Virtual Organization (VO)), các liên minh tạm thời giữa các tổ chức và tập đoàn, liên kết với nhau để chia sẻ tài nguyên và/hoặc kỹ năng nhằm đáp ứng tốt hơn các cơ hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán và dữ liệu, toàn bộ việc liên minh này dựa trên các mạng máy tính”. Một hệ thống Grid có những đặc trưng sau: Có sự kết hợp, chia sẻ các tài nguyên không được quản lý tập trung Grid tích hợp và phối hợp tài nguyên, người dùng thuộc nhiều vùng quản lý khác nhau, nhiều đơn vị khác nhau trong một tổ chức, hay nhiều tổ chức khác nhau. Công nghệ Grid tập trung giải quyết các vấn đề về bảo mật, chính sách quản trị, chi phí, thành viên,… nảy sinh trong quá trình chia sẻ và sử dụng tài nguyên. Sử dụng các giao diện và giao thức chuẩn, mang tính mở, đa dụng. Grid được xây dựng trên các giao thức và giao diện tổng quát, đa dụng để giải quyết các vấn đề cơ bản như chứng thực người dùng, phân quyền, tìm kiếm và truy xuất tài nguyên. Đáp ứng yêu cầu cao về chất lượng dịch vụ. Grid cho phép sử dụng phối hợp các tài nguyên để cung cấp nhiều loại dịch vụ với các mức chất lượng khác nhau, liên quan đến ví dụ như thời gian đáp ứng, hiệu suất, tính sẵn sàng, bảo mật, cho phép kết hợp nhiều kiểu tài Tính toán lưới và Điện toán đám mây Page 1 GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt nguyên để đáp ứng nhu cầu phức tạp của người dùng. Mục tiêu là phải phối hợp làm sao để khả năng của hệ thống sau khi kết hợp phải lớn hơn hẳn tổng khả năng của từng đơn vị cấu thành nên Grid. 2. Lịch sử phát triển: Mặc dù công nghệ Grid Computing được nhắc đến rất nhiều trong thời gian gần đây, nhưng thực ra nhiều ý tưởng cơ bản về Grid đã xuất hiện dưới dạng này hay dạng khác trong lịch sử tính toán. Ví dụ như ý tưởng “chia sẻ năng lực tính toán” đã xuất hiện từ những năm 60-70 của thế kỷ XX, lúc đó toàn bộ năng lực tính toán được chia sẻ từ các máy mainframe. Năm 1965, những người phát triển hệ điều hành Multics (tiền thân của hệ điều hành Unix) đã đề cập đến việc sử dụng năng lực tính toán như là một tiện ích, một quan điểm rất gần với quan điểm về Grid hiện nay. Đó là một hệ thống cung cấp năng lực tính toán tương tự như hệ thống cung cấp điện, nước hiện đang được sử dụng trong cuộc sống hàng ngày. Người dùng khi muốn sử dụng tài nguyên tính toán để xử lý công việc, chỉ cần cắm thiết bị vào hệ thống cung cấp, sử dụng và trả tiền giống như khi cắm thiết bị điện vào lưới điện. Tuy trước đó đã có nhiều ý tưởng về Grid nhưng nguồn gốc của Grid chính thức được xác định vào năm 1990, khi thuật ngữ “siêu tính toán” (metacomputing) ra đời, dùng để mô tả các dự án kết nối các trung tâm siêu máy tính của Mỹ nhằm kết hợp sức mạnh xử lý của nhiều siêu máy tính lại với nhau. Đến năm 1995, 2 dự án siêu tính toán quan trọng, ảnh hưởng lớn đến các công nghệ nền tảng trong các dự án Grid ngày nay là FAFNER (Factoring via Network-Enabled Recursion) và I-WAY(Information Wide Area Year) ra đời. Khái niệm Grid ra đời ở phòng thí nghiệm Argonne National Laboratory vào tháng 7/1997, sau đó được đưa vào quyển sách "The Grid: Blueprint for a New Computing Infrastructure" viết bởi tiến sỹ Ian Foster (Argonne National Laboratory) và Carl Kesselman (University of Southern California) năm 1998. Ian Tính toán lưới và Điện toán đám mây Page 2 GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt Foster đã từng tham gia dự án I-WAY, Carl Kesselman là người tham gia dự án Globus Toolkit, một dự án nền tảng của công nghệ Grid và Metacomputing. Từ đó đến nay, việc phát triển công nghệ Grid trở nên rất sôi động với sự tham gia nghiên cứu, đầu tư của nhiều tổ chức, tập đoàn công nghệ thông tin, nhiều quốc gia, và đã thu được những thành tựu bước đầu. Có thể nói, việc phát triển và xây dựng hệ thống Grid là sự kế thừa và phát triển các ý tưởng, các công nghệ hiện hành ở mức cao hơn. Sự phát triển không ngừng của cơ sở hạ tầng, phần cứng máy tính, mạng đã giúp các hệ thống Grid ngày nay thực hiện được nhiều điều hơn những ý tưởng trước đây. 3. Tài nguyên: 3.1 Tài nguyên tính toán: Đây là tài nguyên phổ biến nhất, là các chu kỳ tính toán (computing cycles) được cung cấp bởi bộ vi xử lý của các thiết bị trong Grid. Các bộ vi xử lý không cần phải cùng loại mà có thể có tốc độ, kiến trúc, chạy phần mềm khác nhau. Có 3 cách để khai thác tài nguyên tính toán của Grid: • Cách đơn giản nhất là chạy các ứng dụng hiện có trên một node của Grid thay vì chạy trên máy tính cục bộ. • Thiết kế ứng dụng, tách các công việc thành các phần riêng rẽ để có thể thực thi song song trên nhiều bộ xử lý khác nhau. • Chạy ứng dụng thực thi nhiều lần trên nhiều node khác nhau trong Grid. 3.2 Tài nguyên lưu trữ: Tài nguyên phổ biến thứ nhì trong Grid là tài nguyên lưu trữ. Mỗi thiết bị trong Grid thường cung cấp một số dung lượng lưu trữ phục vụ cho việc thực thi ứng dụng trên Grid. Tài nguyên lưu trữ có thể là bộ nhớ trong, ổ đĩa cứng hoặc các thiết bị lưu trữ khác. Bộ nhớ trong thường dùng để lưu trữ dữ liệu tạm thời cho ứng dụng, trong khi các thiết bị lưu trữ Tính toán lưới và Điện toán đám mây Page 3 GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt ngoài có thể được sử dụng để tăng không gian lưu trữ, tăng hiệu suất, khả năng chia sẻ và đảm bảo tính tin cậy của dữ liệu. 3.3 Phương tiện liên lạc: Khả năng liên lạc giữa các máy tính phát triển nhanh chóng đã giúp cho công nghệ Grid trở nên hiện thực, do đó đây cũng là một tài nguyên quan trọng. Ở đây bao gồm việc liên lạc, trao đổi dữ liệu giữa các thành phần trong Grid và giao tiếp giữa Grid với bên ngoài. Một số công việc đòi hỏi một lượng dữ liệu lớn nhưng các dữ liệu này thường không nằm trên máy đang thực thi công việc. Khả năng về băng thông trong những trường hợp như vậy là một tài nguyên then chốt, ảnh hưởng đến khả năng của Grid. Việc giao tiếp với bên ngoài được thực hiện thông qua mạng Internet. Grid có thể sử dụng các kết nối Internet để liên lạc giữa các node. Vì các kết nối này không chia sẻ một đường truyền nên làm tăng băng thông truy cập Internet. Các đường truyền dự phòng đôi khi cần thiết để giải quyết tốt hơn các vấn đề về hư hỏng mạng và truyền dữ liệu lớn. 3.4 Phần mềm ứng dụng: Grid có thể được cài đặt các phần mềm mà có thể quá mắc để cài trên tất cả mọi máy tính trong Grid. Các phần mềm này chỉ cần được cài trên một số node. Thông qua Grid, khi một công việc cần đến chúng, nó sẽ gửi dữ liệu đến node đã được cài đặt phần mềm và cho thực thi. Đây có thể là một giải pháp tốt để tiết kiệm chi phí về bản quyền phần mềm. 3.5 Các thiết bị đặc biệt: Là các thiết bị dùng trong khoa học, kỹ thuật như kính viễn vọng, các bộ cảm biến (sensor),… Các thiết bị này chủ yếu thu thập các dữ liệu khoa học, phục vụ cho các bước phân tích, xử lý sau này. Tính toán lưới và Điện toán đám mây Page 4 [...]... giờ 4 Cài đặt Certificate Authority 4.1 Cài đặt SimpleCA Lưu ý: việc cài đặt SimpleCA chỉ thực hiện trên node chính May1_CA Tính toán lưới và Điện toán đám mây Page 12 GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt Login với root và chạy lệnh sau để cài đặt biến môi trường cho globus- user: # $GLOBUS_ LOCATION/etc /globus- user-env.sh Login với tài khoản globus và chạy lệnh sau để tiến hành cài đặt. .. lệnh sau: Tính toán lưới và Điện toán đám mây Page 11 GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt # yum install libtool-ltdl-devel 3.13 Cài đặt gói Globus Toolkit Để cài đặt Globus Toolkit 5.2.0, ta tải gói “gt5.2.0-all-source-installer.tar.gz” tại link: http://www .globus. org/ftppub/gt5/5.2 /5.2.0/ installers/src/gt5.2.0-all-source-installer.tar.gz Sau đó, dùng WinSCP để copy file “gt5.2.0-all-source-installer.tar.gz”... may2pc.viethuynh.com 192.168.1.12 may3pc.viethuynh.com 192.168.1.13 may4pc.viethuynh.com 3 Cài đặt Globus Toolkit 5.2.0 Lưu ý: các bước cài đặt Globus Toolkit dưới đây đều được thực hiện tương tự trên tất cả các máy Tính toán lưới và Điện toán đám mây Page 7 GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt 3.1 Cài đặt JDK Tải file cài đặt JDK “jdk-7u3-linux-i586.rpm” với version 1.7.0 tại link: http://www.oracle.com/technetwork/java/javase/downloads/jdk-7u3-download-1501626.html... viethuynh.com CentOS 6.2 Gói GT 5.2.0 All Source may3_HostB may3pc viethuynh.com CentOS 6.2 Gói GT 5.2.0 All Source may4_HostC may4pc viethuynh.com CentOS 6.2 Gói GT 5.2.0 All Source Bảng 1: Các máy trong mạng lưới Tính toán lưới và Điện toán đám mây Page 5 GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt Tên Máy Nhiệm vụ Tên người dùng May1_CA Node chính dùng để chứng thực globus, may1 May2_HostA Node phụ globus, ... tiến hành cài đặt theo các bước dưới đây: Đăng nhập vào root, thực hiện Mount CD của CentOS 6.2 để cài đặt gói Xinetd có sẵn trên CD CentOS: # mkdir /etc/cdrom (tạo folder chứa các file Mount) # mount /dev/cdrom /etc/cdrom Vào thư mục sau: # cd /etc/cdrom /CentOS Sau đó tiến hành cài đặt gói xinetd-2.3.14-10.el5.i386.rpm Tính toán lưới và Điện toán đám mây Page 17 GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh... requiretty và thêm dấu # vào đầu dòng đề tránh trường hợp báo lỗi sudo khi chạy GRAM - Bước 2: thêm đoạn code sau vào cuối file: Runas_Alias GLOBUSUSERS = ALL, !root; globus ALL=(GLOBUSUSERS) NOPASSWD: /usr/local /globus- 5.2.0/ libexec/globusgridmap-and-execute -g /etc/grid-security/grid-mapfile /usr/local /globus5 .2.0/libexec /globus- job-manager-script.pl * Tính toán lưới và Điện toán đám mây Page 21 GVHD: PGS.TS... fetch.xml -Ddest=system Kiểm tra cài đặt thành công bằng lệnh: Tính toán lưới và Điện toán đám mây Page 8 GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt # ant -version 3.3 Cấu hình biến môi trường Cấu hình các biến môi trường để dễ dàng truy cập trong suốt quá trình cài đặt và sử dụng Globus Toolkit Ở đây, chúng ta sẽ cấu hình các biến môi trường cho Java, Apache Ant và Globus Location bằng cách gõ... trình cài đặt Simple CA trên máy CA 4.2 Cài đặt Certificate cho node phụ Lưu ý: bước này chỉ thực hiện tại các node phụ để nhận node chính may1_CA làm CA chứng thực cho các node phụ trong hệ thống mạng lưới Tính toán lưới và Điện toán đám mây Page 13 GVHD: PGS.TS Nguyễn Phi Khứ HVTH: Huỳnh Thanh Việt Ta copy file distribution packet globus_ simple_ca_[ca_hash]_setup-0.20.tar.gz từ máy CA và bỏ vào thư... “gt5.2.0-all-source-installer.tar.gz” vào thư mục /home /globus/ là thư mục của user globus Tạo folder globus- 5.2.0 trong folder /usr/local/ để chứa Globus sau khi được build bằng lệnh: # mkdir /usr/local /globus- 5.2.0 Đăng nhập vào tài khoản Globus bằng lệnh: # su - globus Giải nén gói Globus trên bằng lệnh: $ tar -zxvf gt5.2.0-all-source-installer.tar.gz Chuyển vào folder vừa được giải nén ra: $ cd gt5.2.0-all-source-installer... lệnh sau để Build Globus Toolkit 5.2.0 vào thư mục /usr/local/ $ /configure prefix=/usr/local /globus5 .2.0 Lưu ý: khi thực hiện lệnh trên nếu thấy xuất hiện các thông báo Warning, lúc này quá trình cài đặt đã gặp lỗi, cần phải kiểm tra lại các bước cài đặt trên Nếu không xất hiện Warning thì thực hiện tiếp các lệnh sau: $ make $ make install Quá trình build và install Globus Toolkit 5.2.0 mất khoảng . TIN ****** BÁO CÁO: Môn: Tính toán lưới & Điện toán đám mây CÀI ĐẶT GLOBUS TOOLKIT 5. 2. 0 TRÊN CENTOS 6 .2 SINH VIÊN THỰC HIỆN: GIẢNG VIÊN HƯỚNG DẪN: Huỳnh Thanh Việt – CH1 301 114 PGS.TS Nguyễn. cài đặt may1_CA may1pc.viethuynh.com CentOS 6 .2 Gói GT 5. 2. 0 All Source may2_HostA may2pc. viethuynh.com CentOS 6 .2 Gói GT 5. 2. 0 All Source may3_HostB may3pc. viethuynh.com CentOS 6 .2 Gói GT 5. 2. 0. LỤC 5 6 CHƯƠNG 1: TỔNG QUAN VỀ GRID COMPUTING 1 CHƯƠNG 2: CÀI ĐẶT GRID 5 CHƯƠNG 3: THỰC THI ỨNG DỤNG 22 TÀI LIỆU THAM KHẢO 26 DANH MỤC CÁC BẢNG, SƠ ĐỒ, HÌNH Tính toán lưới và Điện toán đám mây