Đang tải... (xem toàn văn)
Báo cáo môn học Tính toán hiệu năng cao (môn tự chọn) - chương trình cao học ngành Khoa học máy tínhĐề tài : CÀI ĐẶT & TRIỂN KHAI GLOBUS TOOLKIT TRÊN HỆ ĐIỀU HÀNH WINDOWS
ĐẠI HỌC ĐÀ NẴNG ĐÀO TẠO SAU ĐẠI HỌC NGÀNH KHOA HỌC MÁY TÍNH BÁO CÁO MÔN HỌC TÍNH TOÁN HIỆU NĂNG CAO ĐỀ TÀI: CÀI ĐẶT & TRIỂN KHAI GLOBUS TOOLKIT TRÊN HỆ ĐIỀU HÀNH WINDOWS Giáoviên hướng dẫn : GS.TS. Nguyễn Thanh Thủy Học viên thực hiện : Trần Thanh Liêm Nguyễn Trọng Nguyên Nguyễn Minh Quỳnh Đà Nẵng, 2014 2 Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh MỤC LỤC Chương 1. CƠ SỞ LÝ THUYẾT 4 1.1. Giới thiệu 4 1.2. Các thành phần chính của Globus Toolkit 5 5 1.2.1. Data Management Components 5 1.2.1.1. GridFTP 6 1.2.1.2. RLS 8 1.2.2. Execution (Jobs) Management Components 8 1.2.3. Security Components 9 1.2.3.1. GSI C 9 1.2.3.2. SimpleCA 9 1.2.3.3. MyProxy 9 1.2.3.4. GSI-OpenSSH 10 1.2.4. Common Runtime Components 11 1.2.4.1. XIO 11 1.2.4.2. C Common Libraries 12 1.3. Các chuẩn tính toán lưới 12 1.3.1. Open Grid Services Architecture (OGSA) 13 1.3.2. Open Grid Services Infrastructure (OGSI) phiên bản 1.0 13 1.3.3. Web Services Resource Framework (WSRF) 14 Chương 2. TRIỂN KHAI VÀ ĐÁNH GIÁ KẾT QUẢ 15 2.1. Môi trường triển khai 15 2.2. Kết quả các chức năng của chương trình 16 Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 3 HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh MỞ ĐẦU Lĩnh vực công nghệ thông tin trong đời sống ngày nay đóng một vai trò cực kỳ quan trọng và trở thành một phần không thể thiếu. Điều đó cũng đặt ra cho ngành công nghệ thông tin nhiều bài toán khó cần được giải quyết để phục vụ cho nhu cầu ngày càng phức tạp và đa dạng của con người. Tính toán hiệu năng cao là một trong những cách thức giải quyết vấn đề đó. Phương pháp này cho phép tận dụng năng lực xử lý, lưu trữ cùng các tài nguyên nhàn rỗi khác để cung cấp một môi trường tính toán có năng lực xử lý lớn, khả năng lưu trữ dồi dào để giải quyết các bài toán phức tạp - khó có thể giải quyết được với các công nghệ hiện hành hoặc giải quyết được nhưng với chi phí rất cao. Globus Toolkit là một trong những bộ công cụ mạnh mẽ giúp xây dựng hệ thống nêu trên. Hiện nay đa số Globus Tookit đều được triển khai trên hệ điều hành UNIX trong khi gây ra những khó khăn nhất định cho những hệ thống sử dụng hệ điều hành Windows. Chính vì vậy nhóm chúng em đã chọn đề tài về “Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows” để nghiên cứu và hiểu thêm về nó. Nhóm học viên thực hiện Trần Thanh Liêm Nguyễn Trọng Nguyên Nguyễn Minh Quỳnh 4 Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh CHƯƠNG 1. CƠ SỞ LÝ THUYẾT 1.1. Giới thiệu Globus Toolkit là bộ toolkit mã nguồn mở được phát triển vào năm 1996, được sử dụng để xây dựng các hệ thống và các ứng dụng tính toán lưới. Globus Toolkit hiện đang được phát triển bởi tổ chức Globus Alliance và nhiều tổ chức khắp nơi trên thế giới. Globus Alliance là một cộng đồng các cá nhân và tổ chức tham gia phát triển các công nghệ nền tảng cho Grid (lưới – tính toán lưới). Globus Toolkit cho phép hiện thực hoá các ý tưởng, mục tiêu đằng sau khái niệm Grid. Bộ toolkit bao gồm các dịch vụ và thư viện phục vụ việc bảo mật, hạ tầng thông tin Grid, quản lý tài nguyên, quản lý dữ liệu, liên lạc, phát hiện lỗi… Mặc dù Globus được phát triển để phục vụ các dự án về khoa học và kỹ thuật, nhưng hiện nay Globus cũng đã được áp dụng vào lĩnh vực thương mại. Từ năm 2000, Các công ty hàng đầu thế giới trong lĩnh vực công nghệ thông tin như Avaki, DataSynapse, Entropia, Fujitsu, Hewlett-Packard, IBM, NEC, Oracle, Platform, Sun và United Devices, Microsoft đã bắt đầu xây dựng các chiến lược về GridComputing trên nền tảng Globus. Các phiên bản của Globus Toolkit: Globus Toolkit Version 1 (GT1-1998), GlobusToolkit Version 2 (GT2-2002), Globus Toolkit Version 3 (GT3-2003), Globus Toolkit Version 4 (GT4-2005) và hiện nay là Globus Toolkit Version 5 (GT5-2010). GT1 và GT2 là các phiên bản xây dựng theo các mô hình và giao thức độc quyền của tổ chức Globus, đến GT3, GT4, GT5 thì chuyển sang xây dựng các Grid service theo các chuẩn WRSF, OGSA và OGSI. Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 5 HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh 1.2. Các thành phần chính của Globus Toolkit 5 Hình 1: Thành phần chính của Globus Toolkit 5 1.2.1. Data Management Components Thành phần quản lý dữ liệu có liên quan đến vị trí, truyền và quản lý phân bố dữ liệu. Globus Toolkit 5 (GT5) cung cấp các công cụ khác nhau cơ bản, bao gồm GridFTP vận chuyển dữ liệu hiệu suất cao và đáng tin cậy, và RLS cho việc duy trì thông tin vị trí cho các tập tin sao chép. Hình 2: Mô hình quản lý dữ liệu 6 Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh 1.2.1.1. GridFTP GridFTP là một giao thức hiệu suất cao, an toàn, đáng tin cậy trong việc truyền dữ liệu, là giao thức tối ưu hóa cho mạng băng thông rộng cao. Các giao thức GridFTP dựa trên FTP - giao thức chuyển tập tin phổ biến trên Internet. Hình 3: Mô hình Third-Party và Client/Server Tính năng hỗ trợ mới: Lệnh DCSC (Data channel security context). Máy chủ chroot GridFTP. Đồng bộ hóa bộ dữ liệu. Cải thiện khả năng khởi động lại thất bại trong globus-copy-url. Stall detection. Client-side host aliasing. GridFTP trên UDT. Chạy máy chủ GridFTP với GFork GridFTP. Multicasting / Network overlays. Netlogger phát hiện nút cổ chai trong khi truyền bằng GridFTP. Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 7 HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh GSI bảo mật: Đây là PKI dựa trên thực tế hệ thống an ninh tiêu chuẩn được sử dụng trong các ứng dụng Grid. Kerberos cũng có chức năng tương tự, nhưng không được hỗ trợ và khó sử dụng do sự khác nhau trong khả năng của GSI và Kerberos. Cluster-to-cluster (truyền hoặc phân chia dữ liệu): GridFTP có thể phối hợp truyền dữ liệu bằng cách sử dụng các nút máy tính ở nhiều nguồn và đích. Partial file access: khu vực của một tập tin có thể được truy cập bằng cách chỉ định một khoảng trống trong các tập tin và chiều dài của khối mong muốn. Reliability/restart: máy chủ nhận được định kỳ (mặc định là 5 giây, nhưng giá trị này có thể được thay đổi) gửi “đánh dấu tái thực hiện” đến client. Đánh dấu này là một thông điệp xác định những gì byte đã được ghi vào đĩa. Nếu không truyền đi được, client có thể thực hiện lại việc chuyển giao và cung cấp những đánh dấu (hoặc đánh dấu một tập hợp tương đương). Hỗ trợ tập tin kích thước lớn: tất cả các kích thước tệp, độ dài, và offset có chiều dài 64 bit. Tái sử dụng kênh dữ liệu: Dữ liệu kênh có thể được tái sử dụng nếu việc chuyển giao tiếp theo có cùng một nguồn, đích, và các chứng thực. Điều này tiết kiệm thời gian của cơ sở kết nối, xác thực. Đây là một sự khác biệt hiệu suất rất lớn khi di chuyển nhiều các tập tin nhỏ. Tích hợp thiết bị đo đạc (Performance Markers). Đăng nhập / kiểm tra (mở rộng đăng nhập vào máy chủ). Truyền song song (Nhiều dòng TCP giữa một cặp host). TCP kiểm soát kích thước bộ đệm. Dựa trên tiêu chuẩn RFC 959, RFC 2228, RFC 2389, IETF Draft MLST- 16, GGF GFD.020. 8 Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh Tính năng khác: Cung cấp một công cụ gọi là globus-url-copy. Công cụ này có thể tận dụng lợi thế của tất cả các tính năng giao thức GridFTP và cũng có thể làm giao thức chuyển đổi giữa FTP, HTTP, HTTPS, và POSIX tập tin IO trên máy client. Cung cấp một tập hợp các thư viện phát triển và API cho các nhà phát triển muốn thêm chức năng GridFTP ứng dụng. 1.2.1.2. RLS Replica Location Service (RLS) là một máy chủ cung cấp đăng ký và tra cứu thông tin bản sao. Trong RLS, có hai loại dịch vụ: dịch vụ catalog và dịch vụ index. Tính năng hỗ trợ: Toàn bộ thư viện C cho bản sao đăng ký, tra cứu bản sao, bản sao các thuộc tính, chỉ số truy vấn, và các nhiệm vụ quản trị. Công cụ dòng lệnh (globus-RLS-cli) cho các hoạt động của client trên danh mục catalog và index. Công cụ dòng lệnh (globus-RLS-admin) cho các nhiệm vụ quản trị. 1.2.2. Execution (Jobs) Management Components Thành phần quản lý thực thi có liên quan đến việc khởi đầu, theo dõi, lập kế hoạch, quản lý, hoặc phối hợp các tính toán từ xa. GT5 hỗ trợ Grid Resource Allocation and Management (GRAM5) như một cơ chế cơ bản cho các mục đích sử dụng. GRAM5 là thành phần được sử dụng để xác định vị trí, gửi, theo dõi, và hủy bỏ công việc trên tài nguyên tính toán lưới. GRAM5 không mang ý nghĩa lập lịch, nhưng là một tập hợp các dịch vụ và các client giao tiếp với một chuỗi bộ lập lịch công việc batch/cluster khác nhau bằng cách sử dụng một giao thức phổ biến. GRAM5 dùng để giải quyết một loạt các công việc dựa trên những hoạt động tin cậy, theo dõi trạng thái, quản lý chứng thực, và tạo tập tin quan trọng. Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 9 HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh Các tính năng trong GRAM5: Thực hiện công việc từ xa và quản lý. Cung cấp giao diện thống nhất, linh hoạt để quản lý tài nguyên cục bộ. Tạo tập tin trước và sau khi thực hiện công việc. Xóa các tập tin và thư mục tạm sau khi chấm dứt công việc. Dịch vụ kiểm toán cho mỗi đệ trình. 1.2.3. Security Components Thành phần này thiết lập danh tính của người sử dụng hoặc dịch vụ (xác thực), bảo vệ thông tin liên lạc và xác định ai được phép thực hiện những hành động (ủy quyền), cũng như quản lý thông tin người dùng. 1.2.3.1. GSI C Globus Toolkit GSI C là thành phần cung cấp các API và công cụ, cho phép xác thực và quản lý chứng thực. API xác thực được xây dựng bằng cách sử dụng Public Key Infrastructure (PKI), ví dụ như chứng thực X.509 và TLS. Hỗ trợ ủy quyền có dạng của cặp API. API đầu tiên được cấp cho phép mô tả thực hiện kiểm soát truy cập dựa trên các thông tin của khách hàng (chứng thực X.509). API thứ hai cung cấp một danh sách điều khiển truy cập đơn giản dựa trên tên người dùng cục bộ (hệ thống). Ngoài ra, cơ chế thứ hai cũng cung cấp các dòng mô tả cho phép các bên thứ ba để ghi đè lên hành vi mặc định và hiện đang được sử dụng trong các máy chủ Gatekeeper và GridFTP. Ngoài ra còn các API ở các mức độ khác nhau dùng để quản lý, phát hiện và truy vấn chứng thực. 1.2.3.2. SimpleCA Cung cấp một chứng thực đơn X.509 cho người dùng và dịch vụ của Globus Toolkit. Trong lưới có thể có một hoặc nhiều CA. 1.2.3.3. MyProxy MyProxy là phần mềm mã nguồn mở để quản lý bảo mật thông tin khóa công khai X.509 (chứng thực và khóa riêng). MyProxy kết hợp một kho lưu trữ chứng 10 Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh thực trực tuyến với một CA trực tuyến để cho phép người sử dụng một cách an toàn có được các thông tin cần thiết khi nào và ở đâu. Người dùng chạy myproxy-logon để xác thực và có được các thông tin, bao gồm cả chứng thực CA tin cậy và Certificate Revocation Lists (CRLs) Các tính năng hỗ trợ: Người dùng có thể có được chứng thực trustroots và chứng thực MyProxy bằng cách sử dụng lệnh myproxy-logon. Người dùng có thể lưu trữ và lấy nhiều thông tin X.509 proxy bằng cách sử dụng lệnh myproxy-init và myproxy-logon. Người dùng có thể lưu trữ và lấy nhiều thông tin X.509 end-entity bằng cách sử dụng lệnh myproxy-store và myproxy-retrieve. Người dùng và người quản trị có thể quản lý trustroots (chứng thực CA và CRLs) bằng cách sử dụng lệnh myproxy-logon và myproxy-get-trustroots. Người quản trị có thể tải các kho lưu trữ với X.509 end-entity thay cho người dùng bằng cách dùng myproxy-admin-load-credential. Người quản trị có thể dùng myproxy-admin-adduser để tạo thông tin người dùng và tải chúng vào kho lưu trữ MyProxy. Người quản trị có thể dùng myproxy-admin-addservice để tạo thông tin host và tải chúng vào kho lưu trữ MyProxy. Người dùng và người quản trị có thể thiết lập chính sách kiểm soát truy cập vào các thông tin trong kho. Nếu được cho phép bởi các nhà quản lý (ví dụ Condor-G) có thể gia hạn các thông tin khi chúng hết hạn. 1.2.3.4. GSI-OpenSSH GSI-OpenSSH là một phiên bản sửa đổi của OpenSSH có thêm hỗ trợ cho X.509 proxy chứng thực và ủy quyền, cung cấp một lần đăng nhập từ xa và dịch vụ truyền tập tin. GSI-OpenSSH có thể được sử dụng để đăng nhập vào hệ thống từ xa và chuyển các tập tin giữa các hệ thống mà không cần nhập mật khẩu, thay vì dựa [...]... dựa trênWeb service HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows CHƯƠNG 2 15 TRIỂN KHAI VÀ ĐÁNH GIÁ KẾT QUẢ 2.1 Môi trường triển khai Globus Toolkit thường được cài đặt và triển khai trên các dòng Linux như: Debian, Ubuntu,… Với đề tài này, nhóm chúng em triển khai Globus Toolkit trên môi trường Windows Microsoft Windows. .. Properties Trong tab Advanced, ta cài đặt một số biến môi trường HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 18 Cài đặt các biến môi trường: ANT_HOME, GLOBUS_ LOCATION, JAVA_HOME, PATH HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 19 Sau đó ta khởi... tự phát triển Vẫn chưa kết nối, thao tác được giữa các máy với nhau Chưa xử lý được các vấn đề phức tạp 3 Hướng phát triển Viết tài liệu hướng dẫn cụ thể cách cài đặt và triển khai Globus Toolkit trên Windows Triển khai một số ứng dụng của Globus Toolkit trên Windows HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows. .. Minh Quỳnh Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 20 Hủy proxy với lệnh: grid-proxy-destroy Ta thực hiện thao tác copy trong chính thư mục: C:\Program Files \Globus\ bin, kết quả: thành công HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 21 Tương tự ta thực hiện thao tác copy bất kì với lệnh: globus- url-copy... khai Globus Toolkit trên hệ điều hành Windows 23 Sau đó, ta thao tác với DNServer, xảy ra lỗi gss_init_sec_context Khi triển khai Globus Toolkit lên 1 máy khác với địa chỉ: 192.168.1.100, thực hiện lệnh copy và gặp lỗi không thể kết nối được HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 24 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN... báo cáo này) Cài đặt Globus Toolkit từ link: http://www.grid.tsl.uu.se/repos/globusmingw /Globus- 5.0.1a.exe Kết quả sau khi cài đặt: HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 17 Sau đó, theo như hướng dẫn yêu cầu, ta tạo thư mục: globus có chứa 2 file: userkey.pem và usercert.pem Ta bắt đầu cài đặt biến môi trường:... thành công Nếu có tham số sai, ví dụ như ta xóa thư mục 456 thì sẽ báo lỗi HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh 22 Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows Trong file hosts ở đường dẫn "C: \WINDOWS\ system32\drivers\etc", ta thêm địa chỉ IP và tên miền của DNServer vào: HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh Cài đặt và triển khai. . .Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 11 trên chứng thực proxy hợp lệ để xác thực GSI-OpenSSH chuyển tiếp các thông tin proxy để đăng nhập hệ thống từ xa, vì vậy các lệnh yêu cầu các thông tin proxy (bao gồm cả lệnh GSI-OpenSSH) có thể được sử dụng trên hệ thống từ xa mà không cần phải tự tạo ra một chứng thực proxy mới vào hệ thống đó Tính năng hỗ... Quỳnh Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 16 2.2 Kết quả các chức năng của chương trình Ghi chú: Nội dung ở phần 2.2 được trích dẫn lại từ báo cáo môn học Hệ phân tán của sinh viên Trần Thanh Liêm, Nguyễn Trọng Nguyên, chuyên ngành Mạng & Truyền thông, khoa Công nghệ Thông tin, trường Đại học Bách khoa – Đại học Đà Nẵng, năm 2012 (là những học viên thực hiện báo cáo này) Cài đặt. .. nhiều loại công nghệ, HVTH: Trần Thanh Liêm – Nguyễn Trọng Nguyên – Nguyễn Minh Quỳnh Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows 13 tài nguyên, trải rộng khắp thế giới, do nhiều tổ chức tham gia xây dựng, nên để các thành phần của lưới, ứng dụng trên lưới tương thích được với nhau cần phải có một chuẩn chung, một ngôn ngữ chung thống nhất cho toàn bộ nền công nghệ 1.3.1 Open Grid . bản hệ điều hành gần đây của Windows đều dựa trên sự phát triển từ phiên bản đầu tiên. 16 Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows. Cài đặt các biến môi trường: ANT_HOME, GLOBUS_ LOCATION, JAVA_HOME, PATH. Cài đặt và triển khai Globus Toolkit trên hệ điều hành Windows