Đại Học Quốc Gia TP.HCM Trường Đại Học Công Nghệ Thông Tin BÀI THU HOẠCH MÔN TÍNH TOÁN LƯỚI ĐỀ TÀI: TÍNH TOÁN LƯỚI VÀ ỨNG DỤNG CHO BÀI TOÁN KINH TẾ GVHD: PGS.TS Nguyễn Phi Khứ Người thực hiện: Bùi Chí Cường Mã số: CH1101007 Lớp: Cao học khóa 6 TP.HCM – 2013 LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời chân thành cảm ơn đến Ban Chủ nhiệm trường Đại học công nghệ thông tin TP HCM đã tạo điều kiện cho em được tiếp cận với bộ môn Tính toán lưới. Em xin cảm ơn thầy PGS.TS Nguyễn Phi Khứ đã tận tình truyền đạt kiến thức cho em cũng những gì thầy đã giúp đỡ, hướng dẫn để em thực hiện bài tiểu luận. Em cũng xin gửi lời cảm ơn sâu sắc đến quý thầy cô trong Khoa Công nghệ Thông tin cùng các bạn bè thân hữu đã nhiệt tình đóng góp ý kiến, cũng như động viên để em hoàn thiện hơn đề tài của mình. Mặc dù đã rất cố gắng nhưng đề tài khó tránh khỏi những thiếu sót và sai lầm, em mong thầy cô và bạn bè cho ý kiến để đề tài ngày càng hoàn thiện hơn. Một lần nữa, em xin chân thành cảm ơn! Tp. HCM, 15 tháng 7 năm 2013 Bùi Chí Cường CH1101007 MỤC LỤC LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC HÌNH ẢNH 5 1 DANH MỤC CÁC TỪ VIẾT TẮT 7 NHIỆM VỤ ĐỀ TÀI 8 TÓM TẮT ĐỀ TÀI 8 CHƯƠNG I : GIỚI THIỆU VỀ TÍNH TOÁN LƯỚI (GRID COMPUTING) 9 1. Định nghĩa 9 2. Mô hình tổng quan về tính toán lưới 10 3. Các thành phần của hệ thống mạng lưới thực tế 17 4. Các giao thức và dịch vụ mạng lưới (Grid Protocols and Services) 19 5. Các dạng Grid - Types of Grids 23 CHƯƠNG II - KIẾN TRÚC HƯỚNG DỊCH VỤ CỦA GRID CHO BÀI TOÁN KINH TẾ 26 1. Các yêu cầu kinh tế cho hệ thống mạng lưới 26 2. Kiến trúc hệ thống cho việc tính toán kinh tế 27 2.1. Grid Resource Broker (GRB) 29 2.2. GRACE Framework – Leveraging Globus Tool 29 2.3. Grid Open Trading Protocols và Deal Template 31 2.4. GRID Open Trading APIs 32 2.5. Các cơ chế Pricing, Accounting, và Payment 33 CHƯƠNG III - NIMROD-G GRID RESOURCE BROKER VÀ THUẬT GIẢI ECONOMIC SCHEDULING 36 1. Giới thiệu 36 2. Nimrod-G Resource Broker 37 3. Dịch vụ và người sử dụng cuối 39 4. Kiến trúc 40 5. Nimrod-G Grid Resource Broker 42 5.1. Task Farming Engine (TFE) 43 5.2. The scheduler 44 5.3. Bộ phận điều phối và cơ chế truy cập 44 5.4. Agent (Tác nhân) 44 6. Lập kế hoạch và bài toán tính kinh tế 45 7. Thuật toán lập lịch 47 CHƯƠNG IV - GRIDSIM: MÔ HÌNH GRID VÀ BỘ CÔNG CỤ MÔ PHỎNG 49 1. Giới thiệu 49 2. Kiến trúc hệ thống 50 2.1. SimJava Discrete Event Model 52 2.2. Thực thể Grid Sim 52 2.3. Mô hình ứng dụng 53 2.4. Mô hình giao thức tương tác 54 2.5. Mô hình tài nguyên - Mô phỏng đa nhiệm và đa xử lý 57 2.6. Mô phỏng việc lên lịch trong nguồn tài nguyên chia sẻ thời gian 58 2.7. Mô phỏng việc lên lịch trong nguồn tài nguyên chia sẻ không gian 59 3. Tóm tắt và nhận xét 63 CHƯƠNG V - KẾT LUẬN 65 CHƯƠNG VI - THAM KHẢO 67 BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6 DANH MỤC HÌNH ẢNH Hình 1 - Sự tương tác với các thực thể của Grid 10 Hình 2 - Mô hình tổng quan 11 Hình 3 - Mô hình phân tầng 12 Hình 4 - Các thành phần của hệ thống tính toán lưới 19 Hình 5 - Các giao thức và dịch vụ mạng lưới 20 Hình 6 - Kiến trúc quản lý tài nguyên mạng lưới 22 Hình 7 - Kiến trúc hệ thống cho việc tính toán kinh tế 28 Hình 8 - GRACE Framework 30 Hình 9 - Grid Open Trading Protocols và Deal Template 31 Hình 10 - GRID Open Trading APIs 33 Hình 11 - Các cơ chế Pricing, Accounting, và Payment 34 Hình 12 - Economic Model 37 Hình 13 - Chất lượng dịch vụ dựa trên việc quản lý tài nguyên 38 Hình 14 - Nimrod-G Grid resource broker 38 Hình 15 - Kiến trúc Nimrod-G 41 Hình 16 - Luồng thao tác trong môi trường Nimrod-G runtime 43 Hình 17 - Các bước lập lịch phù hợp trong Nimrod-G broker 48 BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6 Hình 18 - Mô hình kiến trúc của GridSim Platform 51 Hình 19 - Sơ đồ dòng chay trong GridSim dựa vào mô phỏng 53 Hình 20 - Mô hình giao tiếp thực thể thông qua thực thể đầu vào và đầu ra 54 Hình 21 - Sơ đồ sự kiện cho việc tương tác giữa tài nguyên 55 Hình 22 - Sơ đồ tương tác giữ tài nguyên chia sẽ không gian và các thực thể khác 57 Hình 23 - Mô hình đa xử lý chia sẽ không gian dựa vào sự phối hợp sự kiện 62 BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6 1 DANH MỤC CÁC TỪ VIẾT TẮT Từ, ngữ danh từ viết tắt Từ, ngữ danh từ đầy đủ GSI Grid Protocols and Services GRB Grid Resource Broker JCA Job Control Agent GE Grid Explorer TM Trade Manager GIS Grid Information Service GRIS Grid Resource Information Server GIIS Grid Index Information Server TFE Task Farming Engine DT Deal Template BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6 NHIỆM VỤ ĐỀ TÀI Đề tài này tìm hiểu các hệ thống tính toán lưới (Grid Computing) và đề xuất cách tối ưu chi phí của tính toán phân tán cho việc quản lý các nguồn lực và lập kế hoạch ứng dụng. Nó quy định chính sách về cung cấp và nhu cầu nguồn tài nguyên và khuyến khích cho các chủ sở hữu nguồn tài nguyên tham gia vào lưới TÓM TẮT ĐỀ TÀI Tính toán lưới (Grid Computing), đang phát triển như là hạ tầng cho thế hệ tính toán tương lai, cho phép chia sẽ, lựa chọn, và tập hợp các nguồn tài nguyên phân tán về mặt địa lý để giải quyết các vấn đề quy mô lớn trong lĩnh vực khoa học, kỹ thuật và thương mại.Khi các nguồn tài nguyên trong Grid là không đồng nhất và về mặt phân tán theo địa lý khác nhau và một loạt các chính sách sử dụng và chi phí cho người sử dụng đa dạng ở các thời điểm khác nhau và ưu tiên cũng như các mục tiêu với thời gian khác nhau. Việc quản lý các nguồn tài nguyên và lịch trình của ứng dụng trong một môi trường lớn và phân tán là một nhiệm vụ phức tạp. Đề tài này đề xuất cách tối ưu chi phí của tính toán phân tán cho việc quản lý các nguồn lực và lập kế hoạch ứng dụng. Nó quy định chính sách về cung cấp và nhu cầu nguồn tài nguyên và khuyến khích cho các chủ sở hữu nguồn tài nguyên tham gia vào lưới BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6 CHƯƠNG I : GIỚI THIỆU VỀ TÍNH TOÁN LƯỚI (GRID COMPUTING) 1. Định nghĩa Tính toán mạng lưới là một công nghệ cho phép các tổ chức ảo chia sẻ tài nguyên phân tán theo một mục đích chung mà không yêu cầu phải có một trung tâm điều khiển tập trung. Tổ chức ảo: có thể mở rộng từ những bộ phận nhỏ trong cùng 1 viện cho đến tổ chức gồm nhiều thành viên nằm rải rác khắp địa cầu. Một số tổ chức ảo như: 1. Đội thiết kế Blended Wing Body của hãng Boeing 2. Bộ phận quản lý sản phẩm Global VPN của hãng Worldcom có mặt trên 28 quốc gia. 3. Phòng kế toán tài vụ của 1 công ty Tài nguyên: có thể là một tài nguyên tính toán như máy tính cá nhân, máy tính xách tay, trạm làm việc, máy chủ, nhóm máy tính (cluster), siêu máy tính hoặc có thể là tài nguyên lưu trữ như ổ đĩa cứng trong máy PC, các thiết bị lưu trữ chuyên dụng như RAID. Các thiết bị đo lường, dò (sensor) cũng là 1 dạng tài nguyên cần chia sẻ. Thậm chí băng thông mạng, phần mềm cũng là tài nguyên của một tổ chức ảo. BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6 Hình 1 - Sự tương tác với các thực thể của Grid 2. Mô hình tổng quan về tính toán lưới Mạng lưới (Grid) là hệ thống phần cứng và phần mềm kết nối mạng máy tính thế hệ sau, cho phép chia sẻ các tài nguyên tính toán (computing resources) của các máy tính nối mạng, làm tăng gấp nhiều lần hiệu năng và tốc độ xử lý thông tin. Tính toán mạng lưới (Grid Computing) là công nghệ nền trong việc hình thành mạng lưới, là nền tảng phần mềm chạy trên nền các thiết bị phần cứng kết nối mạng truyền thống giúp xây dựng những ứng dụng mạng lưới có năng lực năng lực tính toán rất mạnh mẽ, có khả năng chuyển tải những khối lượng dữ liệu khổng lồ, khả năng lưu trữ và truy cập thông tin trên mạng mà bằng những giải pháp phần mềm và công nghệ mạng Internet truyền thống chỉ dựa trên nghi thức TCP/IP không thể đạt tới. [...]... công việc tính toán và cộng tác của người dùng o Inter Grids: Inter grids, theo IBM, cung cấp khả năng chia sẻ tài nguyên tính toán và lưu trữ thông qua Web o Mạng lưới tính toán - Compute grids được thành lập nhằm mục tiêu duy nhất là chia sẻ tài nguyên tính toán o Desktop Grids: Đây là mạng lưới tập hợp sức mạnh tính toán của các máy tính để bàn Do hệ điều hành Windows thống trị họ máy tính này nên... BROKER VÀ THUẬT GIẢI ECONOMIC SCHEDULING 1 Giới thiệu Chương này trình bày về Nimrod-G grid resource broker được sử dụng trong kiến trúc định hướng việc tính toán kinh tế cho ứng dụng quản lý tài nguyên và lịch làm việc trên nguồn tài nguyên phân bố rộng Tính toán lưới dùng để phối hợp và tổng hợp các nguồn tài nguyên phân tán về mặt địa lý, để giải quyến vấn đề qui mô lớn trong kỹ thuật, khoa học và kinh. .. trúc hệ thống cho việc tính toán kinh tế Hai nhân tố quan trọng trong một hệ thống mạng lưới là Resource Provider (GSPs – Grid Service Provider) và Resource Consumer (GRBs – Grid Resource Broker) Trong một hệ thống mạng lưới sử dụng trong kinh tế, GRB áp dụng chiến lược sử dụng tài nguyên rẻ nhất có thể trong một khoảng thời gian nhất định nào đó Mặt khác, GSP sử dụng chiến lược sao cho khả năng hoàn... vấn đề Một số ứng dụng có thể là được viết cho CPU hoặc có thể phát triển trên các thiết bị I/O hoặc cả 2 Ví dụ, trong các ứng dụng phát triển trên CPU, ta có thể chỉ tính phí cho CPU trong khi không cần tính phí cho I/O Điều này không thể áp dụng cho các application viết trên thiết bị I/O Chính vì vậy, việc tiêu thụ nguồn tài nguyên cần phải được hạch toán và tính phí: o Thời gian của CPU và của hệ thống... máy tính hoặc nhóm máy tính hiệu năng cao (được thiết kế cho các ứng dụng tính toán lớn) o Mạng lưới dữ liệu - Data Grids: Tài nguyên chủ yếu được chia sẻ trong mạng lưới này là dữ liệu Nó được xây dựng nhằm tối ưu các thao tác hướng dữ liệu như: lưu trữ, truy xuất, trao đổi BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6 CHƯƠNG II - KIẾN TRÚC HƯỚNG DỊCH VỤ CỦA GRID CHO BÀI TOÁN KINH TẾ 1 Các yêu cầu kinh. .. của ứng dụng Nhà cung cấp dịch vụ cần hệ thống sinh giá để tăng tính tiện ích của hệ thống, như là các giao thức kinh tế để giúp họ cung cấp được các dịch vụ cạnh tranh Để thị trường cạnh tranh và hiệu quả, cơ chế phối hợp được yêu cầu để giúp thị trường đạt được mức độ cân bằng giá Nhiều lý thuyết kinh tế đã được đề xuất trong bài viết và nhiều mô hình kinh tế thường được sử dụng cho bán hàng hoá và. .. Dung lượng tối đa o Lưu trữ dữ liệu sử dụng o Hoạt động mạng o Tín hiệu nhận được o Phần mềm và thư viện sử dụng o Cơ chế thanh toán Một framework tính toán tiết kiệm trên Grid cần được hỗ trợ nhiều cơ chế thanh toán khác nhau, bao gồm: Phương thức trả trước – thanh toán và sử dụng credit thông qua GSP hay GBank o Sử dụng và thanh toán sau đó o Trả tiền ngay khi sử dụng BÙI CHÍ CƯỜNG - CH1101007 LỚP... cầu và chỉ đạo các tính toán thích hợp Các GSP cần có các Tool để thể hiện chính sách giá và cơ chế để giúp họ tối đa hóa lợi nhuận và việc sử dụng tài nguyên Các mô BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6 hình kinh tế khác nhau có thể được áp dụng cho việc giao dịch tài nguyên trong môi trường tính toán Grid 2.1 Grid Resource Broker (GRB) GRB đóng vai trò như 1 môi giới giữa người sử dụng và tài... TOÁN KINH TẾ 1 Các yêu cầu kinh tế cho hệ thống mạng lưới Chúng ta hãy hình dung ra một tương lai mà trong đó nền kinh tế có trí thông minh và hoạt động trong một môi trường peer-to-peer và tính toán lưới, như 1 hệ thống sẽ đóng một vai trò quan trọng trong việc thiết lập một mô hình dịch vụ theo định hướng tính toán phân tán Để cung cấp giá trị lớn hơn cho người sử dụng hơn so với các hệ thống truyền... kiếm và lựa chọn phần mềm cài đặt và làm nền tảng cho mạng lưới 5 Tầng ứng dụng (Application layer) BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6 Đây là tầng cuối cùng trong kiến trúc mạng lưới, bao gồm tất cả các ứng dụng hướng tới người dùng trong môi trường mạng lưới của các tổ chức ảo Về nguyên tắc, người sử dụng có thể tương tác với mạng lưới thông qua tầng ứng dụng một cách trong suốt mà không . Học Quốc Gia TP.HCM Trường Đại Học Công Nghệ Thông Tin BÀI THU HOẠCH MÔN TÍNH TOÁN LƯỚI ĐỀ TÀI: TÍNH TOÁN LƯỚI VÀ ỨNG DỤNG CHO BÀI TOÁN KINH TẾ GVHD: PGS.TS Nguyễn Phi Khứ Người thực hiện: Bùi. II - KIẾN TRÚC HƯỚNG DỊCH VỤ CỦA GRID CHO BÀI TOÁN KINH TẾ 26 1. Các yêu cầu kinh tế cho hệ thống mạng lưới 26 2. Kiến trúc hệ thống cho việc tính toán kinh tế 27 2.1. Grid Resource Broker (GRB). của hệ thống tính toán lưới 19 Hình 5 - Các giao thức và dịch vụ mạng lưới 20 Hình 6 - Kiến trúc quản lý tài nguyên mạng lưới 22 Hình 7 - Kiến trúc hệ thống cho việc tính toán kinh tế 28 Hình 8