ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Trịnh Thị Thúy Giang MỘT SỐ THUẬT TOÁN LẬP LỊCH ĐỂ PHÂN PHỐI TÀI NGUYÊN TRONG HỆ THỐNG TÍNH TOÁN LƯỚI Chuyên ngành: Bảo ñảm toán học cho máy tính và hệ thống tính toán Mã số: 62 46 35 01 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. GS.TS. Nguyễn Thanh Thủy 2. PGS.TS. Hoàng Chí Thành Hà Nội - 2011 3 MỤC LỤC LỜI CAM ĐOAN 1 LỜI CẢM ƠN 2 MỤC LỤC 3 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT 6 DANH MỤC CÁC BẢNG 7 DANH MỤC CÁC HÌNH VẼ 8 MỞ ĐẦU 9 CHƯƠNG 1. TỔNG QUAN VỀ HỆ THỐNG TÍNH TOÁN LƯỚI 11 1.1 Giới thiệu chung 11 1.1.1 Hệ thống tính toán lưới là gì 11 1.1.2 Các mô hình tính toán lưới 12 1.1.3 Các thành phần chính của hệ thống tính toán lưới 15 1.1.4 So sánh mô hình tính toán lưới với một số mô hình tính toán khác 20 1.1.5 Những ứng dụng cơ bản của hệ thống tính toán lưới 23 1.1.6 Các công cụ hỗ trợ xây dựng hệ thống tính toán lưới 27 1.1.7 Một số hệ thống tính toán lưới 29 1.2 Các thách thức ñối với mô hình tính toán lưới và một số vấn ñề nghiên cứu 31 1.2.1 Các xu hướng trong tính toán 31 1.2.2 Các khó khăn 33 1.2.3 Một số hướng nghiên cứu 35 1.3 Mục tiêu của luận án 39 1.4 Các kết quả ñã ñạt ñược của luận án 40 CHƯƠNG 2. BÀI TOÁN LẬP LỊCH TRONG TÍNH TOÁN LƯỚI 41 2.1 Một số bài toán lập lịch truyền thống 41 4 2.1.1 Bài toán lập lịch trên hai máy và giải thuật gia công Johnson 41 2.1.2 Giải thuật xếp lịch heuristic 42 2.1.3 Phương pháp duyệt nhánh cận 43 2.1.4 Phương pháp qui hoạch ñộng 44 2.1.5 Phương pháp làm mịn kết quả 44 2.1.6 Phương pháp Hung-ga-ri 46 2.2 Bài toán lập lịch trong hệ thống tính toán lưới 48 2.2.1 Phát biểu bài toán 48 2.2.2 Một số khó khăn trong lập lịch ñối với hệ thống tính toán lưới 51 2.2.3 Một số cách tiếp cận 52 2.2.4 Độ khó của bài toán 55 2.3 Mô hình lập lịch trong hệ thống tính toán lưới 55 2.3.1 Các mô hình lập lịch trong hệ thống tính toán lưới 56 2.3.2 Mô hình Buyya lập lịch trong hệ thống tính toán lưới 60 2.3.3 Thực hiện công việc lập lịch trong hệ thống tính toán lưới 64 Kết luận chương 2 70 CHƯƠNG 3. MỘT SỐ GIẢI THUẬT CHO BÀI TOÁN LẬP LỊCH TRONG TÍNH TOÁN LƯỚI 71 3.1 Các giải thuật lập lịch tối ưu theo thời gian, chi phí 71 3.1.1 Giải thuật lập lịch tối ưu về thời gian 71 3.1.2 Giải thuật tối ưu về chi phí 72 3.1.3 Giải thuật tối ưu về thời gian - chi phí 73 3.2 Giải thuật tham lam lam 74 3.2.1 Giải thuật 74 3.2.2 Các kết quả thử nghiệm 77 3.2.3 Đánh giá 79 3.3 Giải thuật di truyền 79 5 3.3.1 Giới thiệu về giải thuật di truyền 80 3.3.2 Giải thuật di truyền trong lập lịch 81 3.3.3 Các kết quả thử nghiệm 84 3.3.4 Đánh giá 89 3.4 Giải thuật tối ưu hóa theo nhóm bầy (PSO) 89 3.4.1 Giải thuật PSO 89 3.4.2 Giải thuật PSO cho bài toán lập lịch trong hệ thống tính toán lưới 92 3.4.3 Các kết quả thực nghiệm 94 3.4.4 Đánh giá 96 Kết luận chương 3 97 CHƯƠNG 4. MÔ HÌNH HỆ THỐNG THỬ NGHIỆM 98 4.1 Giới thiệu về hệ thống thử nghiệm TestGrid 98 4.1.1 Kiến trúc chung của TestGrid 98 4.1.2 Mô tả chức năng bộ lập lịch 101 4.1.3 Thiết kế bộ lập lịch 104 4.1.4 Cơ chế lập lịch của TestGrid 106 4.1.5 Xử lý và chống lỗi 108 4.2 Bộ lập lịch của TestGrid với các giải thuật ñề xuất 109 4.2.1 Mô hình triển khai thực nghiệm bộ lập lịch trên lưới 109 4.2.2 Yêu cầu tương thích giữa giải thuật lập lịch với khung phần mềm thực nghiệm 114 Kết luận chương 4 119 KẾT LUẬN CHUNG 120 DANH MỤC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN 122 TÀI LIỆU THAM KHẢO 123 6 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT BOINC The Berkeley Open Infrastructure for Network Computing Cơ sở hạ tầng mở Berkeley cho tính toán mạng CDAC Center for Development of Advance Computing Trung tâm Phát triển Công nghệ Tính toán Tiên tiến (Ấn Độ) CORBA Common Object Request Broker Architecture Kiến trúc môi giới yêu cầu ñối tượng chung DCOM Distributed Component Object Model Mô hình hướng ñối tượng thành phần phân tán GA Genetic Algorithm Giải thuật di truyền MDS Meta Directory Service Dịch vụ siêu thư mục MPI Message Passing Interface Giao diện truyền thông ñiệp P2P Peer - to - Peer Hệ thống tính toán ngang hàng PSO Particle Swarm Optimization Tối ưu theo nhóm bầy OGSA Open Grid Services Architecture Kiến trúc dịch vụ lưới mở OGSI Open Grid Services Infrastructure Cơ sở hạ tầng dịch vụ lưới mở SA Simulated Annealing Giải thuật mô phỏng tôi luyện SP Service Providers Nhà cung cấp dịch vụ UR User Requirements Yêu cầu người dùng 7 DANH MỤC CÁC BẢNG Bảng 2. 1. Mối ràng buộc giữa giới hạn thời gian và kinh phí trong lập lịch 64 Bảng 2. 2. Ma trận thông tin tài nguyên 68 Bảng 3. 1. So sánh hiệu quả của giải thuật mô phỏng tôi luyện và giải thuật tham lam 78 Bảng 3. 2. Hiệu quả của giải thuật di truyền khi giá trị α thay ñổi - Kịch bản 1 86 Bảng 3. 3. Hiệu quả của giải thuật di truyền khi giá trị α thay ñổi - Kịch bản 2 86 Bảng 3. 4. Hiệu quả của giải thuật di truyền khi giá trị α thay ñổi - Kịch bản 3 86 Bảng 3. 5. So sánh hiệu quả của các giải thuật - Kịch bản 1 87 Bảng 3. 6. So sánh hiệu quả của các giải thuật - Kịch bản 2 87 Bảng 3. 7. So sánh hiệu quả của các giải thuật - Kịch bản 3 87 Bảng 3. 8. So sánh hiệu quả của giải thuật di truyền và PSO 95 Bảng 3. 9. So sánh thời gian chạy của giải thuật di truyền và PSO 95 8 DANH MỤC CÁC HÌNH VẼ Hình 1. 1. Mô hình lưới nội tuyến 13 Hình 1. 2. Mô hình lưới liên tuyến 14 Hình 1. 3. Các thành phần của một lưới tính toán 19 Hình 1. 4. Tổ chức ảo 35 Hình 2. 1. Mô hình bài toán lập lịch trong hệ thống tính toán lưới 53 Hình 2. 2. Mô hình lập lịch trung tâm 57 Hình 2. 3. Mô hình lập lịch phân tán giao tiếp trực tiếp 58 Hình 2. 4. Mô hình lập lịch phân tán giao tiếp gián tiếp 59 Hình 2. 5. Mô hình lập lịch phân cấp 60 Hình 2. 6. Mô hình Pull cho khám phá tài nguyên 65 Hình 2. 7. Mô hình Push cho khám phá tài nguyên 66 Hình 2. 8. Mô hình Push-Pull cho khám phá tài nguyên 66 Hình 3. 1. Mã giả cho giải thuật tham lam 77 Hình 3. 2. So sánh hiệu quả của giải thuật mô phỏng tôi luyện (SA) và giải thuật tham lam (Greedy) 78 Hình 3. 3. Mã giả cho giải thuật di truyền với tối ưu ña mục tiêu 83 Hình 3. 4. So sánh hiệu quả của các giải thuật mô phỏng tôi luyện (SA) và giải thuật di truyền (GA)- theo Makespan 88 Hình 3. 5. So sánh hiệu quả của các giải thuật mô phỏng tôi luyện (SA) và giải thuật di truyền (GA) - theo Flowtime 88 Hình 3. 6. Mã giả của giải thuật PSO cho bài toán lập lịch 92 Hình 3. 7. So sánh thời gian chạy của các giải thuật di truyền (GA) và PSO 96 Hình 4. 1. Kiến trúc TestGrid 98 Hình 4. 2. Trường hợp sử dụng của bộ lập lịch 104 Hình 4. 3. Mô hình triển khai thực nghiệm 110 Hình 4. 4. Đệ trình công việc lên lưới 113 Hình 4. 5. Các job 1 - 2 -4 -6 chạy trên máy bkluster.hut.edu.vn 113 Hình 4. 6. Các job 3-5 chạy trên máy rocks-200.sdsc.edu 114 9 MỞ ĐẦU Khoa học và công nghệ ngày càng phát triển vượt bậc và ñược ứng dụng rộng rãi trong tất cả các lĩnh vực của ñời sống xã hội. Công nghệ thông tin cũng phát triển như vũ bão. Cuộc sống và công việc của chúng ta trở nên thuận tiện do máy tính và Internet. Việc trao ñổi thông tin với thế giới bên ngoài sẽ không còn tốn thời gian và tiền bạc như trước ñây. Trong thực tế, ngày càng có nhiều bài toán ñặt ra với yêu cầu dữ liệu lớn, tốc ñộ xử lý cao. Trong khi ñó, tồn tại nhiều nguồn tài nguyên dư thừa. Sự phát triển rộng khắp, mạnh mẽ của mạng Internet toàn cầu ñã làm nảy sinh một nhu cầu tất yếu, ñó là tận dụng nguồn tài nguyên dư thừa ñể xử lý các bài toán với yêu cầu tính toán lớn. Công nghệ tính toán lưới ra ñời, cho phép giải quyết vấn ñề nêu trên. Hệ thống tính toán lưới cung cấp các dịch vụ, cho phép chia sẻ năng lực của các máy tính và dung lượng của kho dữ liệu khổng lồ thông qua Internet. Lưới tính toán dựa trên truyền thông giữa các máy tính kết nối với nhau và các dịch vụ hỗ trợ làm cho mạng máy tính toàn cầu trở thành một tài nguyên tính toán rộng lớn. Toàn bộ tài nguyên tính toán này ñược coi như một tổ chức ảo ñộng và khổng lồ. Người sử dụng chỉ cần ñệ trình công việc lên lưới tính toán và nhận lại kết quả thông qua các dịch vụ hỗ trợ của máy ảo khổng lồ này. Ban ñầu, công nghệ tính toán lưới thu hút ñược sự quan tâm của các nhà khoa học, chuyên gia nghiên cứu và triển khai. Hiện nay, nó ñã ñược ñông ñảo các tổ chức, doanh nghiệp quan tâm ñầu tư. Tính ưu việt của công nghệ tính toán lưới, cung cấp khả năng tính toán phân tán toàn cầu ñi kèm với nhiều thách thức cần giải quyết. Trên thế giới ñã xuất hiện các bộ công cụ mã nguồn mở cho tính toán lưới. Tuy nhiên, các bộ công cụ này ñược xây dựng chung cho tất cả các ứng dụng, vì vậy trên thực tế, tồn tại khá nhiều hạn chế. 10 Một trong những vấn ñề người sử dụng quan tâm khi ñệ trình công việc lên lưới tính toán ñó là thời gian thực hiện công việc và giá thành. Lưới tính toán phải giải quyết một bài toán khó là lập lịch và lựa chọn tài nguyên ñáp ứng yêu cầu người dùng trong một môi trường ñộng không ñồng nhất. Bài toán lập lịch là một bài toán khó. Bài toán lập lịch trong tính toán lưới còn phức tạp hơn rất nhiều do phải xem xét trong một môi trường phân tán, ñộng, với tài nguyên không ñồng nhất và phải giải quyết trong thời gian thực. Xuất phát từ những tìm hiểu, nghiên cứu về tính toán lưới trên thế giới và Việt Nam, chúng tôi ñã lựa chọn ñề tài “ Một số thuật toán lập lịch ñể phân phối tài nguyên trong hệ thống tính toán lưới ” . Nội dung nghiên cứu của luận án thực sự có ý nghĩa với thực tế Việt Nam khi cơ sở hạ tầng mạng và máy tính còn dư thừa và ñiều kiện kinh tế không cho phép ñầu tư ñể xây dựng những hệ thống siêu máy tính cỡ lớn. Luận án gồm 4 chương. Chương I giới thiệu tổng quan về hệ thống tính toán lưới; Chương II giới thiệu về bài toán lập lịch trong hệ thống tính toán lưới; Chương III ñề xuất áp dụng một số giải thuật cho bài toán lập lịch trong hệ thống tính toán lưới; Chương IV trình bày mô hình cài ñặt thử nghiệm và cuối cùng là Phần kết luận. Luận án ñã ñề xuất 3 giải thuật giải quyết bài toán lập lịch trong hệ thống tính toán lưới. Các thử nghiệm ñã chỉ ra rằng các giải thuật do luận án ñề xuất cho kết quả tốt hơn các giải thuật ñã ñược các tác giả khác ñưa ra trước ñây [77]. Các giải thuật ñề xuất ñã ñược cài ñặt và chạy thử nghiệm trên lưới tính toán TestGrid, kết nối với lưới tính toán khu vực Thái Bình Dương PRAGMA. Hiện nay, ở Việt Nam ñang nghiên cứu triển khai lưới tính toán VNGrid. Việc cài ñặt thành công các giải thuật trong TestGrid sẽ góp phần khai thác hệ thống VNGrid, kết nối các trung tâm tính toán hiệu năng cao, ñáp ứng các yêu cầu ứng dụng. 11 Chương 1. TỔNG QUAN VỀ HỆ THỐNG TÍNH TOÁN LƯỚI 1.1 Giới thiệu chung 1.1.1 Hệ thống tính toán lưới là gì Ngày nay, cùng với sự phát triển vượt bậc của khoa học kỹ thuật và công nghệ ñã xuất hiện các bài toán yêu cầu khối lượng tính toán lớn với ñộ chính xác cao, ví dụ như: dự báo thời tiết, chẩn ñoán trong y học sử dụng thông tin hình ảnh, khoa học sự sống, hoá học tính toán, khoa học trái ñất, vật lý năng lượng cao, y sinh, khoa học trái ñất, vật lý học thiên thể, dược phẩm học, thủy lực học, vũ trụ học, mô hình hoá tài chính, mô phỏng ñộng ñất… Với những bài toán này, các máy tính riêng lẻ không thể ñảm trách ñược. Do vậy, các kỹ thuật tính toán song song, tính toán phân tán ñược ñề xuất và phần nào ñáp ứng ñược yêu cầu này. Để có ñược các hệ thống tính toán song song với khả năng tính toán mạnh, các tổ chức phải ñầu tư thêm trang thiết bị, cơ sở hạ tầng tính toán (máy chủ, máy trạm, siêu máy tính, cụm máy tính, ). Cách làm này hết sức tốn kém. Mặt khác, thực tế cho thấy có một phần lớn các nguồn tài nguyên ñang ñược sử dụng lãng phí: các máy ñể bàn thường chỉ hoạt ñộng khoảng 5% công suất, các máy chủ cũng chỉ hoạt ñộng với 20% công suất. Do vậy, việc tận dụng hiệu quả các nguồn tài nguyên này mang lại một sức mạnh tính toán khổng lồ. Hơn nữa, thay vì việc ñầu tư vào cơ sở hạ tầng, chúng ta cũng có thể "thuê" các nguồn tài nguyên từ bên ngoài với chi phí rẻ hơn. Cùng với việc phân bố hợp lý các tài nguyên sẵn có và các tài nguyên thuê ngoài, chúng ta sẽ thu ñược một hệ thống có khả năng tính toán lớn với chi phí thấp. Đây là mục tiêu chính của hệ thống tính toán lưới [27]. Hệ thống tính toán lưới hướng ñến việc chia sẻ và sử dụng hiệu quả các nguồn tài nguyên thuộc về nhiều tổ chức trên một quy mô rộng lớn (thậm chí là quy mô toàn cầu) [12,23,40]. Như vậy, hệ thống tính toán lưới, hiểu một cách ñơn giản, là sự phát triển tiếp theo của tính toán phân tán [71]. Mục ñích của hệ thống tính toán lưới là tạo ra một "máy tính" ảo lớn từ một tập các hệ thống không ñồng nhất nhằm nâng cao khả [...]... c a tài nguyên tính toán trong h th ng tính toán lư i Các bài toán l n trong khoa h c và công ngh quan tr ng ph n l n ñư c gi i quy t trên siêu máy tính M t xu hư ng khác trong tính toán hi u năng cao là s d ng các cluster Các cluster là các máy tính ñư c k t n i v i nhau trong các h th ng phân tán và song song, ñ cung c p các d ch v c a m t tài nguyên tính toán ñơn Cũng có quan ñi m coi tính toán. .. là tính toán hi u năng cao d a trên h th ng tính toán lư i Tuy nhiên, khi s d ng h th ng tính toán lư i, ta ph i ñương ñ u v i nhi u khó khăn và thách th c m i [32] Các khó khăn thách th c mà công ngh lư i tính toán ñang gi i quy t bao g m: a) Các tài nguyên h t s c ña d ng, không ñ ng nh t Tài nguyên ñây ñư c hi u theo nghĩa t ng quát Đó có th là các tài nguyên ph n c ng (tài nguyên tính toán, tài nguyên. .. năng tính toán Khi ñó, các h th ng tính toán hi u năng cao ch là m t ph n c a h th ng tính toán lư i Tính toán hi u năng cao g n li n v i các siêu máy tính, là các máy tính có t c ñ tính toán r t nhanh và ñ t v i ki n trúc t p trung Th c t , các máy tính này ñư c dùng ñ gi i quy t các bài toán r t l n, thư ng là các bài toán trong khoa h c k thu t v i kh i lư ng d li u l n, ph c t p Siêu máy tính t... Ngoài ra, qu n lý tài nguyên còn cung c p các cơ ch , các giao th c, các d ch v ñ m t t ch c có th s d ng các tài nguyên c a h th ng tính toán lư i nh m gi i quy t các công vi c 36 • L p l ch Đây là v n ñ tr ng tâm c a h th ng tính toán lư i, quy t ñ nh phân ph i các tài nguyên c a lư i tính toán trong môi trư ng ñ ng h p tác, ñ gi i quy t cùng m t lúc nhi u bài toán l n M t h th ng tính toán lư i ch hi... Xu hư ng tr ng tâm c a tính toán hi u năng cao ñó là h th ng tính toán lư i Xu hư ng này t p trung th và ki m nghi m các ng d ng trên các ngu n tài nguyên tính toán quyên góp (pool computing resources) và phát tri n các giao th c c t y u c a h th ng tính toán lư i H th ng tính toán lư i có th xem như là môi trư ng phân tán o [39] S truy nh p t i lư i tính toán ph c thu c vào tính s n sàng, kh năng,... h p hơn h th ng tính toán lư i r t nhi u d) Các h th ng tính toán ngang hàng P2P H th ng tính toán ngang hàng cũng là m t trư ng h p riêng c a h th ng tính toán phân tán Các h th ng tính toán ngang hàng ph bi n hi n nay là SETI@home [72] Các m ng ngang hàng chia s t p tin như Napster, Kazaa, Morpheus và Gnutella Đi m khác bi t chính gi a h th ng tính toán ngang hàng và h th ng tính toán lư i là: -... d ng hơn và ch t ch hơn - Tính toán lư i và P2P cùng cho phép ngư i s d ng chia s t p, nhưng tính toán lư i cho phép chia s không ch là các t p mà còn có th là nhi u tài nguyên khác 21 e) Công ngh tính toán hi u năng cao Như ñã nói trên, ñ gi i quy t nh ng bài toán l n ngư i ta có th ñ u tư ñ xây d ng cơ s h t ng tính toán hi u năng cao [57] Các hư ng phát tri n trong tính toán hi u năng cao bao g m:... n c ng, ph n m m và/ho c nh ng yêu c u v tài nguyên khác cho ng d ng Theo th ng kê, trong ña s các t ch c, ph n l n các tài nguyên tính toán không ñư c t n d ng ñúng m c Đa s các máy tính ñ bàn ch b n trong kho ng 5% th i gian và th m chí, trong m t vài t ch c, máy ch cũng thư ng r t nhàn r i H th ng tính toán lư i cung c p kh năng khai thác tri t ñ nh ng tài nguyên chưa ñư c t n d ng ñúng m c và như... thu n l i ñ phát triên ng d ng trên lư i 1.2 Các thách th c ñ i v i mô hình tính toán lư i và m t s v n ñ nghiên c u 1.2.1 Các xu hư ng trong tính toán S ti n b trong công ngh m ng và ph n c ng cho phép có th truy nh p t i các tài nguyên tính toán v i giá thành thành r Đi u này mang ñ n s s n sàng c a các tài nguyên tính toán ph bi n t i nhi u nơi trên th gi i T c ñ m ng tăng lên làm cho s trao ñ... (chuyên gia v các gi i thu t l p l ch cho lư i tính toán, như là back-filling và round table), ñã ch ra m t vài v n ñ như: khó khăn trong tính toán lý thuy t vì các hàm m c tiêu là quá ph c t p, khó khăn trong mô ph ng, do s không ñ ng nh t v môi trư ng tính toán Các v n ñ c a h th ng tính toán lư i bao g m : • Qu n lý tài nguyên M c tiêu c a qu n lý tài nguyên là cung c p các cơ ch , các giao th c, . của bài toán 55 2.3 Mô hình lập lịch trong hệ thống tính toán lưới 55 2.3.1 Các mô hình lập lịch trong hệ thống tính toán lưới 56 2.3.2 Mô hình Buyya lập lịch trong hệ thống tính toán lưới 60. Thúy Giang MỘT SỐ THUẬT TOÁN LẬP LỊCH ĐỂ PHÂN PHỐI TÀI NGUYÊN TRONG HỆ THỐNG TÍNH TOÁN LƯỚI Chuyên ngành: Bảo ñảm toán học cho máy tính và hệ thống tính toán Mã số: 62 46 35. hệ thống tính toán lưới rất nhiều . d) Các hệ thống tính toán ngang hàng P2P Hệ thống tính toán ngang hàng cũng là một trường hợp riêng của hệ thống tính toán phân tán. Các hệ thống tính toán