Đang tải... (xem toàn văn)
Trong một vài thập niên gần đây, sự phát triển của mạng máy tính đã tạo điều kiện cho sự phát triển của các hệ thống phân tán. Cùng với sự phát triển đó, các xử lý tính toán đòi hỏi khả năng xử lý mạnh trước đấy vốn là độc quyền của các máy tính lớn (main frame), nhưng nay đang dần chuyển sang các hệ thống xử lý phân tán. Trong các hệ thống xử lý phân tán, mô hình xử lý song song phân cụm đang chiếm một vị trí quan trọng.
Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế. MỤC LỤC MỤC LỤC 1 1. Tổng quan về tính toán song song phân cụm 2 1.1. Phân cụm và tính toán phân cụm 2 1.1.1. Phân cụm là gì ? 2 1.1.2. Tính toán song song phân cụm là gì ? 3 1.2. Phân loại các phân cụm tính toán 3 1.2.1. Phân cụm Thông lượng (Throughput Cluster) 4 1.2.2. Phân cụm Khả năng (Capability cluster) 5 1.3. Các ưu và nhược điểm của phân cụm và tính toán song song phân cụm : 6 1.4. Mô hình kiến trúc và các thành phần của hệ thống tính toán song song phân cụm 7 1.4.1. Các nút tính toán và các thiết bị phần cứng kết nối : 8 1.4.2. Các công cụ quản trị hệ thống phân cụm tính toán: 10 1.5. Hệ thống quản lý tài nguyên và phân tải PBS 12 1.5.1. Chức năng của PBS 12 1.5.2. Các thành phần chính 14 2. Mô hình ứng dụng cụ thể trong thực tế : Hệ thống Bkluster 16 2.1. Các thành phần của BKCluster 16 2.2. Hoạt động 17 TÀI LIỆU THAM KHẢO 20 Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế. 1 Tổng quan về tính toán song song phân cụm 1.1. Phân cụm và tính toán phân cụm Trong một vài thập niên gần đây, sự phát triển của mạng máy tính đã tạo điều kiện cho sự phát triển của các hệ thống phân tán. Cùng với sự phát triển đó, các xử lý tính toán đòi hỏi khả năng xử lý mạnh trước đấy vốn là độc quyền của các máy tính lớn (main frame), nhưng nay đang dần chuyển sang các hệ thống xử lý phân tán. Trong các hệ thống xử lý phân tán, mô hình xử lý song song phân cụm đang chiếm một vị trí quan trọng. 1.1.1. Phân cụm là gì ? Phân cụm (cluster) là một thuật ngữ còn khá mơ hồ trong nền công nghiệp máy tính. Tùy theo ngữ cảnh mà nó được hiểu theo những ý nghĩa khác nhau. Hiểu theo nghĩa chung nhất, phân cụm là thuật ngữ dùng để chỉ một kiến trúc hệ thống song song bao gồm một tập các máy tính được liên kết một cách vật lý với nhau thông qua một mạng máy tính tốc độ cao và được coi là một máy tính duy nhất nhằm thực hiện một công việc phức tạp nào đó. Mỗi máy tính trong cluster đó đuợc gọi là một nút tính toán (compute- node). Trước đây, khi phải giải quyết một bài toán phức tạp, một máy tính đơn gặp phải rất nhiều khó khăn, đặc biệt là chi phí về thời gian thực hiện, thường thì chi phí thời gian thực hiện là không thể chấp nhận được. Sự ra đời của phân cụm nhằm nâng cao khả năng xử lý, tính toán dựa trên sự kết hợp các máy tính lại, kết hợp sức mạnh tính toán của nhiều máy tính. Điều này tạo ra một sức mạnh tính toán cao hơn và có thể đáp ứng được các yêu cầu để thực hiện các bài toán phức tạp. Nhưng việc kết hợp các máy tính đơn lại với nhau không có nghĩa sẽ tạo ra được một hệ thống có sức mạnh tính toán bằng tổng sức Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế. mạnh tính toán của từng nút trong đó. Hiệu năng của toàn bộ hệ thống sẽ bị ảnh hưởng bởi nhiều yếu tố khác nhau. 1.1.2. Tính toán song song phân cụm là gì ? Tính toán (xử lý) phân cụm là các tính toán (xử lý) dựa trên các phân cụm, sử dụng sức mạnh xử lý của phân cụm để giải quyết một bài toán phức tạp nào đó. Đây là môt trong những công nghệ tính toán, xử lý hàng đầu trong môi trường tính toán hiệu năng cao. Thường các bài toán đầu vào là các bài toán đòi hỏi nhiều chi phi về tài nguyên tính toán. Nếu sử dụng mô hình tính toán thông thường, dựa trên sức mạnh xử lý đơn lẻ của từng máy tính đơn vi xử lý thì hoàn toàn không thể chấp nhận được. Nếu như sử dụng các máy tính lớn đa vi xử lý thì thời gian xử lý có thể chấp nhận được nhưng chi phí cho máy tính lớn là quá cao, vượt ngoài khả năng đáp ứng của người sử dụng. Vì vậy, công nghệ tính toán song song phân cụm là một trong những giải pháp hàng đầu được lựa chọn. 1.2. Phân loại các phân cụm tính toán Môi trường tính toán hiệu năng cao là mảnh đất màu mỡ đối với sự phát triển của công nghệ tính toán song song phân cụm. Hiện nay, trên thế giới có khá nhiều công ty sản xuất dẫn đầu trong nhưng công nghệ tính toán hiệu năng cao như IBM, HP, Sun v.v… cung cấp các hệ thống phân cụm với nhưng quy mô, phân loại khác nhau, nhưng nhìn một cách tổng quát thì có thể phân loại các phân cụm và tính toán phân cụm thành 2 loại chính dựa trên đặc tính sử dụng tài nguyên tính toán của bài toán đầu vào do phân cụm đó xử lý là Phân cụm Thông lượng và Phân cụm Năng lực. Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế. 1.2.1. Phân cụm Thông lượng (Throughput Cluster) Phân cụm Thông lượng được triển khai để thực hiện các lớp bài toán nhỏ tương đối giống nhau. Mỗi một nút tính toán trong phân cụm này có đầy đủ năng lực và tài nguyên tính toán để giải quyết bất cứ một bài toàn nhỏ nào thuộc lớp các bài toán mà phân cụm có thể đáp ứng. Phân cụm loại này được tối ưu để làm tăng khả năng xử lý các bài toán bằng cách phân phối các bài toán về các nút tính toán, điều này dẫn đến khả năng xử lý tăng lên, tải làm việc chung sẽ được phân đều và được thực hiện song song. Việc phân phối bài toán vào từng nút trong phân cụm được thực hiện nhờ các công cụ cân bằng tải. Đây là một công cụ quan trọng, được sử dụng nhiều trong các hệ thống phân cụm tính toán loại này. Công cụ cân bằng tải dựa trên tải đầu vào của phân cụm, sử dụng những giải thuật và cơ chế cân bằng tải, sẽ xác định các tải tương ứng cho từng nút trong hệ thống phân cụm. Việc xác định được các tải tương ứng với từng nút rất quan trọng, điều này ảnh hưởng rất lớn đến hiệu năng của toàn bộ hệ thống. Sự phân tải không hợp lý sẽ làm giảm hiệu năng, thậm chí có thể làm cho bài toán đầu vào không thể thực hiện được trên hệ thống. Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế. Phân cụm thông lượng 1.2.2. Phân cụm Khả năng (Capability cluster) Phân cụm Khả năng được triển khai để thực hiện các bài toán đặc biệt mà khi thực thi trên các hệ thống đơn thường không có hiệu quả cao. Như chúng ta đã biết, các hệ thống phân cụm với một tập các nút tính toán sẽ có chi phí rẻ hơn so với một hệ thống đơn nhất với cùng số lượng vi xử lý. Với hệ thống phân cụm loại này, các nút tính toán sẽ cùng nhau chia sẻ bài toán, mỗi nút sẽ thực hiện một phần bài toán tương ứng với đúng khả năng thực hiện của mình. Các phần bài toán đó sẽ được thực hiện trên các nút song song và đồng thời. Việc phân rã bài toán thành các phần để chạy trên các nút tính toán phụ thuộc nhiều vào các giải thuật và kỹ thuật lập trình song song. Phân cụm Khả năng Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế. 1.3. Các ưu và nhược điểm của phân cụm và tính toán song song phân cụm : Chúng ta có thể thấy rõ hai lý do chính và cũng là ưu điểm của công nghệ phân cụm và tính toán song song phân cụm đối với các công nghệ tính toán cổ điển với máy tính lớn đa vi xử lý là tỉ số giữa giá thành/hiệu năng và tính khả mở. Sau đây là môt số ưu điểm chính của của phân cụm và tính toán song song phân cụm : − Chi phí thấp : điều này có thể thấy rõ ràng và là một trong những ưu điểm chính của phân cụm và tính toán song song phân cụm. Chi phí bỏ ra để có được một hệ thống phân cụm tính toán song song thường nhỏ hơn rất nhiều so với chi phí cho một hệ thống máy tính lớn có hiệu năng tương đương. − Tính khả mở : với nhiều bài toán có tải tương đối lớn, có thể thấy rõ rằng khả năng xử lý của một đơn vị tính toán đơn vi xử lý không thể đáp ứng được, ít nhất là ràng buộc về mặt thời gian thực hiện. Khi đó, phân cụm và tính toán song song phân cụm là một cách đơn giản để giải quyết bài toán mà vẫn thỏa mãn được những ràng buộc có sẵn đó. − Tính đáp ứng : dễ dàng thích ứng với các hình trạng khác nhau, chẳng hạn như hình trạng mạng kết nối các nút tính toán với nhau. Điều này hết sức quan trọng vì các nhà cung cấp thường chỉ đưa ra các hình trạng(cấu hình) rất hạn chế. − Tính tin cậy, sẵn sàng và dịch vụ : Một hệ thống lớn có nhiều thành phần thường hay gặp phải lỗi hơn những hệ thống nhỏ. Điều này là khá dễ hiểu, vì một hệ thống lớn thường phức tạp và có nhiều thành phân hơn các hệ thống nhỏ. Khi một thành phần chính là phần cứng hoặc phần mềm gặp lỗi thì thường làm toàn bộ hệ thống lỗi. Đối với các hệ thống lớn khi gặp lỗi của một thành phần thường làm ảnh hưởng nghiêm trọng đến sức mạnh tính toán của toàn bộ hệ thống. Nhưng trong trường hợp của Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế. phân cụm tính toán thì ảnh hưởng do lỗi của môt thành phần trong hệ thống là không đáng kể và thường dễ giải quyết. Khi một hệ thống phân cụm thực hiện các công việc, chúng ta hoàn toàn có khả năng bổ sung thêm tài nguyên phục vụ tính toán cho toàn bộ hệ thống, chẳng hạn có thể thêm một vài nút tính toán vào phân cụm trong khi phân cụm đó vẫn đang thực hiện tính toán và xử lý. Việc loại bỏ một nút nào đó gặp lỗi trong hệ thống phân cụm cũng có thể thực hiện nhờ khả năng dung thứ lỗi ( Fault tolerent). − Đổi mới công nghệ nhanh : vì đây là một trong nhưng công nghệ hàng đầu trong môi trường tính toán hiệu năng cao. Do đó, sự đổi mới công nghệ nhanh chóng là hoàn toàn dễ hiểu. 1.4. Mô hình kiến trúc và các thành phần của hệ thống tính toán song song phân cụm Một phân cụm tính toán được cấu thành bởi nhiều thành phần phần cứng và phần mềm khác nhau và sự tương tác giữa các thành phần là rất phức tạp. Việc xây dựng mô hình kiến trúc và xác định rõ các thành phần của hệ thống tính toán song song phân cụm cũng như sự tương tác qua lại giữa chúng gặp phải nhiều khó khăn và đòi hỏi nhiều công sức. Nhưng công việc này hết sức quan trọng và cần thiết. Kết quả đạt được chính là mô hình phân lớp của một hệ thống tính toán song song phân cụm điển hình : Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế. Mô hình phân lớp của phân cụm tính toán Dựa vào mô hình phân lớp của hệ thống tính toán song song phân cụm ở trên, chúng ta có thể thấy rõ được các thành phần chính và phần nào vị trí, quan hệ của chúng: − Các ứng dụng người dùng − Các công cụ phát triển và thư viện lập trình song song − Giao thức truyền thông − Phần cứng kết nối − Các nút tính toán − Các công cụ quản trị phân cụm tính toán 1.4.1. Các nút tính toán và các thiết bị phần cứng kết nối : Như đã nói ở trên, một hệ thống phân cụm tính toán song song sẽ bao gồm một tập các nút. Mỗi nút này có thể là một máy tính đơn vi xử lý hoặc đa vi xử lý nhưng tùy vào nhiệm vụ chức năng của chúng mà có thể phân loại như sau: − Các nút tính toán : đây là loại nút chính của một hệ thống phân cụm tính toán. Chức năng của loại nút này chính là thực hiện các thao tác tính toán xử lý. − Các nút quản trị hệ thống phân cụm : đây là các nút thực hiện nhiệm vụ quản trị toàn bộ hệ thống phân cụm tính toán. Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế. − Các nút lưu trữ : đây là các nút làm nhiệm vụ lưu trữ dữ liệu và đáp ứng các đòi hỏi về mặt dữ liệu đối với các nút khác trong phân cụm tính toán. − Các nút hiển thị nội dung : đây là các nút làm nhiệm vụ hiển thị thông tin đảm bảo sự tương tác giữa phân cụm và người sử dụng. Tùy vào cấu hình cụ thể của phân cụm tính toán mà có thể có hoặc không có đầy đủ các loại nút, nhưng để đảm bảo một hệ thống phân cụm tính toán hoạt động được phải có ít nhất các nút tính toán và các nút quản trị hệ thống phân cụm. Ngoài ra, trong một hệ thống phân cụm tính toán, để kết nối các nút lại với nhau, đòi hỏi phải có các thiết bị phần cứng liên kết, kết nối. Các thiết bị phần cứng đó sẽ tạo thành môt mạng kết nối các nút, thông thường là một mạng kết nối tốc độ cao (Fast Ethernet, ATM thường được sử dụng) và có phạm vi kết nối nhỏ. Thông qua mạng kết nối này, các nút trong hệ thống phân cụm có thể liên lạc, trao đổi dữ liệu với nhau. Kết quả là các nút kết nối với nhau trong hệ thống phân cụm sẽ tạo thành một khối thống nhất, nếu đứng từ bên ngoài hệ thống nhìn vào có thể coi như một máy tính đơn nhất, có sức mạnh tổng hợp của nhiều nút. Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế. Các loại nút trong phân cụm tính toán 1.4.2. Các công cụ quản trị hệ thống phân cụm tính toán: Mỗi hệ thống phân cụm tính toán là sự kết hợp của nhiều máy tính, hay nói cách khác là nhiều nút liên kết lại với nhau thông qua một mạng kết nối tốc độ cao. Chúng ta có thể thấy rõ một hệ thống với nhiều thành phần liên kết với nhau như vậy là khá phức tạp. Việc điều hành quản trị, đảm bảo hoạt động thống suốt cho hệ thống đòi hỏi phải có các công cụ và phần mềm chuyên dụng đảm nhiệm. Do đó, các công cụ và phần mềm quản trị phân cụm là một thành phần quan trọng và không thể thiếu được trong một hệ thống phân cụm tính toán. Các công cụ quản trị hệ thống phân cụm tính toán : là các gói phần mềm làm nhiệm vụ quản trị hệ thống phân cụm tính toán, đảm bảo cho các hoạt động được tiến hành một cách thông suốt và làm tăng hiệu năng hoạt động của toàn bộ hệ thống. [...].. .Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế Tùy theo các cấu hình cụ thể của hệ thống phân cụm và của các gói phần mềm quản trị hệ thống phân cụm mà chúng được cài đặt trên các nút quản trị, các nút lưu trữ và các nút tính toán Hiện nay, trên thế giới, trong môi trường tính toán phân tán hiệu năng cao, có khá nhiều công cụ quản trị... người hoặc từng máy − Tự động chuyển tệp là cơ chế sao chép các tệp cần thiết cho việc thực hiện một công việc trên các máy trạm tính toán Các tệp cần chuyển có thể là các tệp dữ liệu hoặc các tệp thực thi Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế − Hỗ trợ các công việc song song cho phép hoạt động cùng với các thư viện lập trình song song... khoản đó telnet vào hệ thống và sử dụng công cụ tính toán như thể họ ở tại trung tâm tính toán Cách làm này là cách cung Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế cấp dịch vụ truyền thống của các hệ thống tính toán song song cũng như tính toán lưới, ưu điểm là đơn giản và dễ dàng điều hành hệ thống Tuy nhiên, cách cung cấp dịch vụ này có nhược... một giao diện lập trình giữa bộ lập lịch và Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế server giúp người lập trình có thể tạo một bộ lập lịch riêng phù hợp với hệ thống 2 Mô hình ứng dụng cụ thể trong thực tế : Hệ thống Bkluster Hệ thống BKCluster cho phép một người dùng từ xa, có thể soạn thảo, dịch, debug và chạy chương trình song song Hệ... hiểu biết cơ bản về hệ thống tính toán song song phân cụm − Công cụ giám sát hệ thống, cho người quản trị có thể theo dõi hoạt động của hệ thống qua các thông tin ghi lại trong quá trình hoạt động của hệ thống, thông tin có thể dưới dạng thông báo bình thường hoặc thông báo lỗi Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế TÀI LIỆU THAM KHẢO... tiến trình trợ giúp gỡ rối chương trình song song Về mặt kiến trúc, bộ công cụ có kiến trúc phân tầng như sau: Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế Kiến trúc của BKCluster 2.2 Hoạt động Một người dùng sau khi đăng ký làm thành viên của hệ thống tính toán song song có thể soạn thảo một chương trình song song và debug bằng công cụ IDE,... thực thi tất cả các công việc do module quản lý công việc gửi đến Khi module thực thi công việc nhận được một bản sao của công việc gửi đến từ module quản lý công việc thì nó sẽ tạo ra một session giống như session của người sử dụng khi login vào hệ thống và thực Các mô hình tính toán phân tán: Tính toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế hiện công việc đó module thực thi công... toán cụm máy tính, trình bày mô hình ứng dụng cụ thể trong thực tế Bảng 1-1 :Các gói phần mềm quản trị trong môi trường nghiên cứu khoa học 1.5 Hệ thống quản lý tài nguyên và phân tải PBS PBS là một hệ phân tải linh động được phát triển riêng cho việc quản lý tài nguyên tính toán không gian của NASA PBS hiện nay đã trở thành một hệ phân tải hàng đầu trong các siêu máy tính và trở thành chuẩn cho các. .. thống tính toán song song tại trung tâm HPC, các đánh giá về góc độ kỹ thuật cho thấy: hệ thống tính toán song song đã đáp ứng được những chức năng cơ bản như lập lịch và thực thi công việc tính toán song song Tuy nhiên đó là những chức năng cơ bản của một hệ thống tính toán, hệ thống còn nhiều điểm hạn chế nếu nhìn từ góc độ một dịch vụ tính toán Các mô hình tính toán phân tán: Tính toán cụm máy tính, ... phân tán hiệu năng cao, có khá nhiều công cụ quản trị hệ thống phân cụm Mỗi công cụ lại có những điểm mạnh, điểm yếu riêng nhưng chúng ta có thể phân chúng vào hai nhóm chính: các công cụ quản trị hệ thống phân cụm tính toán trong môi trường kinh doanh và các công cụ quản trị hệ thống phân cụm tính toán trong môi trường khoa học Tên gói công cụ Codine - Computing Nhà sản xuất Distrib GENIAS in GmbH, Network . kiểu, tài nguyên, tên, Module thực thi công việc là một tiến trình ngầm (daemon) làm nhiệm vụ thực thi tất cả các công việc do module quản lý công việc gửi đến. Khi module thực thi công việc. của PBS Module quản lý công việc là thành phần trung tâm của PBS. Tất cả các thành phần khác của PBS giao tiếp với module quản lý công việc qua một địa chỉ IP duy nhất. Chức năng của module. tế. hiện công việc đó. module thực thi công việc được chạy trên tất cả các trạm tính toán trên hệ thống bó. Module quản lý tài nguyên là thành phần bổ trợ cho phân hệ lập lịch. Module quản lý tài