BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Trần Trung Hiếu NGHIÊN CỨU MÔ PHỎNG VÀ TÍNH GIÁ THÀNH CHO TÔ-PÔ MẠNG LIÊN KẾT TRONG SIÊU MÁY TÍNH SỬ DỤNG CÔNG CỤ SIMGRID Chuyên ngành: Công nghệ thông tin LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Phan Thanh Liêm PGS TS Nguyễn Khanh Văn Hà Nội – 2015 MỤC LỤC LỜI CAM ĐOAN Trước tiên xin chân thành gửi lời cảm ơn lòng biết ơn sâu sắc tới TS Phan Thanh Liêm, PGS TS Nguyễn Khanh Văn – Viện Công nghệ Thông tin – Truyền thông, người tận tình hướng dẫn, bảo suốt trình hoàn thiện luận văn Đồng thời xin bày tỏ lòng biết ơn thầy cô giáo Viện Công nghệ Thông tin – Truyền thông nói riêng Đại học Bách Khoa Hà Nội nói chung dạy, cung cấp kiến thức quý báu cho suốt trình học tập nghiên cứu trường Tôi xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè, người quan tâm giúp đỡ suốt thời gian học tập hoàn thành luận văn Tôi cam đoan công trình nghiên cứu riêng Các số liệu, kết luận văn trung thực chưa công bố công trình khác DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT ST T Từ viết tắt Giải nghĩa Mạng liên kết, mạng kết nối Interconnection network OCNs SANs System/storage area networks DSN Distributed Shortcut Networks Logarithmic diameter Tính chất mạng mạng liên kết có đường kính tính hàm logarit số nút mạng Throughput Thông lượng Latency Độ trễ LSDC Large- Scale Distributed Computing MSG Meta Simgrid 10 SMPI Simulated Message Passing Interface 11 DAG Direct Acyclic Graph 12 XBT Extensible Bench of Tools 13 HPC High-performance computing 14 P2P Peer to peer On-chip networks DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ MỞ ĐẦU Trong năm gần đây, việc sử dụng siêu máy tính, trung tâm liệu đại nhu cầu thiết yếu nhiều nước giới để xử lý lưu trữ liệu phục vụ cho công tác nghiên cứu khoa học, ứng dụng kinh doanh Tại Việt Nam, xuất ngày nhiều trung tâm liệu đại trường đại học đại học Bách Khoa Hà Nội, đại học Quốc Gia, doanh nghiệp FPT telecom, VNPT, Viettel, VC Corp… Trong lĩnh vực nghiên cứu khoa học, nhiều nghiên cứu nước mạng liên kết kết mô Điều nói lên tầm quan trọng mức độ ứng dụng rộng rãi mô nghiên cứu mạng liên kết Mô cho phép đánh giá hiệu hệ thống mạng với điều kiện, cấu hình khác trường hợp phương pháp đánh giá trực tiếp hệ thống thật qua phân tích tính toán toán học không khả thi Hiện nay, công cụ mô mạng liên kết, Simgrid lên công cụ có khả mô mạnh mẽ, xác, linh hoạt hiệu cao Simgrid có khả mô cho hệ thống tính toán phân tán lớn, bao gồm nhiều loại hệ thống tính toán song song, tính toán lưới (Grid), tính toán đám mây (Cloud), tính toán hiệu cao (HPC), mạng khách chủ, mạng ngang hàng (P2P) Simgrid sử dụng cho ứng dụng lập trình song song truyền thông điệp MPI Chính nhờ Simgrid có khả đáp ứng nhiều tiêu chí cộng đồng tính toán phân tán khác nhau, nên Simgrid trở lên vượt trội so với công cụ xây dựng với đặc thù hệ thống định, Simgrid coi thước đo chung để so sánh, đánh giá hệ thống, ứng dụng phân tán Tại Việt Nam, việc nghiên cứu sử dụng Simgrid chưa thực nhiều, thiết lập mạng liên kết, việc ước đoán, tính giá thành cho tô-pô mạng khâu quan trọng lý nên chọn đề tài “Nghiên cứu mô tính giá thành cho tô-pô mạng liên kết siêu máy tính sử dụng công cụ Simgrid” CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 Tổng quan mạng liên kết (Interconnection Network) 1.1.1 Khái niệm, ứng dụng mạng liên kết Mạng liên kết (Interconnection Network) hiểu cách tổng quát hệ thống lập trình vận chuyển liệu thiết bị đầu cuối [1] Hình mô tả mạng liên kết mức cao Trong đó, thiết bị đầu cuối (kí hiệu từ TB1 đến TB5) kết nối với mạng liên kết thông qua kết nối Các mũi tên biểu diễn kết nối có hai chiều thể khả vận chuyển liệu vào mạng liên kết Khi thiết bị đầu cuối TB1 trao đổi liệu với TB5, TB1 gửi gói tin chứa liệu đến mạng liên kết Gói tin tiếp chuyển tiếp tới TB5 Tại thời điểm, mạng liên kết Hình chuyển tiếp gói tin từ TB1 đến TB5, sau sử dụng để chuyển tiếp gói tin từ TB2 đến TB5 Tính chất thể khả lập trình mạng liên kết Ở đó, kết nối khác thiết bị đầu cuối khác thiết lập thay đổi theo thời gian nhằm phục vụ nhu cầu truyền tin mạng Hình 1: Mô hình mức cao mạng liên kết Hiện nay, mạng liên kết ứng dụng rộng rãi hệ thống máy tính hệ thống chuyển mạch thông tin liên lạc Đặc biệt, mạng liên kết thiết kế để sử dụng mức độ khác hệ thống máy tính nhằm đáp ứng nhu cầu nhóm ứng dụng khác như: tính toán hiệu cao (highperformance computing), lưu trữ vào (storage I/O), hệ thống cluster/workgroup Tùy thuộc vào số luơng thiết bị kết nối khoảng cách thiết bị, mạng liên kết chia làm bốn lĩnh vực ứng dụng [2]: - On-chip networks (OCNs) hay nhắc tới với thuật ngữ network-onchip (NoC): sử dụng để kết nối bên vi kiến trúc đơn vị chức năng, ghi (register), lưu trữ trung gian (caches), vi xử lý (processor) module đa chip Hiện nay, OCNs hỗ trợ kết nối vài chục thiết bị đặt vi mạch với khoảng cách tối đa khoảng vài centimets - System/storage area networks (SANs): Đây mạng liên kết sử dụng để kết nối vi xử lý liên kết (interprocessor) nhớ (processormemory) hệ thống đa nhân hệ thống đa máy tính (multicomputer) Ngoài loại mạng liên kết sử dụng để kết nối thành phần lưu trữ thành phần xử lý vào môi trường gồm máy chủ (server) trung tâm liệu (data centers) Số lượng thiết bị kết nối SANs lên tới hàng nghìn thiết bị khác phân bố với khoảng cách khoảng vài trăm met - Local area networks (LANs): Đây mạng liên kết sử dụng để kết nối hệ thống máy tính cá nhân Kết nối máy tính cụm ví dụ điển hình Ban đầu, mạng LAN kết nối hàng trăm thiết bị, với cầu nối (bridges), mạng LAN kết nối lên đến vài nghìn thiết bị Khoảng cách kết nối tối đa bao phủ khu vực có đường kính vài kilomet, vài chục kilomet - Wide area networks (WANs): WANs kết nối hệ thống máy tính phân bố phân tán toàn giới WANs kết nối hàng triệu máy tính với khoảng cách lớn Hình (nguồn [8]) minh họa mối quan hệ lĩnh vực ứng dụng mạng liên kết với số lượng thiết bị kết nối mạng khoảng cách chúng Trục hoành (trục ngang) biểu thị số lượng thiết bị mạng liên kết Trục tung (trục đứng) biểu thị khoảng cách thiết bị tính theo đơn vị met Hình 2: Các lĩnh vực ứng dụng mạng liên kết Trong trình thực luận văn, người viết nghiên cứu vấn đề mạng liên kết cách tổng quát tập trung cho mạng liên kết ứng dụng lĩnh vực SANs Đặc biệt, vấn đề liên quan đến mạng liên kết phục vụ tính toán hiệu cao, trung tâm liệu (data center) Do đó, người viết trình bày sở lý thuyết liên quan đến lĩnh vực nghiên cứu phần không bao hàm nội dung liên quan đến lĩnh vực khác 1.1.2 Các thành phần mạng liên kết Để đáp ứng yêu cầu lĩnh vực ứng dụng cụ thể (ví dụ độ trễ truyền tin hay chi phí), mạng liên kết xây dựng thông qua việc cân nhắc ràng buộc kĩ thuật nhằm cài đặt ba yếu tố cấu hình mạng (topology), định tuyến (routing) điều khiển luồng (flow control) Trong hầu hết ứng dụng, thay thiết bị đầu cuối liên kết với đôi một, mạng liên kết cài đặt dạng nhóm chuyển tiếp trung gian (router) dùng chung kết nối 10 Hình 19: Kết so sánh chạy ứng dụng mô MSG sử dụng ngôn ngữ C, Java (nguồn [18]) c) SMPI SMPI giao diện mô phù hợp với chuẩn MPI (Message Passing Interface) (Chuẩn cho mô hình tính toán song song truyền thông điệp) SMPI cho phép rút ngắn thời gian để phát triển ứng dụng phân tán mã nguồn chương trình MPI sử dụng môi trường thực môi trường giả lập SMPI tạo việc lưu vết hoạt động truyền thông, tính toán cung cấp từ chức Trace Simgrid cách dễ dàng nhiều so với hệ thống vật lý [17] 62 Hình 20: Chạy SMPI chế độ lưu vết xem hình ảnh kết sử dụng ứng dụng tiện ích Vite Viva Gần đây, SMPI mở rộng chức cho phép thực thi xác hơn, ứng với hoạt động cấp thấp MPI, OpenMPI MPICH SMPI Simgrid cung cấp số đặc tính hữu ích cho giả lập ứng dụng yêu cầu thời gian lượng tài nguyên lớn để chạy Hình 21: Sự khác MPI SMPI môi trường giả lập Sự khác mã giả lập cung cấp SMPI hoạt động truyền thông quy đổi hoạt động giả lập Với thông tin truyền cung cấp lõi giả lập Surf ước lượng thời gian cần thiết để kết thúc việc truyền thông điệp 3.3.3.3 Quy trình mô Sau hiểu tổng quan thành phần ứng dụng Simgrid, chuyển sang tìm hiểu quy trình mô diễn lõi Simgrid [13] 63 Một ứng dụng mô Simgrid bắt đầu việc phân tích file platform để chuyển thông tin mô tả tài nguyên hệ thống vào lõi mô Surf Các mô hình giả lập tương ứng với tài nguyên (CPU, network), topology, kênh truyền liệu tạo Surf để đưa vào hoạt động Tiếp theo, tiền trình, luồng tạo điều phối SIMIX Các hoạt động mô nhân lõi, cấp thấp nhất, thông số đầu sau mô thực Surf, SIMIX đóng vai trò trung gian, điều phối tầng ứng dụng người dùng lõi mô Surf Hình 22: Hoạt động diễn bên Simgrid sau khởi tạo Một luồng tạo SIMIX ứng với tiến trình người dùng Một mô hình giả lập tài nguyên, tảng tạo lõi giả lập Surf Hình 23: Luồng công việc giả lập bên Simgrid Surf thực ước đoán thời gian cho hoạt động trả lại thông tin đầu 64 CHƯƠNG 4: ỨNG DỤNG MINH HỌA Để minh họa cho kiến thức tìm hiểu được, đồng thời để hiểu rõ hơn, xây dựng ứng dụng minh họa nhỏ: “Xây dựng ứng dụng giả lập server room sử dụng cho tính toán song song tính giá thành để xây dựng topology” Ứng dụng cho phép chạy thử ứng dụng môi trường song song phân tán, thay đổi kích cỡ ứng dụng đầu vào đánh giá thời gian thực Hình 24: Minh họa Server room 4.1 Các yêu cầu cho ứng dụng Như mô tả, đề cập đến mục 2.1.1, Server room bao gồm nhiều tủ mạng xây dựng layout, với khoảng cách theo chiều ngang, dọc khác định trước Mỗi tủ mạng chứa số node mạng Về topology: Sử dụng kiểu topology 3D torus, hypercube, ring, mesh… 65 Hình 25: Một số kiểu topology 3D torus (4,4,4) Các nút mạng bố trí vào tủ mạng theo chiều ngang dọc tùy loại topology cho tiện kết nối với số nút mạng phù hợp Trong ví dụ trên, ta bố trí bốn nút mạng theo chiều ngang vào tủ mạng Sau xây dựng mô hình server room, ứng dụng nhân ma trận theo kiểu tính toán song song phân tán đưa vào thực thi số node mạng server room 4.2 Giải pháp cho ứng dụng a) Về cách tính độ dài “cable length” Như trình bày mục 2.1.1 chi phí thiết lập mạng, việc bố trí tủ mạng theo layout xác định server room hoàn toàn tính độ dài cáp mạng, từ ta tính chi phí quy đổi theo giá hành 66 Khi biết số node mạng, topology mạng, theo mô tả đưa trên, ta tính số node mạng tủ mạng tính tọa độ tủ mạng layout Khoảng cách hai node mạng tủ mạng quy định trước, khoảng cách hai node mạng tính theo công thức manhattan, dựa tọa độ tủ mạng chứa node mạng b) Về mô hình giả lập Simgrid Việc giả lập việc tính toán song song phân tán trường hợp thực sử dụng giao diện lập trình ứng dụng SMPI Simgrid Để hoạt động với SMPI cần: - Xây dựng platform: sử dụng công cụ xây dựng để sinh file platform tự động theo chuẩn Simgrid [19] Các platform sử dụng khác topology, thông số thuật toán định tuyến, lực tính toán, số core host, băng thông, độ trễ link giống nhau: + Topology: Các platform sử dụng bao gồm loại topology, với 64 nút mạng: 3D-torus 4-4-4, ring, mesh 4-4-4 hypercube + Routing: Floyd + Host: 67 + Link gồm loại: - Xây dựng ứng dụng nhân ma trận (A, B) theo cách lập trình song song truyền thông điệp sử dụng MPI, việc sử dụng môi trường SMPI khác lệnh dịch + Thuật toán nhân ma trận: Chương trình sử dụng phương pháp song song hóa đơn giản, phương pháp này, truyền ma trận B phần ma trận A cho tác vụ Ma trận A chia thành dòng, tác vụ thao tác số dòng A, toàn ma trận B tính toán số dòng tương ứng ma trận C so với A Kết phần tác vụ tập hợp lại để thu kết trọn vẹn Ma trận A khởi tạo mặc định với giá trị tất phần tử 1, ma trận B khởi tạo mặc định với giá trị tất phần tử rank rank rank rank -> -> -> -> 1 1 1 1 2 1 1 rank -> 1 X 1 1 1 1 0 = 5 5 3 3 [...]... trọng ảnh hưởng đến việc nghiên cứu và đánh giá, thử nghiệm các mạng liên kết đó là “mẫu trao đổi thông tin” (traffic pattern) Traffic pattern là một phương pháp mô hình hóa sự phân phối của các gói tin được gửi đi trong mạng liên kết Bảng 1 mô tả các traffic pattern hay được sử dụng trong quá trình nghiên cứu đánh giá hoạt động của mạng liên kết Trong một mạng liên kết gồm N nút mạng, Random traffic thể... 9: Minh họa mô hình phòng mạng Trong nghiên cứu của mình, chúng tôi sử dụng mô hình trình bày trong [6] để mô hình hóa một phòng máy Ở đó, diện tích của phòng máy được giả sử là không giới hạn nhằm phục vụ cho việc nghiên cứu các mạng liên kết có kích thước bất kì Các tủ mạng chứa cùng một số lượng các thiết bị chuyển mạch và được đặt trong một lưới AxB Trong đó: 27 với m là số lượng tủ mạng Dây nối... phí cài đặt, vận hành mạng, (ii) hiệu năng của mạng khi sử dụng (cụ thể là thông lượng và độ trễ truyền dữ liệu), và (iii) khả năng chịu lỗi của mạng 2.1 Đánh giá chi phí Trong nghiên cứu về tính toán hiệu năng cao, và trung tâm máy tính (data centers), người viết tập trung đánh giá chi phí của mạng liên kết ở hai quá trình cài đặt và vận hành hệ thống Chi phí cài đặt mạng liên kết được hiểu là lượng... bằng công cụ mô phỏng 2.3.1 Phương pháp đánh giá hiệu năng bằng công cụ mô phỏng Phương pháp này thực hiện dựa trên tư tưởng xây dựng một bộ giả lập mô phỏng mạng liên kết và các hoạt động truyền gửi tin trên mạng Quá trình giả lập, cho phép người nghiên cứu trích xuất được các thông tin về độ trễ và thông lượng phụ thuộc vào lượng thông tin yêu cầu truyền đi (offered traffic) Từ đó, chúng tôi đánh giá. .. của Bisection) Nhát cắt và Bisection trong mạng liên kết tương ứng với khái niệm Cut và Min Cut trong đồ thị vô hướng nói chung Do đó khi mô hình hóa mạng liên kết 31 bằng đồ thị, chúng tôi có thể tính được thông lượng lý tưởng sử dụng công thức (**) 2.2.2 Đánh giá độ trễ bằng lý thuyết đồ thị Như đã trình bày trong chương cơ sở lý thuyết, độ trễ truyền tin trong mạng liên kết khi không có tranh chấp... tương quan giữa độ trễ và offered traffic 24 CHƯƠNG 2: PHƯƠNG PHÁP ĐÁNH GIÁ MẠNG LIÊN KẾT Trong chương này, người viết trình bày về các phương pháp và công cụ đánh giá được sử dụng trong quá trình thực hiện nghiên cứu đề tài Với mục tiêu xây dựng một mạng liên kết trao đổi dữ liệu và giải thuật định tuyến có độ trễ nhỏ, có khả năng mở rộng, chúng tôi tập trung đánh giá các tiêu chí liên quan đến (i) chi... tưởng sử dụng xen lẫn giữa cáp đồng và cáp quang Chi phí Loại cáp mạng Cáp đồng ( < 5m) Chi phí trên 1m dây (Cost_per_m) 16$ Chi phí đầu kết nối (Connector_Cost) 20$ Cáp quang ( >5m) 5$ 188$ Bảng 2: So sánh chi phí cáp đồng và cáp quang Trong quá trình nghiên cứu, chúng tôi sử dụng mô hình trong [5] để tính toán chi phí này một cách tổng quát Trong đó, chi phí cho cáp mạng được tính theo công thức nêu trong. .. Giả code tính năng lượng tiêu thụ của mạng liên kết 2.2 Đánh giá hiệu năng mạng liên kết bằng lý thuyết đồ thị Trong phương pháp đánh giá lý thuyết, mạng liên kết được mô hình hóa bằng một đồ thị Ở đó, mỗi đỉnh của đồ thị đại diện cho một nút mạng (hay một bộ chuyển mạch) còn mỗi cạnh của đồ thị đại diện cho một dây cáp mạng (kết nối giữa các bộ chuyển mạch) Nhằm đơn giản hóa mô hình, chúng tôi bỏ qua... một nút mạng cũng có thể ảnh hưởng đến sự hoạt động của mạng liên kết - Mesh: mô tả một mạng liên kết mà ở đó từ mỗi một nút mạng đều tìm được kết nối đến nút mạng khác Mesh thường được biết đến với dạng lưới Hình 3.d mô tả một mesh mà ở đó một nút mạng liên kết trực tiếp với mọi nút mạng khác - Tree: Mạng hình cây là sự kết hợp của bus và star (Hình 3.e) Hình 3 minh họa ví dụ của năm cấu hình mạng cơ... tin trong cả trường hợp bão hòa BNF, viết tắt của Burton Normal Form, là định dạng đồ thị biểu diễn độ trễ và thông lượng trong một đồ thị duy nhất Trong trường hợp này, trục X tương ứng thông lượng và trục Y thể hiện cho độ trễ Trong quá trình nghiên cứu, và đánh giá kết quả, chúng tôi sử dụng hai định dạng đồ thị này một cách linh hoạt tùy thuộc vào mục đích sử dụng 2.4 Đánh giá hiệu năng của ứng dụng ... dụng Simgrid chưa thực nhiều, thiết lập mạng liên kết, việc ước đoán, tính giá thành cho tô- pô mạng khâu quan trọng lý nên chọn đề tài Nghiên cứu mô tính giá thành cho tô- pô mạng liên kết siêu máy. .. VC Corp… Trong lĩnh vực nghiên cứu khoa học, nhiều nghiên cứu nước mạng liên kết kết mô Điều nói lên tầm quan trọng mức độ ứng dụng rộng rãi mô nghiên cứu mạng liên kết Mô cho phép đánh giá hiệu... phương pháp mô hình hóa phân phối gói tin gửi mạng liên kết Bảng mô tả traffic pattern hay sử dụng trình nghiên cứu đánh giá hoạt động mạng liên kết Trong mạng liên kết gồm N nút mạng, Random