Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên – 2014 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ LỜI CẢM ƠN Trƣớc hết, tôi vô cùng biết ơn sâu sắc đến Thầy giáo ngƣời thầy đã trực tiếp dành nhiều thời gian tận tình hƣớng dẫn, cung cấp những thông tin, tài liệu quý báu giúp đỡ tôi hoàn thành bản luận văn này. Tôi xin chân thành cảm ơn Ban lãnh đạo Trƣờng Đại học Công nghệ thông tin và Truyền thông - Đại học Thái Nguyên đã tạo nhiều điều kiện giúp tôi hoàn thành luận văn này. Sau cùng tôi xin bày tỏ lòng biết ơn đến ngƣời thân, cùng bạn bè, đồng nghiệp cơ quan, những ngƣời luôn cổ vũ động viên tôi hoàn thành bản luận văn tốt nghiệp Thạc sĩ này. Thái Nguyên, ngày 26 tháng 08 năm 2014 HỌC VIÊN Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ MỤC LỤC MỞ ĐẦU 1 CHƢƠNG 1 5 TỔNG QUAN VỀ ĐIỆN TOÁN ĐÁM MÂY VÀ BÀI TOÁN QUẢN LÝ MÁY CHỦ ẢO 5 1.1 TỔNG QUAN VỀ ĐIỆN TOÁN ĐÁM MÂY 5 1.1.1 Khái niệm về điện toán đám mây 5 13 1.1.3 Khái niệm và tổng quan về ảo hóa 16 1.2 BÀI TOÁN QUẢN LÝ MÁY CHỦ ẢO 24 1.2.1 Các phƣơng cách quản lý máy ảo trong điện toán đám mây trên thế giới 24 1.2.2 Vấn đề lựa chọn mô hình phù hợp để triển khai dịch vụ điện toán đám mây của các nhà cung cấp tại Việt Nam 30 CHƢƠNG 2 33 33 2.1 CHIA SẺ TÀI NGUYÊN MÁY ẢO 33 2.1.1 Thiết lập một môi trƣờng ứng dụng ảo 33 2.1.2 sắp xếp lại độ phức tạp của các vấn đề 33 2.1.3 Uớc lƣợng hiệu suất của một nguồn lực đƣợc cung cấp 34 2.1.4 Thuật toán chia sẻ tài nguyên 35 2.2 CÂN BẰNG TẢI 37 2.2.1 Kỹ thuật cân bằng tải 37 2.2.2 Các thuật toán cân bằng tải 39 2.3 LẬP LỊCH CÔNG VIỆC 50 2.3.1 Thuật toán Lập lịch dựa trên Cân bằng tải 51 2.3.2 Thuật toán Lập lịch dựa trên thuật toán Giải thuật di truyền cải tiến . 53 CHƢƠNG 3 57 3.1 ĐẶT BÀI TOÁN 57 3.2 PHÂN TÍCH ĐÁNH GIÁ LỰA CHỌN CÔNG CỤ ĐỂ GIẢI QUYẾT BÀI TOÁN 57 3.2.1 Thiết kế hệ thống 57 3.2.2 Thiết kế mạng 57 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 3.2.3 Cài đặt Eucalyptus 59 3.2.4 Cài đặt Hadoop 59 3.2.5 Sử dụng một số gói mã nguồn mở 62 3.2.6 Sử dụng thuật toán lập lịch dựa trên cân bằng tải để giải quyết bài toán 67 3.3 MỘT SỐ KẾT QUẢ 68 KẾT LUẬN 68 TÀI LIỆU THAM KHẢO 73 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC CHỮ VIẾT TẮT VM Virtual Machine Máy ảo CS Cloud Scheduler Lập biểu đám mây VMM Virtual machine monitor Màn hình máy ảo IaaS Infrastructure as a Service Cở sở hạ tầng là một dịch vụ SaaS Software as a service Phần mềm là một dịch vụ PaaS Platform as a service Nền tảng là một dịch vụ OS Operating System Hệ điều hành ECP Elastic Computing Platform Nền tảng điện toán mềm dẻo CLC Cloud Controller Bộ điều khiển đám mây NC Node Controller Bộ điều khiển nút PM Physical machine Máy vật lý Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC HÌNH Số hiệu hình Tên hình Trang 1.1 Mô hình điện toán đám mây 5 1.2 Điện toán đám mây dƣới góc nhìn 3D 6 1.3 Phân loại điện toán đám mây dựa vào vị trí 8 1.4 Mô hình phân lớp của kiến trúc IaaS 10 1.5 Sơ đồ truy cập tài nguyên phần cứng của các máy ảo 14 1.6 16 1.7 - based 19 1.8 Kiến trúc Hypervisor-based 19 1.9 20 1.10 Sơ đồ truy cập tài nguyên phần cứng của các máy ảo 21 1.11 ảo trong ĐTĐM 23 1.12 24 1.13 26 2.1 33 3.1 56 3.2 Cấu hình Hadoop giả phân tán 58 3.3 59 3.4 60 3.5 61 3.6 62 3.7 Kiến trúc của EUCALYPTUS 63 3.8 Giao diện chính của chƣơng trình thử nghiệm 65 3.9 Khởi tạo máy chủ ảo 66 3.10 Chọn thông số máy chủ ảo 66 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 1 MỞ ĐẦU 1. Đặt vấn đề Tại Việt Nam, điện toán đám mây đang là chủ đề công nghệ mang tính thời sự và có phần khá mới mẻ, sự am hiểu về điện toán đám mây nói chung và vấn đề quản lý máy ảo trong điện toán đám mây nói riêng còn có phần hạn chế. Lựa chọn mô hình hoạt động theo cơ chế nào để triển khai dịch vụ điện toán đám mây là một bài toán quan trọng đối với nhà cung cấp dịch vụ. Ví dụ, nếu triển khai theo cơ chế thiết lập một môi trƣờng ứng dụng ảo bằng cách sử dụng các ứng dụng ảo nhƣ một cơ chế chia sẻ tài nguyên, thì bất cứ khi nào đƣợc yêu cầu cung cấp nhiều tài nguyên hơn, hệ thống tự động triển khai thêm các ứng dụng ảo khác.Với cách tiếp cận này liệu có gây lãng phí các nguồn tài nguyên không? Trong toàn bộ thời gian đáp ứng yêu cầu của ngƣời dùng, không phải tất cả các tài nguyên cụm đều bận. Khi ngƣời dùng cần xử lý các ứng dụng dữ liệu lớn, họ lại phải chờ cho một công việc phải đƣợc hoàn thành trƣớc khi nhiệm vụ của mình có thể đƣợc xử lý, ngƣời dùng nếu không thể sử dụng tất cả các cụm sẵn có sẽ gây lãng phí nguồn lực. Ngoài ra các máy chủ ảo còn cung cấp một lớp các phần mềm tạo thành môi trƣờng cơ bản nhƣ thƣ viện, dữ liệu, những chƣơng trình mà sẵn sàng phục vụ ngƣời dùng tại bất kỳ cụm tài nguyên nào. Vì vậy, các nhà cung cấp dịch vụ điện toán đám mây cần phải có một phƣơng pháp để quản lý các máy chủ ảo. Đồng thời, nhà cung cấp dịch vụ cần chứng mình cho ngƣời sử dụng thấy rằng, dịch vụ điện toán đám mây theo mô hình mà mình đã xây dựng hoàn toàn có thể đáp ứng đƣợc các tiêu chí nhƣ: hiệu suất, tốc độ cấp phát bộ nhớ, hiệu suất trao đổi thông tin của các máy ảo tƣơng tự nhƣ các máy vật lý. Từ những lý do trên tôi chọn và nghiên cứu thực hiện đề tài “Cơ chế quản lý máy chủ áo trong Điện toán đám mây” dƣới sự hƣớng dẫn của thầy TS. Lê Văn Phùng. 2. Đối tƣợng và phạm vi nghiên cứu Đối tƣợng nghiên cứu của luận văn là hệ thống máy chủ ảo trong điện toán đám mây. Phạm vi nghiên cứu gói hẹp về cơ chế quản lý máy chủ ảo của hệ thống quản lý cụm ảo thông qua việc xem xét các khía cạnh: Tính linh động, khả năng cân bằng tải. Kết quả phối hợp giữa nghiên cứu lý thuyết và thao tác thực tế dẫn đến Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 2 việc cài đặt các hệ thống, áp dụng các kịch bản tính toán phân tán vào các cụm ảo, ví dụ nhƣ MapReduce framework cũng nhƣ các đánh giá và cải tiến. Để đạt đƣợc điều này, cần phải nghiên cứu rất nhiều về lƣới, đám mây, công nghệ ảo hóa, cụm ảo, máy chủ hệ điều hành Linux, và các gói mã nguồn mở nhƣ Eucalyptus và Hadoop, MapReduce. 3. Hƣớng nghiên cứu của đề tài: Mục tiêu chính của luận văn này là nghiên cứu về cơ chế quản lý máy chủ ảo trong điện toán đám mây. Vì vậy, nội dung luận văn cần phải làm rõ các nhiệm vụ sau đây: - Thể hiện rõ bản chất của EUCALYPTUS và Hadoop, Mapreduce. - Chi tiết hóa các cơ chế của hệ thống quản lý cụm ảo và các gói mã nguồn mở. - Cài đặt, cấu hình, nghiên cứu cơ chế quản lý máy chủ ảo của một số hệ thống điện toán đám mây hiện hành. - Chỉ ra ƣu điểm, khuyết điểm của các cơ chế, hệ thống (bao gồm cả phân tích và đánh giá). - Đề xuất cải tiến và làm sáng tỏ tính khả thi của nó. 4. Những nội dung nghiên cứu chính Dự kiến luận văn gồm: Phần mở đầu, ba chƣơng chính, phần kết luận, tài liệu tham khảo và phụ lục đƣợc bố cục nhƣ sau: Chƣơng 1. Tổng quan về điện toán đám mây và bài toán quản lý máy chủ ảo Tìm hiểu tổng quan về điện toán đám mây, trình bày các khái niệm, cấu trúc, ảo hóa. Chƣơng 2. Một số cơ chế quản lý máy chủ ảo trong điện toán đám mây lý máy chủ ảo trong điện toán đám mây. Chƣơng 3. Thử nghiệm 5. Phƣơng pháp nghiên cứu Thu thập, phân tích và tổng hợp các thông tin, tài liệu liên quan đến đề tài từ tất cả các nguồn. Dựa theo ý kiến chuyên gia, lựa chọn và thể hiện giải quyết vấn đề. Phân tích thiết kế các mô phỏng của chƣơng trình. Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 3 Kiểm tra đánh giá kết quả. Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 4 6. Ý nghĩa khoa học của đề tài Luận văn nhằm mở rộng tri thức về bảo đảm khoa học máy tính nói chung, đồng thời đem đến sự hiểu biết về cơ chế quản lý máy chủ ảo trong điện toán đám mây nói riêng. Ý nghĩa khoa học của đề tài thể hiện ở chỗ tổng hợp đƣợc tri thức quản lý hiệu quả máy chủ ảo, cân bằng tải, cƣớc phí, chia sẻ tài nguyên trong hệ thống quản lý cụm ảo, từ đó đề xuất những phƣơng pháp khoa học để bảo đảm và nâng cao đƣợc cơ chế quản lý các máy chủ ảo nhằm đáp ứng nhanh nhất, tốt nhất yêu cầu ngƣời dùng. Kết quả các thí nghiệm dựa trên hệ thống đƣợc cài đặt sẽ thuyết phục ngƣời sử dụng dịch vụ điện toán đám mây, tạo ra cảm giác an toàn, tin tƣởng đối với dịch vụ điện toán đám mây. [...]... VỀ ĐIỆN TOÁN ĐÁM MÂY VÀ BÀI TOÁN QUẢN LÝ MÁY CHỦ ẢO 1.1 TỔNG QUAN VỀ ĐIỆN TOÁN ĐÁM MÂY 1.1.1 Khái niệm về điện toán đám mây 1.1.1.1 Các quan điểm về điện toán đám mây Điện toán đám mây là mô hình điện toán sử dụng các công nghệ máy tính và phát triển dựa vào mạng Internet Dịch vụ điện toán đám mây hứa hẹn đáp ứng mạnh mẽ nhu cầu điện toán của ngƣời dùng Theo định nghĩa của SYS-CON Media Inc: Điện toán. .. xử lý trên máy thực rồi sau đó mô phỏng kết quả rồi trả về cho máy ảo Đây là cơ chế nhằm cách ly máy ảo với máy thực để đảm bảo an toàn hệ thống 1.2 BÀI TOÁN QUẢN LÝ MÁY CHỦ ẢO 1.2.1 Các phƣơng cách quản lý máy ảo trong điện toán đám mây trên thế giới Tài nguyên máy ảo trong điện toán đám mây đƣợc chia thành 3 tầng: Tầng Infrastructure (cơ sở hạ tầng): Dùng để quản lý các tài nguyên tính toán nhƣ máy. .. Nam, điện toán đám mây đang là chủ đề công nghệ nóng hổi và có phần khá mới mẻ, sự am hiểu về điện toán đám mây nói chung và vấn đề chia sẻ tài nguyên máy ảo trong điện toán đám mây nói riêng còn có phần hạn chế Mỗi mô hình dịch vụ điện toán đám mây đƣợc triển khai theo một cơ chế khác nhau Lựa chọn mô hình hoạt động theo cơ chế nào để triển khai dịch vụ điện toán đám mây là một bài toán quan trọng... hành chủ c Hybrid Hybrid là một kiểu ảo hóa mới hơn và có nhiều ƣu điểm Trong đó lớp ảo hóa hypervisor chạy song song với hệ điều hành máy chủ Tuy nhiên trong cấu trúc ảo hóa này các máy chủ ảo vẫn phải đi qua hệ điều hành máy chủ để truy cập phần cứng nhƣng khác biệt ở chỗ cả hệ điều hành máy chủ và các máy chủ ảo đều chạy trong chế độ hạt nhân Khi một trong hệ điều hành máy chủ hoặc một máy chủ ảo. .. dùng Wake On LAN trong việc hiện thực chiến lƣợc bật tắt máy ảo này a Lớp quản lý tài nguyên và quản lý công việc Bộ lập biểu đám mây (CS) giám sát các công việc và các nguồn tài nguyên với các đám mây Các lớp quản lý đám mây bao gồm các lớp ResourcePool, lớp nhóm máy ảo (Cluster classes), và các lớp máy ảo (Virtual Machine classes) ResourcePool là một danh sách các tài nguyên đám mây đƣợc đọc khi... loại điện toán đám mây Dựa vào tiêu chí vị trí nơi các cloud đóng vai trò là máy chủ, điện toán đám mây đƣợc chia thành 4 loại: Private Cloud (đám mây riêng), Public Cloud (đám mây công cộng), Hybrid cloud (đám mây lai) và Community Cloud (đám mây truyền thông) 1.3 Số hóa bởi Trung tâm Học liệu 9 http://www.lrc-tnu.edu.vn/ a Public Cloud (đám mây công cộng) Public Cloud đƣợc định nghĩa nhƣ sau: Cơ sở... theo cách thức nhằm giảm công suất của các máy chủ vì phần lớn việc xử lý các công việc đều diễn Số hóa bởi Trung tâm Học liệu 27 http://www.lrc-tnu.edu.vn/ ra ở các máy chủ Hình 1.13 Quản lý máy ảo: Công việc này liên quan đến quản lý máy ảo bằng cách bật, tắt máy ảo một cách hợp lý Với một chiến lƣợc hợp lý, những máy không sử dụng sẽ dùng kỹ thuật tắt máy động (dynamic shutdown techniques) để tắt... luận lý (logical resources): Các ứng dụng dùng để thực thi, và ứng dụng truyền thông giao tiếp Số hóa bởi Trung tâm Học liệu 25 http://www.lrc-tnu.edu.vn/ Các mô hình của các tầng tài nguyên máy ảo trong dịch vụ điện toán đám mây bao gồm Infrastructure as a service (IaaS): Đây là mô hình dịch vụ cơ bản nhất của điện toán đám mây, nhà cung cấp sẽ cung cấp máy tính có thể là máy vật lý hoặc máy ảo, nơi... lý tác vụ thì CPU sẽ phục vụ nhu cầu cho hệ điều hành máy chủ hoặc máy Số hóa bởi Trung tâm Học liệu 21 http://www.lrc-tnu.edu.vn/ chủ ảo tƣơng ứng Lý do khiến Hyrbird nhanh hơn là lớp ảo hóa chạy trong trong chế độ hạt nhân (chạy song song với hệ điều hành) trái với Virtual Machine Monitor với lớp ảo hóa chạy trong trong chế độ ngƣời dùng (chạy nhƣ một ứng dụng cài trên hệ điều hành) Phƣơng pháp ảo. .. Do có sự kết hợp trên nên máy chủ đƣợc quản lý giống nhƣ Public Cloud và các ứng dụng liên quan đến bảo mật đƣợc quản lý nhƣ Private Cloud Số hóa bởi Trung tâm Học liệu 10 http://www.lrc-tnu.edu.vn/ Bùng nổ điện toán đám mây là thuật ngữ dùng để xác định một hệ thống tổ chức sử dụng cơ sở hạ tầng riêng của mình cho việc sử dụng bình thƣờng, nhƣng lại sử dụng điện toán đám mây trong giờ cao điểm Các giai