Đang tải... (xem toàn văn)
Xây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud ComputingXây dựng phương pháp kháng lỗi chủ động trong Cloud Computing
1 MỞ ĐẦU Những năm gần nhiều nhà cung cấp dịch vụ cloud IaaS (Infrastructure as a Service) đời cung cấp cho nhiều khách hàng Vấn đề bảo đảm chất lượng dịch vụ cho khách hàng (Service Level Agreement) quan tâm hàng đầu Đặt nhu cầu xây dựng hệ thống kháng lỗi (fault tolerance) hiệu cloud computing Xuất phát từ nhu cầu thực tế đó, có nhiều nghiên cứu phương pháp kháng lỗi Cloud IaaS khác hướng kháng lỗi bị động hướng kháng lỗi chủ động Bài toán đặt làm để xây dựng phương pháp kháng lỗi hiệu quả: có độ xác cao, phát lỗi nhanh Hướng tiếp cận giải sau: Nghiên cứu loại lỗi sảy cloud IaaS, mô hình hóa lỗi cloud Iaas, nghiên cứu phương pháp nhận dạng lỗi dựa tình trạng hệ thống, cho phép phát xác nhanh chóng lỗi xảy hệ thống, sử dụng phương pháp di trú ưu tiên để di trú máy ảo sang máy chủ trạng thái bình thường Có nhiều phương pháp nhận dạng lỗi cloud IaaS logic mờ, định, mạng noron, máy vector hỗ trợ (SVM) Qua tìm hiểu, thấy kỹ thuật SVM có ưu điểm cho độ xác cao so với phương pháp kể trên, từ đề xuất nghiên cứu áp dụng kỹ thuật SVM để nhận dạng lỗi cloud IaaS Từ kết nghiên cứu phương pháp nhận dạng qua SVM lỗi cloud IaaS mô hình lỗi cloud IaaS để cài đặt, xây dựng thử nghiệm chương trình Kháng lỗi chủ động cloud IaaS Nội dung luận văn gồm chương: - Chương 1: Tổng quan kháng lỗi Cloud IaaS: Trình bày sơ lược lỗi ưu nhược điểm phương pháp kháng lỗi cloud Iaas - Chương 2: Phương pháp kháng lỗi chủ động Cloud Computing: Trình bày phương pháp kháng lỗi chủ động Cloud Computing - Chương 3: Sử dụng Support Vector Machine kháng lỗi: Trình bày lý thuyết Support Vector Machine, phương pháp đề xuất chi tiết xây dựng hệ thống kháng lỗi điện toán đám IaaS Chƣơng - TỔNG QUAN VỀ KHÁNG LỖI TRONG CLOUD 1.1 Giới thiệu Kháng lỗi vấn đề nghiên cứu quan trọng cloud computing Một hệ thống cloud computing có khả chịu lỗi có thời gian hoạt động cao, có khả hoạt động tốt bất chấp lỗi Đó loại lỗi: - Lỗi mạng (Network fault): lỗi liên quan tới mạng lưới - Lỗi phần cứng: Loại lỗi thiết bị phần cứng server gây - Lỗi truyền tải media: lỗi media bị lỗi trình truyền nhận - Lỗi xử lý: lỗi xảy xử lý hệ điều hành bị lỗi - Lỗi tiến trình: Một lỗi hết tài nguyên bug phần mềm - Lỗi dịch vụ hết hạn: hết thời gian phục vụ tài nguyên Có hai hướng nghiên cứu kháng lỗi là: - Kháng lỗi bị động (reactive fault tolerance): kỹ thuật giảm ảnh hưởng sau sảy lỗi hệ thống Các kỹ thuật kháng lỗi: Hình 1.1: Các phƣơng pháp kháng lỗi 1.2 Thách thức việc kháng lỗi cloud computing Để kháng lỗi cloud computing cần phải xem xét phân tích cẩn thận phức tạp hệ thống độ tin cậy phương pháp kháng lỗi với lý như: hệ thống giải loại lỗi gì, có khả tích hợp thành dịch vụ… 1.3 Các yếu tố đo lƣờng phƣơng pháp kháng lỗi cho cloud computing Các phương pháp, thuật toán kháng lỗi có trước cloud computing thường xem xét tham số khác như: thông lượng (throughput), thời gian phản hồi (responsetime), khả mở rộng, hiệu năng, khả sẵn sàng, độ khả dụng, độ tin cậy, độ an toàn, phí tổn kết hợp, hiệu năng, chi phí xây dựng vận hành… 1.4 Kết luận chƣơng Hiện cloud computing phát triển mạnh mô hình, phương pháp kháng lỗi cho cloud computing có mặt hạn chế Vì nhà nghiên cứu tiếp tục phát triển thêm phương pháp để làm tăng tính hiệu việc kháng lỗi 6 Chƣơng - PHƢƠNG PHÁP KHÁNG LỖI CHỦ ĐỘNG TRONG CLOUD COMPUTING 2.1 Giới Thiệu 2.1.1 Hồi Sinh phần mềm Là phương pháp thực roll back chương trình chạy lâu ngày (continuously running application) định kỳ để tránh lỗi tương lai Phương pháp không dùng để thay phương pháp kháng lỗi khác, bổ sung vào phương pháp kháng lỗi bị động để hệ thống kháng lỗi tốt 2.1.2 Self-healing Self-healing khả tự động phục hồi từ lỗi tập hợp lỗi, cố gắng giảm thiểu ảnh hưởng lỗi Nó đạt kiến trúc tự nhiên ứng dụng thủ tục phục hồi đặc biệt Những thủ tục điển hình việc giám sát qua chu kỳ Hệ thống có selfhealing có khả tự phát lỗi phục hồi lỗi Selfhealing sử dụng thuật toán tiến hóa để nhận dạng lỗi đánh giá chúng phục hồi hệ thống 2.1.3 Di Trú Ưu Tiên Di Trú ưu tiên phương pháp di trú ứng dụng (tiến trình, tác vụ, máy ảo…) từ máy tính sửa xảy lỗi (fail) đến máy tính an toàn Vì tránh lỗi nên phương pháp hiệu so với phương pháp kháng lỗi bị động (reactive) checkpoint/restart Thông thường có thành phần phương thức kháng lỗi dùng di trú ưu tiên: - Bộ thu thập thông tin dự đoán lỗi - Bộ thực việc di trú máy ảo Có hướng nghiên cứu phương pháp phát dự đoán lỗi: - Phương pháp số học:là phương pháp dựa ngưỡng cố định yếu tố/chỉ số ảnh hưởng đến hoạt động hệ thống - Phương pháp dùng trí tuệ nhân tạo: o Mạng chuyên gia o Logic mờ o Mạng Nơ ron o Mô định lượng 2.2 Hệ phát lỗi Một hệ phát lỗi ứng dụng hệ thống dùng để phát máy bị lỗi Hệ phát lỗi phân loại tin cậy không đáng tin cậy dựa kết phân tích Một hệ phát lỗi tin cậy đưa kết xác 8 Các thông số đánh giá hệ phát lỗi: - Đầy đủ: Khi tiến trình fail tiến trình sau phát process không bị lỗi khác Tính đầy đủ mô tả khả hệ phát lỗi nghi ngờ tiến trình lỗi - Tính xác: xác tiên đoán tiến trình lỗi Không thể xây dựng hệ phát lỗi hệ thống thiết bị mạng thực tế với độ xác 100% đầy đủ - Tốc độ: thời gian phát lỗi nhỏ đến mức Tức thời gian xảy lỗi thực thời gian phát phải nhỏ Ngoài có tham số đặt Chandar Toug để đánh giá chất lượng dịch vụ (QoS) hệ phát lỗi: - Thời gian phát hiện: thời gian mà tiến trình bị nghi ngờ lỗi đến thời gian thực lỗi - Thời gian lặp lại phát nhầm lẫn: thời gian lần phát nhầm lẫn nối tiếp - Thời gian nhầm: thời gian hệ phát lỗi phát trường hợp nhầm 2.3 Kết luận chƣơng Chương trình bày tổng quan phương pháp kháng lỗi chủ động cách thức hoạt động phương pháp di trú ưu tiên, hướng nghiên cứu nhằm cải thiện độ xác hiệu việc phát lỗi môi trường cloud computing 10 Chƣơng - SỬ DỤNG SUPPORT VECTOR MACHINE TRONG KHÁNG LỖI 3.1 Tổng quan support vecto machine 3.1.1 Giới thiệu Support Vector Machine (SVM) phuơng pháp phân lớp dựa lý thuyết học thống kê, đề xuất Vapnik (1995).Để đơn giản ta xét toán phân lớp nhị phân, sau mở rộng vấn đề cho toán phân nhiều lớp Ta có hàm lagrange tối ưu cho SVM: ̃( ) ∑ ∑ ∑ ( ) Để phân lớp cho điểm liệu dùng mô hình huấn luyện, ta tính dấu y(x) theo công thức: ( ) ∑ ( ) Hàm số phải thỏa điều kiện KKT sau: ( * ) ( ) + giá trị b là: ∑ ( ∑ ( )) Trong Ns tổng số support vector 11 Tìm a theo giải thuật SMO 3.1.2 Thuật giải SMO Sequential Minimal Optimization Thuật toán SMO phân rã toán tối ưu toàn phương thành toán tối ưu toàn phương nhỏ tương tự phương pháp Osuna 3.1.3 Chiến lược phân loại đa lớp SVM Có chiến lược phân loại đa lớp SVM phổ biến là: One against One (một đối - OAO) One against Rest (một phần lại - OAR) 3.2 Cơ sở hạ tầng điện toán đám mây Luận văn xây dựng mô hình cloud IaaS giống với thực tế để đánh giá phương pháp kháng lỗi: 12 Hình 3.1: Mô hình điện toán đám IaaS 3.3 Lỗi cloud IaaS Trong Openstack loại lỗi xảy tại: lỗi Compute Node, lỗi Máy ảo (Instance), lỗi Orchestrator, lỗi Cloud Management 3.4 Đề xuất kháng lỗi 3.4.1 Đề xuất phương pháp dùng support vector machine Mô hình kháng lỗi gồm thành phần sau: 13 Hình 3.9: Mô hình hệ thống kháng lỗi sử dụng SVM - Bộ Monitor (giám sát): sử dụng phần mềm Ganglia, Host Sflow monitor data từ node máy ảo - Bộ Fault Detector (bộ phát lỗi): Bộ phát lỗi, nhận data từ giám sát, xử lý dùng phân loại SVM để phân loại, phát tình trạng hệ thống, kết hợp với 14 sách kháng lỗi định nghĩa sẳn cho loại lỗi để thực kháng lỗi Bộ phát lỗi: gồm có thành phần là: - Module thu thập xử lý liệu từ giám sát - Module Vector hóa: Thực chuẩn hóa data đưa dạng vector - Module SVM khởi tạo training, sau dùng để phân loại vector trạng thái hệ thống (ở module Vector hóa), cho kết tình trạng đối tượng 15 Hình 3.10: Các module chức Fault detector 3.4.2 Xây dựng ứng dụng - Hệ thống Openstack cung cấp cloud IaaS, gồm có: 16 o Controller Node, Compute Node, Neutron Node, Glance/Cinder, Keystone - Module Giám sát: cho phép giám sát máy ảo, máy Compute, Neutron, Controller: sử dụng Ganglia Host sflow Hình 3.12 Monitor hệ thống với Ganglia Module thu thập lieu: Module có tác dụng kết nối với ganglia thu thập liệu, lọc trường liệu cần thiết cho việc phân loại Dữ liệu output trường liệu tương ứng cho đối tượng hệ thống Module Vector hóa: 17 Chuẩn hóa trường liệu thành vector với giá trị trường nằm khoảng [0 1] Module phân lớp SVM: Module phân lớp SVM với đầu vào (input) vector trạng thái đối tượng (máy chủ compute, máy ảo) Đầu module lớp tình trạng Các lớp tình trạng máy chủ vật lý sau: Bảng 3.2: Tình trạng mã tình trạng máy chủ vật lý (compute, neutron, controller) Tình Trạng Mã Số CPU/RAM Fault IO Fault Network Fault OS Fault Normal (tình trạng bình thường không lỗi) 18 Bảng 3.3: Phân loại tình trạng mã tình trạng Máy Ảo Tình trạng Mã Số OS Driver Fault (driver hardware máy ảo bị lỗi) IO Fault (lỗi truy xuất IO, disk bị lỗi, hư…) Network Fault OS Fault Normal (tình trạng bình thường không lỗi) Module Chính sách kháng lỗi (Fault tolerance Policy): - Đầu vào mã lỗi đối tượng (máy ảo, máy chủ dịch vụ), Dựa vào rule định nghĩa để xử lý lỗi - Đầu hành động xử lý lỗi (restart máy chủ, restart dịch vụ, di trú máy ảo) 19 Hình 3.12 Monitor hệ thống với Ganglia Bảng 3.5: Chính sách lỗi Compute Hƣớng xử lý Tình Trạng CPU/RAM Di trú tất máy ảo sang server Normal Fault IO Fault Di trú tất máy ảo sang server Normal Network Di trú tất máy ảo sang server Normal Fault OS Fault Di trú tất máy ảo sang server Normal Normal 3.4.3 Kết đánh giá: Phần trình bày bước huấn luyện, chọn tham số, kernel kiểm thử dùng cho thuật toán SVM: 20 Sử dụng hàm kernel đa thức: ( ) Phương thức kiểm thử tenfold – cross validation, Ta có kết phân loại sau: Kết quả: Kết phân loại với tham số C=10.8, kernel Poly d=4.2 Bảng 3.8: Độ xác độ phủ phân loại lỗi với máy chủ (Compute Node) Tình Trạng Độ xác Độ phủ CPU/RAM Fault 0.848 0.899 IO Fault 0.878 0.825 Network Fault 0.83 0.945 OS Fault 0.872 0.885 Normal 0.953 0.805 Độ xác trung bình lỗi 87.2% Bảng 3.9: Độ xác độ phủ phân loại lỗi với Máy ảo (Virtual Machine) Tình Trạng Độ xác Độ phủ OS 0.773 Driver 0.867 Fault IO Fault 0.822 0.893 21 Network 0.948 0.91 OS Fault 0.946 0.95 Normal 0.872 0.925 Fault Độ xác trung bình lỗi là: 89% So sánh với phương pháp phân loại dùng Cây định: Bảng 3.10: Độ xác độ phủ phân loại lỗi với Máy Chủ – định Tình Trạng Độ xác Độ phủ CPU/RAM Fault 0.753 0.814 IO Fault 0.692 0.685 Network Fault 0.852 0.831 OS Fault 0.827 0.79 Normal 0.79 0.79 Độ xác trung bình là: 78.2% Bảng 3.11: Độ xác độ phủ phân loại lỗi với Máy ảo – định Tình Trạng Độ xác OS Driver Fault 0.712 Độ phủ 0.719 22 IO Fault 0.733 0.711 Network Fault 0.86 0.86 OS Fault 0.88 0.915 Normal 0.8 0.784 Độ xác trung bình lỗi là: 79.8% Rõ ràng phương pháp phân loại lỗi sử dụng SVM xác so với phương pháp sử dụng định 3.5 Kết luận hƣớng phát triển Qua năm học hỏi nghiên cứu, đặc biệt khoảng thời gian làm luận văn, tác giả hoàn thiện luận văn với mục tiêu ban đầu đề Cụ thể luận văn đạt kết sau: - Trình bày phương pháp kháng lỗi điện toán đám mây - Giới thiệu phương pháp phân loại sử dụng Support Vector Machine toán phân loại nhiều lớp Support Vector Machine - Xây dựng hệ thống điện toán đám mây IaaS Openstack cài đặt kháng lỗi cho phép kháng lỗi, đánh giá độ xác việc phân loại lỗi Một số vấn đề luận văn cần tiếp tục tìm hiểu nghiên cứu nhƣ sau: 23 - Sử dụng phương pháp cải tiến SVM Fuzzy SVM, SVM kết hợp Nearest Neighbor (SVM NN) để tăng độ xác cho thuật toán phân loại - Cần bổ sung tập liệu huấn luyện cho SVM để thuật toán trở nên tin cậy, xác - Tiếp tục phát triển theo hướng trở thành dịch vụ kháng lỗi điện toán đám mây Fault tolerance as a service - Kết hợp với phương pháp kháng lỗi dùng check point để giảm thiểu rủi ro tăng tính hiểu việc kháng lỗi ... kháng lỗi cloud Iaas - Chương 2: Phương pháp kháng lỗi chủ động Cloud Computing: Trình bày phương pháp kháng lỗi chủ động Cloud Computing - Chương 3: Sử dụng Support Vector Machine kháng lỗi: Trình... tránh lỗi tương lai Phương pháp không dùng để thay phương pháp kháng lỗi khác, bổ sung vào phương pháp kháng lỗi bị động để hệ thống kháng lỗi tốt 2.1.2 Self-healing Self-healing khả tự động phục... Machine, phương pháp đề xuất chi tiết xây dựng hệ thống kháng lỗi điện toán đám IaaS Chƣơng - TỔNG QUAN VỀ KHÁNG LỖI TRONG CLOUD 1.1 Giới thiệu Kháng lỗi vấn đề nghiên cứu quan trọng cloud computing