ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ HỒNG HIÊN MỘT PHƯƠNG PHÁP PHI TẬP TRUNG CHO CÂN BẰNG TẢI TRONG CÁC MẠNG NGANG HÀNG CÓ CẤU TRÚC LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ HỒNG HIÊN MỘT PHƯƠNG PHÁP PHI TẬP TRUNG CHO CÂN BẰNG TẢI TRONG CÁC MẠNG NGANG HÀNG CÓ CẤU TRÚC Ngành: Công nghệ Thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN ĐẠI THỌ Hà Nội – 2015 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc tới TS.Nguyễn Đại Thọ, Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội, người thầy dành nhiều thời gian tận tình bảo, hướng dẫn, giúp đỡ suốt trình tìm hiểu, nghiên cứu Thầy người đinh ̣ hướng và đưa nhiều góp ý quý báu trình thực luâ ̣n văn Tôi xin chân thành cảm thầy, cô khoa Công nghệ thông tin – Trường Đại học Công nghệ - ĐHQGHN cung cấp cho kiến thức tạo cho điều kiện thuận lợi suốt trình học tập trường Tôi bày tỏ lòng biết ơn giúp đỡ lãnh đạo quan, đồng nghiệp cung cấp tài liệu cho lời khuyên quý báu Tôi xin cảm ơn gia đình, người thân, bạn bè động viên tạo điều kiện tốt cho Tôi xin chân thành cảm ơn! Hà Nội, tháng năm 2015 Học viên Nguyễn Thị Hồng Hiên LỜI CAM ĐOAN Tôi xin cam đoan đề tài nghiên cứu riêng tôi, thực hướng dẫn TS Nguyễn Đại Thọ Các kết nêu luận văn trung thực chưa công bố công trình khác Hà Nội, tháng năm 2015 Học viên Nguyễn Thị Hồng Hiên MỤC LỤC LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ LỜI MỞ ĐẦU Chương Giới thiệu tổng quan Error! Bookmark not defined 1.1.Bài toán cân tải mạng ngang hàng có cấu trúcError! Bookmark not defined 1.2.Một số hướng nghiên cứu cân tải mạng ngang hàng có cấu trúc Error! Bookmark not defined 1.3 Hướng tiếp cận luận văn kết đạt Error! Bookmark not defined 1.4 Cấu trúc luận văn Error! Bookmark not defined 1.5 Kết luận Error! Bookmark not defined Chương Các kiến thức sở liên quan Error! Bookmark not defined 2.1 Mạng ngang hàng Error! Bookmark not defined 2.1.1 Khái niệm mạng ngang hàng Error! Bookmark not defined 2.1.2 Các đặc trưng mạng ngang hàng Error! Bookmark not defined 2.1.3 Các loại mạng ngang hàng Error! Bookmark not defined 2.2 Bảng băm phân tán (DHT) Error! Bookmark not defined 2.3 Chord Error! Bookmark not defined 2.3.1 Khái niệm Error! Bookmark not defined 2.3.2 Không gian định danh Error! Bookmark not defined 2.3.3.Định tuyến Error! Bookmark not defined 2.3.4.Truy vấn vòng Chord Error! Bookmark not defined 2.3.5 Cơ chế ổn định mạng vòng Chord Error! Bookmark not defined 2.4 Khái niệm liên quan đến tải Error! Bookmark not defined 2.5 Nguyên nhân gây cân tải Error! Bookmark not defined 2.6 Các phương pháp cân tải Error! Bookmark not defined 2.6.1.Phương pháp di chuyển server ảo một-một Error! Bookmark not defined 2.6.2.Phương pháp di chuyển server ảo một-nhiều Error! Bookmark not defined 2.6.3.Phương pháp di chuyển server ảo nhiều-nhiều Error! Bookmark not defined Chương Giải pháp cân tải phi tập trung Error! Bookmark not defined 3.1 Xây dựng Chord Error! Bookmark not defined 3.2 Chèn Error! Bookmark not defined 3.3 Hoán đổi Error! Bookmark not defined Chương Mô đánh giá Error! Bookmark not defined 4.1 Bộ mô Jonathan Ledlie Error! Bookmark not defined 4.2 Mô tả mô giải pháp cân tải Error! Bookmark not defined 4.3 Kết Error! Bookmark not defined 4.3.1 Lượng truy vấn node thay đổi Error! Bookmark not defined 4.3.2 Độ lệch truy vấn node thay đổi Error! Bookmark not defined Chương Kết luận Error! Bookmark not defined TÀI LIỆU THAM KHẢO 11 12 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Viết tắt PS VS DHT DHTs ID Ý nghĩa Physical Server Virtual Server Distributed Hash Table Distributed Hash Tables Identifier DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 2.1 Phân loại hệ thống mạng ngang hàng Error! Bookmark not defined Hình 2.2 Mô hình bảng băm phân tán Error! Bookmark not defined Hình 2.3 Không gian định danh 6-bit Chord Error! Bookmark not defined Hình 2.4 Vòng tròn định danh Chord với node [6] Error! Bookmark not defined Hình 2.5 Sơ đồ thuật toán di chuyển server ảo nhiều-nhiều Error! Bookmark not defined Hình 3.1 Vòng Chord ban đầu Error! Bookmark not defined Hình 3.2 Vòng Chord Error! Bookmark not defined Hình 3.3 Ví dụ vòng Chord Error! Bookmark not defined Hình 3.4 Sơ đồ thuật toán giải pháp Error! Bookmark not defined Hình 4.1 Mô tả trình hoạt động giải pháp Error! Bookmark not defined Hình 4.2 Tỷ lệ phần trăm truy vấn thành công lượng tải thay đổi (truy vấn dạng Uniform) Error! Bookmark not defined Hình 4.3 Tỷ lệ phần trăm truy vấn thành công lượng tải thay đổi (truy vấn dạng Zipf 0.8) Error! Bookmark not defined Hình 4.4 Tỷ lệ phần trăm truy vấn thành công lượng tải thay đổi (truy vấn dạng Zipf 1.2) Error! Bookmark not defined Hình 4.5 Tỷ lệ phần trăm truy vấn thành công độ skew mạng thay đổi Error! Bookmark not defined LỜI MỞ ĐẦU Lưu trữ chia sẻ liệu Internet mối quan tâm hàng đầu đặt nhiều thách thức Khi nhu cầu chia sẻ thông tin tăng, mô hình client/server có nhiều hạn chế băng thông việc xử lý liệu Trong mô hình này, client kết nối với server Tài nguyên tập trung server để cung cấp cho client Các máy client đóng vai trò thụ động, yêu cầu dịch vụ từ server mà không cung cấp dịch vụ cho client khác Khi mà số lượng client tăng nhanh, server đáp ứng cho client, bị tải mạng bị sập Khắc phục nhược điểm đó, mạng ngang hàng đời Mạng ngang hàng có loại: không cấu trúc có cấu trúc Với mạng ngang hàng cấu trúc, mối liên hệ máy liệu Điều dẫn đến việc tìm kiếm không thành công yêu cầu tìm kiếm bị chuyển ngẫu nhiên đến máy mạng, chưa đến đích TTL = 0, yêu cầu tìm kiếm bị loại bỏ Một yêu cầu tìm kiếm không nhận kết quả, đảm bảo máy có khả đáp ứng yêu cầu tồn Mặt khác, mạng ngang hàng cấu trúc, package tìm kiểm thường chuyển phát tràn tới lượng lớn máy gây việc tốn lượng băng thông lớn Với mạng ngang hàng có cấu trúc, hạn chế khắc phục cách sử dụng bảng băm phân tán (DHT) Nó định nghĩa liên kết node mạng theo thuật toán cụ thể, node lưu trữ liệu phân bố cách hiệu quả, đồng thời xác định node mạng chịu trách nhiệm phần liệu mạng cách chặt chẽ Đã có nhiều cấu trúc mạng ngang hàng sử dụng DHT CAN, Chord, Partry… Trong đó, Chord sử dụng nhiều nghiên cứu tối ưu mạng cân tải Chord tổ chức không gian định danh định tuyến cách đơn giản, hiệu Theo nghiên cứu trước, mạng ngang hàng có cấu trúc hoạt động hiệu máy (node) liệu phân bố không gian định danh đồng đều, số truy vấn đến liệu ngang nhau, khả node giống nhau…Tuy nhiên, thực tế node tham gia vào mạng ngẫu nhiên, nên giả thiết không xảy Các node máy tính cá nhân, lúc máy tham gia vào mạng nên tài nguyên node biến khoảng thời gian Do đó, hệ thống mạng bị cân tải Hiện nhiều nghiên cứu cân tải đề xuất theo hai hướng: không sử dụng server ảo có sử dụng server ảo Trong luận văn này, xin theo hướng nghiên cứu cân tải sử dụng server ảo mạng ngang hàng có cấu trúc Chord Một số phương pháp cân tải dựa server ảo tiêu biểu di chuyển server ảo, log(N) server ảo, k-choices Với phương pháp cân tải di chuyển server ảo, server vật lý quản lý số server ảo Nếu có server vật lý nặng tải, ta di chuyển server ảo từ server vật lý sang server vật lý nhẹ tải, đảm bảo sau chuyển hai server nhẹ tải Ứng với việc di chuyển server ảo, ta có ba thuật toán di chuyển: một-một, một-nhiều, nhiều-nhiều Trong thuật toán di chuyển server ảo một-một, server vật lý nhẹ tải chọn định danh ID bất kỳ, kiểm tra xem node có ID nặng tải hay nhẹ tải, node nặng tải bắt đầu thực chuyển server ảo Trong thuật toán di chuyển server ảo một-nhiều, server vật lý nhẹ tải thông báo tải cho directory, server vật lý nặng tải lấy thông tin server vật lý nhẹ tải từ directory, sau xác định server vật lý nhẹ tải thỏa mãn để di chuyển server ảo Trong thuật toán di chuyển server ảo nhiều-nhiều, global pool sử dụng để quản lý server ảo, bước trung gian để chuyển server ảo từ node nặng tải sang node nhẹ tải Global pool cấu trúc liệu cục sử dụng để tính toán cấp phát cuối cùng, tải chuyển thuật toán kết thúc Đây hạn chế thuật toán này, phá vỡ tính phi tập trung mạng ngang hàng Ngoài ra, node mạng biết địa global pool, nên global pool dễ bị công Vấn đề đặt phải đưa phương pháp cân tải khắc phục nhược điểm tập trung hóa thuật toán cân tải di chuyển server ảo nhiều-nhiều Xuất phát từ yêu cầu đặt ra, xin đưa giải pháp cân tải phi tập trung dựa server ảo cách xây dựng thêm vòng Chord dựa vào độ lệch tải node vòng Chord cũ Kết mô cho thấy hiệu giải pháp gần xấp xỉ hiệu thuật toán cân tải nhiều-nhiều 10 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Bùi Thị Lệ Hằng (2009), Sử dụng thông tin gần kề vị trí khảo duyệt web, Luận văn thạc sĩ trường Đại học Công nghệ, Đại học Quốc gia Hà Nội [2] Lê Anh Tuấn (2014), Định tuyến an toàn cấu trúc bảng băm phân tán Chord kép, Luận văn thạc sĩ trường Đại học Công nghệ, Đại học Quốc gia Hà Nội [3] Nguyễn Thị Mi (2009), Cân tải mạng ngang hàng có cấu trúc, Khóa luận tốt nghiệp đại học trường Đại học Công nghệ, Đại học Quốc gia Hà Nội 11 Tiếng Anh [4] A Rao, K Lakshminarayanan, S Surana, R Karp, and I Stoica Load Balancing in Structured P2P Systems In Proceedings of the Second International Workshop on Peer-to-Peer Systems (IPTPS ’03), Berkeley, CA, February 2003 [5] J Ledlie and M Seltzer Distributed, secure load balancing with skew, heterogeneity, and churn Technical Report TR-31-04, Harvard University, December 2004 [6] Sonesh Surana, Brighten Godfrey, Karthik Lakshminarayanan, Richard Karp, Ion Stoica (2004), Load Balancing in Dynamic Structured Peer-to-peer Systems [7] I Stoica, R Morris, D Karger, M F Kaashoek, and H Balakrishnan Chord: A scalable peer-to-peer lookup service for internet applications In Proceedings of the ACM SIGCOMM ’01 Conference, August 2001 12 [...]... Hằng (2009), Sử dụng thông tin gần kề vị trí trong khảo duyệt web, Luận văn thạc sĩ trường Đại học Công nghệ, Đại học Quốc gia Hà Nội [2] Lê Anh Tuấn (2014), Định tuyến an toàn trong cấu trúc bảng băm phân tán Chord kép, Luận văn thạc sĩ trường Đại học Công nghệ, Đại học Quốc gia Hà Nội [3] Nguyễn Thị Mi (2009), Cân bằng tải trong các mạng ngang hàng có cấu trúc, Khóa luận tốt nghiệp đại học trường Đại... Brighten Godfrey, Karthik Lakshminarayanan, Richard Karp, Ion Stoica (2004), Load Balancing in Dynamic Structured Peer-to-peer Systems [7] I Stoica, R Morris, D Karger, M F Kaashoek, and H Balakrishnan Chord: A scalable peer-to-peer lookup service for internet applications In Proceedings of the ACM SIGCOMM ’01 Conference, August 2001 12