Xây dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Thông tin sinh viên Họ tờn sinh viờn: Đào Hải Hưng Điện thoại liờn lạc: 0978118659 Email: hunga1_87@yahoo com Lớp: Hệ thống thông tin – K50 Hệ đào tạo: Đại học quy Đồ ỏn tốt nghiệp thực tại: Trung từm tớnh toỏn hiệu cao – Trường đại học Bỏch Khoa Hà Nội Thời gian làm ĐATN: Từ ngày: 1/ 03/ 2010 đến: 31/ 05/ 2010 Mục đích nội dung ĐATN Xừy dựng quản lý tầng lưới lưu trữ cho hệ thống lưu trữ chia sẻ liệu LINDA Cỏc nhiệm vụ cụ thể ĐATN - - Xây dựng kiến trúc hệ thống LINDA tầng lưới liệu Nghiờn cứu cỏch tạo quản lý giấy ủy quyền (proxy) cho cỏc mỏy chủtrờn hệ thống Đưa quy trình thêm thành phần thuộc tầng lưới liệu hệ thống Nghiên cứu sử dụng thư viện lập trình lưới Java CoG Kit để sử dụng dịch vụ lưới web/servlet Nghiên cứu mơ hình quản lý tài nguyên Xây dựng module quản lý tài nguyên LINDA có khả mở rộng độc lập với sách tài nguyên hệ thống tham gia Xừy dựng chế quản lý cỏc dịch vụ chạy trờn hệ thống Tìm hiểu chế kiểm soát tốc độ giao thức GridFTP, áp dụng sách hạn chế tốc độ download/upload Lời cam đoan sinh viờn Tôi – Đào Hải Hưng - cam kết ĐATN cơng trình nghiên cứu thân hướng dẫn PGS TS Nguyễn Thanh Thủy Các kết nêu ĐATN trung thực, khơng phải chép tồn văn cơng trình khác Sinh viên Đào Hải Hưng – Lớp Hệ thống thông tin – K50 Xừy dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA Hà Nội, ngày 23 thỏng năm 2010 Tỏc giả ĐATN Đào Hải Hưng Xỏc nhận giỏo viờn hướng dẫn mức độ hoàn thành ĐATN cho phộp bảo vệ Hà Nội, ngày thỏng năm Giỏo viờn hướng dẫn PGS TS Nguyễn Thanh Thủy TểM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP LINDA hệ thống lưu trữ liệu dựa công nghệ lưới liệu, xây dựng sinh viờn K49 trung từm Tớnh toỏn hiệu cao trường Đai học Bỏch khoa Hà Nội(phiờn gọi LINDA – K49) Hiện tại, hệ thống LINDA – k49 xừy dựng cỏc chớnh sỏch khỏ hồn thiện cho người sử dụng, chế kiểm soát dung lượng, chế hạn chế download/ upload hoạt động ổn định Quá trình upload/ download thực mỏy chủ trung tâm Tính tốn hiệu cao nên đạt tốc độ cao Tuy nhiên, dựa vào phân tích tính chất hệ phừn tỏn, hạn chế LINDA làm giảm chất lượng khả triển khai/ mở rộng hệ thống: • Hệ thống chưa có module quản lý giấy ủy quyền (proxy) nờn chưa khai thỏc sức mạnh cỏc lưới liệu xừy dựng hoạt động ổn định • Hệ thống khơng có khả triển khai mở rộng: chưa cung cấp giao diện thêm thành phần Ngồi ra, tham số cấu hình đặt cố định mã nguồn nên hệ thống khơng có khả triển khai rộng rãi • Hệ thống chưa có module kiểm sốt tài ngun: điều làm cho hệ thống hoạt động không ổn định hiệu Mục đích đồ án sử dụng lưới tính tốn có sẵn để xừy dựng tầng lưu trữ lưới cho LINDA.Để sử dụng dịch vụ mà lưới cung cấp, cần phải nghiên cứu xây dựng module quản lý giấy ủy quyền (proxy) hiệu cho người dùng Sinh viên Đào Hải Hưng – Lớp Hệ thống thông tin – K50 Xừy dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA hệ thống lưới Nhằm nừng cao chất lượng dịch vụ, đồ án nghiên cứu chế quản lý tài nguyên môi trường lưới, đồng thời đưa thiết đế để xây dựng module quản lý tài nguyên Module quản lý tài nguyên phải đảm bảo khả phát thành phần hệ thống gặp lỗi, mà cịn có khả thu nhận thông tin cần thiết tài nguyên hệ thống để phục phụ cho cỏc module khỏc Các hệ thống tham gia lưới tính tốn thường có chế quản lý tài nguyên bảo mật khác Module quản lý tài nguyên thiết kế độc lập với sách quản lý hệ thống, dễ dàng thay đổi cần phải thu nhận thông tin tài nguyên khác Trong trình hoạt động hệ thống, số thành phần gặp lỗi cần phải thay thế, cần nừng cấp – mở rộng hệ thống Đồ ỏn xừy dựng điều kiện, chế giao diện để thờm cỏc thành phần tầng lưới liệu: quy trình thêm Headnode Datanode Đầu tiờn, đồ ỏn xỏc định yờu cầu cỏc mỏy chủ muốn trở thành Headnode Datanode LINDA cần phải đáp ứng, sau Đồ án đưa bước giao diện để thêm thành phần Trong hệ thống đa người dùng LINDA, việc kiểm soát tài nguyên người dùng điều quan trọng Đồ án nghiên cứu áp dụng chế kiểm soỏt tốc độ upload/ download file người dùng, cách nghiên cứu phụ thuộc tốc độ giao thức GridFTP số luồng liệu độ lớn đệm liệu Thành viên cơng trình: o Phó giáo sư, Tiến Sỹ Nguyễn Thanh Thủy -Chủ nhiệm dự ỏn, Chủ tịch hội đồng quản trị Viện tin học Phỏp ngữ, - Giỏm đốc Trung từm tớnh toỏn hiệu cao - Giảng viờn viện CNTTT Truyền thông trường ĐHBKHN o Tiến Sỹ Nguyễn Hữu Đức - Phó giám đốc Trung tâm tính tốn hiệu cao - Giảng viên viện CNTTT Truyền thông trường ĐHBKHN o Kỹ Sư Phạm Hồng Phong – giảng viờn viện CNTTT Truyền thông trường ĐHBKHN, cộng tỏc viờn Trung từm tớnh toỏn hiệu cao – DHBKHN o Kỹ Sư Lờ Đức Hùng - cỏn nghiờn cứu, trung từm tớnh toỏn hiệu cao, ĐHBKHN o SV Đào Hải Hưng, lớp hệ thống thông tin – k50 o SV Bùi Hải Phong, lớp tin pháp – k50 Trang chủ: http://hpcc hut edu vn/ linda LỜI NểI ĐẦU Em xin gửi lời cảm ơn chừn thành tới PGS TSNguyễn Thanh Thuỷ,giỏm đốc Sinh viên Đào Hải Hưng – Lớp Hệ thống thông tin – K50 Xừy dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA Trung Từm tớnh toỏn hiệu cao, trường đại học Bách Khoa Hà Nội, người tạo cho em hội học tập nghiên cứu môi trường khoa học lý tưởng, người tận tình hướng dẫn em suốt thời gian thực tập tốt nghiệp giai đoạn làm đồ án tốt nghiệp Em xin bày tỏ lòng biết ơn sâu sắc tới TS Nguyễn Hữu Đức,người có đóng góp quý báu cho nội dung đồ án, hướng dẫn tận tình nhóm sinh viên chúng em suốt q trình thực tập làm đồ án tốt nghiệp trung tâm Em xin gửi lời cảm ơn tới KSPhạm Hồng Phong, KSLê Đức Hùng có lời khuyên đóng góp quý báu để đồ án em hoàn thiện Em xin gửi lời cảm ơn tới viện Công nghệ thông tin truyền thông, Trung từm Tớnh toỏn hiệu cao tồn thể thầy cơ, anh chị bạn nhiệt tình tạo điều kiện thuận lợi cho em trình nghiên cứu học tập trường Đại Học Bách Khoa Hà Nội Mình xin gửi lời cảm ơn tớibạn nhómLINDA Bùi Hải Phong, cỏc bạn sinh viờn K50 Trung từm Tớnh toỏn hiệu cao – Trường đại học Bỏch Khoa Hà Nộiđó sỏt cỏnh giúp đỡ vượt qua khó khăn q trình thực tập, hoàn thành đồ án Cuối cùng, xin gửi lời biết ơn vô hạn tới bố mẹ, bố mẹ điểm tựa vững cho cơng việc Chính hy sinh to lớn bố mẹ giúp có ngày hơm Hà Nội, thỏng năm 2010 Sinh viờn thực Đào Hải Hưng Lớp Hệ thống thông tin – K50 Trường Đại học Bỏch Khoa Hà Nội MỤCLỤC Xừy dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA DANH MỤC HốNH ẢNH Hình 1.1 – Mơ hình LINDA 19 Hình - Cỏc trung từm viện nghiờn cứu thành viờn tham gialướiPRAGMA 20 Hình - Tổng quan lưới liệu 24 Hình 2 - Kiến trúc chung lưới liệu 25 Hình 2.3 – Cỏc thành phần Globus Toolkit 27 Hình - Kiến trúc Java CoG kit 29 Hình –Cỏc lớp Java Cog Kit 30 Hình - Sự tương ứng gói với lớp kiến trúc Java Cog Kit 31 Hình – Biểu tượng lưới PRAGMA 32 Hình - Giao thức FTP 33 Hình - Truyền liệu song song 34 Hình 10 - Truyền liệu song song với đối tỏc thứ ba 34 Hình 11 - GateKeeper 38 Hình 12 - Sơ đồ vật lý hệ thống 41 Hình 13 - Sơ đồluồng liệu upload file từ người dùng: Các gói tin chuyển tiếp thông qua đệm Headnode tới Datanode server Lưới liệu 42 Hình 14 - Sơ đồ download filetừ Datanode thông quabộ đệm nằm trờn Headnode 43 Hình 15 - Sơ đồ bố trí dịch vụ Headnode 43 Hình - Lưu giấy ủy quyền lờn mỏy chủ lưu trữ 46 Hốnh - Truy xuất giấy ủy quyền từ mỏy chủ lưu trữ 47 Hình 3 –Biểu đồ use case module quản lý proxy 48 Hình – Lớp SHARED_ MEMORY 50 Hình –Lớp PROXY_ SERVICE_ MONITOR 51 Hình - Lược đồ cho module quản lý proxy 51 Hình - Biểu đồ cho chức khác 54 Hình – Module quản lý proxy 54 Hình – Cây thư mục Headnode 57 Hình – Import file cấu hình cho Headnode 59 Hình –Tạo sở liệu trờn Headnode 60 Hình 4 –Khởi tạo cỏc dịch vụ trờn Headnode 60 Hình 4.5 – Cừy thư mục trờn DATANODE 61 Hình - Phỏt lỗi phần cứng 63 Hình - Phỏt lỗi đường truyền 63 Hình - Mơ hình Push 64 Hình - Phát lỗi mơ hình Push 65 Hình 5 - Mơ hình Pull 65 Hình - Phát lỗi mơ hình Pull 66 Hình Sử dụng kết hợp hai mơ hình Push Pull 66 Hình – Module quản lý tài nguyên 68 Hình 10 – Lớp RESOURCE_ MONITOR_ OBJECT 70 Hình 11 –Biểu đồ lấy trạng thỏi tài nguyờn 70 Hình 12 – Biểu đồ quản lý module quản lý tài nguyên 72 Hình 13 – Module quản lý tài nguyên 73 Hình - GridFTP nhiều luồng TCP với mơ hình thời gian liên tục 75 Hình – ảnh hưởng số luồng liệu vào tốc độ GridFTP 77 Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 10 Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 10 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA CÁC TỪ VIẾT TẮT VÀ CHÚ GIẢI Từ viếtNghĩa tiếngChú giải tắt Anh API Application Giao diện lập trình ứng dụng, thường làm tập hàm giúp Programmin lập trình viên dễ dàng tương tác với dịch vụ , hệ thống g Interface CAS Community Dịch vụ chứng thực cộng đồng Một dịch vụ bảo mật môi Authorizatio trường lưới cho phép dung hũa sách sử dụng tài n Service nguyên cộng đồng người dùng với sách sử dụng tài nguyên nhà cung cấp FTP FileTransfer Giao thức truyền file tiếng qua mạng Protocol Globus Globus Giao diện vào mức thấp kiến trúc Globus XIO eXtensible Input/ Ouput GridFTP Grid FileGridFTP mở rộng giao thức FTP, tích hợp khả bảo Transfer mật lưới, truyền liệu tốt so với FTP Protocol GSI Grid Cơ sở hạ tầng bảo mật lưới kiến trúc Globus, hỗ trợ Security giấy chứng nhận theo chuẩn X509 dùng hệ mã công khai Infrastructur e GT Globus Bộ công cụ middleware hỗ trợ tính tốn lưới, cung cấp số Toolkit dịch vụ đệ trình cơng việc, quản lý tài nguyên, hạ tầng bảo mật, hỗ trợ việc xây dựng dịch vụ lưới… LDAP Lightweight Giao thức đặc tả kỹ thuật định danh đối tượng, mơ hình Directory liệu, tìm kiếm ghi khoản mục liệu Access Protocol LFN Logical FileTênlogiccủamộtthựcthểdữliệutronglướidữliệu,hàmchứanộidungc Name ủathựcthểdữliệuđó Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 12 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA LRC Local Replica Catalogue ODBC PFN Open Database Connectivity Physical File Name RLI Replica Location Catalog định vị địa phương, lưu trữ tập ánh xạ bao gồm hai trường: {tên logic thực thể liệu, vị trí vật lý cụ thể thực thể đó} Giao diện API giúp lập trình viên tương tác với sở liệu Tờn vật lý file liệu: nú bao hàm giao thức truy cập, địa máy mà chứafile liệu đó, người sử dụng dễ dàng truy cập vào thực thể liệu Lưu thông tin mục cho dịch vụ định vị Index RLS TCP XML sao, ghi bao gồm {LFN, trỏ tới LRC tương ứng} Replica Location Dịch vụ định vị kiến trúc lưới Service liệu Globus Tranmission Control Giao thức truyền thông tiếng cho mạng Protocol Internet eXtensible Markup Ngôn ngữ đánh dấu mở rộng, Language dùng chuẩn trao đổi liệu thông dụng CHƯƠNG – ĐẶT VẤN ĐỀ 1.1.Giới thiệu hệ thống LINDA – K49 1 Nhu cầu cho hệ thống lưu trữ trực tuyến Hiện nay, nhu cầu upload, cất giữ liệu trực tuyến trở thành nhu cầu thiếu cá nhân tổ chức có sử dụng Internet Cỏc tổchứckhoahọc,cáctrườngđạihọc,cácviện,cáctổchứckinhtế,chođếnrấtnhiềungườidùngcánh ân đềucónhucầulưugiữvàchiasẻdữliệucủahọ.Vớinhữngdữliệulớn,họsẵnsàngtrảtiềnchodịc hvụlưutrữđó.TrênInternethiệnnàycórấtnhiềutrangwebcungcấpcácdịchvụnhưvậynhư:Rapid Share,MegaUpload…TuynhiênngườidùngViệtNam chưa hài lòng với dịch vụ nhiều lý Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 13 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA Xuất phát từ nhu cầu vậy, nhóm dự án định xây dựng công cụ cho phép tổ chức, cá nhân upload liệu sử dụng dich vụ download, chia sẻ liệu, tạo kho chứa lớn (gồm nhiều dịch vụ hỗ trợ kèm theo ) Dự án hướng tới đối tượng sử dụng chuyên nghiệp, phục vụ nhu cầu nghiên cứu hướng tới người dùng phổ thông Để xây dựng dịch vụ mạnh đạt yêu cầu cần có tảng cơng nghệ thích hợp Nền tảng cơng nghệ cần có khả kết hợp sức mạnh lưu trữ nhiều máy tính Một hệ thống chia sẻ liệu cung cấp cho người dùng dịch vụ tốt nhiều so với hệ thống đơn lẻ khác Qua q trình nghiên cứu, nhóm thấy công nghệ lưới liệu phù hợp với yêu cầu đặt cho hệ thống Với điểm mạnh công nghệ Trung tâm tính tốn hiệu cao trường ĐH Bách Khoa Hà Nội, hệ thống LINDA xừy dựng cỏc sinh viờn k49 trờn lưới liệu (DataGrid) với cỏc kho lưu trữ nằm phừn tỏn mặt địa lý (LINDAk49).LINDA viết tắt LINDA Is Not a Data Archive 1 Những vấn đề cho dịch vụ lưu trữ trực tuyến 1.1.3.1 Tính cục Có nhiều tiêu chí để đánh giá dịch vụ chia sẻ liệu Chất lượng dịch vụ phụ thuộc vào nhiều yếu tố Trong số đó, yếu tố người dùng đánh giá cao tốc độ truyền file Đây điều nhà cung cấp dịch vụ lưu trữ chia sẻ liệu ưu tiên hàng đầu Để tăng tốc độ truyền tải liệu người dùng, người ta có nhiều giải pháp Một giải pháp đầu tư tiền vào hệ thống máy chủ lưu trữ tập trung với quy mô lớn, tài nguyên phần cứng tài nguyên mạng dồi Hệ thống có khả đáp ứng lượng lớn người sử dụng khả lưu trữ lớn, đủ sức cung cấp cho cộng đồng dịch vụ chất lượng cao Đây phương pháp đạt hiệu tính tiện dụng, nhanh chóng dễ xừy dựng Tuy nhiên phương pháp lại tốn cần có đầu tư ban đầu lớn Mặt khác, hạ tầng mạng, hệ thống khó phát huy tối đa khả Đểgiảmtảiviệcđịihỏimộtlượnglớntàingunmạng,ngườitachiatồnbộhệthốngthànhcáccụm máychủlưutrữkhácnhau,đặttạinhữngvịtríđịalýkhácnhau.Ngườidùngnhờvậycóthểthựchiệnv iệctruyềndữliệutớinhữngmáychủgầnmìnhhơnvàđạttốcđộtốthơnnhiềusovớimáychủtậptrung tạimộtđịađiểm.Khiucầutớidịchvụ,ngườidùngsẽlàmviệcvớimáychủởgầnhoặcmáychủcók hảnăngđápứngtốthơn Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 14 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA Việc đặt máy chủ nhiều địa điểm khác làm tăng tính cục cho hệ thống Tuy nhiên hệ thống chia làm nhiều thành nhiều cụm máy nảy sinh khó khăn việc quản lý, bảo mật đồng hoá 1.1.3.2 Tính cộng đồng Dịch vụ lưu trữ liệu ngồi việc cung cấp cho người dùng lượng tài nguyên lưu trữ cịn cần có chế giúp người dùng tương tác, chia sẻ liệu qua lại với Việc chia sẻ cần đảm bảo tính thuận tiện, dễ dàng an toàn Các hệ thống lớn có mặt giới có chế giúp người dùng chia sẻ file cho người khác Tuy có nhiều cách thức thể phương thức cung cấp chức chia sẻ cho người dùng, dịch vụ dựa chế chia sẻ file thông qua đường liên kết logic Dưới khung nhìn người dùng, đường dẫn logic ánh xạ đến file hệ thống đường dẫn lại độc lập với cỏc file tin thực lưu trữ Đường dẫn logic độc lập với hệ thống quản lý người dùng việc phân chia lớp người dùng Nhờ vậy, người sử dụng tham gia hệ thống chia sẻ file cho thông qua đường dẫn logic mà khơng cần quan tâm đến file hay lưu trữ đâu Đương nhiên người dùng có quyền quản lý đường dẫn logic tạo Bên cạnh việc sử dụng chế đường dẫn logic, dịch vụ chia sẻ liệu cung cấp chức cho phép người dùng chia sẻ file theo nhóm Người dùng tạo danh sách file tin muốn chia sẻ đường dẫn logic đến danh sách để người dùng khác truy cập 1 Cỏch tiếp cận hệ thống LINDA – K49 Dịch vụ lưu trữ liệu phát triển từ lâu giới, từ mạng Internet bắt đầu phổ biến với người dùng Tuy nhiên công nghệ lưu trữ phân bố file tin hệ thống cỏc nhà phỏt triển che giấu Đểxâydựngđượcmộtdịchvụmạnhvàđạtucầucầncómộtnềntảngcơngnghệthíchhợp.Nềntản gcơngnghệnàycầncókhảnăngkếthợpsứcmạnhlưutrữcủanhiềumáytính.Mộthệthốngchiasẻdữ liệunhưvậysẽcungcấpchongườidùngnhữngdịchvụtốthơnnhiềusovớicáchệthốngđơnlẻkhác Quaqtrìnhnghiêncứu,nhómthấyrằngcơngnghệlướidữliệulàphùhợpvớinhữngucầuđặtra chomộthệthốngnhưvậy.Vìlýdođó,dựánLINDA xây dựng với việc sử dụng hạ tầng lưới phục vụ cho mục đích lưu trữ chia sẻ Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 15 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA 1.2 Khảo sỏt hệ thống LINDA – K49 Tớnh chất hệ thống phân tán Một hệ thống phừn tỏn, Tannenbaum định nghĩa [1]: Một hệ phân tán tập hợp máy tính độc lập nhau, tồn với người dùng hệ thống đơn Định nghĩa có hai khía cạnh Khía cạnh thứ phần cứng: máy tính hệ phân tán hệ thống độc lập với nhau, có kiến trúc khác liên kết, cộng tác với suốt với người dùng Điểm thứ hai phần mềm: người sử dụng quan sát hệ thống hệ thống đơn Nghĩa tương tác với hệ thống người sử dụng hay hệ thống khác theo cách cố định nhất, không phụ thuộc vào khơng gian, thời gian mà tương tác diễn Cỏc mục đích xây dựng hệ phân tỏn: 1.2.1.1 Liờn kết người sử dụng tài nguyờn Mục đích hệ phân tán nhằm cung cấp phương tiện cho người dùng truy cập sử dụng tài nguyên xa Các tài nguyên máy in, dung lượng lưu trữ, liệu hay chương trình máy tính khác Liên kết người dùng tài nguyên nâng cao tính cộng tác trao đổi liệu Sự bùng nổ Internet dấn tới thành lập nhiều tổ chức ảo năm phân tán mặt địa lý, thành viên tổ chức cộng tác với thông qua hệ thống phân tán Hình – Import file cấu hình cho Headnode Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA 4.2.Quy trình thêm/ bỏ Datanode 4.2.1 u cầu mơi trường cho Datanode - Cài đặt hệ điều hành linux/unix Globus Toolkit cài đặt mặc định (phiờn trở sau) Hệ thống tham gia lưới tính tốn với Headnode 4.2.2 Cừy thư mục trờn Datanode Hình 4.5 – Cừy thư mục trờn DATANODE Thư mục data: chứa file người dùng upload lên hệ thống Thư mục log: chứa cỏc file log hệ thống Thư mục script: chứa script dùng cho Headnode 4.2.3 Thờm Datanode vào hệ thống Bước1: tạo cừy thư mục Datanode copy cỏc script cần thiết (rsl, resourcemonitor.sh) Bước 2: đăng ký với Headnode Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA 5.2.2 Lỗi cỏc phương phỏp phỏt lỗi môi trường lưới 5.2.2.1 Lỗi phần cứng Hình - Phỏt lỗi phần cứng Các ứng dụng lưới gặp lỗi nút lưới gặp trục trặc nguyên nhân phần cứng Khi gặp lỗi này, thông thường nút bị tê liệt, công việc ứng dụng lưới chạy tất nhiên khơng thể hoạt động Khi nút bị lỗi khơng có tín hiệu phản hồi tới nút xung quanh, từ ta phát nút bị lỗi dựa việc kết hợp thông tin với nút lân cận Như mơ tả hình 1-2, máy A gửi thơng điệp thăm dị đến máy B khơng thấy tín hiệu trả lời, gửi thơng điệp hỏi máy C, máy C không nhận tín hiệu trả lời từ B A C xác nhận với B gặp cố Để khắc phục, lập lịch hệ thống lưới cần phát vị trí nút bị lỗi để tránh xếp công việc nút phục hồi trở lại 5.2.2.2 Lỗi đường truyền Hình - Phỏt lỗi đường truyền Đườngtruyềngiữahaihoặcnhiềunútcóthểbịqtảihaygặpsựcố.Khigặplỗinày,hệthốngkhơngt hểtruyềndữliệugiữahainúttươngứng.Nhưmơtảtrênhình13,máyAgửithơngđiệpthămdịđếnmáyBnhưngkhơngthấytínhiệutrảlời,dođómáyAgửithơngđ iệphỏimáyCvềtrạngtháicủaB.CxácnhậnBvẫnhoạtđộngbìnhthường,dovậyAkếtluậnđườngtr uyềngiữaAvàBbịlỗi.Cũngtươngtựnhưkhigặplỗiphầncứng,bộlậplịchcủahệthốngcầncónhữn gchínhsáchhợplíkhiphânbốcơngviệccủaứngdụngtrêncácnút Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 64 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA 5.2.3 Các mơ hình quản lý tài ngun Một module quản lý tài ngun khơng có khả xác định thành phần hệ thống gặp lỗi, mà cịn có khả thu nhận thơng tin trạng thái thành phần Trong hệ thống thường có thành phần chính: - Đối tượng u cầu: đối tượng có nhu cầu nắm bắt trạng thái đối tượng - Đối tượng theo dõi: đối tượng thực việc thu thập thông tin trạng thái đối tượng theo dõi, cung cấp thông tin cho đối tượng yêu cầu - Đối tượng theo dõi: đối tượng “quan tõm” đối tượng yêu cầu đối tượng theo dõi 5.2.3.1 Mơ hình Push Hình - Mơ hình Push Theo mơ hình Push, đối tượng theo dõi gửi thông điệp cách định kỳ đến đối tượng theo dõi để báo “trạng thái là…” Nếu khoảng thời gian ràng buộc đó, đối tượng theo dõi khơng nhận thông điệp từ đối tượng theo dõi nú bắt đầu nghi ngờ đối tượng Việc truyền thông điệp đối tượng theo chiều Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 65 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA Hình - Phát lỗi mơ hình Push Hình - minh hoạ cách thức trao đổi tín hiệu đối tượng Cần phân biệt rằng: việc truyền thông điệp đối tượng theo dõi cho đối tượng yêu cầu việc truyền thông điệp đối tuợng theo dõi cho đối tượng theo dõi khác Đối tượng theo dõi truyền thông điệp tới đối tượng yêu cầu đối tượng theo dõi “cú vấn đề” đối tượng yêu cầu cần định kì gửi thơng điệp tới đối tượng theo dõi Mơ hình nói chung đơn giản gửi thơng điệp theo hướng giảm chi phí tài ngun đường truyền 5.2.3.2 Mơ hình Pull Hình 5 - Mơ hình Pull Trong mơ hình Pull, đối tượng theo dõi theo định kì gửi thơng điệp “hỏi thăm” tới đối tượng theo dõi Nếu đối tượng theo dõi trả lời lại có nghĩa đối tượng cịn sống Hình - minh hoạ việc truyền thông điệp đối tượng mơ hình Pull Theo định kì, đối tượng theo dõi gửi thông điệp hỏi thăm tới đối tượng theo dõi đợi trả lời Nếu không nhận thông điệp trả lời khoảng thời gian cho phép đối tượng đuợc theo dõi bị nghi nghi ngờ Hình - Phát lỗi mơ hình Pull Mơ hình Pull phức tạp mơ hình Push có trao đổi thơng điệp qua lại đối tượng, nhiên lại có ưu điểm dễ dàng cho người phát triển ứng dụng Đối tượng theo dõi bị động nú không cần phải biết thời gian phải gửi thông điệp thứ tự thông điệp gửi tới đối tượng theo dõi Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 66 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA 5.2.3.3 Sử dụng kết hợp hai mơ hình Push Pull Có thể dùng mơ hình kết hợp mơ hình Push Pull để thu ưu điểm hai mơ hình Hình Sử dụng kết hợp hai mơ hình Push Pull Hình minh hoạ chế truyền thơng điệp mơ hình kết hợp Push-Pull Như ta thấy, có hai đối tượng theo dõi M1 M2 Trong pha thứ nhất, M1 M2 hoạt động theo mơ hình Push Tuy nhiên có M1 gửi thơng điệp tới đối tượng theo dõi, M2 không gửi Sau thời gian T1 cho pha thứ nhất, mơ hình chuyển sang hoạt động theo pha thứ hai: gửi thông điệp hỏi thăm tới M2 (vì khơng nhận tín hiệu M2 pha thứ nhất) nhận thông điệp trả lời Sau thời gian T2, mơ hình lại chuyển sang hoạt động theo pha thứ Trong pha M1 M2 không gửi thông điệp tới đối tượng theo dõi (M1 bị lỗi) Do chuyển sang pha 2, đối tượng theo dõi gửi thông điệp hỏi thăm tới M1 M2 Chỉ M2 trả lời M1 bị nghi ngờ 5.2.4 Cỏc yờu cầu cho module quản lý tài nguyờn LINDA Module quản lý tài nguyờn LINDA quản lý tuyến viết java chạy ngầm định Để tối ưu hiệu đảm bảo tính qn thơng tin thu thập được, module thiết kế để đảm bảo yêu cầu: - Là hệ thống quản lý tập trung, độc lập với chớnh sỏch quản lý tài nguyờn Datanode Để thực yêu cầu này, module thiết kế tập trung theo mơ hình pull Thành phần điều khiển trình xác định trạng thái cácDatanode đặt trờn Headnode Trờn Datanode chứa thành phần lấy thơng tin thực thi có yêu cầu từ Headnode - Chỉ có tuyến quản lý module thời điểm: Nếu lý đó, có hai tuyến hệ thống thực cơng việc trạng thái Datanode khơng qn Do trạng thái Datanode lưu đối tượng vùng nhớ chia sẻ chương trình, thành phần trạng thái cập nhật tuyến thành phần khác cập nhật tuyến khỏc Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 67 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA - - - Chỉ có tuyến cho Datanode thời điểm Để đảm bảo yêu cầu này, trước tiên phải đảm bảo có tuyến cho module quản lý tài nguyờn, cần phải xỏc định thời gian time - out cho tuyến Module có hai chế độ chạy: module hoạt động định kỳ, sau khoảng thời gian cập nhật thông tin trạng thái cho Datanode Hoặc module module khác yêu cầu update thời điểm Module có khả tự động cập nhật thông tin cách thành phần thêm vào hệ thống mà khởi động lại Có khả mở rộng: hệ thống có yêu cầu lấy trạng thái mới, module có khả thực yêu cầu mà khởi động lại Cung cấp thông tin hoạt động module, giao diện để khởi động lại module 5.3 Thiết kế module quản lý tài nguyờn cho tầng lưới liệu 5.3.1 Mơ hình vật lý module Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 82 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA Hình – Module quản lý tài nguyên - Module quản lý tài nguyên thiết kế theo mô hình pull - Module quản lý tập trung Tại Headnode sử dụng cỏc lớp GramJob, GassServer, chuỗi RSL để điều khiển thu nhận trạng thỏi cỏc Datanode trờn lưới Tại Datanode cài đặt shell resourcemonitor sh để thu nhận thông tin trả Headnode #! / bin/ bash ################## # LINDA project # hpc - hut centre # hungdh ################# echo "bkluster" disk = `df - hk $ HOME` Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 68 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA disk=${disk% *} disk=${disk% *} disk=${disk% *} # get available disk Avail=${disk##* } echo $ Avail # get used disk disk=${disk% *} disk=${disk% *} Used=${disk##* } echo $ Used # get Total #disk=${disk% *} disk=${disk% *} Total=${disk##* } echo $ Total Quá trình thu nhận tài nguyên từ Headnode mô tả thông qua chuỗi RSL sau: RSL = " & (rsl_substitution = (GLOBUSRUN_GASS_URL " + gServer.getURL() + "))" + "(executable=" + dataNode.getHome() + "/" + dataNode.getScript() + "/" + "monitorservice.sh" + ")(directory="+ dataNode.getHome() + "/" + "gramjob" + ") (stdout=$(GLOBUSRUN_GASS_URL)/dev/stdout-" + jobID + ")"; Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 69 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA 5.3.2 Biểu đồ use case Hình 5.9 – Biểu đồ use case module quản lý tài nguyên 5.3.3 Đối tượng RESOURCE_ MONITOR_ OBJECT Hình 10 – Lớp RESOURCE_ MONITOR_ OBJECT Việc lưu trữ đối tượng RESOURCE_ MONITOR_ OBJECT đảm bảo cỏc yờu cầu cho module quản lý proxy: - Tại thời điểm có tuyến quảy lý module - Cung cấp giao diện thông tin quản lý module (lấy trạng thỏi từ trường status) - Module chạy ngầm định hay chạy có yêu cầu người quản trị 5.3.4 Cỏc biểu đồ Hình 11 –Biểu đồ lấy trạng thỏi tài nguyờn Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 70 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 71 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA Hình 12 – Biểu đồ quản lý module quản lý tài nguyên 5.4 Tích hợp hệ thống Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 72 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA ... FileTênlogiccủamộtthựcthểdữliệutronglướid? ?liệu, hàmchứanộidungc Name ủathựcthểd? ?liệu? ?ó Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 12 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA. .. lớp Hệ thống thông tin – K50 14 Xừy dựng quản lý tầng lưu trữ lưới hệ thống lưu trữ chia sẻ dử liệu LINDA Việc đặt máy chủ nhiều địa điểm khác làm tăng tính cục cho hệ thống Tuy nhiên hệ thống chia. .. chomộthệthốngnhưvậy.Vìlýdođó,dựánLINDA xây dựng với việc sử dụng hạ tầng lưới phục vụ cho mục đích lưu trữ chia sẻ Sinh viên Đào Hải Hưng – lớp Hệ thống thông tin – K50 15 Xừy dựng quản lý tầng lưu trữ lưới hệ thống