THE GOOGLE FILE SYSTEM GVHD: TS. Hồ Bảo Quốc Nhóm học viên thực hiện: • Dương Hữu Thành – 1212035 • Phạm Ngọc Vân Anh – 1212001 • Nguyễn Thanh Tòng – 1212039 Nội dung • Giới thiệu về GFS. • Kiến trúc tổng quan. • Sự tương tác trong hệ thống. • Trách nhiệm của GFS-Master. GOOGLE FILE SYSTEM Giới thiệu về GFS • Là một hệ thống quản lý tập tin phân tán (DFS) được phát triển bởi Google. • Được thiết kế để cung cấp khả năng truy xuất dữ liệu hiệu quả và tin cậy dựa trên việc sử dụng một hệ thống cluster lớn của các commodity hardware. • Phiên bản mới nhất có tên là Colossus. ( nguồn http://en.wikipedia.org/wiki/Google_File_System ) Giới thiệu về GFS (cont.) • Chỉ được sử dụng bởi Google. • Không phải là một sản phẩm open source. • Được xem như là một mô hình về DFS. KIẾN TRÚC TỔNG QUAN Các giả định (assumptions) • Tỷ lệ lỗi (failure rate) của các thành phần cao. • Số lượng và kích thước file lớn: ▫ Vài triệu file. ▫ Mỗi file > 100 MB • Phần lớn thao tác trên file là thêm vào cuối (append). • Large streaming read. Các interface • Create • Delete • Open • Close • Read • Write • Snapshot • RecordAppend Thết kế tổng quan • Mỗi file được chia ra và lưu trữ thành nhiều chunk. ▫ Mỗi chunk 64 MB. ▫ Mỗi chunk được nhân bản (replica) thành 3 phần, mỗi phần lưu trữ trên một chunk server. • Một master server, nhiều chunk server và nhiều client. ▫ Quản lý tập trung để đơn giản việc quản lý. • Không caching data. Kiến trúc [...]... TRÁCH NHIỆM CỦA GFS MASTER TRÁCH NHIỆM CỦA GFS MASTER • • • • Lưu giữ metadata Định kỳ liên lạc với chunk server Chunk creation, re-replication, rebalancing Thu dọn rác Tài liệu tham khảo • The Google File System - Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung Q&A ... Lưu trữ trên local disk ▫ Được sao lưu tại các shadow master SỰ TƯƠNG TÁC TRONG HỆ THỐNG Thao tác thay đổi nội dung file (mutation) • Mutation = write hoặc là record append ▫ Phải được thực hiện trên mọi replica Lease • Được thiết kế để giảm sự tham gia của master vào các thao tác trên file • Master chọn một trong các replica và replica được chọn trở thành primary replica • Primary replica sẽ thay thế... Nghẽn cổ chai • Giải pháp ▫ Shadow master ▫ Tối thiểu hóa vai trò của master  Chỉ được dùng cho metadata  Tăng kích thước chunk size  Lease mechanism Metadata • Tên file và chunk ▫ Lưu ở cả master và chunk server • Mapping giữ file và chunk ▫ Lưu ở cả master và chunk server • Vị trí của các chunk ▫ Hỏi chunk server khi master start hoặc chunk server tham gia vào hệ thống • Được load lên RAM (64byte/... pháp: ▫ Multi producer – single consumer Atomic Record Append (cont.) Tương tự như write nhưng có một ít sự khác biệt 1 Client chuyển data cần append đến tất cả các replica thuộc về chunk cuối cùng của file 2 Primary xác định xem data cần append làm cho kích thước của chunk vượt quá giới hạn cho phép Atomic Record Append (cont.) 3 Nếu chunk vượt quá giới hạn kích thước, Primary replica sẽ: - Chèn padding . trong hệ thống. • Trách nhiệm của GFS-Master. GOOGLE FILE SYSTEM Giới thiệu về GFS • Là một hệ thống quản lý tập tin phân tán (DFS) được phát triển bởi Google. • Được thiết kế để cung cấp khả năng. nhất có tên là Colossus. ( nguồn http://en.wikipedia.org/wiki /Google_ File_ System ) Giới thiệu về GFS (cont.) • Chỉ được sử dụng bởi Google. • Không phải là một sản phẩm open source. • Được xem. (failure rate) của các thành phần cao. • Số lượng và kích thước file lớn: ▫ Vài triệu file. ▫ Mỗi file > 100 MB • Phần lớn thao tác trên file là thêm vào cuối (append). • Large streaming read. Các