HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN Giảng viên: TS Hoàng Xuân Dậu Điện thoại/E-mail: dauhx@ptit.edu.vn Bộ môn: An toàn thông tin - Khoa CNTT1 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN Hệ thống file phân tán www.ptit.edu.vn Hệ thống file hệ thống file phân tán Vấn đề đặt tên tính suốt DFS Các ngữ nghĩa việc chia sẻ Các phương pháp truy nhập từ xa Các vấn đề khả mở rộng Một mô hình DFS đơn giản GFS - Google Distributed File System GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1 Hệ thống file hệ thống file phân tán  Hệ thống file (FS - File system)  Hệ thống file phân tán (DFS – Distributed file system)  Các khái niệm hệ thống phân tán hệ thống file phân tán www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file  Hệ thống file (file system) phương pháp tổ chức lưu trữ file liệu chúng  Hệ thống file cho phép người sử dụng dễ dàng tìm kiếm truy nhập file  Hệ thống file sử dụng:  Các thiết bị lưu trữ (đĩa cứng, đĩa mềm, CD) để lưu trữ files,  Cho phép truy nhập đến liệu máy chủ file thông qua giao thức mạng (NFS, SMB, …) www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp) Các loại hệ thống file:      Disk File System Database file system Transactional file system Network file system Special purpose file system www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp) Các loại hệ thống file:  Disk File System: • Sử dụng thiết bị lưu trữ có kết nối trực tiếp gián tiếp với máy tính để lưu trữ file (phổ biến đĩa); • Các files thường quản lý theo cấu trúc phân cấp (cây); • Các loại Disk FS thông dụng FAT (FAT16, FAT32), NTFS, ext2, ext3, ext4, ISO 9960 UDF (Universal Disk Format) www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp) Các loại hệ thống file:  Database file system: • Sử dụng khái niệm CSDL để quản lý files; • Các files nhận dạng thuộc tính, loại file, chủ đề, tác giả mô tả file www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp) Các loại hệ thống file:  Transactional file system: • Là loại hệ thống file chuyên dụng, dùng để lưu trữ giao dịch; • Thường dùng nhiều ngành Ngân hàng, file giao dịch www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp) Các loại hệ thống file:  Network file system: • Là hệ thống file cho phép truy nhập files lưu máy chủ; • NFS hoạt động client giao thức truy nhập file từ xa; • NFS gọi Distributed File System (DFS) • Ví dụ: NFS (Sun), AFS (Andrew FS), GFS (Google FS), HDFS FTP www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp) Các loại hệ thống file:  Special purpose file system: • Là hệ thống file DFS NFS • Ví dụ: – Trong hệ thống mà files quản lý động phần mềm phục vụ cho giao tiếp tiến trình, dành cho không gian lưu trữ tạm thời; – Bảng trắng (White board) dạng file đặc biệt www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 10 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.2 Các giả thiết thiết kế (tiếp)  Tải hệ thống cấu thành từ hai thao tác chính:  Các thao tác đọc theo dòng (streaming reads): thường hệ thống đọc lượng lớn liệu, từ hàng trăm KB đến 1MB, lớn  Các thao tác đọc ngẫu nhiên với khối lượng liệu nhỏ www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 80 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.2 Các giả thiết thiết kế (tiếp)  Tải hệ thống phần cấu thành từ thao tác ghi liệu kiểu nối đuôi files Sau ghi, files cần sửa đổi  Hệ thống cần thực thi ngữ nghĩa chia sẻ cách hiệu có nhiều clients đồng thời ghi nối đuôi vào file  Băng thông mạng quan trọng độ trễ đường truyền mạng www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 81 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.3 Kiến trúc hệ thống www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 82 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.3 Kiến trúc hệ thống (tiếp)  GFS gồm master nhiều chunkservers  Master: quản lý toàn thông tin hệ thống file:     Không gian tên (namespace) Thông tin kiểm soát truy nhập Ánh xạ từ files đến chunks (phân đoạn) Vị trí chunks  Toàn thông tin master lưu nhớ -> giảm thời gian tìm kiếm  GFS cần khoảng 64 bytes để quản lý chunk www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 83 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.3 Kiến trúc hệ thống (tiếp)  Chuỗi chunkservers: lưu trữ liệu file  File chia thành chunks có kích thước cố định  Mỗi chunk nhận dạng tên nhận dạng toàn cục (chunk handle), độ dài 64bits  Kích thước chunk cố định 64MB  Mỗi chunk thường có thứ cấp (replicas)  Master giao tiếp với chunkservers thông qua thông điệp HeartBeat www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 84 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.3 Kiến trúc hệ thống (tiếp)  Master có shadow masters lưu liệu hệ thống Khi master gặp cố, shadow masters thay tạm thời  Toàn thao tác master log vào đĩa cục thứ cấp để phục vụ cho khôi phục gặp cố www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 85 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.4 Hoạt động - Các thao tác file  GFS hỗ trợ thao tác file sở, bao gồm: tạo, xoá, mở, đóng ghi  Ngoài ra, GFS hỗ trợ thao tác:  Snapshot: tạo copy file thư mục với chi phí thấp  Record append (nối đuôi file): cho phép nhiều clients đồng thời ghi nối đuôi file, mà đảm bảo tính nguyên tử thao tác ghi client www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 86 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.4 Hoạt động - Điều khiển ghi dòng liệu www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 87 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.4 Hoạt động - Điều khiển ghi dòng liệu Client yêu cầu master cung cấp thông tin chunks cần truy nhập (vị trí replicas) Master tìm kiếm thông báo kết cho client Client đẩy thông tin cần ghi đến tất replicas chunk Khi replicas xác nhận nhận liệu, client gửi yêu cầu ghi đến primary replica Primary replica chọn trật tự ghi chuyển tiếp yêu cầu ghi đên replicas lại Các replicas thông báo hoàn tất thao tác ghi Primary replica thông báo lại cho client Nếu có lỗi client lặp lại bước từ 3-7 Nếu có lỗi client lặp lại toàn trình ghi www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 88 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.5 Thử nghiệm đo hiệu  Cấu hình GFS thử nghiệm:     master master replicas 16 chunkservers 16 clients  Tất máy sử dụng cấu hình PIII 1.4GHz, 2GB RAM, 2x80GB 5400 vòng/phút HDD  Switch 100Mb/s full-duplex www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 89 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.5 Thử nghiệm đo hiệu (tiếp) www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 90 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.5 Thử nghiệm đo hiệu (tiếp) www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 91 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.7.5 Thử nghiệm đo hiệu (tiếp) www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 92 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN Hệ thống GFS - clusters - Cấu hình www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 93 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN Hệ thống GFS-2 clusters - Hiệu www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 94 [...]... Trang 11 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE PHÂN TÁN 2.1.2 Hệ thống file phân tán  Hệ thống file phân tán (Distributed File System - DFS) là một hệ thống file hỗ trợ chia sẻ files và các tài nguyên trên mạng  Về mặt hình thức và đối với người dùng, DFS hoàn toàn tương tự như hệ thống file cục bộ  Các DFS phổ biến:  NFS (Sun)  AFS (Andrew FS)  Common Internet File System (CIFS) – dựa... thức SMB (Server Message Blocks)  GFS (Google): hệ thống file phân tán của Google  HDFS (Hadoop distributed file system): hệ thống file phân tán dựa trên nền tảng mở Hadoop www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 12 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE PHÂN TÁN 2.1.2 Hệ thống file phân tán (tiếp)  Nhu cầu cần có DFS:  Nhu cầu chia... HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE PHÂN TÁN 2.1.2 DFS - Các khái niệm (tiếp)  Một hệ thống file cung cấp các dịch vụ về files cho các máy khách  Giao diện máy khách cho một dịch vụ file được hợp thành từ một tập các thao tác trên file (tạo, xoá, đọc, ghi) www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 22 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE. .. HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE PHÂN TÁN 2.2.3 Các phương pháp đặt tên  Kết hợp tên máy (host) và tên cục bộ  Kết hợp các thư mục ở xa vào không gian tên cục bộ  Sử dụng không gian cấu trúc tên toàn cục cho tất cả các file trong toàn hệ thống www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 32 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE PHÂN TÁN...BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp)  Hệ điều hành – Hệ thống file sử dụng:  MS-DOS: • FAT (FAT12, FAT16)  Windows 95, 98, Me: • VFAT (FAT32)  NT4, 2000, XP, 2003, 2008, Windows 7, 8: • NTFS  Unix, Linux: • ext2,... GB/user www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 14 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE PHÂN TÁN 2.1.2 Hệ thống file phân tán (tiếp)  Lịch sử phát triển  1980s: Chia sẻ file dùng đĩa mềm (copy-vận chuyển-copy)  1980s: Chia sẻ file dùng FTP: vẫn cần 2 lần copy và user phải biết địa chỉ vật lý của ftp server  SPRITE network OS: Giữa những... GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE PHÂN TÁN 2.2 Vấn đề đặt tên và tính trong suốt trong DFS  Khái quát về vấn đề đặt tên  So sánh tính trong suốt và tính độc lập về vị trí  Các phương pháp đặt tên  Các kỹ thuật thực hiện đặt tên www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 24 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE PHÂN TÁN 2.2.1... quát về vấn đề đặt tên (tiếp)  File độc lập vị trí thường được tham chiếu như:  File di trú (file migration), hoặc  File di động (File mobility) => việc dịch chuyển vị trí của file hoàn toàn trong suốt đối với người dùng www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 28 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE PHÂN TÁN 2.2.2 So sánh tính trong... www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1 Trang 18 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE PHÂN TÁN 2.1.2 DFS - Các khái niệm  Hệ thống phân tán (Distributed System):  Một tập hợp các máy tính có liên kết lỏng (loosely coupled machines);  Các máy tính trong hệ thống có thể là các máy tính lớn hoặc máy trạm;  Chúng được kết nối với nhau bằng một mạng truyền... KHOA CNTT1 Trang 34 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG 2 HỆ THỐNG FILE PHÂN TÁN 2.2.3 Các phương pháp đặt tên (tiếp)  Sử dụng không gian cấu trúc tên toàn cục cho tất cả các file trong toàn hệ thống:  Ví dụ: • Trong 1 website, tên miền của website có thể coi như 1 thư mục gốc và trên đó, tên các trang (file) được tổ chức thống nhất; • Tên đầy đủ của các trang (file) chỉ phụ thuộc tên miền, hoàn toàn ... BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.2 Hệ thống file phân tán  Hệ thống file phân tán (Distributed File System - DFS) hệ thống file hỗ trợ chia sẻ files tài nguyên mạng... MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp) Các loại hệ thống file:  Special purpose file system: • Là hệ thống file DFS NFS • Ví dụ: – Trong hệ thống mà files...BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN Hệ thống file phân tán www.ptit.edu.vn Hệ thống file hệ thống file phân tán Vấn đề đặt tên tính suốt DFS Các ngữ