BỘ GIÁO DỤC VÀ ĐÀO TẠO TẬP ĐỒN BƯU CHÍNH VIỄN THƠNG VIỆT NAM HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THÔNG - BÙI NGỌC LONG NGHIÊN CỨU XÂY DỰNG HỆ THỐNG MÁY CHỦ AUDIO/VIDEO CHO HẬU KỲ SẢN XUẤT PHIM TRUYỀN HÌNH CHUYÊN NGÀNH : TRUYỀN DỮ LIỆU VÀ MẠNG MÁY TÍNH MÃ SỐ : 60.48.15 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TSKH HOÀNG ĐĂNG HẢI HÀ NỘI – 2010 Chương TỔNG QUAN 1.1 Đặt vấn đề Kỹ thuật số ứng dụng truyền hình làm thay đổi hồn tồn quy trình cơng nghệ kỹ thuật truyền hình từ nhận liệu xử lý, lưu trữ, phát sóng… Ngày nay, nhu cầu kết nối thiết bị số với với máy chủ Audio/Video trung tâm phát truyền hình thành mạng trở thành yêu cầu cấp bách Đài truyền hình lớn Việc nghiên cứu xây dựng hệ thống máy chủ Audio/Video kết nối thiết bị số thành mạng nhu cầu thực tế, mang lại lợi ích thiết thực cho Đài truyền hình Qua khảo sát cơng trình nghiên cứu tới cho thấy, Đài truyền hình lớn nước ứng dụng hệ thống máy chủ Audio/Video, có kết nối hệ thống thành mạng với việc ứng dụng công nghệ tiên tiến Fibre Channel, SAN, RAID… Các Đài truyền hình nước bắt đầu áp dụng công nghệ hình thành mạng thiết bị Tuy nhiên, chưa có cơng trình nghiên cứu đề cập đến vấn đề xây dựng hệ thống máy chủ Audio/Video phục vụ cho sản xuất phim truyền hình Để thực điều địi hỏi cần có nghiên cứu lý thuyết kiến trúc hệ thống, thiết kế xây dựng mô hình hệ thống với yêu cầu thiết bị, xử lý luồng liệu máy chủ, chuẩn định dạng số, lưu trữ liệu Ngoài ra, việc áp dụng hệ thống máy chủ Audio/Video vào sản xuất hậu kỳ địi hỏi phải xây dựng tồn quy trình hoạt động (workflow) hệ thống Đó vấn đề nghiên cứu đặt luận văn 1.2 Mục tiêu nội dung nghiên cứu luận văn Mục tiêu nghiên cứu luận văn nghiên cứu xây dựng hệ thống máy chủ Audio/Video (Audio/Video Server System) cho hậu kỳ sản xuất phim truyền hình Các vấn đề nghiên cứu đặt việc xây dựng hệ thống máy chủ Audio/Video gồm có:  Nghiên cứu yêu cầu chung kiến trúc hệ thống máy chủ  Nghiên cứu vấn đề nhập liệu vào hệ thống máy chủ  Xây dựng hệ thống sở mơ hình hàng đợi nhiều server, cơng nghệ mạng lưu trữ SAN, kỹ thuật phân cụm (Clustering)  Áp dụng mơ hình cụm server cơng nghệ mạng SAN cho xây dựng hệ thống máy chủ Audio/Video cho hậu kỳ sản xuất phim truyền hình 1.3 Các kết nghiên cứu đạt luận văn  Nghiên cứu vấn đề kỹ thuật xây dựng hệ thống máy chủ Audio/Video cho hậu kỳ sản xuất phim truyền hình Tổng hợp quy trình hoạt động cần thiết hệ thống  Nghiên cứu kiến trúc máy chủ, công nghệ server, vấn đề nhập liệu vào hệ thống máy chủ, mã hóa tín hiệu, lưu trữ liệu vào hệ thống, vấn đề chất lượng dịch vụ quản lý băng thông, kiểm sốt lỗi hệ thống  Trình bày chuẩn liệu cần thiết quy trình hoạt động hệ thống; phân tích, đánh giá phương án lưu trữ, tùy chọn RAID, lựa chọn chuẩn, phân cụm server  Nghiên cứu sở lý thuyết hệ thống, đề xuất áp dụng mơ hình hàng đợi nhiều server, công nghệ mạng lưu trữ SAN, kỹ thuật phân cụm (Clustering) vào xây dựng hệ thống máy chủ Audio/Video  Xây dựng hệ thống máy chủ Audio/Video cho hậu kỳ sản xuất phim truyền hình sở áp dụng mơ hình phân cụm server cơng nghệ mạng SAN; đề xuất lựa chọn server đảm bảo độ tin cậy quy trình cơng tác hệ thống; tính tốn dung lượng lưu trữ 1.4 Bố cục luận văn Bài luận văn bố cục thành chương sau:  Chương I: Trình bày vấn đề cần nghiên cứu, số khái niệm thuật ngữ chun ngành; trình bày mục tiêu tóm tắt nội dung nghiên cứu luận văn  Chương II: Các vấn đề kỹ thuật hệ thống máy chủ Audio/Video; yêu cầu chung hệ thống  Chương III: Đề xuất áp dụng mơ hình hàng đợi công nghệ SAN cho hệ thống máy chủ Audio / Video  Chương IV: Đề xuất hệ thống máy chủ Audio/Video cho hậu kỳ sản xuất phim truyền hình  Kết luận hướng phát triển tiếp Chương CÁC VẤN ĐỀ KỸ THUẬT TRONG HỆ THỐNG AUDIO/VIDEO SERVER 2.1 Giới thiệu chung hệ thống Audio/Video Server Một hệ thống Audio/Video Server thường bao gồm thành phần sau: Nhận tin (Ingets) - xem xét liệu thu nhận vào hệ thống chuẩn định dạng tín hiệu Video số Mã hoá (Encoding) - định dạng nén sử dụng, DVCPRO, MPEG, DV… Các hình thức lưu trữ (Storage Options) – lưu trữ phân bố hay tập trung, hai, dạng RAID cần sử dụng Vấn đề băng thông, đường truyền, chia tải giảm tắc nghẽn (Load Sharing) Chiến lược kiểm soát hệ thống Các hệ thống số địi hỏi phải có chiến lược kiểm soát khác Khuyến nghị sử dụng tiêu chuẩn cơng nghiệp để kiểm sốt tính ổn định thiết bị hệ thống 2.2 Nhận liệu vào hệ thống máy chủ Audio/Video Server Hiện người sử dụng có lựa chọn (option) để nạp liệu cho server là: a) Nhận dòng liệu; b) Truyền tệp; c) Nhận tín hiệu Audio/Video 2.2.1 Nhận dòng liệu (Streaming) Nhận streaming kỹ thuật có nhiều ưu điểm so với phương pháp nhận theo tệp Có hai loại chính: Streaming lưu trữ streaming trực tiếp Các tùy chọn liệu có nén bao gồm: SDTI cho DV, SDTI-CP cho MPEG dòng truyền MPEG (MTS) Với liệu nén SDTI MTS, chất lượng liệu định người gửi (sender) Dữ liệu nạp trực tiếp vào đĩa server bỏ qua mã hoá 2.2.2 Truyền File Truyền file dịch chuyển nội dung file mode đẩy “push” kéo “pull” qua topo điểm-điểm điểm-nhiều điểm Phương thức có vai trị ngày tăng kết nối server tương lai 2.2.3 Nhận tín hiệu Audio/Video Các tuỳ chọn video bao gồm video tương tự video số nối tiếp (SDI), ta xét định dạng tín hiệu Audio/Video số Đó kỹ thuật thân quen thông dụng cho VTR tất dạng Server 2.3 Mã hố tín hiệu Khi video mã hố, người sử dụng chọn dạng nén chất lượng nén Các tuỳ chọn thông dụng MPEG-2, MPEG-IMX, DV, DVCPRO Các tuỳ chọn khác H.264, MPEG4…hiện quan tâm nhiều 2.3.1 Nhu cầu nén tín hiệu Video số sử dụng rộng rãi u cầu khơng lớn nhớ dung lượng đường truyền; Đây nguyên nhân mục đích nén tín hiệu 2.3.2 Nén khơng tổn hao Nén khơng tổn hao q trình loại bỏ bớt phần liệu dư thừa Với phương pháp giải nén, tín hiệu khơi phục lại ngun vẹn thơng tin ban đầu, xác đến bit 2.3.3 Nén có tổn hao Nén có tổn hao không loại bỏ thông tin dư thừa, thông tin không phù hợp với khả cảm nhận mắt người, mà loại bỏ phần thơng tin quan trọng tái tạo lại ảnh gần với ảnh gốc 2.3.4 Chuẩn nén MPEG-2 Nén hiệu cho phép chất lượng cao tốc độ bit thấp MPEG-2 chuẩn nén tiêu chuẩn hóa, cho phép hệ thống MPEG khác dùng file liệu (bất kể liệu lưu file cần phải biến đổi nào) 2.3.5 Nén DV DVCPRO Các hãng SONY PANASONIC đưa hệ thống DVCPro, DV DVCAM [ ] Các hệ thống khép kín từ khâu Camera, VTR đến dựng NLE Điểm chung hệ thống phương pháp nén DV 4:1:1 với tốc độ truyền 25 Mbits/sec hay 3,6MB/sec (do gọi DV-25) sử dụng giao diện DV (hay IEEE 1394, hay I-Link) 2.3.6 MPEG IMX (MPEG-50) Đây hệ thống khép kín SONY bao gồm Camera, VTR NLE để xử lý thơ từ A đến Z Với tốc độ truyền 7MB/sec, gấp đôi MPEG-2, 1/3 Digital-Betacam (20MB/sec), IMX thay DigiBeta để tạo đột phá kỹ thuật hậu kỳ phi tuyến 2.3.7 Nén MPEG- MPEG phân tách thành phần luồng liệu số Việc mã hoá MPEG thực sở cảnh âm hình ảnh (audiovisual scenes) kết hợp từ đối tượng nghe nhìn (media objects hay audiovisual object - AVO) MPEG cho phép loại đối tượng mã hoá theo cách riêng để tối ưu hoá đặc điểm tự nhiên chúng, cho phép chúng truyền đến người dùng dòng 2.4 Vấn đề lưu trữ hệ thống Thường sau liệu nén, lưu đĩa Sự tiến công nghệ đĩa làm giảm giá thành lưu trữ nhiều kể từ server đưa thị trường Các drive đĩa drive SCSI – GB Bây drive chuẩn 36 GB 72 GB, cao Các drive dựa Fibre Channel có giá cạnh tranh với giá drive SCSI cho tiêu kỹ thuật tốt 2.4.1 Một số lưu ý xem xét vấn đề lưu trữ video Lưu trữ video cần xem xét thông số liên quan: tốc độ liệu (data rate), giá thành lưu trữ, tốc độ truyền (transfer rate) dung lượng lưu trữ cực đại Các môi trường truyền thông (media) khác cho giải pháp khác cho vấn đề lưu trữ 2.4.2 Lưu trữ tập trung hay lưu trữ phân bố Một vấn đề quan trọng khác cần quan tâm cấu trúc hệ thống với nhiều server nào? Có số tùy chọn: lưu trữ tập trung, lưu trữ phân bố hai Giải pháp tốt phụ thuộc vào ứng dụng 2.4.3 Các tuỳ chọn RAID Có hai giải pháp RAID: RAID trợ giúp phần cứng RAID dựa phần mềm RAID dựa phần cứng có phần cứng riêng để tạo liệu kiểm soát (parity data), điều khiển tất chức RAID RAID dựa phần mềm thực tất chức RAID phần mềm, nhìn chung dùng xử lý hệ thống Có dạng RAID thơng dụng: RAID 1, 2.5 Vấn đề chất lượng dịch vụ băng thông hệ thống 2.5.1 Chất lượng hệ thống thời gian thực Đối với hệ thống Audio/Video Server dùng cho sản xuất hậu kỳ, hai thông số thường quan tâm dung lượng lưu trữ số lượng workstation truy cập đến liệu Tuy nhiên, hệ thống dùng cho ứng dụng video phim số thời gian thực cần phải ý đến yếu tố khác chất lượng dịch vụ audio/video 2.5.2 Các yêu cầu băng thông vào hệ thống Audio/Video Server Có nhiều yếu tố cần xem xét thiết kế mạng server Mỗi server có thông số hoạt động tốc độ bit cho kênh I/O… 2.6 Kiểm soát lỗi hệ thống Nhu cầu kiểm soát lỗi trạng thái hệ thống thay đổi Trước đây, thiết bị kiểm soát thường monitor dạng sóng song việc hiển thị tín hiệu hạn chế Việc theo dõi thiết bị có nhiệm vụ lưu trữ dịch chuyển tín hiệu điều quan trọng Trong phương thức theo dõi SNMP sơ đồ sử dụng rộng rãi Đó chuẩn cơng nghiệp thiết lập tốt cho việc theo dõi tình trạng máy tính thiết bị liên quan với 2.7 Kết luận Chương đề cập đến vấn đề chung hệ thống Audio/Video Server dùng cho sản xuất phim truyền hình bao gồm thành phần gì? hoạt động nào? Những vấn đề cụ thể trình bày chương gồm có nguồn liệu thu nhận vào hệ thống, định dạng nén/mã hố tín hiệu, phương thức lưu trữ kiểm soát lỗi hệ thống Chương ĐỀ XUẤT ÁP DỤNG MƠ HÌNH HÀNG ĐỢI VÀ CƠNG NGHỆ SAN CHO XÂY DỰNG HỆ THỐNG MÁY CHỦ AUDIO/VIDEO 3.1 Mở đầu Đối với hệ thống máy chủ, thường có vấn đề đặt thiết kế là: Quản lý luồng liệu / yêu cầu đến nào? Quản lý, xử lý tác vụ máy chủ đầu cuối? Quản lý dung lượng xử lý máy chủ đầu cuối? Cấu hình máy chủ đầu cuối Phần 3.2 đề xuất mơ hình hàng đợi áp dụng vào xây dựng kiến trúc hệ thống máy chủ Audio/Video Phần 3.3 3.4 đề xuất ứng dụng công nghệ SAN kỹ thuật phân cụm Phần 3.5 trình bày u cầu mơ hình Audio/Video Server phần 3.6 đề xuất topology SAN dùng cho hệ thống máy chủ Audio/Video 3.2 Mơ hình hệ thống máy chủ theo lý thuyết hàng đợi 3.2.1 Một số khái niệm lý thuyết hàng đợi Nếu gọi A khoảng thời gian liệu đến,  tốc độ trung bình liệu đến, ta có giá trị kỳ vọng (hay giá trị trung bình) A E[A] là: E[A] = 1/  S phân bố thời gian phục vụ, ta có giá trị trung bình S E[S] Theo lý thuyết hàng đợi, ta viết hệ số bình phương phương sai (Squared Coefficient of Variation (SCV) cho phân bố thời gian đến phân bố thời gian phục vụ sau: CA  var( A) var(S ) CS  E[A] E[S ]2 (1) Trong var(X) thể phương sai biến ngẫu nhiên X Để đơn giản hóa tính tốn, khơng tính tổng qt, ta giả thiết tiến trình đến phân bố Poisson Như vậy, T tuân theo phân bố mũ với giá trị trung bình 1/ , viết tắt T ~ Exp() Gọi  tải (load) hay tổng số tác vụ cần xử lý hệ thống,  tốc độ phục vụ hệ thống (dung lượng máy chủ), ta viết:   E[S ]  (2) 3.2.2 Tính tốn thời gian trễ mơ hình đa máy chủ Trong phần sau đây, luận văn trình bày mơ hình đa máy chủ đơn giản với sách lập lịch FCFS Hệ thống máy chủ giả thiết gồm K máy chủ, tiến trình đến theo phân bố Poisson, tiến trình phục vụ theo phân bố tổng quát G Các hãng SONY PANASONIC đưa hệ thống DVCPro, DV DVCAM [ ] Các hệ thống khép kín từ khâu Camera, VTR đến dựng NLE Điểm chung hệ thống phương pháp nén DV 4:1:1 với tốc độ truyền 25 Mbits/sec hay 3,6MB/sec (do gọi DV-25) sử dụng giao diện DV (hay IEEE 1394, hay I-Link) 2.3.6 MPEG IMX (MPEG-50) Đây hệ thống khép kín SONY bao gồm Camera, VTR NLE để xử lý thơ từ A đến Z Với tốc độ truyền 7MB/sec, gấp đôi MPEG-2, 1/3 Digital-Betacam (20MB/sec), IMX thay DigiBeta để tạo đột phá kỹ thuật hậu kỳ phi tuyến 2.3.7 Nén MPEG- MPEG phân tách thành phần luồng liệu số Việc mã hoá MPEG thực sở cảnh âm hình ảnh (audiovisual scenes) kết hợp từ đối tượng nghe nhìn (media objects hay audiovisual object - AVO) MPEG cho phép loại đối tượng mã hoá theo cách riêng để tối ưu hoá đặc điểm tự nhiên chúng, cho phép chúng truyền đến người dùng dòng 2.4 Vấn đề lưu trữ hệ thống Thường sau liệu nén, lưu đĩa Sự tiến công nghệ đĩa làm giảm giá thành lưu trữ nhiều kể từ server đưa thị trường Các drive đĩa drive SCSI – GB Bây drive chuẩn 36 GB 72 GB, cao Các drive dựa Fibre Channel có giá cạnh tranh với giá drive SCSI cho tiêu kỹ thuật tốt 2.4.1 Một số lưu ý xem xét vấn đề lưu trữ video Lưu trữ video cần xem xét thông số liên quan: tốc độ liệu (data rate), giá thành lưu trữ, tốc độ truyền (transfer rate) dung lượng lưu trữ cực đại Các môi trường truyền thông (media) khác cho giải pháp khác cho vấn đề lưu trữ 2.4.2 Lưu trữ tập trung hay lưu trữ phân bố Một vấn đề quan trọng khác cần quan tâm cấu trúc hệ thống với nhiều server nào? Có số tùy chọn: lưu trữ tập trung, lưu trữ phân bố hai Giải pháp tốt phụ thuộc vào ứng dụng 2.4.3 Các tuỳ chọn RAID Có hai giải pháp RAID: RAID trợ giúp phần cứng RAID dựa phần mềm RAID dựa phần cứng có phần cứng riêng để tạo liệu kiểm soát (parity data), điều khiển tất chức RAID RAID dựa phần mềm thực tất chức RAID phần mềm, nhìn chung dùng xử lý hệ thống Có dạng RAID thơng dụng: RAID 1, 2.5 Vấn đề chất lượng dịch vụ băng thông hệ thống 2.5.1 Chất lượng hệ thống thời gian thực Đối với hệ thống Audio/Video Server dùng cho sản xuất hậu kỳ, hai thông số thường quan tâm dung lượng lưu trữ số lượng workstation truy cập đến liệu Tuy nhiên, hệ thống dùng cho ứng dụng video phim số thời gian thực cần phải ý đến yếu tố khác chất lượng dịch vụ audio/video 2.5.2 Các yêu cầu băng thông vào hệ thống Audio/Video Server Có nhiều yếu tố cần xem xét thiết kế mạng server Mỗi server có thông số hoạt động tốc độ bit cho kênh I/O… 2.6 Kiểm soát lỗi hệ thống Nhu cầu kiểm soát lỗi trạng thái hệ thống thay đổi Trước đây, thiết bị kiểm soát thường monitor dạng sóng song việc hiển thị tín hiệu hạn chế Việc theo dõi thiết bị có nhiệm vụ lưu trữ dịch chuyển tín hiệu điều quan trọng Trong phương thức theo dõi SNMP sơ đồ sử dụng rộng rãi Đó chuẩn cơng nghiệp thiết lập tốt cho việc theo dõi tình trạng máy tính thiết bị liên quan với 2.7 Kết luận Chương đề cập đến vấn đề chung hệ thống Audio/Video Server dùng cho sản xuất phim truyền hình bao gồm thành phần gì? hoạt động nào? Những vấn đề cụ thể trình bày chương gồm có nguồn liệu thu nhận vào hệ thống, định dạng nén/mã hố tín hiệu, phương thức lưu trữ kiểm soát lỗi hệ thống Chương ĐỀ XUẤT ÁP DỤNG MƠ HÌNH HÀNG ĐỢI VÀ CƠNG NGHỆ SAN CHO XÂY DỰNG HỆ THỐNG MÁY CHỦ AUDIO/VIDEO 3.1 Mở đầu Đối với hệ thống máy chủ, thường có vấn đề đặt thiết kế là: Quản lý luồng liệu / yêu cầu đến nào? Quản lý, xử lý tác vụ máy chủ đầu cuối? Quản lý dung lượng xử lý máy chủ đầu cuối? Cấu hình máy chủ đầu cuối Phần 3.2 đề xuất mơ hình hàng đợi áp dụng vào xây dựng kiến trúc hệ thống máy chủ Audio/Video Phần 3.3 3.4 đề xuất ứng dụng công nghệ SAN kỹ thuật phân cụm Phần 3.5 trình bày u cầu mơ hình Audio/Video Server phần 3.6 đề xuất topology SAN dùng cho hệ thống máy chủ Audio/Video 3.2 Mơ hình hệ thống máy chủ theo lý thuyết hàng đợi 3.2.1 Một số khái niệm lý thuyết hàng đợi Nếu gọi A khoảng thời gian liệu đến,  tốc độ trung bình liệu đến, ta có giá trị kỳ vọng (hay giá trị trung bình) A E[A] là: E[A] = 1/  S phân bố thời gian phục vụ, ta có giá trị trung bình S E[S] Theo lý thuyết hàng đợi, ta viết hệ số bình phương phương sai (Squared Coefficient of Variation (SCV) cho phân bố thời gian đến phân bố thời gian phục vụ sau: CA  var( A) var(S ) CS  E[A] E[S ]2 (1) Trong var(X) thể phương sai biến ngẫu nhiên X Để đơn giản hóa tính tốn, khơng tính tổng qt, ta giả thiết tiến trình đến phân bố Poisson Như vậy, T tuân theo phân bố mũ với giá trị trung bình 1/ , viết tắt T ~ Exp() Gọi  tải (load) hay tổng số tác vụ cần xử lý hệ thống,  tốc độ phục vụ hệ thống (dung lượng máy chủ), ta viết:   E[S ]  (2) 3.2.2 Tính tốn thời gian trễ mơ hình đa máy chủ Trong phần sau đây, luận văn trình bày mơ hình đa máy chủ đơn giản với sách lập lịch FCFS Hệ thống máy chủ giả thiết gồm K máy chủ, tiến trình đến theo phân bố Poisson, tiến trình phục vụ theo phân bố tổng quát G 10 Mơ hình M/G/K/FCFS mơ hình tương đối phổ biến cho hệ thống máy chủ Giả thiết có K máy chủ tương tự với dung lượng máy chủ  đệm FCFS Các yêu cầu đến (dữ liệu đến) đưa vào đệm FCFS Một máy chủ nhận tác vụ yêu cầu từ ô đầu hàng đệm Các yêu cầu đến xử lý theo thứ tự đến chúng Đây phương thức xử lý phù hợp cho tín hiệu Audio / Video đến, ứng dụng yêu cầu chặt chẽ thứ tự khung liệu Tính tổng qt mơ hình M/G/K/FCFS cho phép ta phân tích hệ thống vấn đề hiệu hệ thống Trễ xử lý hệ thống máy chủ tính theo cơng thức: E [D M / M / K / FC FS ]  J K  (1   ) (9) J  (8) K2 1 / (1   )    Ri i Ri   i  K 1 (10) 3.3 Ứng dụng công nghệ SAN xây dựng hệ thống máy chủ Audio/Video 3.3.1 Giới thiệu công nghệ SAN SAN (Storage Aera Networking) gọi mạng lưu trữ mạng chuyên dụng, hoàn toàn tách biệt với mạng LAN WAN SAN cho phép server liệu dùng ưu điểm công nghệ I/O đĩa tốc độ cao Ultra SCCI Fibre Channel 3.3.2 Các thiết bị I/O điều khiển Server SAN Khi yêu cầu I/O tăng mạng điều khiển tăng Đối với kênh audio/video phải có cổng điều khiển cho trình ứng dụng điều khiển 3.4 Hệ thống máy chủ Audio/Video với mạng SAN kênh quang 11 3.4.1 Kiến trúc kênh quang a Lớp vật lý (Physical Layer) Kiến trúc Fibre Channel gồm lớp độc lập giao thức mạng khác, chia thành lớp đánh số từ đến (lớp lớp thấp nhất) Lớp vật lý lớp đến lớp b Các lớp (Upper Layers) • FC-3: định nghĩa dịch vụ chung cho node Một dịch vụ định nghĩa multicast, nơi phát đến nhiều nơi • FC-4: định nghĩa ánh xạ giao thức lớp Các giao thức như: FCP (SCSI), FICON IP ánh xạ đến dịch vụ truyền tải Fibre Channel c Cấu trúc liên kết (Topology) Fibre Channel kết nối nodes với thông qua kiểu kết nối: Point-to-point, Loop, Switched d Các lớp dịch vụ FC cung cấp hệ thống kết nối logic gọi lớp dịch vụ Mỗi lớp dịch vụ phân biệt giao thức Login khác Có lớp dịch vụ bao gồm từ lớp đến lớp 3.4.2 Các thành phần cấu hình Video Server SAN SAN tạo thành từ thành phần phần cứng độc lập Những thành phần kết nối với hình thành nên mạng SAN thường gồm loại thiết bị như: hệ thống lưu trữ RAID, hub, switch, bridge, server, thiết bị dự phòng (backup device), card giao diện cabling Chúng kết nối với hình thành hệ thống audio/video Server 3.5 Các u cầu mơ hình Audio/Video Server SAN 3.5.1 Tính tương thích tiêu chuẩn mạng SAN 12 Thiết bị sử dụng có tương thích, ví dụ chuyển mạch Sự tương thích thiết bị Fibre Channel cải thiện, thử thách lớn thực mạng SAN 3.5.2 Kỹ thuật phân cụm cho lưu trữ máy chủ Clustering công nghệ máy chủ với khả chịu lỗi cao cung cấp tính sẵn sàng khả mở rộng Cơng nghệ nhóm server tài nguyên chung thành hệ thống đơn có khả miễn dịch lỗi tăng hiệu hoạt động Các máy trạm tương tác với nhóm server thể nhóm server hệ thống đơn 3.5.3 Mạng SAN đồng Mạng SAN đơn giản mạng SAN đồng (Homogeneous SAN) Mạng SAN đồng bao gồm thiết bị nhà sản xuất đối tác nhà sản xuất Các thiết bị mạng hoạt động theo hệ điều hành 3.5.4 Mạng SAN không đồng Giải pháp phổ biến phức tạp thực mạng SAN không đồng (Heterogeneous SAN) với thiết bị từ nhiều nhà sản xuất khác 3.6 Topology mạng SAN Tuỳ thuộc vào đặc điểm ứng dụng mà có nhiều topology (hoặc kiến trúc) khác sử dụng cho mạng SAN 3.6.1 Topology điểm-điểm Topology điểm-điểm cấu hình đơn giản có cho mạng SAN Cấu hình chung bao gồm server nối với thiết bị lưu trữ đứng 3.6.2 Topology kiểu mạch vòng tuỳ biến 13 Một giải pháp đạt hiệu giá thành cho mạng SAN gồm nhiều thiết bị lưu lượng liệu tương đối nhỏ xây dựng mạng quanh hub đơn lẻ, có thiết bị hoạt động topology mạch vòng tùy biến (arbitrated loop) 3.6.3 Topology mạng chuyển mạch SAN Tất mạng SAN quy mô lớn dựa chuyển mạch đường trục kết hợp với số hub để tạo thành public loop bên mạng chuyển mạch (fabric) Sử dụng chuyển mạch cho hiệu cao khơng có tắc nghẽn bên chuyển mạch 3.6.4 Topology dự phòng Dự phòng mạng Server lưu trữ thực số phương pháp khác thực hai mức bản, mức thiết bị mức mạng 3.7 Kết luận Chương trình bày đề xuất thiết kế hệ thống máy chủ Audio/Video với việc áp dụng mơ hình hệ thống hàng đợi với K máy chủ; kiến trúc SAN, kỹ thuật phân cụm cho máy chủ Những đề xuất áp dụng để xây dựng hệ thống máy chủ Audio/Video cho hậu kỳ sản xuất phim truyền hình chương Chương ĐỀ XUẤT MỘT HỆ THỐNG MÁY CHỦ AUDIO/VIDEO CHO HẬU KỲ SẢN XUẤT PHIM TRUYỀN HÌNH 4.1 Mở đầu Có thể hiểu máy chủ (server) máy tính có nhớ lớn, tốc độ cao, hoạt động lưu trữ liệu chương trình ứng dụng mạng Máy chủ cho Audio Video máy tính 14 Nội dung chương phân tích, lựa chọn cấu trúc máy chủ; phân tích vấn đề khả mở rộng độ tin cậy hệ thống máy chủ để; sở đề xuất phương án lựa chọn máy chủ, xây dựng hệ thống máy chủ Audio /Video phục vụ cho sản xuất hậu kỳ phim truyền hình 4.2 Phân tích, lựa chọn cấu trúc Audio/Video Server 4.2.1 Cấu trúc Server loại I Hình 4.1 mơ tả loại Server lựa chọn vào xây dựng hệ thống Thực chất, loại server hoạt động giống máy tính với yêu cầu vào/ra (I/O), đáp ứng thời gian lưu trữ chuyên dụng Bus kết nối tập trung công suất CPU làm giới hạn tiêu kỹ thuật kết nối loại Nhìn chung, server loại thường hỗ trợ 15 kênh video băng thông cao (20 Mb/s) 4.2.2 Cấu trúc Server loại II Hình 4.2 mơ tả cấu trúc server loại Đó cụm (cluster) server loại Thông thường cụm tạo thành dùng vòng kênh sợi quang (Fibre Channel) mạng chuyển mạch (switch fabric) 4.2.3 Cấu trúc Server loại III Hình 4.3 mô tả cấu trúc server loại Đây cấu trúc kiểu lưu trữ chuyển mạch, gọi mạng lưu trữ (Storage Area Network – SAN) Một biến thể khác lưu trữ chuyển mạch lưu trữ gắn với mạng (Network Attached Storage – NAS) Với NAS, tiểu hệ thống lưu trữ (Storage Subsystem) thay file server với tiểu hệ thống lưu trữ riêng Trong server loại 3, node I/O nối đến lưu trữ chung dùng mạng chuyển mạch 4.2.4 Cấu trúc Server loại IV 15 Hình 4.4 mơ tả cấu trúc server loại 4, thường ứng dụng streaming video qua mạng Internet 4.3 Phân tích khả mở rộng vấn đề độ tin cậy Audio/Video Server 4.3.1 Khả mở rộng Tính mở rộng (scalability) khả mở rộng thơng số server cần thiết Ví dụ lúc ban đầu cần trang bị server có đầu vào, đầu ra, gọi x Tuy nhiên sau đó, nhu cầu sử dụng, câu hỏi đặt là: liệu nâng cấp thành x8 hay khơng? Yếu tố ảnh hưởng đến tính mở rộng? Server loại có tính mở rộng tốt nhất? 4.3.2 Các vấn đề độ tin cậy hệ thống Server Có nhiều yếu tố ảnh hưởng đến độ tin cậy hệ thống server, khía cạnh sau chính: Độ mạnh (robustness) server phần mềm tự động hóa; tính phức tạp chặt chẽ (maturity) phần mềm; chiến lược bảo vệ lưu trữ; thành phần dự phòng (quạt, nguồn cung cấp, codec…); nút dự phịng, tất loại dùng nút dự phịng, cấu hình N + N N+1 4.4 Xây dựng hệ thống Audio/Video Server cho hậu kỳ sản xuất phim truyền hình 4.4.1 Nhu cầu định hướng chu trình cơng tác Bước lựa chọn server xác định miền ứng dụng nó, trả lời cho câu hỏi server cần cho mục đích gì? Ví dụ, Server dùng cho phát sóng (playback on-air server) hoàn toàn khác với server cho sản xuất server cho phát lại clip (playback clip server), tiêu chí dung lượng / tiêu kỹ thuật giá thành Bước thứ hai cần xem xét giải pháp nhà cung cấp sản phẩm đưa ứng với chu trình cơng tác (work flow) 16 4.4.2 Các yêu cầu chung hệ thống máy chủ a hệ điều hành: MS-WINDOWS hệ điều hành phổ biến có sẵn Microsoft SQL Server tích hợp b Hệ thống phần cứng: Thiết bị phần cứng cho hệ thống máy chủ Audio/Video thường chọn theo hướng sử dụng phần cứng hãng sản xuất thiết bị truyền hình chuyên dụng Tuy nhiên, việc lựa chọn cấu hình phần cứng phải đáp ứng khả mở rộng, khả thay giá thành hợp lý c Hệ thống quản lý liệu: Đối với hệ thống làm việc file, người ta quan tâm đến: định dạng file (file format), định dạng nén (codec), định dạng vật chứa (HDD, tape), dung lượng lưu trữ, thông tin mô tả (metadata), mạng máy tính kết nối với hệ thống v.v… 4.4.3 Các yêu cầu kỹ thuật cụ thể hệ thống Audio/Video cho sản xuất hậu kỳ Các yêu cầu gồm: Dung lượng lưu trữ, Độ tin cậy Số lượng client kết nối tới hệ thống số lượng client truy cập theo thời gian thực; Tốc độ liệu SAN; Phân mảnh liệu, Xử lý thời gian thực; Lưu trữ near-line 4.4.4 Một số yêu cầu khác Một số yêu cầu khác gồm: Yêu cầu định dạng liệu Audio / Video; Yêu cầu mã hố/nén tín hiệu;u cầu chất lượng dịch vụ 4.5 Tính tốn hiệu cho hệ thống máy chủ Nội dung phần trình bày số tính toán hiệu cho hệ thống máy chủ cho máy chủ riêng lẻ sở lý thuyết hàng đợi 17 Gọi yêu cầu đến với tốc độ đến trung bình  (đây kỳ vọng số yêu cầu đến theo thời gian) Tốc độ phục vụ trung bình tác vụ u cầu  Tính tốn hiệu cho máy chủ: Số tác vụ (hay số khung liệu) chờ đệm máy chủ [3]:   N  (k 1) pk  (1 )(k 1). k Hay N  k 1 k 1 2 (1   ) Thời gian chờ tác vụ hệ thống là: Tw  N 2      (1   )  (   ) Từ công thức trên, tính dung lượng đệm cần thiết máy chủ N để tránh tràn đệm, thời gian trễ khung liệu máy chủ xử lý Tw Tính tốn hiệu cho hệ thống với k máy chủ: Tải  hệ thống là:      K  K  Hàm Eclang F tính theo cơng thức [2, 3]: F  1 P 1 P Trong đó, P hàm xác suất Poisson (0< P