TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG XỬ LÝ DỮ LIỆU ĐA PHƯƠNG TIỆN ĐỀ TÀI 15: Kỹ thuật “Scalable Video Coding” nén video ứng dụng Giảng viên hướng dẫn: PGS.TS Nguyễn Thị Hoàng Lan Sinh viên: Lê Ngọc Hưng 20121860 Phạm Minh Tuấn 20122711 Vũ Duy Chương 20121328 MỤC LỤC I TỔNG QUAN VỀ “SCALABLE VIDEO CODING” 1.1 Scalable Video Coding gì? Scalable Video Coding (SVC) tên cho Annex G mở rộng chuẩn nén video H.264/ MPEG4 AVC SVC chuẩn hóa mã hóa dòng truyền video chất lượng cao, dòng chuyền chứa nhiều dòng truyền Một dòng truyền video tạo cách thả gói từ video lớn để giảm băng thông cần thiết cho dòng truyền Tập hợp dòng truyền đại diện cho độ phân giải không gian thấp (Màn hình nhỏ hơn), Độ phân giải theo thời gian thấp (Tỉ lệ khung hình thấp hơn), hay chất lượng tín hiệu video thấp H.264/MPEG-4 AVC phát triển ITU-T ISO/IEC JTC Đó nhóm thành lập Joint Video Team (JVT) để phát triển chuẩn H.264/MPEG-4 AVC Đối tượng chuẩn hóa SVC cho phép mã hóa dòng truyền video chất lượng cao chứa hay nhiều dòng truyền mà chúng giải mã với độ phức tạp chất lượng tái tạo tương tự việc sử dụng thiết kế H.264/MPEG-4 AVC với số lượng liệu dòng truyền Các dòng truyền bắt nguồn từ việc thả gói từ dòng truyền lớn Một tập hợp dòng truyền đại diện cho độ phân giải không gian thấp (Smaller screen), hay độ phân giải thời gian thấp (frame rate thấp hơn), hay tín hiệu video chất lượng thấp so với dòng truyền mà bắt nguồn từ 1.2 Các kiểu SVC Các phương thức sau xảy ra: - - - - Khả mở rộng thời gian (Frame rate): Sự phụ thuộc vào bù chuyển động cấu trúc để hoàn chỉnh hình ảnh giảm từ dòng truyền (Khả mở rộng thời gian kích hoạt H.264/MPEG-4 AVC SVC cung cấp thông tin tăng cường bổ sung để cải thiện việc sử dụng ) Khả mở rộng không gian (Kích thước ảnh): video mã hóa nhiều độ phân giải không gian Các liệu mẫu giải mã độ phân giải thấp sử dụng để dự đoán liệu mẫu có độ phân giải cao để giảm tỉ lệ bit việc mã hóa độ phân giải cao Khả mở rộng SNR/Chất lượng/Độ xác: Video mã hóa với độ phân giải không gian với chất lượng khác Dữ liệu mẫu giải mã chất lượng thấp sử dụng để dự đoán liệu hay mẫu phẩm chất cao để giảm tỉ lệ bit mã hóa chất lượng cao Khả mở rộng kết hợp: kết hợp phương thức khả mở rộng mô tả SCV cho phép việc tương thích phần cứng cũ hơn: Dòng truyền tương tự xử lý phần cứng – mà giải mã tập có độ phân giải thấp phần cứng cao giải mã dòng video có chất lượng cao - Khả mở rộng dòng truyền tính hấp dẫn cho nhiều ứng dụng đa phương tiện Sự cần thiết cho khả mở rộng xuất phát từ việc yêu cầu truyền tải, hay nhu cầu thích ứng với định dạng không gian, tốc độ bit hay lượng Để đáp ứng yêu cầu này, có lợi cho video đồng thời truyền tải hay lưu trữ với nhiều độ phân giải không gian thời gian phẩm chất mục đích khả mở rộng dòng truyền video 1.3 Ứng dụng Nói tóm lại Scalable video coding (SVC) giải pháp cho vấn đề đặt đặc tính hệ thống truyền tải video Các ứng dụng video sau hưởng lợi từ SVC là: Streaming Hội nghị truyền hình Giám sát Broadcast Lưu trữ II CÁC KIỂU SVC 2.1 Khả mở rộng thời gian (Temporal scalability): - Sử dụng cấu trúc phân cấp B P - Không hiệu mã hóa sử dụng cấu trúc phân cấp B - MPEG-1,MPEG-2,MPEG-4, H.263+ có khả mở rộng thời gian qua B-frames - Tất yêu cầu thời gian bù trễ (added delay) giai đoạn mã hóa/giải mã MPEG-1,2,4, H.263 TEMPORAL SCALABILITY Cũng xem lớp: Lớp 0: Màu đen (I-frames), Lớp 1: Màu xanh (P frames), Lớp 2: Màu nâu (Bframes) - H.264 có thêm dự đoán thời gian linh hoạt, kích hoạt khả mở rộng thời gian cách linh hoạt o o Có thể thực có thời gian bù trễ Cấu trúc phân cấp B với kích thước GOP lớn không cho phép mở rộng thời gian với nhiều lớp, mà đồng thời cải thiện hiệu mã hóa so với việc sử dụng cấu trúc IPP H.264 – TEMPORAL SCALABILITY DỰ ĐOÁN THEO CẤP BẬC TEMPORAL SCALABILITY HIERARCHICAL B Vấn đề: thời gian trễ mã hóa = số frames GOP (giữa frames màu đen) Chấp nhận với ứng dụng thời gian thực: live streaming, video theo yêu cầu TEMPORAL SCALABILITY DỰ ĐOÁN THEO CẤP BẬC VÀ KHÔNG CHẬM TRỄ (HIERARCHICAL P) Sử dụng tốt với ứng dụng thời gian thực: Trò chuyện, hội nghị 2.2 Khả mở rộng không gian (kích thước ảnh) (Spatial scalability): - Sử dụng lấy mẫu lên/xuống kết hợp với chuyển đổi dự đoán intra-layer inter-layer (CGS MGS) SPATIAL SCALABILITY - SAMPLING DOWN/UP SPATIAL AND TEMPORAL SCALABILITY Both layers Base layer 2.3 Khả mở rộng biên độ (kích thước bước lượng tử) (Amplitude scalability): Tương tự với khả mở rộng không gian nơi lớp có độ phân giải không gian, khác QP - Chất lượng lớp khác mức độ lượng tử hóa - Chỉ lớp sở thực nội mã hóa - Lớp (các lớp) nâng cao mã hóa dư (giữa lớp thức lớp thấp hơn) AMPLITUDE (SNR) SCALABILITY MULTISTAGE STAGE QUANTIZATION Large Enco Predictio Smalle Deco 2.4 Khả mở rộng tần số (chuyển đổi hệ số) (Frequency scalability AKA Data Partitioning): - Lớp sở: tần số thấp DCT - Lớp nâng cao: tần số cao lại DCT - Tiêu chuẩn hóa MPEG-2 - Một điểm ngắt bao gồm dòng bit làm dễ để phân vùng - Một vòng lặp dự đoán mã hóa -> thiếu tần số cao có nghĩa việc drift mạnh - dự đoán giả thiết tất hệ số có sẵn khung hình trước FREQUENCY SCALABILITY ẢNH HƯỞNG CỦA MẤT THÔNG TIN - Hai khối bước mã Hai khối bước giải Lỗi từhóa khung hình trước lan sang khung hình mãtại Chuyển động gây lỗi lây lan, không không gian, mà tần số Phương pháp dự đoán ảnh hưởng đến mức độ lan truyền 2.5 Khả mở rộng dựa đối tượng (nội dung) (Object-based or ROI scalability): *Tầng QP (QP cascading): - Sử dụng QP thấp cho lớp không gian/thời gian thấp hơn, tăng dần QP cho lớp không gian/thời gian cao III TÁC DỤNG “SCALABLE VIDEO CODING” TRONG NÉN VIDEO TIÊN TIẾN AVC 3.1 Tác dụng SVC - - - SVC cho phép truyền tải giải mã dòng bit cục để cung cấp dịch vụ video với thời gian ngắn với nhiều độ phân giải không gian giảm độ trung thực giữ chất lượng tái tạo tương đối cao so với tỷ lệ dòng bit cục Vì thế, SVC cung cấp chức suy giảm dần môi trường truyền tải mát giảm tỷ lệ bit, cấu trúc, định dạng, thích ứng lượng Những chức cung cấp nâng cao cho truyền tải ứng dụng lưu trữ SVC đạt cải tiến đáng kể hiệu mã hóa với việc tăng hỗ trợ khả mở rộng cho cấu hình mở rộng chuẩn video trước 3.2 H.264/SVC Một mã hóa H.264/SVC tối ưu có bit-rate trung bình cao khoảng 11% so với phiên không mở rộng (H.264/AVC) Một cân đối tốt hiệu lan truyền/trôi dạt lỗi Giải mã phức tạp với giải mã lớp đơn H.264 giống Chỉ sử dụng vòng lặp chuyển động bù đơn bước giải mã Không dự đoán thông tin lại (DCT), mà đồng thời dự đoán thông tin chuyển động chế độ macroblock SNR SCALABILITY: TRƯỚC KHI SỬ DỤNG H.264 SVC 10 SNR SCALABILITY: KHI SỬ DỤNG H.264 SVC 11 HIỆU QUẢ CỦA H.264 TEMPORAL SCALABILITY 12 IV SƠ ĐỒ NÉN SỬ DỤNG KỸ THUẬT SVC TRONG CHUẨN MPEG-2 VÀ MPEG-4 4.1 SNR Scalability MPEG-2 - MPEG-2 bao gồm số profile hỗ trợ tính mở rộng nén video như:SNR scalable, Spatial Scalable,Multi-view(Teamporal scalable)… Một kĩ thuật mở rộng chất lượng SNR Scalability Sơ đồ mã hóa SNR Scalability 13 Sơ đồ giải mã SNR Scalability Các lớp mở rộng tạo từ việc thêm bước lượng tử hóa - Bộ mã hóa lượng tử hóa hệ số DCT với độ xác sau mã hóa truyền với dòng bit lớp Tại lớp nâng cao lỗi lượng tử hóa gặp phải lần lượng tử hóa tự lại lượng tử hóa, mã hóa truyền lớp nâng cao Sơ đồ giải mã SNR Scalability Các lớp mở rộng tạo từ việc thêm bước lượng tử hóa - Bộ mã hóa lượng tử hóa hệ số DCT với độ xác sau mã hóa truyền với dòng bit lớp Tại lớp nâng cao lỗi lượng tử hóa gặp phải lần lượng tử hóa tự lại lượng tử hóa, mã hóa truyền lớp nâng cao 14 4.2 Spatial Scalability MPEG-4 Sơ đồ mã hóa 15 Sơ đồ giải mã - Việc mở rộng không gian thực việc sử dụng ảnh giải mã từ tầng dự đoán tầng cao Nếu tầng cao xử lý ảnh độ phân giải lớn ảnh giải mã từ tầng thấp phải chuyển thành độ phân giải lớn - Trong giải mã hình hai vòng lặp mã hóa hoạt động với độ phân giải khác để tạo lớp sở lớp nâng cao - Bộ mã hóa lớp sở tạo dòng bit giải mã giống trường hợp nonscalable - Bộ mã hóa lớp nâng cao cung cấp ảnh giải mã từ tầng cở, dự đoán cho tầng trên.Sự dự đoán bổ sung thêm vào dự đoán bù chuyển động từ tầng - Chức đánh giá W lựa chọn dự đoán từ tầng tầng 16 [...]...SNR SCALABILITY: KHI SỬ DỤNG H.264 SVC 11 HIỆU QUẢ CỦA H.264 TEMPORAL SCALABILITY 12 IV SƠ ĐỒ NÉN SỬ DỤNG KỸ THUẬT SVC TRONG CHUẨN MPEG-2 VÀ MPEG-4 4.1 SNR Scalability trong MPEG-2 - MPEG-2 hiện nay đã bao gồm một số profile có thể hỗ trợ tính mở rộng được trong khi nén video như:SNR scalable, Spatial Scalable, Multi-view(Teamporal scalable) … Một trong những kĩ thuật đó là mở rộng về chất lượng... ra những lớp cơ sở và lớp nâng cao - Bộ mã hóa lớp cơ sở tạo ra 1 dòng bit có thể được giải mã giống như trường hợp nonscalable - Bộ mã hóa lớp nâng cao được cung cấp những ảnh đã được giải mã từ tầng cơ cở, như là sự dự đoán cho các tầng trên.Sự dự đoán này bổ sung thêm vào sự dự đoán bù chuyển động từ các tầng trên - Chức năng đánh giá W lựa chọn trong các dự đoán từ tầng trên và tầng dưới 16 ... hóa, được mã hóa và được truyền đi ở lớp nâng cao 14 4.2 Spatial Scalability trong MPEG-4 Sơ đồ mã hóa 15 Sơ đồ giải mã - Việc mở rộng không gian được thực hiện bằng việc sử dụng những ảnh được giải mã từ tầng dưới như là dự đoán ở tầng cao hơn Nếu tầng cao hơn đang xử lý ảnh ở độ phân giải lớn hơn thì ảnh được giải mã từ tầng thấp hơn phải được chuyển thành độ phân giải lớn hơn - Trong bộ giải mã... nào đó sau đó được mã hóa và truyền đi với dòng bit lớp dưới Tại lớp nâng cao lỗi lượng tử hóa gặp phải ở lần lượng tử hóa đầu tiên tự nó sẽ lại lượng tử hóa, được mã hóa và được truyền đi ở lớp nâng cao Sơ đồ giải mã SNR Scalability Các lớp mở rộng được tạo ra từ việc thêm 1 bước lượng tử hóa nữa - Bộ mã hóa lượng tử hóa hệ số DCT với độ chính xác nào đó sau đó được mã hóa và truyền đi với dòng bit