BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - NGUYỄN QUỐC VIỆT THUẬT TOÁN TÌM KIẾM NHANH KHỐI TIÊN ĐOÁN TRONG ẢNH BỘ MÃ HÓA H.265/HEVC LUẬN VĂN THẠC SỸ KỸ THUẬT CHUYÊN NGHÀNH KỸ THUẬT ĐIỆN TỬ Hà Nội, 10-2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN QUỐC VIỆT THUẬT TOÁN TÌM KIẾM NHANH KHỐI TIÊN ĐOÁN TRONG ẢNH BỘ MÃ HÓA H.265/HEVC Chuyên nghành: Kỹ thuật điện tử LUẬN VĂN THẠC SỸ KỸ THUẬT Người hướng dẫn khoa học: TS NGUYỄN VŨ THẮNG Hà Nội, 10-2014 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng LỜI CAM ĐOAN Tôi xin cam đoan luận văn “ Thuật toán tìm kiếm nhanh khối tiên đoán ảnh mã hóa H.265/HEVC” công trình nghiên cứu riêng Các số liệu kết nghiên cứu luận văn trung thực chưa công bố công trình khác Hà nội, ngày 15 tháng năm 2014 Tác giả luận văn Nguyễn Quốc Việt Nguyễn Quốc Việt iii Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng LỜI NÓI ĐẦU H iện nay, sống “kỷ nguyên truyền thông đa phương tiện” thiết bị mới, kỹ thuật đời nhằm mục đích đáp ứng nhu cầu giải trí cho người ngày tốt Các ứng dụng đa phương tiện thời gian thực truyền mạng di động, mạng Internet, mạng truyền hình…ngày phát triển rầm rộ, nhà sản xuất thiết bị trọng áp dụng công nghệ nén tiên tiến vào thiết bị nhằm thỏa mãn nhu cầu “chất lượng trung thực âm thanh, hình ảnh” người khả đáp ứng yêu cầu thực tế công nghệ Thế nhu cầu đáp ứng cách thuận lợi, gắn liền độ phức tạp, tốn chi phí đầu tư sở hạ tầng, thiết bị đầu cuối…, kèm với công nghệ cao Bên cạnh vấn đề truyền thông nội dung đa phương tiện gặp số khó khăn: băng thông đường truyền, nhiễu kênh, giới hạn pin cho ứng dụng… Trong băng thông kênh truyền phải chờ đợi công nghệ tương lai cải thiện, việc cải thiện giới hạn pin dường không đáp ứng phát triển dịch vụ tương lai, phương pháp giảm kích thước liệu kỹ thuật nén cách giải hiệu khó khăn Cho đến có nhiều kỹ thuật nén liệu đa phương tiện như: chuẩn JPEG, chuẩn JPEG2000, chuẩn MPEG…đã đời lịch sử số hóa loài người Gần thành công tiêu chuẩn mã hóa MPEG-4 H.264/AVC áp dụng nhiều lĩnh vực từ truyền luồng internet tốc độ bit thấp đến ứng dụng quảng bá HDTV cinema số, truyền thông video qua mạng internet, truyền hình di dộng theo chuẩn DVB-H, truyền hình số mặt đất, truyền hình theo yêu cầu, tin nhắn đa phương tiện MMS… qua mạng ISDN, DSL, Wireless, LAN vệ tinh…Nhưng với yêu cầu mã hóa tương thích với ứng dụng tốc độ bit thấp, mà lại cho chất lượng video ngày cao nghành công nghiệp số hóa dừng lại H.264/AVC Từ việc nghiên cứu khắc phục nhược điểm phát triển bổ sung cho H.264/AVC đời chuẩn nén tiên tiến hơn, mà bật H.265/HEVC Đây định dạng nén kế thừa H.264 /AVC phát triển nhóm kết hợp từ tổ chức ISO/IEC Moving Picture Experts Group(MPEG) iTU-T Video Coding Experts Group (VCEG) HEVC có Nguyễn Quốc Việt iv Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng tỷ lệ nén liệu gấp đôi so với H.264/MPEG-4/AVC mức độ chất lượng video Nói cách khác sử dụng để cung cấp chất lượng hình ảnh cải thiện đáng kể tốc độ bit Hỗ trợ tới 8k Utral HD độ phân giải lên đến 8192×4320 (4320P) Nhờ đó, trả nhiều tiền cho việc xem phim với kết nối 3G/4G mà thưởng thức video chất lượng cao, thời gian tải nội dung giảm Video độ phân giải 4K Ultra-HD mà trở nên phổ biến hơn, miễn hạ tầng mạng đáp ứng băng thông khoảng 2030Mbps (vẫn cao nhiều so với băng thông mạng nay, hoàn toàn tương lai) ITU cho biết thêm số đối tác bắt đầu nghiên cứu việc tích hợp H.265, bao gồm ATEME, Broadcom, Cyberlink, Ericsson, Fraunhofer HHI, Mitsubishi NHK Codec H.265/HEVC bao gồm ba cấu hình chính: Main (hỗ trợ video 8-bit 4:2:0), Main 10 (hỗ trợ video 10 bit) Main Still Picture (dành cho việc nén ảnh tĩnh, dùng chung công cụ với trình nén video) Trong thời gian tới, ITU số bên có liên quan tiếp tục phát triển mở rộng cho H.265, bao gồm khả hỗ trợ video 12-bit định dạng màu cao cấp 4:2:2, 4:4:4 Phim 3D stereoscopic nằm danh sách nghiên cứu để bổ sung cho H.265/HEVC Có khả phần mềm giải mã/mã hóa cho H.265 xuất vào cuối năm 2014, nhiên nhà sản xuất tích hợp chuyển mã vào chip H.265 bắt đầu "cất cánh" (thường giai đoạn từ 12 đến 18 tháng, dài hơn) Chính ưu điểm mà H.265/HEVCsẽ dần chứng tỏ vị số (điều tường tự đến với H.264/AVC), ưu việt mà chuẩn nén mang lại chắn có ảnh hưởng tích cực đến thị trường phim ảnh, ứng dụng số hóa ngành công nghiệp chế tạo thiết bị đầu cuối Để hiểu biết tiêu chuẩn nén tiên tiến này, em chọn đề tài “Thuật toán tím kiếm nhanh khối tiên đoán ảnh mã hóa H.265/HEVC” làm luận văn tốt nghiệp Sau tháng nỗ lực hết mình, luận văn cho ta nhìn tổng quát chuẩn nén H.265/HEVC, đồng thời em đưa cải tiến kỹ thuật nén ảnh H.265/HEVC Tuy nhiên có hạn chế kinh Nguyễn Quốc Việt v Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng nghiệm, thời gian,…nên không tránh khỏi sai sót, kính mong Quý Thầy Cô, đồng nghiệp tham khảo, đóng góp ý kiến Em xin chân thành cảm ơn TS Nguyễn Vũ Thắng hướng dẫn tận tình cung cấp tài liệu bổ ích trình làm luận văn, cảm ơn bạn bè nhóm làm việc quan tâm, chia sẻ, đóng góp ý kiến Kính chúc quý thầy cô bạn bè nhiều sức khỏe! Nguyễn Quốc Việt vi Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng TÓM TẮT ĐỀ TÀI Để thực luận văn, em nghiên cứu chuẩn mã hóa video HEVC xu hướng cải tiến trình mã hóa HEVC từ năm 2010 trở lại đặc biệt xu hướng cải tiến khối tiên đoán HEVC Mục đích em hiểu giới làm khối tiên đoán chuẩn HEVC vấn đề tồn đọng cần giải khối tiên đoán HEVC Tiếp theo, em thực việc trích xuất liệu giá trị pixel thông tin kèm theo trình tiên đoán phần mềm HM 9.1 cung cấp ITU – T, phân tích loại liệu để tìm đặc điểm chung, qua tìm thuật toán để xác định cách thức hợp lý để tiên đoán mode dự đoán cách xác.Từ thông tin củacác block ảnh đầu vào, thông tin mật độ phân bổ mode tốt qua giải thuật đề xuất, khối tiên đoán Intra giảm số block cần dự đoán Qua giảm khối lượng tính toán thời gian thực Cuối em đưa kết tổng hợp thuật toán Nguyễn Quốc Việt vii Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng MỤC LỤC LỜI CAM ĐOAN iii LỜI NÓI ĐẦU iv TÓM TẮT ĐỀ TÀI vii MỤC LỤC viii DANH SÁCH HÌNH VẼ x DANH SÁCH BẢNG BIỂU xii DANH SÁCH CÁC TỪ VIẾT TẮT xiii LỜI MỞ ĐẦU Chương BỘ MÃ HÓA/ GIẢI MÃ VIDEO CHUẨN H.265/HEVC 1.1 Giới thiệu nén ảnh, chuẩn nén 1.2 Giới thiệu chuẩn nén H.265/HEVC 1.3 Lịch sử phát triển chuẩn nén H.265/HEVC 1.4 Bộ mã hóa video chuẩn HEVC 10 1.4.1 Dự đoán 12 1.4.2 Biến đổi lượng tử hóa .13 1.4.3 Sắp xếp lại .13 1.5 Bộ giải mã video chuẩn HEVC 14 Chương 2.1 MÔ TẢ CHI TIẾT VỀ BỘ MÃ HÓA TRONG HEVC 15 Phân vùng hình ảnh .15 2.1.1 Phân vùng khối mã hóa 15 2.1.2 Cấu trúc phân đoạn theo dải 15 2.1.3 Khối mã hóa (CU) .17 2.1.4 Cấu trúc mã hóa 17 2.1.5 Cấu trúc khối dự đoán (PU) 18 2.1.6 Khối chuyển đổi (TU) cấu trúc chuyển đổi .19 2.2 Dự đoán ảnh .20 2.2.1 Các chế độ dự đoán .20 2.2.2 Bộ lọc cho mẫu lân cận 22 2.3 Dự đoán liên ảnh 22 2.3.1 Các chế độ dự đoán .22 2.3.2 Lựa chọn ứng viên cho chế độ kết hợp 23 2.3.3 Các ứng viên kết hợp theo thời gian 25 2.3.4 Các ứng viên kết hợp tạo 27 Nguyễn Quốc Việt viii Thuật toán tìm kiếm nhanh-HEVC 2.4 GVHD: TS Nguyễn Vũ Thắng Dự đoán vector chuyển động .27 2.4.1 Lựa chọn vector ứng viên .28 2.4.2 Các vector ứng viên theo không gian 29 2.5 Lọc nội suy 30 2.6 Bộ lọc vòng 32 2.6.1 Bộ lọc xóa khối .32 2.6.2 Xác định đường biên .33 2.6.3 Tính toán mức độ viền 33 2.6.4 Lựa chọn β tc 35 2.7 Bù mẫu theo ngữ cảnh (SAO) .35 Chương ĐOÁN 3.1 PHÂN TÍCH DỮ LIỆU CHUYỂN ĐỘNG SAU QUÁ TRÌNH TIÊN 38 Phần mềm tham chiếu H.265/HEVC 38 3.1.1 Giới thiệu mã hóa giải mã HM .38 3.1.2 Định dạng video đầu vào 40 3.1.3 Hướng dẫn sử dụng phần mềm HM9-1: .40 3.2 Thực dự đoán phần mềm HM9.1 .42 3.2.1 Tính toán sai lệnh 42 3.2.2 Quyết định mã hóa liên ảnh ảnh .44 3.2.3 Ước lượng chuyển động bù chuyển động 46 3.3 Phân tích đặc tính mode 48 3.3.1 Chương Đề xuất giải thuật chọn mode nhanh 52 TRIỂN KHAI CÁC THUẬT TOÁN ĐÃ ĐỀ XUẤT .54 4.1 Triển khai thuật toán tìm kiếm nhanh dựa vào phân tích mật độ phân bổ mode tốt 54 4.2 Kết thực nghiệm 55 4.3 Tổng kết .56 KẾT LUẬN .58 TÀI LIỆU THAM KHẢO 59 BẢNG ĐỐI CHIẾU THUẬT NGỮ VIỆT – ANH 62 Nguyễn Quốc Việt ix Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng DANH SÁCH HÌNH VẼ Hình 1-1 Sơ đồ khối chức tổng quát mã hóa video chuẩn HEVC 11 Hình 1-2 quét zigzac a: quét khung b: quét trường 13 Hình 1-3Sơ đồ khối chức tổng quát giải mã video chuẩn HEVC .14 Hình 2-1Ví dụ chia hình ảnh thành khối mã hóa 15 Hình 2-2 Ví dụ lớp phân đoạn dải phân đoạn 17 Hình 2-3 Ví dụ cấu trúc mã hóa 18 Hình 2-4 Các chế độ phân vùng khối PU mã hóa liên ảnh 19 Hình 2-5 Ví dụ cấu trúc chuyển đổi khối CU 19 Hình 2-6 33 hướng dự đoán ảnh 20 Hình 2-7 Liên hệ hướng dự đoán ảnh chế độ tương ứng thành phần độ chói 21 Hình 2-8 Quá trình lựa chọn ứng viên cho chế độ kết hợp .23 Hình 2-9 Các vị trí cho ứng viên kết hợp theo không gian .24 Hình 2-10 Vị trí ứng viên cho khối PU thứ hai dạng Nx2N 2NxN .25 Hình 2-11 Minh họa cho việc lấy tỉ lệ vector chuyển động cho tìm kiếm ứng viên kết hợp theo thời gian 26 Hình 2-12 Vị trí ứng viên kết hợp theo thời gian, C3 H 26 Hình 2-13 Ví dụ ứng viên kết hợp tổ hợp từ hai chiều .27 Hình 2-14 Quá trình lựa chọn vector ứng viên 28 Hình 2-15 Minh họa việc lấy tỉ lệ cho vector ứng viên theo không gian 30 Hình 2-16 Nội suy điểm ảnh phụ cho thành phần độ chói 31 Hình 2-17 Quá trình xử lý lọc xóa khối 33 Hình 2-18 Xác định giá trị Bs 34 Hình 2-19 mảng 3x3 để phân loại điểm ảnh kiểu bù viền 37 Hình 3-1Các tập tin phần mềm HM-9.1 38 Hình 3-2Xử lý mã hóa video HM-9.1 .39 Hình 3-3 Thứ tự quét điểm ảnh với video tỉ lệ 4:2:0 40 Hình 3-4 Cửa sổ lệnh trình mã hóa 41 Hình 3-5 Luồng xử lý dự đoán 42 Hình 3-6 Tính toán RDO 43 Nguyễn Quốc Việt x Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng BQMall_832x480_60 1200000 1000000 800000 600000 400000 200000 0 10111213141516171819202122232425262728293031323334 Hình 3-13 Mật độ phân bổ mode tiên đoán với video mẫu BQMall BQSquare_416x240_60 350000 300000 250000 200000 150000 100000 50000 0 10111213141516171819202122232425262728293031323334 Hình 3-14 Mật độ phân bổ mode tiên đoán với video mẫu BQSquare Nguyễn Quốc Việt 49 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng Kimono1_1920x1080_24 3000000 2500000 2000000 1500000 1000000 500000 0 10111213141516171819202122232425262728293031323334 Hình 3-15 Mật độ phân bổ mode tiên đoán với video mẫu Kimono1 PartyScene_832x480_50 1400000 1200000 1000000 800000 600000 400000 200000 0 10111213141516171819202122232425262728293031323334 Hình 3-16 Mật độ phân bổ mode tiên đoán với video mẫu PartyScene Nguyễn Quốc Việt 50 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng PeopleOnStreet_2560x1600_30_crop 1800000 1600000 1400000 1200000 1000000 800000 600000 400000 200000 0 10111213141516171819202122232425262728293031323334 Hình 3-17 Mật độ phân bổ mode tiên đoán với video mẫu PeopleOnStreet RaceHorses_416x240_30 400000 350000 300000 250000 200000 150000 100000 50000 0 10111213141516171819202122232425262728293031323334 Hình 3-18 Mật độ phân bổ mode tiên đoán với video mẫu RaceHorses Nguyễn Quốc Việt 51 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng Average 1200000 1000000 800000 600000 Average 400000 200000 0 10 12 14 16 18 20 22 24 26 28 30 32 34 Hình 3-19 Mật độ phân bổ mode tiên đoán trung bình video mẫu Qua kết trích xuất từ phần mềm HM 9.2 thống kê.Chúng ta thấy rõ tỷ lệ phân bố modes dự đoán tốt nhất.Chúng ta phân chia thành nhóm sau Nhóm thứ 1: Mode số 0, mode có tỷ lệ phân bổ cao Điều đồng nghĩa với việc, mode số có xác xuất mode tốt lớn Nhóm thứ 2: Mode số mode số 26, nhóm mode có tỷ lệ phân bố cao thứ Như vậy, mode số mode số 26 có xác xuất mode tốt lớn thứ Nhóm thứ 3: Là nhóm mode lại có tỷ lệ phân bố nhỏ, khả mode tốt thấp 3.3.1 Đề xuất giải thuật chọn mode nhanh Qua phân tích trên, em đưa giải thuật chọn mode nhanh sau Nguyễn Quốc Việt 52 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng Hình 3-20 Giải thuật tìm kiếm nhanh Nguyễn Quốc Việt 53 Thuật toán tìm kiếm nhanh-HEVC Chương GVHD: TS Nguyễn Vũ Thắng TRIỂN KHAI CÁC THUẬT TOÁN ĐÃ ĐỀ XUẤT Chương trình bày thuật toán tìm kiếm nhanh dựa vào đặc điểm phân bổ mode dự đoán tốt phân tích chương đưa kết thuậttoán 4.1 Triển khai thuật toán tìm kiếm nhanh dựa vào phân tích mật độ phân bổ mode tốt Để thực thuật toán tìm kiếm nhanh, chúng em cho phần mềm HM-9.1 chạy với trình biên dịch Gcc 4.3 hệ điều hành Linux Fedora 14, 2GB RAM, Core Duo E8400 3Ghz Như đề cập chương trước, thuật toán tìm kiếm nhanh sử dụng phần mềm tham chiếu cho chuẩn nén HEVC Thuật toán tìm kiếm nhanh gồm bước thực sau: Bước 1: Tính toán giá trị Jpred,SAD với mode dự đoán mode dự đoán Bước 2: So sánh giá trị Jpred,SAD Jpred,SAD Nếu giá trị Jpred,SAD 0nhỏ hơngiá trị Jpred,SAD 1, điều có nghĩa là, khả lớn mode 0, dự đoán gần giống với ảnh đầu vào Vì ta không cần tính toán cho 33 mode dự đoán lại Nếu giá trị Jpred,SAD lớn hơn, giá trị Jpred,SAD 1, điều có nghĩa là, mode chưa mode tốt Chúng ta cần kiểm tra thêm mode mode 26 Bước 3: Tính giá trị Jpred,SAD 26 Bước 4: So sánh giá trị So sánh giá trị Jpred,SAD Jpred,SAD 26 Nếu giá trị Jpred,SAD nhỏ giá trị Jpred,SAD 26, điều có nghĩa là, khả lớn mode 1, dự đoán gần giống với ảnh đầu vào Vì ta không cần tính toán cho 32 mode dự đoán lại Nếu giá trị Jpred,SAD lớn hơn, giá trị Jpred,SAD 26, điều có nghĩa là, mode chưa mode tốt Chúng ta cần kiểm tra thêm 32 mode lại Nguyễn Quốc Việt 54 Thuật toán tìm kiếm nhanh-HEVC 4.2 GVHD: TS Nguyễn Vũ Thắng Kết thực nghiệm Phần mềm tham chiếu H.265/HEVC là: HM-9.1 Tệp tin cấu hình người sử dụng: All Intra Frames  Khoảng tìm kiếm: 64  Có sử dụng RDO  Kích thước nhóm ảnh:  Độ chia khối CU:  Kích thước khối chuyển đổi lớn nhất: 4/32  Khoảng lặp dự đoán ảnh: -1  Số lượng ứng viên tối đa cho chế độ liên kết:  Sử dụng chuyển đổi Hamadard  Mã hóa entropy: Chỉ sử dụng CABAC Các video kiểm tra:  BasketballPass_416x240_50  BlowingBubbles_416x240_50  BQMall_832x480_60  BQSquare_416x240_60  Kimono1_1920x1080_24  PartyScene_832x480_50  PeopleOnStreet_2560x1600_30_crop  RaceHorses_416x240_30 Môi trường thực hiện:  Hệ điều hành Linux Fedora 14  Trình biên dịch:GCC 4.3  Bộ xử lý: Core Duo E8400 3Ghz  RAM: 2GB Kết quả:  Thuật toán Intra Prediction gốc  So sánh thuật toán tìm kiếm gốc với thuật toán tìm kiếm nhanh Nguyễn Quốc Việt 55 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng Bảng 4.1 liệt kê kết phép so sánh thuật toán Intra Prediction gốc với thuật toán tìm kiếm nhanh.Kết mô thuật toán tìm kiếm nhanh chọn mode nhanhcó thời gian mã hóa thuật toán Intra Prediction gốc tới 62.20%, tham số Bit rate tăng 5.64% PSNR giảm lượng nhỏ 0.08 dB Bảng4.1: Bảng so sánh thuật toán tìm kiếm 35 modes thuật toán tìm kiếm nhanh Search Patterns Tìm đầy đủ Tìm nhanh Tìm đầy đủ Tìm nhanh Tìm đầy đủ Tìm nhanh Tìm đầy đủ Tìm nhanh Tìm đầy đủ Tìm nhanh Tìm đầy đủ Tìm nhanh Tìm đầy đủ Tìm nhanh Tìm đầy đủ Tìm nhanh 4.3 Video RaceHorses_416x240 RaceHorses_416x240 BasketballPass_416x240 BasketballPass_416x240 BlowingBubbles_416x240 BlowingBubbles_416x240 BQSquare_416x240 BQSquare_416x240 BQMall_832x480 BQMall_832x480 PartyScene_832x480 PartyScene_832x480 Kimono1_1920x1080 Kimono1_1920x1080 PeopleOnStreet_2560x1600 PeopleOnStreet_2560x1600 Average IPT [s] 23.33 11.00 22.75 07.00 22.49 10.00 23.16 11.00 94.42 39.00 93.79 43.00 376.00 139.00 983.79 376.00 IPT [%] -52.80 -69.09 -55.40 -52.50 -58.62 -54.11 -62.93 -61.72 -62.20 BR [kbps] 1642.48 1706.00 1601.93 1726.28 3038.13 3150.92 5479.80 5711.16 9835.28 10262.48 18142.40 18691.30 6115.41 6250.56 34482.63 36452.48 BR [%] 5.01 7.76 3.71 4.22 4.34 3.02 2.21 5.71 5.64 PSNR [dB] PSNR 35.21 35.13 36.97 36.91 34.46 34.38 34.81 34.67 36.40 36.32 33.82 33.71 40.32 40.31 37.89 37.84 -0.07 -0.06 -0.08 -0.13 -0.08 -0.09 -0.01 -0.05 -0.08 Tổng kết Em tổng kết bước thực thuật toán sau:  Chọn phần mềm mô phỏng, chọn phần mềm HM-9.2 phát triển từ năm 2012 làm phần mềm chạy ổn định tích hợp vài thuật toán tìm kiếm nhanh phổ biến  Trích xuất liệu modes tốt phần mềm HM  Phân tích liệu thu được, đưa quy luật đề xuất giải thuật  So sánh thuật toán tìm kiếm gốc với thuật toán đề xuất  Kết mô Sau trình triển khai thuật toán, dựa vào kết thu em nhận thấy: Ưu điểm thuật toán: Nguyễn Quốc Việt 56 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng - Hệ số PSNR giảm trung bình 0.08 dB - Thời gian tạo khung Intra PU giảm trung bình 62.20% Nhược điểm thuật toán: - Hệ số PSNR giảm - Hệ số Bit Rate tăng Mục tiêu thời gian tới cải tiến thuật toán làm giảm thời gian tạo khung Intra PU, tăng hệ số PSNR, giảm Bit rate Nguyễn Quốc Việt 57 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng KẾT LUẬN Luận văn bao hàm nhiều kiến thức yêu cầu kỹ lập trình Matlab lập trình C++Các kiến thức multimedia nói chung video nói riêng Luận văn thực thành công thuật toán tìm kiếm nhanh dựa trình phân tích đặc điểm modes tốt video mẫu chuẩn đầu vào Thuật toán ghép nối với mã hóa H.265/HEVC để kiểm tra mang lại kết mong đợi Ưu điểm thuật toán cải thiện thời gian mã hóa Tuy nhiên nhược điểm thuật toán tỉ lệ nén thấp so với thuật toán gốc Mục tiêu thời gian tới cải tiến thuật toán đề xuất để tăng hiệu nén làm giảm thời gian xử lý Nguyễn Quốc Việt 58 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng TÀI LIỆU THAM KHẢO [1] Sullivan, G.J.; Ohm, J.; Woo-Jin Han; Wiegand, T.; Wiegand, T., "Overview of the High Efficiency Video Coding (HEVC) Standard," Circuits and Systems for Video Technology, IEEE Transactions on , vol.22, no.12, pp.1649,1668, Dec 2012 [2] Wiegand, T.; Sullivan, G.J.; Bjontegaard, G.; Luthra, A., "Overview of the H.264/AVC video coding standard," Circuits and Systems for Video Technology, IEEE Transactions on , vol.13, no.7, pp.560,576, July 2003 [3] B Bross, W.-J Han, G J Sullivan , J.-R Ohm and T Wiegand, "High Efficiency Video Coding (HEVC) Text Specification Draft 9," ITUT/ISO/IEC Joint Collaborative Team on Video Coding (JCT-VC) document JCTVC-K1003, Oct 2012 [4] T Koga , K Iinuma , A Hirano , Y Iijima and T Ishiguro "Motion compensated interframe coding for video conferencing", Proc NTC 81, pp.C9.6.1 -9.6.5 1981 [5] J R Jain and A K Jain, "Displacement Measurement and Its Application in Interframe Image Coding", IEEE Transactions on Communications, vol 29, no 12, December 1981 [6] Ce Zhu; Xiao Lin; Chau, L-P, "Hexagon-based search pattern for fast block motion estimation," Circuits and Systems for Video Technology, IEEE Transactions on , vol.12, no.5, pp.349,355, May 2002 [7] Shan Zhu; Kai-Kuang Ma, "A new diamond search algorithm for fast block matching motion estimation," Information, Communications and Signal Processing, 1997 ICICS., Proceedings of 1997 International Conference on , vol.1, no., pp.292,296 vol.1, 9-12 Sep 1997 [8] Tourapis, A.M.; Au, O.C.; Liou, M.-L., "New results on zonal based motion estimation algorithms-advanced predictive diamond zonal search," Circuits and Systems, 2001 ISCAS 2001 The 2001 IEEE International Symposium on , vol.5, no., pp.183,186 vol 5, 2001 [9] Zhibo Chen, Jianfeng Xu, Yun He, Junli Zheng, Fast integer-pel and fractional-pel motion estimation for H.264/AVC, Journal of Visual Nguyễn Quốc Việt 59 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng Communication and Image Representation, Volume 17, Issue 2, April 2006, Pages 264-290, ISSN 1047-3203, 10.1016/j.jvcir.2004.12.002 [10] Sullivan, G.J.; Baker, R., "Rate-distortion optimized motion compensation for video compression using fixed or variable size blocks," Global Telecommunications Conference, 1991 GLOBECOM '91 'Countdown to the New Millennium Featuring a Mini-Theme on: Personal Communications Services , vol., no., pp.85,90 vol.1, 2-5 Dec 1991 [11] Purnachand, N.; Alves, L.N.; Navarro, A., "Improvements to TZ search motion estimation algorithm for multiview video coding," Systems, Signals and Image Processing (IWSSIP), 2012 19th International Conference on , vol., no., pp.388,391, 11-13 April 2012 [12] JMVC Reference Software [Online] Available: http://iphome.hhi.de/suehring/tml/download/jm18.4.zip [13] HEVC Reference Software - HM9.1 [Online] Available: http://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/HM-9.1/ [14] K McCann, B Bross, W.-J Han, I K Kim, K Sugimoto, G J Sullivan, "High Efficiency Video Coding (HEVC) Test Model (HM 9) Encoder Description," ITU-T/ISO/IEC Joint Collaborative Team on Video Coding (JCT-VC) document JCTVC-K1002, Oct 2012 [15] Purnachand, N.; Alves, L.N.; Navarro, A., "Fast Motion Estimation Algorithm for HEVC," Consumer Electronics - Berlin (ICCE-Berlin), 2012 IEEE International Conference on , vol., no., pp.34,37, 3-5 Sept 2012 [16] Iain Richardson, “The H.264 advanced video coding standard”, Second Edition,Wiley, 2010 [17] Palomino, Danial Algorithm and Hardware Based Architectural Design Targeting the Intra-Frame Prediction of the HEVC Video Coding Standard, Master Thesis, 2013 [18] Phuong T Trinh, Undergraduate Thesis, Fast Search Algorithm in Inter Prediction of H.264/AVC, 2011 [19] Ohm, J.; Sullivan, G.J.; Schwarz, H.; Thiow Keng Tan; Wiegand, T., "Comparison of the Coding Efficiency of Video Coding Standards— Nguyễn Quốc Việt 60 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng Including High Efficiency Video Coding (HEVC)," Circuits and Systems for Video Technology, IEEE Transactions on , vol.22, no.12, pp.1669,1684, Dec 2012 [20] Sullivan, G.J.; Wiegand, T., "Rate-distortion optimization for video compression," Signal Processing Magazine, IEEE , vol.15, no.6, pp.74,90, Nov 1998 [21] Chae Eun Rhee; Kyujoong Lee; Tae Sung Kim; Hyuk-Jae Lee, "A survey of fast mode decision algorithms for inter-prediction and their applications to high efficiency video coding," Consumer Electronics, IEEE Transactions on , vol.58, no.4, pp.1375,1383, November 2012 [22] Liquan Shen; Zhi Liu; Xinpeng Zhang; Wenqiang Zhao; Zhaoyang Zhang, "An Effective CU Size Decision Method for HEVC Encoders," Multimedia, IEEE Transactions on , vol.15, no.2, pp.465,470, Feb 2013 [23] Wei Dai; Au, O.C.; Sijin Li; Lin Sun; Ruobing Zou, "Fast sub-pixel motion estimation with simplified modeling in HEVC," Circuits and Systems (ISCAS), 2012 IEEE International Symposium on , vol., no., pp.1560,1563, 20-23 May 2012 [24] High Efficiency Video Coding, http://en.wikipedia.org/wiki/High_Efficiency_Video_Coding Last accessed: 26 May 2013 Nguyễn Quốc Việt 61 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng BẢNG ĐỐI CHIẾU THUẬT NGỮ VIỆT – ANH Bộ giải mã Decoder Bộ mã hóa Encoder Bù chuyển động Motion Compensation Ước lượng chuyển động Motion Estimation Dự đoán liên ảnh Inter Prediction Dự đoán ảnh Intra Prediction Lớp mạng trừu tượng Network Abstraction Layer Thực Implementation Khung Frame Điểm ảnh Điểm ảnh Dải Slice Lớp Tile Vector chuyển động Motion vector Thuật toán tìm kiếm đầy đủ Fullsearch algorithm Thuật toán tìm kiếm nhanh Fastsearch algorithm Kim cương Diamond Mã hóa liên ảnh Inter coding Mã hóa ảnh Intra coding Khối dư Residual block Độ chói Luma Độ sáng Chroma Nguyễn Quốc Việt 62 Thuật toán tìm kiếm nhanh-HEVC GVHD: TS Nguyễn Vũ Thắng Chế độ kết hợp merge mode Bộ lọc xóa khối deblocking filter Bù mẫu theo ngữ cảnh Sample adaptive offset Khối mã hóa Coding tree Unit Khối mã hóa Coding Unit Khối dự đoán Prediction Unit Khối chuyển đổi Transform Unit Ứng viên Candidate Cờ báo khối phép mã hóa Coded block flag Tối giản suy hao Rate distortion optimization Tổng sai lệch tuyệt đối Sum of Absolute Difference Tổng sai lệch bình phương Sum of Square Error Tổng sai lệch tuyệt đối chuyển đổi Hamadard transformed SAD Hamadard Nguyễn Quốc Việt 63 [...]... dự đoán hai chiều Một khung h nh thường được chia thành các khối mã h a lớn nhất(LCU – Largest Coding Unit) Các kiểu mã h a khác nhau có thể được dùng cho từng khối mã h a lớn nhất thay vì cho toàn bộ khung h nh  Ảnh nén trong h nh I (Intra coded frame) Ảnh I chỉ có thể chứa các khối mã h a lớn nhất mã h a trong h nh (I– LCU)  Là ảnh được mã h a mà không cần phải tham chiếu tới bất kỳ khung h nh nào... vùng khối cây mã h a Các h nh ảnh sẽ được chia thành một chuỗi các khối cây mã h a. Khái niệm về khối cây mã h a tương tự như khái niệm về macroblock trong các chuẩn nén trước như H. 264.Kích thước tối đa được phép của khối cây mã h a là 64x64.Nếu h nh ảnh đầu vào là 3 thành phần YCbCr, khối cây mã h a sẽ gồm một khối chứa thành phần độ chói có kích thước NxN và hai khối thành phần màu tương ứng.Nếu ảnh. .. đổi Cấu h nh Chỉ dùng mã h a trong ảnh Cấu h nh chính truy cập ngẫu nhiên Độ trễ thấp Nguyễn Quốc Việt Độ sâu tối đa Độ sâu tối đa (khối mã h a liên ảnh) (khối mã h a trong ảnh) - 3 3 3 3 3 19 Thuật toán tìm kiếm nhanh- HEVC GVHD: TS Nguyễn Vũ Thắng Chỉ dùng mã h a Cấu h nh hiệu quả cao trong ảnh truy cập ngẫu nhiên Độ trễ thấp - 3 3 3 3 3 Với khối CU được mã h a liên ảnh, khối TU có thể lớn h n khối PU,... các khối chức năng đó H nh 1-1 Sơ đồ khối chức năng tổng quát bộ mã h a video chuẩn HEVC Một khung h nh đầu vào Fn được xử lý theo từng khối mã h a một Mỗi khối mã h a được mã h a theo chế độ mã h a trong ảnh hoặc mã h a ngoài ảnh cho từng khối trong khối mã h a đó dựa trên các ảnh mẫu đã được tái tạo, và được gọi là khối dự đoán PRED Trong chế độ trong ảnh, PRED được tạo nên từ các mẫu trong cùng... block tiên đoán  Có thể tham chiếu các khung h nh trước đó theo thứ tự mã h a Nguyễn Quốc Việt 6 Thuật toán tìm kiếm nhanh- HEVC GVHD: TS Nguyễn Vũ Thắng  Có thể sử dụng một hoặc nhiều khung h nh được mã h a trước khung hiện tại theo thứ tự hiển thị  Đòi h i lưu trữ ít dữ liệu h n ảnh I  Ảnh dự đoán hai chiều B (Bi –directional predictive picture) Ảnh B có thể chứa cả khối mã h a lớn nhất mã h a trong. .. trúc cây mã h a Cấu trúc cây mã h a trong chuẩn nén HEVC là tạo thành bằng cách đệ quy việc chia nhỏ một khối vuông lớn thành bốn khối vuông nhỏ bằng nhau có kích thước ¼ khối vuông gốc, như được minh h a trong h nh 2.3 Việc chia nhỏ này tạo ra một tập h p các khối CU có kích thước khác nhau, thay đổi từ 8x8 tới kích thước của khối cây mã h a Nguyễn Quốc Việt 17 Thuật toán tìm kiếm nhanh- HEVC GVHD: TS... có thể làm h ng h nh ảnh Nguyễn Quốc Việt 3 Thuật toán tìm kiếm nhanh- HEVC GVHD: TS Nguyễn Vũ Thắng Quá trình nén video thực hiện trên một nhóm các điểm ảnh gần nhau và có dạng h nh vuông, được gọi là khối mã h a lớn nhất Các khối mã h a lớn nhất được so sánh giữa một khung h nh với khung h nh kế tiếp của nó và bộ mã h a video sẽ chỉ gửi đi sự khác biệt giữa các khối mã h a lớn nhất này và vị trí khối. .. giải mã chuẩn H. 265/ HEVC  Chương 2: Mô tả chi tiết về bộ mã h a chuẩn H. 265/ HEVC  Chương 3: Giới thiệu phần mềm HM 9.1, cách trích xuất thông tin sau quá trình tiên đoán, phân tích thông tin chuyển động và đưa ra cách tiên đoán vector chuyển động  Chương 4: Thuật toán tìm kiếm nhanh dựa vào vector chuyển động tiên đoán được và kết quả Nguyễn Quốc Việt 2 Thuật toán tìm kiếm nhanh- HEVC Chương 1 GVHD:... giải mã F’n Nguyễn Quốc Việt 14 Thuật toán tìm kiếm nhanh- HEVC Chương 2 GVHD: TS Nguyễn Vũ Thắng MÔ TẢ CHI TIẾT VỀ BỘ MÃ H A TRONG HEVC Chương này giới thiệu về tên gọi các khối phục vụ trong quá trình xử lý chuẩn nén HEVC và đi sâu vào chi tiết các bước thực hiện mã h a của chuẩn này, gồm có dự đoán liên ảnh hoặc trong ảnh, chuyển đổi, lượng tử h a và mã h a entropy 2.1 Phân vùng h nh ảnh 2.1.1 Phân... của mã h a HEVC so với phiên bản H. 264/AVC trước đó:  Cấu trúc khối mã h a linh động Trong khi H. 264 định nghĩa khối mã h a Macroblock có kích thước cố định là 16x16, HEVC cho phép kích thước mã h a thay đổi trong khoảng từ 64x64 tới 8x8 pixel2sử dụng phương pháp đệ quy chia một khối vuông thành 4 khối vuông bằng nhau có diện tích bằng ¼ diện tích khối ban đầu  Áp dụng phương pháp mã h a và giải mã