BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI THÁI NAM SƠN NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT FRACTAL VÀO NÉN TRONG ẢNH VIDEO LUẬN ÁN TIẾN SĨ KỸ THUẬT VIỄN THÔNG HÀ NỘI - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI THÁI NAM SƠN NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT FRACTAL VÀO NÉN TRONG ẢNH VIDEO LUẬN ÁN TIẾN SĨ KỸ THUẬT VIỄN THÔNG Chuyên ngành: KỸ THUẬT VIỄN THÔNG Mã số: 62520208 GIẢNG VIÊN HƯỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN TIẾN DŨNG HÀ NỘI - 2018 MỤC LỤC LỜI MỞ ĐẦU DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ 10 CHƯƠNG - TỔNG QUAN 12 1.1 Một số phương pháp nén video phổ biến 12 1.1.1 Nén dư thừa không gian 12 1.1.2 Nén dư thừa thời gian 13 1.2 Một số chuẩn lấy mẫu tín hiệu video 13 1.3 Các tiêu chuẩn nén video với bit-rate thấp 14 1.3.1 Chuẩn H.263 14 1.3.2 Chuẩn H.265/HEVC 15 1.3.3 Chuẩn H.264/AVC 15 1.4 Hình học Fractal 19 1.4.1 Giới thiệu hình học Fractal 19 1.4.2 Các ứng dụng hình học Fractal 21 1.5 Cơ sở lý thuyết nén ảnh sử dụng Fractal 23 1.5.1 Hình học Fractal 23 1.5.2 Hệ thống chức lặp đệ quy (RIFS) 26 1.5.3 Biến đổi Affine 27 1.5.4 Hệ thống hàm lặp phận (PIFS) 29 1.5.5 Quá trình mã hóa 31 1.5.6 Quá trình giải mã 32 1.5.7 Cấu trúc phân hoạch 33 1.6 Các cơng trình nghiên cứu liên quan đến Fractal 35 1.6.1 Các cơng trình nghiên cứu ứng dụng Fractal cho nén hình ảnh 35 1.6.2 Các cơng trình nghiên cứu ứng dụng Fractal cho nén video 36 1.7 Kết luận chương 37 CHƯƠNG - NÉN HÌNH ẢNH SỬ DỤNG FRACTAL 38 2.1 Nén hình ảnh sử dụng Fractal 38 2.1.1 Nén ảnh xám sử dụng Fractal 38 2.1.2 Nén ảnh màu sử dụng Fractal 43 2.1.3 Kết nén ảnh xám ảnh màu sử dụng Fractal 46 2.1.4 Nhận xét 59 2.2 Cải tiến chất lượng nén cho FIC 61 2.2.1 Cải tiến tỷ số nén cho FIC đề xuất 63 2.2.2 Kết cải tiến tỷ số nén cho FIC 67 2.2.3 Cải tiến thời gian mã hóa cho Fractal Coding đề xuất 75 2.2.4 Kết cải tiến thời gian mã hóa Fractal Coding 84 2.3 Kết luận chương 88 CHƯƠNG - TÍCH HỢP FRACTAL CODING TRONG Q TRÌNH NÉN INTRAFRAME CỦA CHUẨN H.264 91 3.1 Tích hợp Fractal Coding intra-frame tiêu chuẩn H.264 91 3.1.1 Phương pháp tích hợp Fractal Coding vào intra-frame H.264 đề xuất 92 3.1.2 Phương pháp cải thiện tỉ lệ nén đề xuất 95 3.1.3 Đề xuất tăng cường mã hóa Fractal với biến đổi wavelet 97 3.1.4 Kết thực nghiệm 98 3.2 Xây dựng mơ hình truyền liệu thời gian thực sử dụng tiêu chuẩn H.264 tích hợp Fractal Coding 104 3.2.1 Phương pháp thực nhúng H.264F vào VLC Player đề xuất 104 3.2.2 Kết nhúng H.264F vào VLC Player 109 3.3 Kết luận chương 110 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 112 TÀI LIỆU THAM KHẢO 114 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 120 LỜI MỞ ĐẦU Nén liệu (data compression) phương pháp mã hóa kỹ thuật số nhằm giảm dung lượng liệu Tùy theo lượng liệu trước sau giải nén, người ta chia nén thành hai dạng: nén không liệu (lossless) nén bị liệu (lossy) [23] Các thuật tốn nén khơng liệu thường dựa giả thuyết dư thừa liệu, từ thể liệu cách xác mà khơng thơng tin Điển hình cho nén khơng liệu kể đến mã hóa RLE (Run-length Encoding), thay loạt liệu liền lặp lại thành liệu đại diện khác Nén liệu làm giảm số lượng bit cách xác định thông tin không cần thiết loại bỏ chúng Một dạng nén liệu phổ biến nén video Một tín hiệu video số thường chứa lượng lớn liệu âm hình ảnh, gặp nhiều khó khăn việc lưu trữ truyền băng thông kênh truyền thực tế Với phát triển khoa học công nghệ nay, cảm biến màu có 16 triệu màu với độ phân giải cao lên đến 4096 x 4096 pixels sản xuất Tuy nhiên, ứng dụng thực tế cần độ phân giải cao dừng lại mức 1920 x 1080 pixels Nguyên nhân vấn đề video có độ phân giải cao 2K 4K tiêu tốn nhiều không gian lưu trữ chiếm dụng nhiều băng thông kênh truyền dẫn Trước nhu cầu sử dụng thông tin hình ảnh đòi hỏi ngày cao mặt chất lượng bị giới hạn không gian lưu trữ băng thơng kênh truyền đòi hỏi cần có giải pháp giải vấn đề Do đó, để tiết kiệm khơng gian lưu trữ băng thơng kênh truyền cần thiết phải nén tín hiệu video Q trình nén video thực thông tin video thường có trật tự, có tổ chức, xem kỹ cấu trúc video phát nhiều loại thông tin dư thừa khác Các thông tin dư thừa nằm video chia thành năm loại Thứ dư thừa không gian Sự dư thừa không gian điểm ảnh khung hình gọi thừa tĩnh Dư thừa mặt không gian chi tiết điểm ảnh giống khung hình, ví dụ nhiều điểm ảnh giống tạo thành bầu trời xanh Thứ hai dư thừa thời gian Sự dư thừa thời gian điểm ảnh khung video gọi thừa động Dư thừa thời gian hình ảnh giống lặp lại liên tục từ khung hình sang khung hình khác Thứ ba dư thừa thơng tin phổ Đó dư thừa phổ mẫu tín hiệu thu từ cảm biến camera Thứ tư dư thừa thống kê Bản thân ký hiệu xuất dòng bit với xác suất xuất khơng đồng Thứ năm dư thừa tâm thị giác Sự dư thừa thông tin không phù hợp với hệ thống thị giác người Các thuật tốn nén video cần giảm lượng thơng tin thừa phương pháp khác để giảm dung lượng video, nhằm tiết kiệm băng thông truyền, giảm chi phí lưu trữ cho trì chất lượng mức chấp nhận Từ yêu cầu đặt để giảm lượng thông tin dư thừa, nhiều phương pháp nén video đề xuất nhằm giảm lượng thông tin dư thừa liệu video tương ướng với năm loại thông tin dư thừa nêu Đó dư thừa khơng gian, dư thừa thời gian, dư thừa thông tin phổ, dư thừa thông tin thống kê dư thừa tâm thị giác Trong phương pháp nén video đề xuất, hai phương pháp áp dụng phổ biến giảm thông tin dư thừa không gian giảm thông tin dư thừa thời gian Phương pháp nén dư thừa không gian tập trung vào thuật toán nhằm giảm tối đa dư thừa mặt không gian điểm ảnh, từ nâng cao tỷ lệ nén Các tiêu chuẩn nén video theo phương pháp công bố Trong đó, MJPEG đại diện tiêu biểu Phương pháp nén dư thừa thời gian tập trung vào thuật toán nhằm giảm tối đa dư thừa mặt thời gian cách cố gắng xác định tối đa điểm ảnh giống khung hình video Việc giảm trừ tối đa điểm ảnh giống cho phép tăng tỷ lệ nén video Có nhiều tiêu chuẩn nén video theo phương pháp nén dư thừa thời gian, đó, MPEG tiêu chuẩn tiêu biểu Từ năm 2003, tiêu chuẩn nén đề xuất, tiêu chuẩn H.264 H.264 tiêu chuẩn nén sử dụng phương pháp nén dư thừa thời gian Bản chất tiêu chuẩn H.264 phát triển tiêu chuẩn MPEG, áp dụng thêm kỹ thuật nhằm nâng cao tỷ lệ nén cố gắng cải thiện chất lượng hình ảnh video tương ứng với tỷ lệ nén đạt Năm 2013, tiêu chuẩn phát triển dựa tiêu chuẩn H.264 đề xuất H.265 có tỷ lệ nén gấp đôi so với tiêu chuẩn H.264 mức độ chất lượng hình ảnh video Mục tiêu tiêu chuẩn H.265 chuẩn nén hỗ trợ cho video độ phân giải cực cao 8K UHD kỳ vọng hỗ trợ lên đến độ phân giải 4320p (8192 x 4320) Như vậy, hướng phát triển tiêu chuẩn nén video kế thừa phát triển tiêu chuẩn trước để hướng tới hai mục đích Đó nâng cao tỷ lệ nén cải thiện chất lượng hình ảnh sau giải nén tương đương với tỷ lệ nén đạt Hình học Fractal nguồn cảm hứng cho thuật toán nén mà điển hình thuật tốn nén hình ảnh Lĩnh vực chiếm quan tâm nhiều nhà khoa học giới Việt Nam Nén hình ảnh sử dụng Fractal mang đến tỉ lệ nén vượt trội so với phương pháp mã hóa nén trước mà đảm bảo chất lượng tốt cho hình ảnh Ưu điểm nén hình ảnh sử dụng Fractal tỷ lệ nén cao vượt trội trình giải nén nhanh Tuy nhiên, khối lượng tính tốn lớn q trình nén ảnh làm cho thời gian nén ảnh lớn Từ đó, ý tưởng kết hợp Fractal tiêu chuẩn H.264 hình thành nhằm áp dụng ưu điểm tỷ số nén Fractal vào tiêu chuẩn nén video H.264 áp dụng rộng rãi nỗ lực nhằm tạo tiêu chuẩn nén hình ảnh có tỷ số nén cao, thời gian nén ảnh đảm bảo tương đương với tiêu chuẩn thời có thời gian giải nén ảnh vượt trội Bên cạnh đó, việc nâng cao tỷ số nén ảnh giảm thời gian nén ảnh phương pháp nén ảnh sử dụng Fractal vấn đề cần giải Trong Luận án trình bày việc sử dụng Fractal việc nén hình ảnh video để đưa phương pháp giải vấn đề nêu Ngoài phần mở đầu kết luận, nội dung Luận án bao gồm có chương: Chương 1: Tổng quan: Chương giới thiệu tổng quan lý thuyết liên quan đến hình học Fractal phương pháp nén hình ảnh sử dụng hình học Fractal Nội dung chương giới thiệu lý thuyết liên quan sử dụng nghiên cứu tác giả Chương 2: Phương pháp nén hình ảnh sử dụng Fractal: Nội dung chương giới thiệu phương pháp sử dụng thuật toán Fractal để nén hình ảnh Giới thiệu phương pháp cải tiến tiêu nén hình ảnh sử dụng hình học tỷ số nén thời gian nén trình bày kết thực nghiệm đạt Chương 3: Tích hợp Fractal coding q trình nén Intra-frame tiêu chuẩn H.264: Nội dung chương trình bày phương pháp tích hợp Fractal Coding q trình nén intra-frame tiêu chuẩn H.264 kết thực nghiệm mà tác giả đạt trình nghiên cứu DANH MỤC CÁC TỪ VIẾT TẮT VIẾT TẮT TIẾNG ANH TIẾNG VIỆT AVC Advanced Video Coding Tiêu chuẩn nén video tiên tiến CNN Celular Neural Network Mạng nơ-ron tế bào CPU Central Processing Unit Bộ xử lý trung tâm CR Compression Ratio Tỷ số nén DCT Discrete Cosine Transform Phép biến đổi Cosin rời rạc DSP Digital signal processing Mạch xử lý tín hiệu số FCIC Fractal Color Image Coding Phương pháp nén ảnh màu sử dụng Fractal FIC Fractal Image Compression Nén hình ảnh sử dụng Fractal FPGA Field programmable Gate Array Mảng cổng lập trình dạng trường GOP Group of Picture Nhóm ảnh H.264 H.264/MPEG-4 Part 10 or AVC Một tiêu chuẩn nén video HEVC High Efficiency Video Coding Tiêu chuẩn nén video hiệu cao HV Horizontal vertical Partition Phân hoạch theo không gian IFS Iterated Function System Hệ thống chức lặp JPEG Joint Photographic Experts Group Phương pháp nén ảnh NAL Network abstraction layer PIFS Partition Iterated Function System Hệ thống chức lặp phân mảnh PSNR Peak signal-to-noise ratio Tỷ số tín hiệu cực đại nhiễu RIFS Recurrent Iterated Function System Hệ thống chức lặp đệ quy RLE Run-length Encoding Thuật toán nén liệu lossless RMS Root mean square Giá trị trung bình bình phương SDK Services Development Kit Bộ phát triển dịch vụ SFC Seperated Fractal Coding Mã hóa Fractal thành phần SoC System on Chip Hệ thống tích hợp chip UHD Ultra high definition television Truyền hình độ phân giải siêu cao VCL Video Coding Layer Lớp mã hóa video DANH MỤC CÁC BẢNG 2.1 Phần mềm sử dụng cho bo mạch FPGA …………………………………… 41 2.2 Tài nguyên hệ thống sử dụng thực thi …………………………… 42 2.3 Tập miền với kích thước dải khác số lượng miền ……………… 46 2.4 So sánh hiệu suất hoạt động tảng FPGA DSP theo phương pháp Fisher ……………………………………………………………………… 47 2.5 Hiệu suất PSNR thời gian mã hóa ……………………………………… 48 2.6 Các thơng số nén Fractal hình Lena …………………………………… 50 2.7 Kết FCIC hình ảnh Lena …………………………………………… 50 2.8 Các ảnh gốc lựa chọn tính chất ảnh ………………………………… 51 2.9 Kết FCIC hình ảnh ảnh Fruit ……………………………………… 51 2.10 Kết FCIC hình ảnh ảnh Leaves …………………………………… 52 2.11 Kết FCIC hình ảnh ảnh Natural …………………………………… 53 2.12 So sánh tỷ số nén ảnh Fruit, Leaves, Natural ………………………… 53 2.13 So sánh tỷ số PSNR ảnh Fruit, Leaves, Natural ……………………… 54 2.14 So sánh tỷ số nén PSNR Fractal JPEG ảnh Lena ……… 55 2.15 So sánh tỷ số nén PSNR Fractal JPEG ảnh Fruit ………… 55 2.16 So sánh tỷ số nén PSNR Fractal JPEG ảnh Leaves ……… 56 2.17 So sánh tỷ số nén PSNR Fractal JPEG ảnh Natural ……… 57 2.18 Bảng kết so sánh thực nén ảnh Fractal JPEG ……… 57 2.19 So sánh hình ảnh nén thực Fractal JPEG tỉ lệ :4 : ……… 59 2.20 So sánh hình ảnh nén thực Fractal GPEG tỉ lệ 4:2:2 ……… 59 2.21 So sánh hình ảnh nén thực Fractal JPEG tỉ lệ 4:2:0 ………… 60 2.22 So sánh hình ảnh nén thực Fractal GPEG tỉ lệ 4:2:0 ……… 60 2.23 Nén ảnh màu Fractal ảnh Lena ……………………………………………… 67 2.24 Nén ảnh màu Fractal ảnh Parrot …………………………………………… 68 2.25 Nén ảnh màu Fractal ảnh One Tiger ……………………………………… 69 2.26 Nén ảnh màu Fractal ảnh Two Tiger ……………………………………… 69 2.27 Nén ảnh màu Fractal ảnh Flower …………………………………………… 70 2.28 Nén ảnh màu Fractal ảnh Fruit ……………………………………………… 70 2.29 Nén ảnh màu Fractal ảnh Balloon ………………………………………… 71 Yes Dòng bit Được giải mã CABAC? Giải mã CABAC No Giải mã CAVLC Yes Macroblock nằm cuối slide Dừng giải mã với slide No Giải mã macroblock Chuyển đến macroblock Hình 3.13: Giải mã thành phần FFMPEG Để nhúng decoder Fractal để FFMPEG, hàm ff_H.264_decode_mb_Fractal có liệu từ struct H.264Context tạo để giải mã Fractal Chức bên hàm decode_slice FFMPEG Thứ nhất, kiểm tra slice_type để xác định frame hình ảnh I (AV_PICTURE_TYPE_I) hay khơng Nếu frame hình ảnh I, chức áp dụng giải mã Fractal bỏ qua hàm ff_H.264_decode_mb_cabac, ff_H.264_decode_mb_cavlc, ff_H.264_hl_decode_mb Lưu ý dòng bit nhận trỏ s-> gb.buffer struct H.264Context Sau nhận trỏ cho bitstream, Một cấu trúc struct Streams wavelet tạo gọi hàm wavelet_deFractal wavelet để giải mã Fractal Chú ý hàm wavelet_deFractal có sẵn từ kết phần trước Luận án No Nếu ảnh ảnh I Giải mã H.264 (giải mã CABAC, CAVLC, macro block) Yes Lấy dòng bit từ FFMPEG Khởi tạo kiên trúc phù hợp khối Wavelet-Fractal để lưu dòng bit Giải mã Wavelet Fractal Hình 3.14 : Nhúng giải mã Fractal cho FFMPEG 106 3.2.1.2 Nhóm FFMPEG codec với giải mã Fractal cho VLC VLC xây dựng ngôn ngữ C, theo phương pháp hướng đối tượng Nó chứa nhiều cấu trúc (như intf_thread_t để trình bày giao diện, demux_t để trình bày trình demux, decoder_t để trình bày giải mã ) Những cấu trúc bao gồm trỏ đến liệu trỏ đến chức Điều có vai trò lớp C ++ mà thuộc tính phương thức đóng gói Đặc biệt, cấu trúc có trỏ gọi p_module Con trỏ sử dụng để tải mơ-đun thích hợp mà thực chức mong muốn cho cấu trúc định Ví dụ, struct decoder_t nạp module avcodec Module có định nghĩa số hàm OpenDecoder, DecodeVideo Sau đó, trỏ chức cấu trúc decoder_t đến chức OpenDecoder, DecodeVideo Từ hàm DecodeVideo, gọi đến hàm API ffmpeg Như vậy, module xem xét port cho vlc kết nối với pluggins (như FFMPEG codec, x264 encoder ) Bước 1: Khi bắt đầu lên VLC, tất pluggins nạp vào mô-đun lưu trữ danh sách Bước thực hàm AllocateAllPlugins (trong file src / modules / bank.c) Bước 2: Khi khởi tạo thể cấu trúc định, danh sách môđun lặp để tìm mơ-đun chứa pluggin thích hợp cho cấu trúc Bước thực hàm module_need (trong file src / modules / modules.c) Bước 3: trỏ chức cấu trúc đến hàm mô-đun Bước thường thực chức mở mô-đun Bước 4: Khi thể cấu trúc thực chức cần thiết, API gọi để thực chức Để phát video, trước hết, VLC tạo thể struct libvlc_int_t (bước thực hàm libvlc_InternalCreate) Sau đó, mẫu struct playlist_t tạo hàm playlist_Create Sau đó, VLC có tên tập tin (bằng hàm GetFilenames), tạo thể struct input_thread_t (nhờ hàm input_Create) đọc đầu vào (nhờ hàm input_Read) Các thể struct demux_t tạo ra, demux định dạng video (trong trường hợp video Fractal, định dạng H.264 hình ảnh Fractal nhúng vào dòng H.264 Mục demux thêm vào để demux xác định phần mở rộng "* frt" tương ứng với giải mã H.264 Sửa đổi thực hàm demux_New file src / input / demux.c VLC) Các giải mã với mơ-đun thích hợp tạo dựa định dạng video (bằng chức CreateDecoder) 107 Trong trường hợp video Fractal, giải mã có chứa mơ-đun avcodec API FFMPEG tạo Sau đó, hàm module DecodeVideo avcodec gọi để mở gói để có liệu mã hóa hình ảnh đoạn video giải mã hình ảnh cách gọi avcodec_decode_video2 API FFMPEG Sau giải mã đơn vị liệu đóng gói, liệu giải mã lưu trữ thể struct picture_t (bởi hàm ffmpeg_CopyPicture) hiển thị (bởi hàm DecoderPlayVideo) Nạp pluggin vào modun lưu modun thành danh sách Tìm kiếm modun chứa pluggin gần Con trỏ chức trỏ với chức modun Gọi hàm API để truy xuất chức Hình 3.15 : Cơ chế hoạt động VLC Khởi tạo libVLC Khởi tạo playlist Khởi tạo luồng đầu vào Khởi tạo ghép kênh cho luồng đầu vào Khởi tạo giải mã Giải mã ảnh trình chiếu video Hình 3.16: Luồng VLC 108 Để nhúng FFMPEG codec với giải mã Fractal vào VLC, trước hết, FFMPEG phải biên dịch để tạo thư viện chia sẻ libavcodec.so.53 (phiên libavcodec sử dụng 53) Sau đó, pluggin avcodec VLC biên dịch liên kết với thư viện libavcodec.so.53 tạo Tại thời điểm này, decode Fractal nhúng vào VLC player Để phát video Fractal định (ví dụ: video foreman_qcif.frt), thực lệnh: "./vlc -vvv foreman_qcif.frt" thư mục VLC Player 3.2.2 Kết nhúng H.264F vào VLC Player Để đánh giá hiệu việc thực đề xuất, năm video QCIF đầu vào với thông số khác mô tả Bảng 3.2 sử dụng kịch thử nghiệm Các kết thử nghiệm tốc độ bit thể Bảng 3.13 So sánh H.264F H.264 cho thấy với tỷ lệ nén cao bit-rate H.264F so với bit-rate H.264 thấp hầu hết trường hợp bảng 3.8 (Trích dẫn Bảng 3.13): So sánh chạy video Fractal video H.264 H.264F H.264 Thông thường Chỉnh sửa Bit-rate (kb/s) Bit-rate (kb/s) Bit-rate (kb/s) Foreman 123.15 129.68 121.82 Bridge 76.86 90.68 98.58 Bridge far 38.14 39.87 44.46 Grandma 79.24 82.82 86.12 Highway 87.51 90.81 94.76 Tên video Có thể thấy PSNR H.264F mức chấp nhận cho tầm nhìn người Hình 3.17, Hình 3.18 Hình 3.19 hiển thị ảnh chụp hình số video chọn cho trình thực nghiệm Thực FIC nhúng cho VLC Player bước phương pháp nén video bit-rate thấp sử dụng mã hóa H.264F, ứng dụng kết nghiên cứu Luận án 109 Hình 3.17: Frame trích từ video Bridge Hình 3.18: Frame trích từ video Bridge Far Hình 3.19: Frame trích từ video Highway 3.3 Kết luận chương Các kết thực nghiệm Chương chứng minh nhận định việc ứng dụng FIC vào trình nén ảnh ( intra-frame ) H.264 nâng cao tỷ số nén tiêu chuẩn H.264 Tiêu chuẩn H.264 sau ứng dụng FIC vào trình nén ảnh gọi H.264F Kết thực nghiệm cho thấy tỷ số nén H.264F tốt so với H.264 hầu hết video thử nghiệm khoảng thời gian xuất 110 khác frame I Đặc biệt, số lượng lớn frame I xuất chuỗi video với phân phối màu đồng Mặt khác, số lượng ảnh I xuất nhiều đoạn video thử nghiệm, tỷ số nén H.264 H.264F giảm dần Tuy nhiên thời gian thực thi Fractal lớn so với H.264, coi thỏa hiệp PSNR tỷ số nén Điều hữu ích để khai thác hiệu việc nén Fractal phân cảnh thay đổi nhanh chóng video đầu vào Với video có phân cảnh thay đổi nhiều, tỷ số nén giảm tiêu chuẩn H.264, thấy hiệu việc ứng dụng H.264F để tăng cường tỷ số nén cho q trình mã hóa video Kết thực nghiệm cho thấy PNSR H.264F tương đối không tốt H.264, nhiên mức khoảng 25 dB, hình ảnh chụp trình thực nghiệm trình bày Hình 3.6 đến Hình 3.10 cho thấy chất lượng hình ảnh mức cho phép mắt người quan sát Việc ứng dụng Wavelet nỗ lực nhằm tăng PSNR H.264F để lại kết không mong muốn làm tăng cao thời gian giải mã video, tăng thời gian thực thi H.264F Điểm tồn khắc phục bước phát triển tối ưu hóa thời gian mã hóa thời gian giải mã H.264F cách sử dụng đa luồng CPCs GPUs Tỷ số nén H.264F luôn sẵn sàng để cải thiện tối đa mức độ cao hơn, mức giảm PSNR luôn phải giữ mức chấp nhận cho khả nhìn thấy mắt người 111 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Các kết đóng góp Luận án hướng phát triển Luận án trình bày đây: A Các kết đạt Luận án Luận án thực bước sau để đến mục đích đề ban đầu Đầu tiên, Luận án thực áp dụng Fractal cho ảnh xám kết thực nghiệm FPGA chứng minh Fractal Coding cho ảnh màu áp dụng cho hệ thống SoC có tính xử lý song song mạnh mẽ giảm thời gian nén ảnh - điểm yếu Fractal Coding, có phương pháp nâng cao chất lượng ảnh Thứ hai, thực áp dụng Fractal cho ảnh màu kết thực nghiệm hệ thống máy tính chạy Linux chứng tỏ tỷ lệ nén cao vượt trội so với tiêu chuẩn JPEG phải đánh đổi việc tăng tỷ lệ nén cách giảm chất lượng ảnh Tuy nhiên, đề xuất phương pháp tăng tỷ số PSNR nhằm cải thiện chất lượng ảnh mức gần tương đương với tiêu chuẩn JPEG số trường hợp, đạt chất lượng ảnh mức chấp nhận với mắt người Thứ ba, thực nhúng Fractal vào trình nén intra-frame tiêu chuẩn H.264 kết thực nghiệm chứng minh việc can thiệp Fractal (vào trình nén intra-frame tiêu chuẩn H.264) làm tăng tỷ số nén lên cao, chứng video nén có tốc độ bit thấp tương đối lớn so với tiêu chuẩn H.264 nguyên Thứ tư, xây dựng mơ hình thực áp dụng tiêu chuẩn H.264F (là tiêu chuẩn H.264 sau tích hợp Fractal Coding, áp dụng phương pháp Luận án đưa để giảm thời gian nén tăng tỷ số nén) vào VLC Player môi trường hệ điều hành Linux theo hai mơ hình: chạy video nén VLC Player nhúng H.264F máy tính video streaming hai máy tính client -server giả lập VMWare Luận án có hai đóng góp sau: Sử dụng kỹ thuật Fractal cho nén ảnh xám ảnh màu, thực bo mạch FPGA máy tính Linux Ứng dụng kỹ thuật Fractal vào trình nén ảnh (intra-frame) tiêu chuẩn H.264 112 B Đề xuất hướng phát triển Kết thực nghiệm sử dụng FIC bo mạch FPGA Luận án chứng minh hệ thống có vi xử lý có tính song song làm giảm mạnh thời gian nén FIC Như vậy, điểm yếu quan trọng Fractal coi tối ưu trường hợp cụ thể Chất lượng hình ảnh sau giải nén FIC so sánh với JPEG mức gần tương đương số trường hợp đạt chất lượng ảnh mức chấp nhận với mắt người Bên cạnh đó, với thời gian giải nén nhanh - vốn ưu điểm FIC nên kết Luận án phát triển theo hướng tích hợp FIC lên hệ thống SoC với chíp xử lý đa nhân để xây dựng low-bit-rate video coding với yêu cầu không cao chất lượng hình ảnh sau giải nén Bên cạnh đó, kết thứ tư Luận án chứng minh tính khả thi việc xây dựng hệ thống streaming tín hiệu video thời gian thực theo mơ hình client server sử dụng H.264F Trong Luận án này, điều kiện thực tế khách quan nên thực nghiệm tiến hành máy tính PC chạy hệ điều hành Linux Tuy nhiên, có đầu tư tiếp tục phát triển, việc xây dựng mô hình streaming video thời gian thực sử dụng H.264F thực thiết bị SoC thiết bị SoC máy chủ, cho thấy tính ứng dụng thực tế việc truyền liệu video thời gian thực với bit-rate thấp Các hệ thống SoC tích hợp H.264F sử dụng với thiết bị quan sát, ghi hình giám sát, truyền dẫn hình ảnh điều kiện khó khăn đường truyền, bị giới hạn mức tiêu thụ lượng thiết bị mơi trường có tính di động cao Trong điều kiện đó, hệ thống SoC với tỷ số nén lớn thích nghi với đường truyền bị hạn chế, tính nhỏ gọn hệ thống tiêu thụ lượng thấp có tính di động cao, đảm bảo tính liên tục thông tin truyền thời gian thực Kết thứ ba Luận án chứng minh tỷ số nén H.264F tăng lên cao so với H.264, tỷ số nén cao đồng nghĩa với không gian lưu trữ tiết kiệm nhiều việc lưu trữ liệu Như vậy, số trường hợp cần lưu trữ liệu video mang tính tham chiếu, tức khơng cần chất lượng hình ảnh mức q cao hồn tồn ứng dụng H.264F nhằm tiết kiệm không gian lưu trữ Với đặc tính H.264F nêu, việc ứng dụng H.264F ứng dụng việc lưu trữ video mang tính chất tham chiếu lại chương trình phát sóng Đài THVN, khối lượng video với thời lượng lớn Hiện Đài THVN có hệ thống lưu trữ định dạng H.264 với độ phân giải thấp Tuy nhiên, việc ứng dụng H.264F giảm dung lượng lưu trữ thời lượng lưu trữ tương đương tăng thêm thời lượng lưu trữ dung lượng tương đương 113 TÀI LIỆU THAM KHẢO [1] A R Nadira Banu Kamal, P.Priyanga (2014), Iteration Free Fractal Color Image Compression Using Vector Quantization, International Journal of Advanced Research in Computer and Communication Engineering, 3(1), 5154 - 5163 [2] A Barcellos (2008), The Fractal Geometry of Mandelbrot, 2008 [3] A Selim, M M Hadhoud, M I Dessouky and F E Abd El-Samie (2008), A Simplified Fractal Image Compression Algorithm, IEEE Computer Engineering & Systems, ICCES, pp.53-58, 2008 [4] A.R.Nadira Banu Kamal and S.ThamaraiSelvi (2010), Enhanced Iteration Free Fractal Image Coding Algorith, with efficient Search and Storage Space, ICTACT Journal on Image and Video Processing, pp.124-134, Nov 2010 [5] Arnaud E.Jacquin (1992), Image coding based on a Fractal theory of iterated contractive image transformations, IEEE Transaction on Image processing, pp.1830, 1992 [6] B Hurtgen and C Stiller (1993), Fast hierarchical codebook search for Fractal coding of still images, in Proc EOS/SPIE Visual Communications PACS Medical Applications ’93, Berlin, Germany, 1993 [7] Bohong Liu and Yung Yan (2010), An Improved Fractal Image Coding Based on the Quadtree, IEEE 3rd International Congress in Image and Signal Processing, Vol 2, pp.529-532, 2010 [8] Brendt Wohlberg and Gerhard de Jager (1999), A Review of the Fractal Image Coding Literature, IEEE Transaction on Image Processing, Vol 8, pp 1716-1729, 1999 [9] Byung Cheol Song, Kang-Wook Chun and Jong Beom Ra (2005), A RateConstrained Fast Full-Search Algorithm Based on Block Sum Pyramid, IEEE Trans Image Processing, 14(3), pp 308–311, 2005 [10] C S Kim, R C Kim, and S U Lee (1998), Fractal coding of video sequence using circular prediction mapping and noncontractive interframe mapping, IEEE Transactions on Image Processing, vol 7, no 4, pp 601–605, 1998 [11] Chen Yisong, Wang Guoping, Dong Shihai (2002), Feature Difference Classification Method In Fractal Image Coding, Proceedings of the 6th International Conference on Signal Processing, 1, 26-30 Aug 2002, pp 648 – 651, 2002 114 [12] D J L L M W B P Chad Fogg (2002), MPEG Video Compression Standard, New York, Boston, Dordrecht, London, Moscow, 2002 [13] D Mitrovic, (2012), Video Compression, University of Edinburgh, 2012 [14] D Saupe (1995), Fractal image compression by multi-dimensional nearest neighbor search, in Proc DCC’95 Data Compression Conf., Mar 1995 [15] D Snyder, Benoit Mandelbrot (1998), Fractals and Astronomy, Reflections, 1998 [16] D Venkatashekhar, P Aruna, V Dhivya (2014), A novel method for Fractal image compression using polynominal hybrid wavelet and and particle swarm optimization, Journal of theoritical and applied information technology, (2014) pp 709 - 717 [17] Dietmar Saupe, Raouf Hamzaoui, Hannes Hartenstein (1996), Fractal Image Compression , 1996 [18] Dietmar Saupe (1995),Accelerating Fractal Image Compression by Multi Dimensional Nearest Neighbor Search, IEEE Data Compression, pp 222-231, 1995 [19] Dr Muhammad Kamran, Amna Irshad Sipra and Muhammd Nadeem (2010), A novel domain optimization technique in Fractal image Compression, IEEE Proceedings of the 8th world Congress on Intelligent Control and Automation, pp 994-999, 2010 [20] Duong Phu Thai, Nguyen Tien Dzung, Thang Manh Hoang, de Souza-Daw T (2011), Implementation of Fractal image encoding/decoding on DSP, in Proc of Joint 3rd Int’l Conference Workshop on Nonlinear Dynamics and Synchronization and Sixteenth International Symposium on Theoretical Electrical Engineering (INDS&ISTET 2011), pp 1-6, July 25-27, 2011, online published in IEEExplorer [21] Eman A Al-Hilo, Loay E George (2012), Study of Fractal Color Image Compression Using YUV Components, compsac, pp.596-601, 2012 IEEE 36th Annual Computer Software and Applications Conference - COMPSAC 2012, 2012 [22] Erjun Zhao, Dan Liu (2005), Fractal Image Compression Methods: A Review Proceedings of the Third International Conference on Information Technology and Applications (ICITA’05), 756-759, July 2005 [23] G E Blelloch (2013), Introduction to Data Compression, January 31, 2013 [24] G J SULLIVAN and T WIEGAND (2005), Video Compression From Concepts to the H.264/AVC Standard, 2005 115 [25] G.Lu and T.L.Yew (1996), Applications of Partitioned Iterated Function Systems in Image and Video Compression, Journal of Visual Communication and Image Representation, Vol 7, pp 144-154, 1996 [26] H J D S Heinz-Otto Peitgen (2004), Chaos and Fractals New Frontiers of Science, 2004 [27] Hannes Hartenstein, Associate Member, IEEE, Matthias Ruhl, and Dietmar Saupe (2000), Region - Based Fractal Image Compression, IEEE transactions on Image processing, vol 9, no 7, July 2000 [28] Hau-Jie Liang, Shuenn-Shyang Wang (2005), Architectural Design Of Fractal Image Coder Based On Kick-Out Condition, 0-7803-8834-8/2005 IEEE, 1118-1121, 2005 [29] Hsuan T Chang, Chung J Kuo (2000), Iteration-Free Fractal Image Coding Based on Efficient Domain Pool Design, IEEE Trans Image Processing, 9(3), 329-339, Mar 2000 [30] http://www.videolan.org/developers/x264.html [31] Hui Yu, Li, Hongyu Zhai, Xiaoming Dong (2010), Based on Quadtree Fractal Image Compression Improved Algorithm for Research, International Conference on E-product E-service and EEntertainment, pp 1-3, 2010 [32] I Reljin, A Samčović, B Reljin, H.264/AVC compressed video traces: MultiFractal and Fractal analysis, EURASIP JOURNAL ON APPLIED SIGNAL PROCESSING, Vol 2006, pp 1-13, 2006 [33] Ian Karl Levy B.Sc (1998), Self-similarity and wavelet transforms for the compression of still image and video data, Thesis submitted to the Univeristy of Warwick for the degree of Doctor of Philosophy, 1998 [34] Ian Karl Levy B.Sc, Self-Similarity and Wavelet Transforms for the Compression of Still Image and Video Data, 1998 [35] J Domaszewicz and V A Vaishampayan, “Graph-theoretical analysis of the Fractal transform,” in Proceedings of the 20th International Conference on Acoustics, Speech, and Signal Processing (ICASSP ’95), vol 4, pp 2559–2562, May 1995 [36] J Mukhopadhyay and S Ghosh (2002), Low bit rate video compression using relative Fractal coding, India, 2002 [37] Junshe Wan, Linru You (2014), A Fast Context -Based Fractal Mobile Video Compression with GA and PSO, 2nd International Conference on Teaching and Computational Science (ICTCS 2014), (2014) 112 - 115 116 [38] K Belloulata and J Konrad, “Fractal image compression with region-based functionality,” IEEE Transactions on Image Processing, vol 11, no 4, pp 351–362, 2002 [39] K Belloulata and S Zhu, “A new object-based Fractal stereo codec with quadtreebased disparity or motion compensation,” in Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP ’06), vol 2, pp 481–484, Toulouse, France, 2006 [40] K Belloulata and S Zhu, “A new object-based system for Fractal video sequences compression,” in Proceedings of the Data Compression Conference (DCC ’08), pp 508–510, Snowbird, Utah, USA, March 2008 [41] K Belloulata, “Fast Fractal coding of subbands using a noniterative block clustering,” Journal of Visual Communication and Image Representation, vol 16, no 1, pp 55–67, 2005 [42] Kai Barthel , T Voye "Three-dimensional Fractal video coding", Conference: Image Processing, 1995 Proceedings., International Conference on, Volume: 3, 1995 [43] Kamel Belloulata, Shiping Zhu (2007), " A New Object-Based System for Fractal Video Sequences Compression ", JOURNAL OF MULTIMEDIA, VOL 2, NO 3, JUNE 2007 [44] Kamel Belloulata, Shiping Zhu, ZaikuoWang (2011), A Fast Fractal Video Coding Algorithm Using Cross-Hexagon Search for BlockMotion Estimation, International Scholarly Research Network, ISRN Signal Processing, 2011(386128), (2011) 5402 - 5412 [45] Loay E George Nevart A (2011), Speeding Up Fractal Image Compression Using DCT, Journal of Information and Computing Sciene, Volume (6), No (4), pp 287-294, 2011 [46] L J MALINOWSKI (2011), Fractal Physics Theory - Foundation, USA, 2011 [47] Lester Thomas and Farzin Deravi (1995), Region-Based Fractal Image Compression Using Heuristic Search, IEEE transactions on Image processing, vol 4, no 6, June 1995 [48] M Barnsley (1993), Fractals Everywhere, San Diego Academic Press, 2nd Edition, 1993 [49] M C Shelberg (1983), Measuring the Fractal Dimensions, St Louis, AFS, Missouri 63118, 1983 [50] M T M P O K M T S HIDEKI TAKAYASU (2000), Fractal Properties Economics, 2000 117 [51] M Wang, R Liu, and C H Lai (2006), Adaptive partition and hybrid method in Fractal video compression, Computers and Mathematics with Applications, vol 51, no 11, pp 1715–1726, 2006 [52] M.Ghazel, R K Ward, R Abugharbieh,E R Vrscay, G H Freeman (2005), Simultaneous Fractal Image Denoising And Interpolation, 0-7803- 91950/IEEE, 558-561, 2005 [53] Mario Polvere, Michele Nappi (2000), Speed-Up In Fractal Image Coding: Comparison of Methods, IEEE Transactions on Image Processing, 9(6), (2000) 1002 - 1009 [54] Mario Polvere, Michele Nappi (2000), Speed-Up In Fractal Image Coding: Comparison of Methods, IEEE Transaction on Image Processing, Vol 9, No 6, pp 1002-1009, 2000 [55] Meiqing Wanga, Zhehuang Huanga, Choi-Hong Lai (2006), Matching search in Fractal video compression and its parallel implementation in distributed computing environments, Applied Mathematical Modelling 30 (2006), pp 677–687, 2006 [56] Nileshsingh V Thakur, G.H Raisoni, Dr O G Kakde, Visvesvaraya (2007), Color Image Compression with Modified Fractal Coding on Spiral Architecture, Journal of Multimedia, 2(4), pp 55 - 56, 2007 [57] R H H H Dietmar Saupe (1997), Fractal Image Compression An Introductory Overview, 1997 [58] S A R S O C M a H S.Havlin (1995), Fractal in Biology and Medicine, USA, 1995 [59] S Zhu, K Belloulata (2005), A novel object-based Fractal stereo video codec, in Proceedings of the IEEE International Conference on Image Processing (ICIP ’05), vol 1, pp 805–808, Genova, Italy, September 2005 [60] Sumathi Poobal, G.Ravindran (2005), Analysis on the Effect of Tolerance Criteria in Fractal Image Compression, IEEE IST 2005 International Workshop on Imaging Systems and Techniques, pp 119-124, 2005 [61] T W Kăorner (2015), Metric and Topological Spaces, 2015 [62] Texas Instrument (2010), TMS320C55xx Optimizing C/C++ Compiler User’s Guide, August 2010 [63] Veenadevi.S.V, A.G.Ananth (2014), Fractal Image Compression of Satellite Color Imageries Using Variable Size of Range Block, International Journal of Image Processing (IJIP), Volume (8): Issue (1): 2014 118 [64] Ghadah Al-Khafaji (2013), Image Compression based on Quadtree and Polynomial, International Journal of Computer Applications, Volume (76), No (3), 2013 [65] VeenaDevi.S.V, A.G.Ananth (2011), Fractal Image Compression of Satellite Imageries, IJCA, Vol 30, No.3, pp 33-36, 2011 [66] Chandan Singh Rawat, Sukadev Meher (2014), A Hybird Image Compression Scheme using DCT and Fractal Image Compression, The International Arab Journal of Information Technology, Volume (10), No (6), 2014 [67] Virtex-5 Family Overview [68] Viswanath Sankaranarayanan (1998), Fractal Image Compression, 1998 [69] Y Fisher (2012), Fractal Image Compression, University of California, San Diego, 2012 [70] Y W M C J D X Z J K G H X S J M G & K W Jian Shang (2015), Assembling molecular Sierpiński triangle Fractals, 2015 [71] Yung-Gi, wu, Ming-Zhi, Huang, Yu-Ling, Wen (2003), Fractal Image Compression with variance and mean, IEEE International Conference on Multimedia and Expo, Volume 1, pp 353-356, 2003 [72] Z Yao and R Wilson (2004), Hybrid 3D Fractal coding with neighbourhood vector quantisation, EURASIP Journal on Applied Signal Processing, vol 2004, no 16, pp 2571–2579, 2004 [73] Zhuang Wu, Bixi Yan (2004), An effective Fractal image Compression Algorithm, IEEE international Conference on ICCASM, Vol.7, pp 139-143, 2010 119 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN (1) T N Son, O M Hung, D T Xuan, V L Tran, N T Dzung, T M Hoang (2012), “Implementation of Fractal image compression on FPGA” 4th International Conference on Communications and Electronics ICCE 2012, online IEEExplorer, pp.339 - 344, Hue City, Vietnam, 1-3 Aug 2012 (2) Thai Nam Son, Nguyen Tien Dzung, Hoang Manh Thang, Tran V Long (2013), “Efficient implementation of a Fractal color image compression on FPGA”, Vietnam2013 International Conference of Soft Computing and Pattern Recognition (SoCPaR), pp.15-18, Hanoi, Vietnam, December 2013 (3) Thai Nam Son, Nguyen Hoang Giang, Nguyen Tien Dzung, Hoang Manh Thang (2014), “Fast FPGA implementation of YUV based Fractal image compression”, ICCE 2014, online IEEExplorer, pp.440-445, Da Nang, Vietnam, 2014 (4) Thai Nam Son, Thang Manh Hoang, Nguyen Tien Dzung, Nguyen Minh Dung, Pham Ngoc Thang (2014), “Fast implementation of Fractal image Compression”, Journal of scientific research and military technology, pp.88-96, 2014 (5) Thai Nam Son, Nguyen Tien Dzung, Hoang Manh Thang, Nguyen Minh Dung (2015), “Utilization of Fractal compression approach for intra prediction in H.264 standard”, Tạp chí Khoa học Cơng nghệ, 2015 (6) Tuan Anh Pham, Minh Thanh Ha, Thai Nam Son, Vu Duc Ngo, Dung Nguyen Hoang (2015), “Multibin Binary Arithmetic Encoder Architecture in CABAC for HEVC”, Tạp chí Khoa học Công nghệ trường Đại học kỹ thuật, số 107, pp.054-057, 2015 (7) Nguyen Thanh Loi, Nguyen Nam Hai, Thai Nam Son, Ngo Vu Duc, Nguyen Hoang Dung (2015), “Parallel Architecture for De-blocking filter in High Efficiency Video Coding (HEVC)”, European Jounal of Advances in Engineering and Technology, pp.38-43, 2015 120 ... cơng trình nghiên cứu liên quan đến Fractal 35 1.6.1 Các cơng trình nghiên cứu ứng dụng Fractal cho nén hình ảnh 35 1.6.2 Các cơng trình nghiên cứu ứng dụng Fractal cho nén video ... ĐẠI HỌC BÁCH KHOA HÀ NỘI THÁI NAM SƠN NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT FRACTAL VÀO NÉN TRONG ẢNH VIDEO LUẬN ÁN TIẾN SĨ KỸ THUẬT VIỄN THÔNG Chuyên ngành: KỸ THUẬT VIỄN THÔNG Mã số: 62520208 GIẢNG... 37 CHƯƠNG - NÉN HÌNH ẢNH SỬ DỤNG FRACTAL 38 2.1 Nén hình ảnh sử dụng Fractal 38 2.1.1 Nén ảnh xám sử dụng Fractal 38 2.1.2 Nén ảnh màu sử dụng Fractal