ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC CÔNG NGHỆ NGUYỄN NGỌC SINH PHƯƠNG PHÁP XÁC ĐỊNH CHUYỂN ĐỘNG DỰA TRÊN ĐẶC TÍNH CỦA MẮT NGƯỜI ĐỐI VỚI THÀNH PHẦN XÁM TRONG VIỆC LOẠI BỎ DƯ THỪA VỀ MẶT THỜI GIAN CỦA MÃ HÓA VIDEO MJPEG LUẬN VĂN THẠC SỸ Công nghệ Kỹ thuật Điện tử Truyền thông Hà Nội - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC CÔNG NGHỆ NGUYỄN NGỌC SINH PHƯƠNG PHÁP XÁC ĐỊNH CHUYỂN ĐỘNG DỰA TRÊN ĐẶC TÍNH CỦA MẮT NGƯỜI ĐỐI VỚI THÀNH PHẦN XÁM TRONG VIỆC LOẠI BỎ DƯ THỪA VỀ MẶT THỜI GIAN CỦA MÃ HÓA VIDEO MJPEG Ngành: Công nghệ Kỹ thuật Điện tử Truyền thông Chuyên ngành: Kỹ thuật Điện tử Mã số: 60520203 LUẬN VĂN THẠC SỸ Công nghệ Kỹ thuật Điện tử Truyền thông NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS Trần Xuân Tú Hà Nội - 2016 i LỜI CAM ĐOAN Tôi xin cam đoan luận văn tốt nghiệp: “Phương pháp xác định chuyển động dựa đặc tính mắt người thành phần xám việc loại bỏ dư thừa mặt thời gian mã hóa video MJPEG ” công trình nghiên cứu riêng tác giả Các số liệu, kết trình bày luận văn hoàn toàn trung thực, chưa công bố công trình khác Trong luận văn có dùng số tài liệu tham khảo nêu phần tài liệu tham khảo Tác giả luận văn Nguyễn Ngọc Sinh ii LỜI CẢM ƠN Để hoàn thành luận văn tốt nghiệp này, trước tiên, xin gửi lời cảm ơn chân thành sâu sắc tới người Thầy PGS.TS Trần Xuân Tú Thầy người theo sát tôi, tận tình bảo, góp ý hướng dẫn, định hướng cho suốt trình làm luận văn PTN Trọng điểm Hệ thống Tích hợp Thông minh, Đại học Công nghệ Tôi không học Thầy phương pháp luận nghiên cứu khoa học, tích lũy nhiều học quý báu cách làm việc chuyên nghiệp, lối tư đánh giá việc, kinh nghiệm làm việc quan trọng cho công việc sau Em cảm ơn Thầy nhiều! Tiếp theo, xin gửi lời cảm ơn sâu sắc tới Thầy, Cô anh chị em khoa Điện tử - Viễn thông PTN Trọng điểm Hệ thống Tích hợp Thông minh sẵn sàng giúp đỡ tạo điều kiện tốt cho trình làm luận văn Cuối cùng, xin gửi lời cảm ơn chân thành tới gia đình tôi, người luôn ủng hộ, động viên vật chất lẫn tinh thần để hoàn thành luận văn tốt Mặc dù có nhiều cố gắng, song luận văn hạn chế định Tôi mong nhận góp ý, bảo thầy, cô để hoàn thiện luận văn Tôi xin chân thành cảm ơn Hà Nội, Ngày 28 tháng 12 năm 2016 Học viên Nguyễn Ngọc Sinh MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN II MỤC LỤC DANH MỤC VIẾT TẮT DANH SÁCH HÌNH VẼ DANH SÁCH BẢNG MỞ ĐẦU TÓM TẮT 8 CHƯƠNG MÃ HÓA VIDEO TRONG XU THẾ IOT VÀ CƠ HỘI CHO MÃ HÓA MJPEG 1.1 Tổng quan mã hóa video 1.2 Mã hóa video xu IoT 1.3 Mã hóa video MJPEG 1.3.1 Mã hóa ảnh JPEG 1.3.2 MJPEG mạng cảm biến không dây 1.4 Kết luận chương 10 10 13 14 14 17 18 CHƯƠNG PHƯƠNG I PHÁP XÁC ĐỊNH CHUYỂN ĐỘNG DỰA TRÊN ĐẶC TÍNH CỦA MẮT NGƯỜI ĐỐI VỚI THÀNH PHẦN XÁM TRONG VIỆC LOẠI BỎ 2.1 Dư thừa mặt thời gian 2.2 Các kỹ thuật loại bỏ dư thừa mặt thời gian 2.2.1 Dự đoán khung hình liền kề trước 2.2.2 Dự đoán mô hình ước lượng chuyển động khối 2.2.3 Đồng khung tham chiếu mã hóa giải mã 2.3 Kỹ thuật loại bỏ dư thừa thời gian đề xuất dựa phân tách chuyển động 2.3.1 Thuật toán xác định chuyển động 2.3.2 Đặc tính mắt người thành phần xám khả áp dụng cho phân tách chuyển động 2.4 Phương pháp xác định chuyển động dựa đặc tính mắt người thành phần xám việc loại bỏ dư thưa mặt thời gian mã hóa MJPEG 2.4.1 Nguyên lý hoạt động 2.4.2 Sơ đồ mã hóa chi tiết 2.5 Kết luận chương DƯ THƯA VỀ MẶT THỜI GIAN CỦA MÃ HÓA MJPEG 19 19 19 20 21 21 23 24 24 27 28 29 32 CHƯƠNG MÔ PHỎNG VÀ ĐÁNH GIÁ PHƯƠNG ÁN ĐỀ XUẤT 3.1 Thông số đánh giá 3.1.1 Tỷ lệ nén 3.1.2 Chất lượng hình ảnh giải mã PSNR 3.1.3 Độ phức tạp 3.2 Mô đánh giá kết 3.2.1 Kịch mô 3.2.2 Kết mô KẾT LUẬN 33 33 33 33 34 34 35 36 44 DANH MỤC CÁC CÔNG TRÌNH CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN VĂN TÀI LIỆU THAM KHẢO 45 46 DANH MỤC VIẾT TẮT 4:2:0 4:2:2 4:4:4 Phương pháp lấy mẫu theo tỷ lệ 4:2:0; thành phần màu chiều ngang chiều dọc lấy mẫu 1/2 thành phần xám Phương pháp lấy mẫu mà thành phần màu chiều dọc lấy mẫu 1/2 thành phần xám Phương pháp lấy mẫu mà thành phần màu lấy mẫu với số mẫu thành phần xám DCT Discrete Cosine Transform GOP Group of Picture, nhóm khung hình mã hóa H.261 Chuẩn mã hóa video H.261 H.264/AVC H.264 Advance Video Codec HEVC High Efficient Video Codec IOT ISO ITU Internet of Thing International Standards Organization Một liên đoàn toàn giới quan tiêu chuẩn từ khoảng 140 quốc gia Homepage at: http://www.iso.ch International Telecommunications Union Tổ chức quốc tế thuộc hệ thống Liên Hợp Quốc, nơi phủ khu vực tư nhân phối hợp mạng dịch vụ viễn thông toàn cầu Homepage at: http://www.itu.int JPEG Joint Photographic Experts Group Cộng đồng phát triển chuẩn nén ảnh JPEG JPEG2000 Homepage at: http://www.jpeg.org MJPEG Motion Joint Photographic Experts Group 4 MPEG Motion Picture Experts Group Cộng đồng phát triển MPEG Homepage at: http://www.chiariglione.org/mpeg PNG PSNR Portable Network Graphics Peak Signal to Noise Ratio UBICOMP Ubiquitous computing 5 DANH SÁCH HÌNH VẼ Hình 1.1 Hình 1.2 Hình 1.3 Hình 1.4 Hình 1.5 Tỷ lệ nén số chuẩn mã hóa video thông dụng Sơ đồ lịch sử phát triển nén video từ 1990 [1] Giải pháp tiền xử lý cho camera mạng cảm biến không dây Mã hóa JPEG Phân bố lượng ma trận 8x8 sau DCT [2] 11 12 13 14 16 Hình 2.1 Hình 2.2 Hình 2.3 Hình 2.4 Hình 2.5 Hình 2.6 Hình 2.7 Hình 2.8 Hình 2.9 Hình 2.10 Hình 2.11 Ba khung hình liên tiếp video Khung hình 1(trái), 2(phải) Khung hình sai khác Sơ đồ đồng khung tham chiếu mã hóa giải mã Nguyên lý đề xuất Cấu trúc mắt người (Encyclopedia Britannica, 1994) Toàn sắc thái xám ảnh bit bit Kết sử dụng đặc tính mắt người Nguyên lý mã hóa Nguyên lý giải mã Sơ đồ mã hoá chi tiết 19 20 20 22 24 25 26 27 28 28 29 Hình 3.1 Hình 3.2 Hình 3.3 Hình 3.4 Hình 3.5 Hình 3.6 Hình 3.7 Hình 3.8 Hình 3.9 Hình 3.10 Sơ đồ cho kịch đánh giá Khung hình mã hóa - giải mã video akiyo Khung hình mã hóa - giải mã video container Khung hình mã hóa - giải mã video foreman Khung hình mã hóa -giải mã video hall Khung hình mã hóa -giải mã video news Khung hình mã hóa -giải mã video soccer Kết nén video mẫu QP[5-95] Tỷ lệ nén inter-intra video mẫu Kết PSNR tỷ lệ nén video mẫu 35 36 37 37 38 38 39 40 41 42 42 hình inter luôn cao so với khung hình intra Đối với video tồn nhiều chuyển động Soccer, khung hình inter đạt tỷ lệ nén gấp 1.5 lần so với khung hình intra Tuy nhiên, tỷ lệ đạt vài chục lần đến trăm lần có video tồn chuyển động Akiyo Chỉ số PSNR tỷ lệ nén tương ứng phương pháp mã hóa MJPEG 50 50 diff modi xbit conv 45 45 40 35 PSNR 40 PSNR diff modi xbit conv (c) snn 35 30 30 25 25 20 (c) snn 20 20 40 60 80 Compression Ratio 100 120 140 20 (a) Akiyo video 40 60 80 Compression Ratio 100 120 140 (b) Container video 45 50 diff modi xbit conv 40 diff modi xbit conv 45 40 PSNR PSNR 35 (c) snn 35 (c) snn 30 30 25 25 20 20 20 40 60 80 Compression Ratio 100 120 140 (c) Foreman video 20 40 60 80 Compression Ratio 100 120 140 (d) Hall monitor video 50 45 diff modi xbit conv 45 diff modi xbit conv 40 40 PSNR PSNR 35 35 (c) snn (c) snn 30 30 25 25 20 20 20 40 60 80 Compression Ratio (e) News video 100 120 140 20 40 60 80 Compression Ratio 100 120 140 (f) Soccer video Hình 3.10: Kết PSNR tỷ lệ nén video mẫu Hình 3.10 trình bày PSNR tỷ lệ nén tương ứng 10 khung hình đầu với 43 thuật toán nén video khác Bên cạnh việc so sánh tỷ lệ nén phương pháp mã hóa dựa MJPEG điểm QP giống việc so sánh tỷ lệ nén chất lượng ảnh (ví dụ PSNR) quan trọng Bởi mã hóa sử dụng kỹ thuật khác để đạt tỷ lệ nén mong muốn nên dư thừa loại bỏ khác Hơn nữa, mục tiêu cuối mã hóa đạt tỷ lệ nén cao mà đảm bảo tính đắn video sau giải mã Theo Hình 3.10, MJPEG có khả đạt PSNR cao Tất điều xuất phát từ thực tế MJPEG không loại bỏ dư thừa mặt thời gian nên kết video sau giải mã chịu ảnh hưởng lượng tử hóa Tuy nhiên, so sánh số PSNR, MJPEG có tỷ lệ nén thấp Các mã hóa có kỹ thuật loại bỏ dư thừa thời gian có tỷ lệ nén cao PSNR có nhiều dư thừa loại bỏ có khả khôi phục tốt hơn(dư thừa mặt thời gian) Những kỹ thuật loại bỏ nhiều dư thừa có tỷ lệ nén cao PSNR Độ phức tạp Bảng 3.4: Số phép tính thuật toán Zipfian, biến đổi DCT thuận, Lượng tử phương pháp đề xuất khối 8x8 [3] Phép tính Zipfian FDCT Lượng tử hóa Đề xuất Cộng/Trừ 200 928 64 ≤ 64 Nhân 192 64 Dịch 20 128 0 Bảng 3.4 trình bày số lượng phép tính sử dụng cho khối 8x8 Trong đó, Zipfian số lượng phép tính DCT, lượng tử trích xuất từ báo [3] Giá trị số lượng phép tính cộng/trừ phương án để xuất nhỏ 64 phép tính xuất phát từ công thức 2.9 - 2.10 số lượng điểm ảnh khối 64 Theo công thức 2.9, điểm ảnh tiêu tốn phép trừ để tính sai khác Công thức 2.10 trạng thái khối xác định mà không cần đến việc tính sai khác cho toàn điểm ảnh Như trình bày Bảng 3.4, số lượng phép tính cho khối thuật toán Zipfian hẳn so với biến đổi DCT thuận lượng tử Trong báo cáo [3], video có số lượng khối tĩnh nhiều 60%, MJPEG Zipfian có số lượng phép tính toán nhỏ so với MJPEG truyền thống Mặc dù vậy, Zipfian yêu cầu số lượng phép tính nhiều hẳn phương án để xuất, số khoảng lần  ... NGHỆ NGUYỄN NGỌC SINH PHƯƠNG PHÁP XÁC ĐỊNH CHUYỂN ĐỘNG DỰA TRÊN ĐẶC TÍNH CỦA MẮT NGƯỜI ĐỐI VỚI THÀNH PHẦN XÁM TRONG VIỆC LOẠI BỎ DƯ THỪA VỀ MẶT THỜI GIAN CỦA MÃ HÓA VIDEO MJPEG Ngành: Công nghệ... cho phân tách chuyển động 2.4 Phương pháp xác định chuyển động dựa đặc tính mắt người thành phần xám việc loại bỏ dư thưa mặt thời gian mã hóa MJPEG 2.4.1 Nguyên lý hoạt động ... xin cam đoan luận văn tốt nghiệp: Phương pháp xác định chuyển động dựa đặc tính mắt người thành phần xám việc loại bỏ dư thừa mặt thời gian mã hóa video MJPEG ” công trình nghiên cứu riêng tác