Đang tải... (xem toàn văn)
PowerPoint Presentation TRƯỜNG ĐẠI HỌC HỒNG ĐỨC KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG CHUYÊN NGÀNH KHOA HỌC MÁY TÍNH NGHIÊN CỨU CÁC PHƯƠNG PHÁP NÂNG CAO ĐỘ PHÂN GIẢI CỦA ẢNH SỐ Học viên Đỗ Quốc Vươ.
TRƯỜNG ĐẠI HỌC HỒNG ĐỨC KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG CHUN NGÀNH KHOA HỌC MÁY TÍNH NGHIÊN CỨU CÁC PHƯƠNG PHÁP NÂNG CAO ĐỘ PHÂN GIẢI CỦA ẢNH SỐ Học viên: Đỗ Quốc Vương Người hướng dẫn khoa học thứ nhất: PGS, TS Phạm Thế Anh Người hướng dẫn khoa học thứ hai: TS Nguyễn Đình Cơng THANH HĨA - 2021 NỘI DUNG TRÌNH BÀY Mở đầu Ảnh số, thuật toán sử dụng nhằm nâng cao độ phân giải ảnh Triển khai lại số thuật toán nhằm nâng cao độ phân giải ảnh Thảo luận so sánh thuật toán Một số định hướng nghiên cứu MỞ ĐẦU Tính cấp thiết đề tài: Ảnh ban đầu độ phân giải thấp Trích chọn vùng Với ảnh có độ phân giải thấp ảnh hưởng tới chất lượng thao tác như: Trích chọn thơng tin vùng xác định Thơng tin tính tồn vẹn, đơi bị MỞ ĐẦU Tính cấp thiết đề tài: Khi nâng cao độ phân giải ảnh: Thông tin giữ ngun vẹn (bảo tồn thơng tin) Giảm hiệu ứng cưa xuất ảnh có độ phân giải thấp Dễ dàng thao tác tác vụ liên quan tới in ấn MỞ ĐẦU Mục tiêu đề tài: Tìm hiểu nghiên cứu ảnh số, thuật toán sử dụng nhằm nâng cao độ phân giải ảnh Triển khai lại số thuật toán nhằm nâng cao độ phân giải ảnh Thảo luận so sánh thuật toán Đưa số định hướng nghiên cứu Ảnh số, thuật toán sử dụng nhằm nâng cao độ phân giải ảnh Ảnh số (Digital image) tập điểm ảnh thành phần (pixel) cấu trúc thành lưới tọa độ mặt không gian để mô tả hay biểu diễn nội dung liên quan đến cảm nhận trực quan thị giác y (0,0 ) N x y x M f(x,y) Ảnh số, thuật toán sử dụng nhằm nâng cao độ phân giải ảnh Độ phân giải ảnh số (image resolution) thơng tin chứa hình ảnh định hiển thị hình Hay cách khác, độ phân giải ảnh số số lượng tất điểm ảnh chứa hình hiển thị Độ phân giải thấp Độ phân giải cao https://ccideas.com/chatter/high-resolution-images-vs-low-resolution-images-a-short-primer-for-beginners/ Ảnh số, thuật toán sử dụng nhằm nâng cao độ phân giải ảnh Các thuật toán sử dụng nhằm nâng cao độ phân giải ảnh: Thuật toán xử lý ảnh truyền thống: + Nội suy dựa điểm ảnh hàng xóm; + Nội suy tuyến tính; + Nội suy song khối Mạng Nơron tích chập (CNN) + Phương pháp EDSR; + Phương pháp ESPCN; + Phương pháp LapSRN Triển khai lại số thuật toán nhằm nâng cao độ phân giải ảnh Giới thiệu thuật toán nội suy: Nội suy phương pháp ước lượng tính giá trị điểm liệu chưa biết phạm vi tập hợp rời rạc số điểm liệu biết Các liệu nội suy có quan hệ khơng gian với nhau, tức điểm gần có độ tương đồng cao so với điểm xa Hình ảnh sau nội suy mịn so với ảnh ban đầu Triển khai lại số thuật toán nhằm nâng cao độ phân giải ảnh Thuật toán nội suy láng giềng gần nhất: Nội suy láng giềng gần phương pháp nội suy đơn giản sử dụng phổ biến Điểm ảnh lấy giá trị ảnh gốc gần khơng xem xét điểm lân cận khác Khoảng cách hai điểm thường đo khoảng cách Euclid hay khoảng cách Minkowski Triển khai lại số thuật toán nhằm nâng cao độ phân giải ảnh Giới thiệu mạng nơron tích chập (CNN): Về bản, mơ hình mạng CNN gồm có bốn lớp chính: - Lớp tích chập (Convolution layer); - Lớp kích hoạt (Activation layer); - Lớp gộp (pooling layer); - Lớp kết nối đầy đủ (fully-connected layer) https://www.geeksforgeeks.org/introduction-convolution-neural-network/ 12 Triển khai lại số thuật toán nhằm nâng cao độ phân giải ảnh Phương pháp EDSR Bên trái mơ hình mạng ResNet, mơ hình SRResNet, bên phải mơ hình đề xuất EDSR Mơ hình mạng EDSR thay đổi khối dư Lim, B., Son, S., Kim, H., Nah, S., & Mu Lee, K Enhanced deep residual networks for single image super-resolution CVPR (pp 136-144), 2017 13 Triển khai lại số thuật toán nhằm nâng cao độ phân giải ảnh Phương pháp tích chập phần ESPCN Mơ hình SRCNN Mạng sở Mơ hình ESPCN Shi, Wenzhe, et al."Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network."CVPR (pp 1874-1883), 2016 14 Triển khai lại số thuật toán nhằm nâng cao độ phân giải ảnh Phương pháp LapSRN Quá trình nâng độ phân giải ảnh dựa vào phương pháp LapSRN cách thiết kế lối tắt khối dư mơ hình L Wei-Sheng, H Jia-Bin and A Narendra, "Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks," arXiv:1710.01992v3, 2018 15 Thảo luận so sánh thuật toán Thí nghiệm Bộ liệu: Sử dụng liệu DIV2K với 1000 ảnh 16 Thảo luận so sánh thuật tốn Thí nghiệm Thang đo: Sử dụng thang đo MSE PSNR Sai số tồn phương trung bình - MSE (Mean Squared Error) Tỉ số tín hiệu cực đại/nhiễu (PSNR - Peak Signal to Noise Ratio) 17 Thảo luận so sánh thuật tốn Thí nghiệm với phương pháp nội suy liệu DIV2K (PSNR (dB) / SSIM ) Dataset Tập Scale x2 x3 x4 x2 Tập x3 x4 x2 Tập x3 Inter_Nearest 33.66 / 0.9299 Inter_Affine 36.54 / Inter_Bicubic 36.66 / 0.9542 30.39 / 0.8682 0.9544 32.58 / 32.75 / 0.9090 28.42 / 0.8104 0.9088 30.28 / 30.48 / 0.8628 30.24 / 0.8688 0.8603 32.28 / 32.42 / 0.9063 27.55 / 0.7742 0.9056 29.13 / 29.28 / 0.8209 26.00 / 0.7027 0.8188 27.32 / 27.49 / 0.7503 29.56 / 0.8431 0.7491 31.21 / 31.36 / 0.8879 27.21 / 0.7385 0.8863 28.29 / 28.41 / 0.7863 0.7835 18 Thảo luận so sánh thuật tốn Hình ảnh butterfly với độ phân giải thấp nâng cao sử dụng số phương pháp nội suy Inter_Bicubic thể thuật toán mang lại kết tốt nhât 19 Thảo luận so sánh thuật tốn Thí nghiệm với phương pháp sử dụng mạng CNN liệu DIV2K (PSNR (dB) / SSIM ) Dataset Tập Tập Tập Tập Scale LapSRN ESPCN EDSR x2 38.11 / 0.9601 38.11 / 0.9602 38.20 / 0.9606 x3 38.11 / 0.9601 34.66 / 0.9280 34.76 / 0.9290 x4 32.46 / 0.8968 32.50 / 0.8973 32.62 / 0.8984 x8 28.09/ 0.8668 27.86 / 0.8614 27.66 / 0.8611 x2 33.92 / 0.9195 33.85 / 0.9198 34.02 / 0.9204 x3 30.52 / 0.8462 30.44 / 0.8452 30.66 / 0.8481 x4 28.80 / 0.7876 28.72 / 0.7857 28.94 / 0.7901 x8 26.12 / 0.7621 25.52 / 0.7591 25.12 / 0.7461 x2 32.32 / 0.9013 32.29 / 0.9007 32.37 / 0.9018 x3 29.25 / 0.8093 29.25 / 0.8091 29.32 / 0.8104 x4 27.71 / 0.7420 27.72 / 0.7418 27.79 / 0.7437 x8 26.51 / 0.7211 24.42 / 0.7111 24.51 / 0.7011 x2 32.93 / 0.9351 32.84 / 0.9347 33.10 / 0.9363 x3 28.80 / 0.8653 28.79 / 0.8655 29.02 / 0.8685 x4 26.64 / 0.8033 26.67 / 0.8041 26.86 / 0.8080 x8 24.13 / 0.7612 23.53 / 0.7451 23.24 / 0.7312 20 Thảo luận so sánh thuật toán Thí nghiệm với phương pháp sử dụng mạng CNN Kết cắt từ ảnh ban đầu sau nâng cao độ phân giải ảnh gốc lên lần 21 Thảo luận so sánh thuật toán So sánh ưu nhược điểm Phương pháp /So sánh Ưu điểm Nhược điểm Sử dụng phương pháp nội suy Sử dụng mạng nơron tích chập - Dễ triển khai - Các ảnh tạo Độ phức tạp tính tốn với sinh điểm liệu - Mô tả đầy đủ thấp - Thời gian xử lý nhanh trạng thái vật thể bên ảnh -> ảnh trở nên tự nhiên mượt mà - Không tạo liệu - u cầu độ phức tạp tính tốn cao - Làm giảm độ sắc nét - Triển khai thiết bị - Làm giảm tính tự nhiên phần cứng khó khăn (y/c thêm xử lý đồ họa) 22 Thảo luận so sánh thuật toán So sánh ưu nhược điểm Thời gian xử l phương pháp, thí nghiệm thực máy tính MacOs 2.2 GHz Intel Core i7 Phương pháp Bicubic EDSR ESPCN LapSRN Thời gian (giây) 0.0091 30.501 0.049 0.501 EDSR phương pháp yêu cầu thời gian xử lý lâu Ngược lại nội suy song khối ESPCN nằm nhóm có thời gian xử lý nhanh phù hợp với dịch vụ yêu cầu triển khai thời gian thực 23 Một số định hướng nghiên cứu Sử dụng mạng nơron học sâu có khả sinh liệu (GAN - Generative Adversarial Networks) Một số phương pháp gần phát triển dựa mạng GAN, ví dụ nêu tăng kích thước ảnh lên 16 lần 24 Một số định hướng nghiên cứu Phương pháp PULSE [1] trình tăng giảm kích thước ảnh đầu vào để làm giàu thông tin cho không gian nén Latent để nội suy ảnh siêu độ phân giải Hoặc nghiên cứu có nhóm đề xuất phương pháp ILO [2] nhằm tối ưu lớp trung gian mạng Generator đạt kết tốt Việc tiếp tục phát triển nghiên cứu theo hướng kì vọng mang lại kết tốt cho việc nâng cao độ phân giải ảnh [1] M Sachit, D Alexandru and H Shijia, "PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models," CVPR, 2020 [2] D Giannis, D Joseph and J Ajil, "Intermediate Layer Optimization for Inverse Problems using Deep Generative Models," preprint arXiv:2102.07364., 2021 25 XIN CHÂN THÀNH CẢM ƠN ! ... nhằm nâng cao độ phân giải ảnh Triển khai lại số thuật toán nhằm nâng cao độ phân giải ảnh Thảo luận so sánh thuật toán Đưa số định hướng nghiên cứu Ảnh số, thuật toán sử dụng nhằm nâng cao độ phân... giải thấp Độ phân giải cao https://ccideas.com/chatter/high-resolution-images-vs-low-resolution-images-a-short-primer-for-beginners/ Ảnh số, thuật toán sử dụng nhằm nâng cao độ phân giải ảnh Các... gian với nhau, tức điểm gần có độ tương đồng cao so với điểm xa Hình ảnh sau nội suy mịn so với ảnh ban đầu Triển khai lại số thuật toán nhằm nâng cao độ phân giải ảnh Thuật toán nội suy láng