sử dụng phương pháp tối ưu tương tự cục bộ để xử lý và phục hồi ảnh

Đầu vào và đầu ra của thuật toán khôi phục ảnh dùng bản vá với điều kiện tối ưu địa phương... Một số tiêu chí dùng để đánh giá Các thuật toán khôi phục ảnh bằng bản vá sẽ được trình bày

i

LỜI CAM ĐOAN

Những nội dung được trình bày trong luận văn là những kiến thức của riêng cá nhân tôi tích luỹ trong quá trình học tập, nghiên cứu, không sao chép lại của một công trình nghiên cứu hay luận văn của bất cứ tác giả nào

Trong nội dung của luận văn, những phần tôi nghiên cứu, trích dẫn đều được nêu trong các tài liệu tham khảo, có nguồn gốc, xuất xứ tên tuổi của các tác giả và nhà xuất bản rõ ràng

Những điều tôi cam kết hoàn toàn là sự thật, nếu sai, tôi xin chịu mọi hình thức kỷ luật theo quy định

Tác giả luận văn

Lê Đình Khánh

1.1.1 Khái niệm về điểm ảnh và ảnh 4

1.1.2 Khái niệm mức xám của ảnh 5

1.1.3 Ảnh đen trắng 5

1.1.4 Ảnh màu 6

1.1.5 Các mối liên hệ giữa các tính chất ảnh 8

1.1.6 Các lân cận của điểm ảnh và mối liên kết giữa chúng 9

1.1.7 Đo khoảng cách giữa các điểm ảnh 10

1.2.7 Phương pháp khôi phục ảnh dùng kim tự tháp mờ Gaussian 18

1.2.8 Phương pháp khôi phục ảnh dùng bộ lọc Median 19

1.2.9 Phương pháp khôi phục ảnh nhanh dựa vào bộ lọc 20

1.2.10 Khôi phục ảnh dùng biến phân từng phần PDE 21

1.2.11 Khôi phục ảnh dùng phương trình Navier-Stokes 22

iii

1.2.12 Khôi phục ảnh dùng tổng biến thể 22

1.3 Một số tiêu chí dùng để đánh giá chất khôi phục ảnh 23

1.3.1 Tổng quan về tiêu chí đánh giá chất lượng ảnh 23

1.3.2 Sai số bình phương trung bình (MSE) 23

1.3.3.Tỷ lệ tín hiệu trên tín hiệu tạp (PSNR) 23

2.7 Khôi phục ảnh dùng bản vá với độ thưa 33

2.8 Khôi phục ảnh dùng kết hợp bản vá và biến phân từng phần PDE 34 2.9 Các phương pháp khôi phục ảnh bằng bản vá khác 35

2.10 Khôi phục ảnh dùng bản vá với điều kiện tối ưu địa phương 37

2.10.1 Bước tiền xử lý ảnh màu 37

2.10.2 Phát biểu bài toán phôi phục ảnh bằng bản vá 38

2.10.3 Điều kiện tối ưu địa phương 39

2.10.4 Thuật toán 40

2.10.5 Đầu vào và đầu ra của thuật toán khôi phục ảnh dùng bản vá với điều kiện tối ưu địa phương 42

2.11 Kết luận chương 2 43

CHƯƠNG 3: CÀI ĐẶT THỬ NGHIỆM 44

vi

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1: Không gian màu và các màu cơ bản 7

Hình 2: Các màu cơ bản của hệ màu CMY 7

Hình 3: Không gian màu HSV 8

Hình 4: Biến đổi Forier nghịch đảo 13

Hình 5: Khôi phục ảnh dụng phép chập Fourier 14

Hình 6: Wavelets – Các sóng nhỏ 15

Hình 7: Khôi phục ảnh bằng phương pháp Quick Pixon 16

Hình 8: Khôi phục ảnh bằng phương pháp thống kê 18

Hình 9: Khôi phục ảnh dùng kim tự tháp mờ Gaussian 19

Hình 10: Khôi phục ảnh Median theo các hướng 20

Hình 11: Các giá trị của tỷ lệ tín hiệu trên tạp PSNR 24

Hình 12: Khôi phục ảnh dùng phương pháp Fish 28

Hình 13: Khôi phục ảnh dùng vùng mẫu: xác định mẫu tại p 30

Hình 14: Khôi phục ảnh dùng vùng mẫu 30

Hình 15: Khôi phục ảnh dùng bản vá có kết cấu 31

Hình 16: Khôi phục ảnh dùng độ thưa : Bộ từ điển hình học và bộ từ điển kết cấu 34

Hình 17: Tách trong không gian Vector 38

Hình 18: Khôi phục ảnh dùng bản vá tối ưu cục bộ 42

Hình 19: Khôi phục ảnh dùng bản vá tối ưu cục bộ 43

Hình 20: Ảnh gốc và mặt nạ 45

Hình 21: Kiểm tra phần biên của mặt nạ 46

Hình 22: Kiểm tra phần biên của mặt nạ 47

Hình 23: Ảnh gốc và sau khi hồi phục 48

Hình 24: Khôi phục phần có kết cấu mạnh 49

vii

Hình 25: Lỗi khôi phục phần có kết cấu phức tạp 49

Hình 26: Khôi phục kết cấu yếu, tốt 50

Hình 27: Khôi phục kết cấu yếu, có lỗi 50

Hình 28: Khôi phục kết cấu phức tạp, ít lỗi 51

Hình 29: Khôi phục kết cấu phức tạp, ít lỗi 52

Hình 30: Khôi phục kết cấu phức tạp, ít lỗi 53

Hình 31: Khôi phục ảnh kết cấu phức tạp 53

Hình 32: So sánh kết quả các phương pháp 54

1

MỞ ĐẦU 1 Lý do chọn đề tài

Khôi phục ảnh (inpainting) là quá trình xây dựng lại các bộ phận bị mất hoặc xuống cấp của ảnh và video Trong trường hợp một bức tranh có giá trị, nhiệm vụ này sẽ được thực hiện bởi một nghệ sĩ có tay nghề cao phục hồi tranh Trong thế giới công nghệ thông tin, khôi phục ảnh đề cập đến việc áp dụng các thuật toán phức tạp để thay thế các bộ phận dữ liệu ảnh bị mất hoặc bị hỏng

Khôi phục ảnh có liên quan đến việc loại bỏ nhiễu, và đôi khi các thuật toán sử dụng các ý tưởng loại nhiễu, nhưng về cơ bản khôi phục ảnh là một vấn đề khác vấn đề loại nhiễu Vùng nhiễu thường có một số thông tin của ảnh gốc nhưng trong khôi phục ảnh, một số vùng bị mất hoàn toàn dữ liệu ảnh gốc

2 Mục đích và phạm vi nghiên cứu

Trọng tâm của luận văn này là tìm hiểu các vấn đề liên quan đến việc khôi phục ảnh, nghiên cứu một số thuật toán khôi phục ảnh và tập trung tìm hiểu thuật toán tổng hợp để tạo ra các vùng ảnh lớn từ các kết cấu mẫu, và kỹ thuật lấp đầy những khoảng trống ảnh nhỏ Trong đó các giá trị màu sắc được tính toán tổng hợp dựa trên mẫu Thuật toán sẽ được thực nghiệm với chương trình sử dụng ngôn ngữ C++, MathLab

3 Đóng góp mới của luận án

Trong một số nghiên cứu của các tác giả trước đó về vấn đề khôi phục ảnh chỉ dừng ở mức khôi phục các loại ảnh bị mờ, bị nhiễu hoặc là khôi phục khi ảnh bị mất 1 vùng ảnh Luận án nghiên cứu tổng hợp thuật toán khi ảnh kể cả mờ nhiễu hoặc bị mất một phần dữ liệu ảnh

2

4 Phương pháp nghiên cứu

Đi từ nghiên cứu cơ bản về ảnh, về các phương pháp khôi phục ảnh hiện có Từ đó đề xuất thuật toán tối ưu cục bộ để xử lý và khôi phục lại ảnh gốc

5 Bố cục luận văn

Ngoài phần mở đầu và kết luận, luận văn được chia làm 3 chương, luận văn có các chương như sau:

CHƯƠNG 1:TỔNG QUAN VỀ BÀI TOÁN KHÔI PHỤC ẢNH

Trình bày các khái niệm về ảnh, điểm ảnh các loại format ảnh và các công cụ xử lý ảnh hiện có Trình bày các vấn đề đặt ra cần giải quyết trong bài toán khôi phục ảnh, các hướng tiếp cận chính xử lý nhiễu ảnh và khôi phục phần ảnh bị mờ hoặc bị mất Trình bày một số phương pháp khôi phục ảnh dựa vào hàm Gaussian, khôi phục ảnh nhanh, khôi phục ảnh Bertalmio Một số phương pháp khôi phục ảnh khác Một số tiêu chí dùng để đánh giá

Các thuật toán khôi phục ảnh bằng bản vá sẽ được trình bày trong mối liên hệ với thuật toán khôi phục ảnh bằng bản vá với tối ưu địa phương

Các thuật toán khôi phục ảnh bằng bản vá có khả năng lấp khoảng trống ảnh bằng cách tổng hợp các vùng ảnh từ một vùng khác Phương pháp này được gọi là vá, bởi vì trong mỗi lần điền thông tin, thuật toán điền một mảng các điểm ảnh, chứ không chỉ là một điểm ảnh duy nhất như trong phương pháp dùng biến phân từng phần

3

CHƯƠNG 3:THỰC NGHIỆM VÀ ĐÁNH GIÁ

Trình bày về việc cài đặt chương trình, xây dựng dữ liệu thực nghiệm với thuật toán khôi phục ảnh có khả năng lấp khoảng trống ảnh bằng cách tổng hợp các vùng ảnh từ bản vá, dựa vào độ tương tự cục bộ, các quá trình thực nghiệm, kết quả

Phần này báo cáo kết quả thử nghiệm sử dụng phương pháp khôi phục ảnh dùng bản vá tối ưu độ tương tự cục bộ

Đầu vào của thuật toán là một ảnh gốc, một mặt nạ

Đầu ra là ảnh được khôi phục ở các phần đánh dấu trong mặt nạ

Mã nguồn có từ Jun Zhou và Antonio Robles-Kelly, Canberra Research Lab, NICT, Australia

So sánh kết quả đạt được với các phương pháp khác Kết luận với những kết quả thực nghiệm đạt được

4

CHƯƠNG 1:

TỔNG QUAN VỀ BÀI TOÁN KHÔI PHỤC ẢNH 1.1 Định nghĩa các tính chất cơ bản về ảnh

1.1.1 Khái niệm về điểm ảnh và ảnh

Trong kỹ thuật ảnh kỹ thuật số, một pixel hay điểm ảnh (tiếng Anh: pixel hay pel, viết tắt picture element) là một điểm vật lý trong một hình ảnh raster, hoặc một khối màu rất nhỏ và là đơn vị cơ bản nhất để tạo nên một bức ảnh kỹ thuật số Địa chỉ của một điểm ảnh tương ứng với tọa độ vật lý ITS.Pixel LCD được sản xuất trong một mạng lưới hai chiều, và được sử dụng dấu chấm hoặc đại diện hình vuông trong thường, nhưng điểm ảnh CRT tương ứng với cơ chế thời gian của chúng và tỷ lệ quét.1 pixel không có kích thước cố định[1][2]

Mỗi điểm ảnh là một mẫu của một hình ảnh ban đầu, nhiều điểm ảnh hơn thường cung cấp đại diện chính xác hơn của bản gốc Cường độ của mỗi điểm ảnh có thể thay đổi Hình ảnh trong hệ thống màu sắc, màu sắc thường là ba hoặc bốn đại diện trong cường độ thành phần như màu đỏ, xanh lá cây, và màu xanh, hoặc màu lục lam, đỏ tươi, màu vàng, và màu đen Hầu hết các chương trình ứng dụng đồ họa đều diễn tả độ phân giải của hình ảnh bằng pixel dimensions - kích thước pixel, với số đo chiều ngang đi trước Mỗi pixel gồm một cặp toạ độ x, y và màu.Cặp toạ độ x, y tạo nên độ phân giải (resolution) Như màn hình máy tính có nhiều loại với độ phân giải khác nhau: màn hình CGA có độ phân giải là 320 x 200; màn hình VGA là 640 x 350,…

Ảnh trong thực tế là một ảnh liên tục về không gian và về giá trị độ sáng Để có thể xử lý ảnh bằng máy tính cần thiết phải tiến hành số hoá ảnh Trong quá trình số hoá, người ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc

5

thông qua quá trình lấy mẫu (rời rạc hóa về không gian) và lượng hoá thành phần giá trị mà thể về nguyên tắc bằng mắt thường không phân biệt được hai điểm kề nhau

Như vậy, một ảnh là một tập hợp các điểm ảnh Khi được số hoá, nó thường được biểu diễn bởi bảng hai chiều I(n,p): n dòng và p cột Ta nói ảnh gồm n, x, p pixels Người ta thường kí hiệu I(x,y) để chỉ một pixel Thường giá trị của n chọn bằng p và bằng 256 Một pixel có thể lưu trữ trên 1, 4, 8 hay 24 bit

Ảnh có thể được định nghĩa là một hàm 2 chiều f(x, y) , trong đó x và y là các tọa độ trong không gian (spatial) hoặc mặt phẳng (plane), và độ lớn (amplitude) của hàm f được gọi là độ sáng (intensity) hay độ xám (gray level) của ảnh tại điểm đó Các dạng ảnh gồm 2 loại ảnh màu và ảnh xám.Ảnh màu là ảnh tại mỗi điểm là cấu trúc gồm nhiều kênh màu khác nhau Ảnh có thể được mô tả phương trình vi phân từng phần (Partial differential equation -PDE)

1.1.2 Khái niệm mức xámcủa ảnh

Mức xám là kết quả của sự mã hóa tương ứng với một cường độ sáng của mỗi điểm ảnh với một giá trị số, kết quả của quá trình lượng tử hóa Cách mã hóa kinh điển là dùng 16, 32 hay 64 mức Mã hóa 256 mức được dùng phổ biến Do 28 = 256 nên mỗi pixel được mã hóa bởi 8 bit

1.1.3 Ảnh đen trắng

Thực tế ảnh đen trắng gồm có ảnh nhị phân và ảnh đa cấp xám Chúng ta phân biệt sự biến đổi thành L mức Nếu L bằng 2, nghĩa là chỉ có hai mức 0 và 1 còn gọi là ảnh nhị phân Nếu L lớn hơn hai mức ta có ảnh đa cấp xám Việc xác định số mức phụ thuộc vào tiêu chí lượng tử hóa L thường được chọn bằng 32, 64, 128 và 256 Trong đó ảnh đa cấp xám 256 mức là ảnh có chất lượng cao và thường được sử dụng

6

Với ảnh nhị phân, mỗi pixel được mã hóa trên một bit Còn với ảnh xám 256 mức được mã hóa trên 1 byte = 8 bit Ảnh nhị phân khá đơn giản, các phần tử ảnh có thể coi như phần tử logic Ảnh nhị phân được dùng theo tính logic, để phân biệt ảnh với nền hay đơn giản để phân biệt biên với điểm khác

1.1.4 Ảnh màu

Màu sắc của một tia sáng là cảm giác mà tia sáng đó gây nên ở mắt người Màu sắc của vật thể là màu của ánh sáng phát từ chúng Ánh sáng này nằm trong dải phổ nhìn thấy (visible)

Tùy theo ngữ cảnh nhất định mà ảnh màu được diễn tả theo những mô hình màu khác nhau Không có mô hình màu nào là đầy đủ cho mọi khía cạnh của màu Do đó người ta sử dụng những mô hình màu khác nhau để mô tả các tính chất được nhận biết khác nhau của màu

Ví dụ:

+ Mô hình màu RGB: ánh sáng Red, Green, Blue ứng dụng cho màn hình TV

+ Mô hình HSV: Nhận thức con người + Mô hình CYK: Máy in

Chúng ta đi sâu vào một số mô hình màu sau: - Mô hình màu RGB

Theo lý thuyết màu do Thomas đưa ra từ năm 1802, mọi màu đều có thể tổ hợp từ ba màu cơ bản: Đỏ (Red), Lục (Green), Lam (Blue) Ba màu này là các màu cơ bản của hệ màu cộng (Additive Color System) Hệ màu RGB dựa trên cơ sở hệ thống tọa độ Cartesian – hệ thống tọa độ Decac: mỗi màu cơ bản đều được mã hóa bởi 8 bit, vậy với ba màu phối hợp nhau tạo thành 224 = 16.777.216 màu thứ cấp mà mắt người có thể cảm nhận được Ảnh màu được lưu trữ từng màu riêng biệt như ảnh đa cấp xám Ứng với một pixel của ảnh

7

màu sẽ chiếm 3 byte, do đó ảnh màu sẽ chiếm bộ nhớ gấp ba lần ảnh đa cấp xám cùng kích thước

Hình 1: Không gian màu và các màu cơ bản

- Mô hình màu CMY:

Gồm ba màu cơ bản: Xanh Lơ (Cyan), Tím (Magenta), Vàng (Yellow), là bù màu của không gian màu RGB, còn gọi là hệ màu trừ (Subtractive Color System) Mối quan hệ giữa hai không gian:

C = 1 – R M = 1 – G Y = 1 – B

- Mô hình màu HSV (Hue, Saturation, Value) :

Dựa trên cảm nhận màu sắc của con người Ánh sáng màu là tổ hợp của ánh sáng đơn sắc Mắt người chỉ có thể cảm nhận được vài chục màu, song lại có thể phân biệt tới hàng ngàn màu Mô hình HSV suy diễn từ mô hình RGB:

Hình 2: Các màu cơ bản của hệ màu CMY

8

hãy quan sát hình hộp RGB theo đường chéo từ White đến Black (gốc)  ta có hình chóp nón, sử dụng làm đỉnh hình nón HSV

- Có ba thuộc tính chủ yếu trong cảm nhận màu:

+ Hue: bước sóng của ánh sáng, được biểu diển bằng góc từ 0 – 3600 giúp ta phân biệt các màu khác nhau

+ Saturation: độ bão hòa, đo độ tinh khiết của ánh sáng gốc S nằm trong khoảng [0-1]

+ Value (brightness): cường độ hay độ chói ánh sáng V có giá trị trong khoảng [0-1], V = 0 có màu đen

- Mô hình HSV trực giác hơn mô hình RGB Bắt đầu từ Hue (H cho trước và V=1, S=1) Thay đổi S: bổ sung hay bớt trắng; thay đổi V: bổ sung hay bớt đen đến khi có màu mong muốn

Hình 3: Không gian màu HSV

1.1.5 Các mối liên hệ giữa các tính chất ảnh

Trong biểu diễn ảnh, người ta thường dùng các phần tử đặc trưng của ảnh là pixel Nhìn chung có thể xem một hàm hai biến chứa các thông tin như biểu diễn của một ảnh Các mô hình biểu diễn ảnh cho ta một mô tả lô gic hay định lượng các tính chất của hàm này Trong biểu diễn ảnh cần chú ý đến tính

9

trung thực của ảnh hoặc các tiêu chuẩn “thông minh” để đo chất lượng ảnh hoặc tính hiệu quả của các kỹ thuật xử lý

Việc xử lý ảnh số yêu cầu ảnh phải được mẫu hoá và lượng tử hoá.Thí dụ một ảnh ma trận 512 dòng gồm khoảng 512 x 512 pixel Việc lượng tử hoá ảnh là chuyển đổi tín hiệu tương tự sang tín hiệu số (Analog Digital Convert) của một ảnh đã lấy mẫu sang một số hữu hạn mức xám

Một số mô hình thường được dùng trong biểu diễn ảnh: Mô hình toán, mô hình thống kê Trong mô hình toán, ảnh hai chiều được biểu diễn nhờ các hàm hai biến trực giao gọi là các hàm cơ sở.Các biến đổi này sẽ trình bày kỹ trong chương

Với mô hình thống kê, một ảnh được coi như một phần tử của một tập hợp đặc trưng bởi các đại lượng như: kỳ vọng toán học, hiệp biến, phương sai, moment

1.1.6 Các lân cận của điểm ảnh và mối liên kết giữa chúng

Giả sử một ảnh số được biểu diễn bằng hàm f(x,y), p và q là cặp điểm ảnh có quan hệ với nhau, điểm ảnh p có tọa độ (x,y) Định nghĩa các lân cận

của điểm ảnh

Lân cận 4 hướng Nam, Bắc, Tây và Đông của p kí hiệu N4(p):

N4(p)={(x-1,y);(x,y-1);(x,y+1);(x+1,y)} (1.1)

Lân cận chéo của p coi như lân cận chéo là 4 hướng: Đông – Nam, Đông – Bắc, Tây – Nam, Tây – Bắc kí hiệu Np(p):

Np(p)={(x+1,y+1);(x+1,y-1);(x-1,y+1);(x-1, y-1)} (1.2)

Lân cận 8 của p kí hiệu N8(p):

N8(p) = N4(p) + Np(p) (1.3)

Các mối liên kết được sử dụng để xác định giới hạn của đối tượng hoặc xác định vùng trong một ảnh Một liên kết được đặc trưng bởi tính liền kề giữa các điểm và mức xám của chúng

10 Có ba loại liên kết:

Liên kết 4: Hai điểm ảnh p và q được gọi là liên kết 4 nếu q thuộc N4(p)

Liên kết 8: Hai điểm ảnh p và q được gọi là liên kết 8 nếu q thuộc N8(p)

Liên kết m (liên kết hỗn hợp): Hai điểm ảnh p và q được gọi là liên kết hỗn hợp nếu q thuộc N4(p) hoặc q thuộc N8(p)

1.1.7 Đo khoảng cách giữa các điểm ảnh

Khoảng cách D(p, q) giữa hai điểm ảnh p có tọa độ (x, y), q có tọa độ

(s, t) là hàm khoảng cách (Distance) nếu:

D(p, q) ≥ 0 (Với D(p, q)=0 khi và chỉ khi p=q) D(p, q) = D(q, p)

D(p, z) ≤ D(p, q) + D(q, z); z là một điểm ảnh khác

Khoảng cách Euclide giữa hai điểm ảnh p(x, y) và q(s, t) được định

nghĩa như sau:

De(p, q) = [(x - s)2 + (y - t)2]1/2 (1.4)

1.1.8 Các định dạng cơ bản

- Ảnh BMP (Bitmap): Là ảnh được mô tả bởi một ma trận các giá trị số xác định màu và bảng màu của các điểm ảnh tương ứng khi hiển thị Ưu điểm của ảnh Bitmap là tốc độ vẽ và tốc độ xử lý nhanh Nhược điểm của nó là kích thước rất lớn Cấu trúc lưu trữ của ảnh BMP:

11

4 Byte offset in file where image begin

(Kích thước vùng Information và Header) 54

Windows 3 Bitmap Header

2 Number of iImage planes, must be 1

4 Size in byte of compressed image, or 0 4 Horizontal resolution, in pixels/meter 4 Vertical resolution, in pixels/meter

4 Number of “important” colors

Với ảnh 24-bits không có Colors palette

12

- Thông tin điểm ảnh lưu trữ ngược với ảnh hiển thị, tức là điểm ảnh ở cuối file ảnh là điểm ảnh sẽ được hiển thị ở góc trên bên trái màn hình và điểm ảnh ở đầu phần dữ liệu của file ảnh sẽ là điểm ảnh hiển thị ở góc dưới bên phải màn hình

Quá trình phát triển của kỹ thuật xử lý ảnh tồn tại nhiều định dạng khác nhau từ ảnh đen trắng IMG cho đén ảnh đa cấp xám, ảnh màu: PCX, GIF, JPEG…

- Ảnh IMG: là ảnh đen trắng.Phần đầu của ảnh IMG có 16 byte chứa các thông tin cần thiết của ảnh Ảnh IMG được nén theo từng dòng Mỗi dòng bao gồm các gói, các dòng giống nhau cũng được nén thành các gói Toàn bộ ảnh chỉ gồm có những điểm sáng và điểm tối là các bit 0 hoặc 1

- Ảnh PCX: là một trong những định dạng cổ điển nhất.Nó sử dụng loạt mã dài RLE để nén dữ liệu ảnh.Quá trình nén và giải nén được thực hiện trên từng dòng ảnh.Thực tế phương pháp nén PCX kém hiệu quả hơn kiểu IMG

- Ảnh GIF: có lợi về không gian lưu trữ, với ảnh đen trắng kích thước tệp có thể nhỏ hơn bản gốc từ 5-7 lần; với ảnh 16 màu, kích thước nhỏ hơn ảnh gốc 2-3 lần, có trường hợp xấp xỉ ảnh gốc Tuy nhiên với ảnh 256 màu thì nó bộc lộ khả năng nén rất kém

13

- Ảnh JPEG: sử dụng chuẩn nén cho ảnh tone liên tục Tiêu chuẩn này có thể được ứng dụng trong nhiều lĩnh vực: lưu trữ ảnh, truyền bá báo chí, ảnh y học, camera số

1.2 Một số phương pháp khôi phục ảnh

Việc khôi phục ảnh là rất khó bởi sự thay đổi bất thường đáng kể trong ảnh như thay đổi nhỏ trong dữ liệu ảnh có thể mờ.Sự thay đổi bất thường của nhiễu có thể gây ra sự nhầm lẫn với tín hiệu thực Đã có nhiều nghiên cứu ứng dụng tìm các giải pháp khôi phục ảnh bị mờ và nhiễu bằng cách tìm ra toán tử chập nghịch đảo (phép chập) và tìm ra ảnh ban đầu trước khi bị mờ và nhiễu Chương này tìm hiểu một số phương pháp khôi phục ảnh đối với một số ảnh bị mờ hoặc mất một số dữ liệu

1.2.1 Phương pháp Fourier nghịchđảo

Hình 4: Biến đổi Forier nghịch đảo

Phép chập Fourier là một trong những phương pháp lâu đời nhất và là phương pháp thuộc loại nhanh nhất Sử dụng một biến đặc thù của phép chập Fourier có thể làm giảm nhiễu

Biến này có thể được tính toán một cách hiệu quả nhờ sử dụng các

14

biến đổi Fourier nhanh Nhưng kỹ thuật Phép chập Fourier bị phá vỡ khi có độ nhiễu cao Độ nhiễu trong dữ liệu được khuếch đại đáng kể bởi phép chập và tạo ra các đối tượng giả Mặt khác, các hàm Fourier chỉ áp dụng toàn ảnh, và không áp dụng địa phương được

1.2.2 Phương phápWavelets

- Các sóng nhỏ (wavelets) phát hiện bởi Daubechies (1988) hỗ trợ tốt cho tính toán địa phương Các sóng nhỏ phải đáp ứng 3 điều kiện sau:

- Các sóng nhỏ tạo thành một tập hợp trực giao, tập này cho phép chuyển đổi dễ dàng giữa các lĩnh vực không gian và giátrị

- Các sóng nhỏ là những chuyển đổi bất biến, nghĩa là các hàm sóng có thể được sử dụng vào các phần khác nhau củaảnh.Các sóng nhỏ không đổi về qui mô, nghĩa là chúng tạo thành một giản đồ trong đó các hàm với bước sóng lớn hơn là phiên bản qui mô lớn của các hàm với bước sóng ngắnhơn

Hình 5: Khôi phục ảnh dùng phép chập Fourier

15

- Ba yêu cầu này rất quan trọng mà việc chuyển đổi sóng của n điểm dữ liệu và nghịch đảo của nó có thể được tính với chi phí tính toán O (n

log2 n), giống như biến đổi Fourier nhanh Các sóng nhỏ có thể dùng để

loại bỏ nhiễu và loại bỏ mờ

1.2.3 Phương pháp dùng nhânnhỏ

- Phương pháp biến đổi Fourier nhanh được thực hiện chập rất hiệu quả khi được sử dụng trên các máy tính nhưng đòi hỏi dữ liệu đầy đủ phải được thu thập trước khi tính toán Đây là một bất lợi lớn khi xử lý quét ảnh video vì thời gian để thu thập một khung dữ liệu toàn bộ thường vượt quá thời gian tính toán Các chập dạng ống (Pipelineonvolution) dữ liệu thực hiện hiệu quả hơn bằng cách gộp các kỹ thuật một cách song song, ngay cả khi phần nhân chỉ chiếm một vài phần trăm diện tích khung

- Các kỹ thuật ống (Pipeline) có thể được sử dụng trong khôi phục ảnh bằng cáchviết các phép chập như là bởi hàm điểm phản ứng nghịch đảo H-1

I H  1 * D

- Phương trình này tương đương với Phép chập Fourier.Nhưng H-1 mở rộng trên toàn bộ mảng, thậm chí nếu H là một nhân nhỏ (chỉ chứa một vài

Hình 6: Wavelets – Các sóng nhỏ

16

điểm ảnh).Khi đó ta có thể tìm một nhân nghịch đảo xấp xỉ G H-1

- Tuy nhiên, G cũng có thể được thiết kế để ngăn chặn các thành phần mức k của H-1 để hạn chế vành đai do gián đoạn sắc nét trong dữ liệu, do

đó giảm các đối tượng ảnh được tạo ra bởi các phương phápFourier

1.2.4 Phương pháp QuickPixon

- Phương pháp Pixon là một cách khác để giảm nhiễu Đây là một kỹ thuật lặp hạn chế, làm mịn của ảnh theo cách thích nghi trong không gian Một dạng khác nhanh hơn là phương pháp Quick Pixon, đây là phương pháp áp dụng tương tự như việc làm mịn Pixon vào dữ liệu thay vì các mô hình ảnh.Việc làm mịn này có thể được thực hiện một lần trên các dữ liệu đầu vào, sau đó dữ liệu có thể được phép chập bằng cách sử dụng phương pháp Fourier hoặc small – kernel phép chập

- Phương pháp Quick Pixon, mặc dù không hiệu quảnhư phương pháp Pixon đầy đủ nhưng các kết quả trong các ảnh đã được khôi phục gần tương đương như những kết quả trong phương pháp Pixon đầy đủ Ưu điểm của phương pháp Pixon nhanh là tốc độ của nó Bởi vì phương pháp này là không lặp và chủ yếu gồm có các convolution và các phép chập, việc tính toán có thể được thực hiện theo kiểu ống bằng cách sử dụngSmall – kernel convolution Điều này cho phép ta xây dựng một phần cứng chuyên dùng để xử lý các vạch quét video trong thời gian thực theotỉ lệ video tối đa có sẵn

Ảnh gốc Ảnh khôi phục

Hình 7: Khôi phục ảnh bằng phương pháp Quick Pixon

17

1.2.5 Phương pháp lọcWiener

- Phương pháp cải thiện tỷ lệ tín hiệu – nhiễu phụ thuộc k là lọc tuyến

tính, phương pháp này có một lịch sử lâu dài trong lĩnh vực xử lý tín hiệu và đã được áp dụng trong nhiều lĩnh vực của khoa học và kỹ thuật Biến đổi

Fourier của dữ liệu được nhân bởi một bộ lọc phụ thuộc k, (k)và kết quả

được chuyển ngược trở lại để cung cấp dữ liệu đã lọc Lọc tuyến tính là một công cụ hữu ích đặc biệt trong phép chập, bởi vì lọc có thể được kết hợp với Phép chập Fourier (phương trình 1.4) để đưa ra toán tử chập nghịch đảo đã được lọc

- Lọc tối ưu là lọc mà giảm thiểu sự khác biệt giữa các dữ liệu nhiễu đã lọc và tín hiệu đúng, lọc đó được gọi là lọc Wiener, được thể hiện trong không gian Fourier Tín hiệu và nhiễu theo định nghĩa về mặt thống kê là độc lập Vì vậy khả năng nguồn của chúng tăng lên tại vị trí góc vuông góc Ta giới thiệu thêm tham số β vào phương trình 1.10 để cho phép người sử dụng điều chỉnh tính lan của bộ lọc

Khôi phục ảnh bằng phương pháp lọc Wiener

1.2.6 Phương pháp thốngkê

Phương pháp định nghĩa tập các mô hình tiềm năng của ảnh Sau đó với sự giúp đỡ của thông tin thống kê, ta lựa chọn trong số các mô hình này lấy một mô hình làm phù hợp nhất với dữ liệu về mặt thốngkê

Có ba thành phần dữ liệu phù hợp.Đầu tiên, phải có một thủ tục phù

18

hợp để tìm mô hình của ảnh Việc này được thực hiện bằng cách giảm thiểu một chức năng giá trị, thường là thêm vào các ràng buộc Thứ hai, phải có kiểm tra tính chất của phù hợp – tốt nhất nên có nhiều test – để xác định xem các phần dư thu được có phù hợp với sự phân bổ thống kê gốc Thứ ba, ước tính các lỗi còn lại trong mô hình của ảnh

Ảnh gốc Ảnh phục hồi

1.2.7 Phương pháp khôi phục ảnh dùng kim tự tháp mờ Gaussian

Một phương pháp khôi phục ảnh dùng nội suy do Ogden, Adelson, Bergen, và Burt đề cập trong [1] Từ một ảnh ban đầu, thuật toán liên tiếp áp dụng dùng bộ lọc làm mờ Gaussian với một nhân nhỏ Kết quả của hai lần áp dụng bộ lọc Gausian tương tự như một lần lọc:

Bắt đầu từ ảnh gốc I0, ảnh sẽ dần mờ đi do bộ lọc Gaussian

Thuật toán áp dụng bộ lọc Gaussian cho ảnh đầu vào nhiều lần, đồng thời thu nhỏ kích thước của ảnh, tỷ lệ ½ Trong quá trình mờ này, các vùng trống của ảnh sẽ được lấp dần từ các vùng lân cận Quá trình này dừng lại khi tất cả các vùng trống đã được lấp đầy (hình 5)

Hình 8: Khôi phục ảnh bằng phương pháp thống kê

19

Tiếp theo là việc sao chép các phần đã làm đầy từ Ik+1 ngược lại cho Ik, đồng thời tăng dần kích thước (*2) Đây là quá trình ngược lại với quá trình mờ bên trên Cuối cùng thu được ảnh đã lấp đầy các khoảng trống (hình 5)

a ảnh đầu vào b ảnh đầu ra

Hình 9: Khôi phục ảnh dùng kim tự tháp mờ Gaussian

1.2.8 Phương pháp khôi phục ảnh dùng bộ lọc Median

Thuật toán có dùng nhiều vòng lặp nội suy với bộ lọc Median Trong mỗi vòng lặp, đầu tiên ta tìm một điểm ảnh trong vùng trống, và có lân cận là điểm ảnh có đủ thông tin Với mỗi điểm lân cận này xác định được một hướng Với mỗi hướng, ta tìm giá trị median trên hướng đó Sau đó ta lấy median của các median trên, và gán giá trị này cho điểm ảnh đang xét Quá trình này dừng lại khi toàn bộ các điểm ảnh trống đã được lấp đầy

20

a là các hướng b dấu nhân là các vị trí có thông tin, dấu tròn mất thông tin

Hình 10: Khôi phục ảnh Median theo các hướng

1.2.9 Phương pháp khôi phục ảnh nhanh dựa vào bộ lọc

Đây là một thuật toán đơn giản gọi là thuật toán lặp nội suy Trong mỗi vòng lặp cần tìm ra điểm ảnh trống và có lân cận là các điểm ảnh có đủ thông tin Với các điểm ảnh trống này, ta dùng bộ lọc có dạng ma trận có số cạnh lẻ, và có nhân của ma trận có giá trị bằng không Dưới đây là ví dụ 2 bộ lọc

Trong đó a = 0.073235; b = 0.176765; c = 0.125

21

1.2.10 Khôi phục ảnh dùng biến phân từng phần PDE

Phương pháp Partial Differential Equations (PDE) được dịch là Phương pháp khôi phục ảnh dùng hàm biến phân từng phần Ở đây có thể dùng từ “vi” phân, tuy nhiên với từ “biến” phân thì có ý nghĩa sát hơn với bài toán khôi phục ảnh: hàm này tìm sự biến đổi giá trị của một điểm ảnh so với giá trị tại điểm ảnh lân cận Từ đó xét xem độ tương đồng vả giá trị tại hai điểm lân cận này Như vậy hàm biến phân thể hiện mức độ biến đổi có ý nghĩa phù hợp với bài toán khôi phục ảnh

Phương pháp khôi phục ảnh dùng hàm biến phân từng phần có đặc điểm như sau Mỗi điểm ảnh của Ω nằm tại đường biên với phần I/Ω sẽ được gán cho giá trị, sao cho giá trị được gán này phải tương tự như các điểm ảnh trong vùng lân cận về mức độ biến phân Tất cả các điểm ảnh trong vùng Ω sẽ được lần lượt gán giá trị, cho đến khi mọi điểm ảnh của Ω đều được gán giá trị

Việc tìm độ tương tự với hàm biến phân ở đây có hai cách Một là so sánh độ biến phân của điểm ảnh cần gán giá trị với độ biến phân của các điểm ảnh của vùng đã có thông tin Hai là so sánh độ biến phân của điểm ảnh cần gán giá trị với độ biến phân của các điểm ảnh trong một ảnh mẫu khác: mục đích là dùng ảnh mẫu để điền vào phần trống của ảnh đầu vào

Phương pháp khôi phục ảnh dùng hàm biến phân được Bertalmio, Sapiro, Caselles, Ballester đề cập như sau

Thuật toán chạy lặp với các isophotes, được định nghĩa là các dòng của ảnh có cùng một mức xám Để tìm các isophotes cần giải phương trình vi

1.2.11 Khôi phục ảnh dùng phương trình Navier-Stokes

Một cách tượng tự với hàm biến thể từng phần PDE là áp dụng phương trình Navier-Stokes trong lý thuyết dòng chảy Thuật toán chạy lặp với các điểm ảnh trống, mà có lân cận là các điểm ảnh có đủ thông tin Dùng phương trình dòng chảy Navier-Stokes mô phỏng xu hướng dòng chảy của phần có đủ thông tin để điền vào ô trống

1.2.12 Khôi phục ảnh dùng tổng biến thể

Phương pháp tiếp cận tìm vị trí có thiểu tổng biến thể thấp nhất với điểm ảnh trống để điền thông tin

Thuật toán của Chan và Shen chạy lặp với các điểm ảnh trống, mà có lân cận là các điểm ảnh có đủ thông tin Dùng hàm tổng biến thể để xác định điểm ảnh có tổng biến thể tương tự điểm ảnh trống Từ đó điền thông tin vào điểm ảnh trống

Thuật toán dựa trên việc tối thiểu hóa giới hạn của bình phương độ tin cậy ở ngoài Ω và một tổng tiêu chí biến đổi trong Ω, ví dụ, giới hạn năng

Với là một hệ số nhân Lagrange Để thực hiện, Chan và Shen tìm kiếm điểm quan trọng, sử dụng một chương trình lặp Gauss-Jacobi cho hệ thống tuyến tính liên quan đến một kết quả gần đúng của phương trình Euler-Lagrange bằng những sự khác biệt hữu hạn

23

1.3 Một số tiêu chí dùng để đánh giá chất khôi phục ảnh

1.3.1 Tổng quan về tiêu chí đánh giá chất lượng ảnh

Để đánh giá kết quả của các thuật toán khôi phục ảnh cần phải có một số thống nhất về tiêu chí đánh giá chất lượng ảnh Một số tiêu chí khách quan dùng để đánh giá sự phát triển và cải thiện các phương pháp khôi phục ảnh Trong chương này sẽ nghiên cứu một số tiêu chí cơ bản được dùng để đánh giá chất lượng ảnh Tiêu chí có thể cho phép đánh giá kết quả khôi phục ảnh với các số liệu khách quan Để đánh giá chất lượng của ảnhhay khung ảnh video ở đầu ra của thuật toán thường sử dụng hai tham số: Sai số bình phương trung bình - MSE (mean square error) và phương pháp đề xuất với tỷ lệ tín hiệu trên tín hiệu tạp PSNR (Peak Signal to Noise Ratio)

1.3.2 Sai số bình phương trung bình (MSE)

Sai số MSE của ảnh gốc và ảnh khôi phục được tính theo công thức

Trong đó, Io là ảnh gốc, IR là ảnh đầu ra ; x và y chỉ vị trí của điểm ảnh ; m và n chỉ độ số điểm ảnh theo chiều ngang và chiều dọc của ảnh Chỉ số MSE cho giá trị càng nhỏ nghĩa là chất lượng của ảnh càng tốt

1.3.3.Tỷ lệ tín hiệu trên tín hiệu tạp (PSNR)

Chỉ số PSNR, đơn vị đo là deciben (dB) và thường dùng trong xử lý tín hiệu nói chung và hình ảnh nói riêng được tính như sau:

Trong đó, R là giá trị lớn nhất của điểm ảnh Trong trưởng hợp ảnh được biểu diễn bằng số nguyên 8 bit, thì R=255.PSNR càng cao thì chất lượng ảnh khôi phục càng tốt

24

Hình 11: Các giá trị của tỷ lệ tín hiệu trên tạp PSNR

1.3.4 Ứng dụng của MSE và PSNR

Các sai số MSE và PSNR được tính toán cho ảnh màu dùng phương pháp chuyển đổi ảnh từ hệ RGB sang hệ YCbCr Sự chuyển đổi này được thực hiện với lý do mắt người nhạy cảm với thông tin cường độ Y Sau khi chuyển đổi sang hệ YcbCr các sai số MSE và PSNR được tính trên kênh Y

Theo các nghiên cứu trước đây thì tỷ lệ PSNR ≥ 37 dB thì mắt thường gần như không phân biệt được giữa ảnh gốc và ảnh khôi phục Khi hai hình ảnh giống hệt nhau, MSE sẽ bằng 0 và PSNR đi đến vô cực

1.4 Kết luận chương 1

Trong thời gian gần đây khoa học đã chứng kiến sự phát triển của hai xu hướng trong xử lý ảnh hiệu suất cao:

- Các kỹ thuật sử dụng các điều kiện hạn chế ảnh là rất cần thiết để giải quyết các bài toán ngược của khôi phụcảnh

- Hiệu suất được cải thiện đáng kể khi chiến lược hạn chế ảnh được cho phép để thích ứng với các điều kiện khác nhau trên ảnh

Khôi phục ảnh là một vấn đề rất khó và còn cần nhiều thời gian mới được giải quyết Khôi phục ảnh có nhiều ứng dụng thực tiễn, áp dụng cho một ảnh đơn lẻ hoặc đồng thời cho một chuỗi các ảnh Chương 1 đã trình bày các mô hình mờ ảnh và nhiễuảnh và các kĩ thuật để khôi phục

Đã có nhiều kỹ thuật khôi phục ảnh được nghiên cứu ứng dụng, với dự đa dạng của các kỹ thuật Các kỹ thuật có chi phí tính toán thấp có thể áp

25

dụng thời gian thực cho video Tuy nhiên hiện có ít kỹ thuật đáp ứng yêu cầu thời gian thực Đây có thể là chủ đề nghiên cứu ứng dụng trong thời gian tới

Chương 2 sẽ tập trung đi sâu vào phương pháp khôi phục ảnh dùng bản vá với điều kiện tối ưu hóa địa phương

26

CHƯƠNG 2 KHÔI PHỤC ẢNH MÀU BỊ MỜ VÀ NHIỄU, GIỮ CẠNH VÀ MẤT MẢNH

Chương 1 luận văn đã đề cập một số phương pháp khôi phục ảnh mờ và nhiễu và mất mảng Chương 2 đề cập đến một số thuật toán khôi phục ảnhmờ và nhiễu, đồng thời giữ đượccạnh và đi sâu phân tích thuật toán khôi phục ảnh bằng phương pháp tối ưu cục bộ

2.1 Khôi phục ảnh dùng bộ lọc có hướng

Các thuật toán mã nguồn mở của nghiên cứu [14] ước lượng kernel mờ chính xác từ một ảnh mờ và nhiễu Phương pháp nàycó 2 bước: giải mờ và giải nhiễu Trong thuật toán này sử dụng các bộ lọc giải nhiễu và trình tự giải mờ theo cách thức để kernel được ước lượng không chịu ảnh hưởng bởi các bộ lọcnhiễu

Phương pháp khôi phục ảnh từ bộ lọc có hướng này được nghiên cứu từ cơ sở sau: nếu sử dụng bộ lọc tuyến tính truyền thấp có hướng vào ảnh đầu vào, nó có thể tạo độ nhiễu lớn, trong khi nội dung, bao gồm thông tin chính bị mờ, ở với hướng trực giao không bị ảnh hưởng Trong thuật toán có sử dụng tính chất này dùng để ước lượng các hình chiếu 1D của kernel mờ tới các hướng vuông góc của các bộ lọc này Những hình chiếu này chính là biến đổi Radon, sẽ không bị ảnh hưởng bởi việc dùng các bộ lọc truyền thấp có hướng vào ảnh đầu vào trừ việc giảmnhiễu

Dựa trên nghiên cứu này, thuật toán sử dụng serie các bộ lọc truyền thấpcó hướng theo các hướng khác nhau, và đánh giá một lớp các hình chiếu kernel từ từng ảnh Điều này tạo ra một sự tính toán chính xác về phép biến đổi Radon Vì vậy thuật toán xây dựng lại kernel mờ dùng phép biến đổi ngẫu nhiên nghịch đảo Khi nhận được kernel tốt thuật toán sẽ kết hợp với việc lọc nhiễu trong giải chập cuối cùng để giảm nhiễu và thu được ảnh chất lượng tốt

27

2.2 Khôi phục ảnh sử dụng phương pháp MaximumEntropy

Phương pháp Maximum Entropy là phương pháp dựa trên nguyên tắc cơ bản vật lý thống kê bản chất nằm ở chỗ giả định rằng ảnh được tạo thành từ một số lượng lớn các lượng tử, mỗi một lượng tử có cường độ q, và đồng khả năng cho bất kỳ vùng lượng tử tại điểm ảnh bất kỳ, khi đó chúng được phát các khóa một cách ngẫu nhiên Xác suất có được một tập điểm ảnh (n1, n2,…,nL) với tỉ lệ với sự suy thoái N!/n1!n2! nL! Ở đây ta đã giảm một hằng số bình thường hóa tổng thể của p (lI) Ảnh được áp dụng maximum entropy Phương trình 2-15 tương tự với xác suất phân bổ không gian của các hạt lý tưởng, thuật toán là entropy Boltzmann Một entropy ảnh của mẫu ban đầu được đề xuất bởi Friede(1972)

Có ba vấn đề cơ bản của phương phápnày:

- Có các dạng entropy cạnh tranh, ngay cả đối với cùng một ảnh

- Với một chương trình entropy bất kỳ thì ảnh maximum entropy không phải là ảnh ưutiên

- Entropy phụ thuộc vào lượng tử q - là tập tùy ý và không liên quan đến bất kỳ lượng tử vật lý nào tạo nên ảnh Do những vấn đề này mà phương pháp maximum entropy đã hướng theo vật lý thốngkê

Có các phương pháp sử dụng hàm thiết lập với tối thiểu Kavel sử

dụng phương pháp thay thế liên quan đến trung bình H1 cho kernel Dựa

vào nghiên cứu của You và Kavel, Chan và Wong mở rộng ý tưởng của họ thành trung bình TV cho cả ảnh và kernel, trong nhiều trường hợp hàm kernel có các cạnh sắc (như là mờ do chuyển động và mờ không tập trung) Các tác giả sử dụng các phương pháp giảm thiểu thay thế đối với việc khôi phục ảnh vàkernel

2.3 Khôi phục ảnh dùng TV và phép lặp Bregman

Lin và cộng sự mở rộng hàm TV để có thêm các ràng buộc trên kernel

28

trong bài toán và sử dụng phép lặp Bregman để cải thiện kết quả Nhiều nghiên cứu gầnđây xử lý mờ thay đổi về không gian và các hàm không cục bộ

Một phương pháp khác là áp dụng các kỹ thuật lọc khác nhau Fish và cộng sự sử dụng thuật toán Richarson-Lucy để thực hiện phương pháp giảm thiểu thay thế sử dụng định lý Bayes, và cải thiện kết quả từ bộ lọc Weiner

Hình 12: Khôi phục ảnh dùng phương pháp Fish

Sử dụng các công thức vi phân thành phần đưa ra bởi Osher và Rudin để cách lọc ảnh bị mờ do rung máy ảnh Phương pháp này cấu trúc lại các cạnh bằng cách tìm các điểm cong, và tìm vị trí cạnh chínhxác

Alvarez và Mazorra sử dụng phương pháp tương tự nhưng đặt điều kiện trước cho ảnh phân tán để nó có thể xử lý giải mở và giảm nhiễu một cách đồng thời Gilboa và cộng sự mở rộng ý tưởng này bằng cách sử dụng quá trình phân tán phức để xử lý mạnh vớinhiễu

Có các nghiên cứu đáng kể về sự kết hợp một số hàm trong một vài công việc xử lý ảnh Chan và cộng sự sử dụng bộ lọc để khôi phục ảnh và inpaint như một phương thức duynhất

Bar và cộng sự đã kết hợp với phát hiện cạnh bằng kernel dạng

Gaussian Sử dụng điều kiện thực L1 để bỏ nhiễu dạng hạt nhỏ trong bài toán

giải mờ Giải mờ và xoá bỏ nhiễu dạng xung thông qua sự kết hợp mô hình Mumford-Shah và các mô hình tổng biến trong việc thiết lập đa kênh, và kết

29

hợp khôi phục ảnh bằng phân vùng với tham sốkernel

2.4 Khôi phục ảnh dùng Tổng biếnthể

Tổng biến thể hay total variance là đại lượng đo tổng độ khác biệt của một điểm ảnh với các lân cận của điểm đó Trước năm 1990, đã có nhiều tài liệu biểu diễn tổng biến thể bằng hàm năng lượng dạng L2 trên các gradient

Trong các trường hợp này, hệ thống tuyến tính thu được dễ giải, nhưng không cho được kết quả với chất lượng mong muốn Ngoài ra, nếu so sánh hàm |u| với |u|2 trên cùng một tập các ràng buộc tương đồng, các phương pháp dựa trên |u| có thể tạo ra kết quả tốt hơn Ta có thể sử dụng dạng Euler-Lagrange của tổng biến thể của các gradient và thu được đường cong trung bình củaPDE

2.5 Khôi phục ảnh dùng vùng mẫu

Thuật toán này giải quyết vấn đề khôi phục ảnh nhằm mục đích loại bỏ một số đối tượng của ảnh hoặc sửa chữa phần ảnh bị hỏng bằng cách thay thế các vùng trống bằng cách sử dụng thông tin trong phần còn lại của ảnh Phương pháp khôi phục ảnh đề xuất ở đây được xây dựng trên quan điểm: dựa trên các mẫu có tính tương tự địa phương với vùng khôi phục

Phương pháp này sử dụng các vùng mẫu Thuật toán chạy lặp với các điểm ảnh trống nằm trên đường biên với phần ảnh có đủ thông tin Với mỗi lần lặp, một bản mẫu được xác định, bản mẫu này sẽ được so sánh đối chiếu với các vùng khác, để tìm vùng có độ tương tự cao nhất Hàm đánh giá độ tương tự này mang tính địa phương bởi nó chỉ áp dụng cho một phần của ảnh gần với điểm ảnh đang xét

Khi đã tìm ra vùng có độ tương tự cục bộ cao nhất, vùng đó được dùng để vá vào phần trống của điểm ảnh đang xét

Trong thuật toán này, kết quả và phụ thuộc nhiều vào trình tự vá Với mỗi trình tự lặp tìm điểm trống cần vá, sẽ có một bản mẫu, khác với bản mẫu

30

trong trình tự vá khác Bởi vậy, ảnh sẽ được vá khác nhau khi trình tự duyệt các điểm trống khác nhau

Trong hình 12 , điểm ảnh p của ảnh I bị trống p nằm trên đường biên với vùng có đủ thông tin, của sổ nhỏ màu xanh lá cây tại p xác định ra mẫu Mẫu này sẽ được đối sánh với vùng ảnh có đủ thông tin, ở gần p

Hình 13: Khôi phục ảnh dùng vùng mẫu“xác định mẫu tại p”

Hình 14: Khôi phục ảnh dùng vùng mẫu

Việc tính toán tương tự tạo ra trọng số dựa trên cạnh và sự khác biệt cấu trúc giữa các mẫu ứng cử viên khôi phục Phương pháp này cho phép chọn mẫu khôi phục dựa trên một số yếu tố

2.6 Khôi phục ảnh dùng bản vá có kết cấu

Efros và Leung trong [12] đề xuất một phương pháp tổng hợp kết cấu từ một kết cấu mẫu Phương pháp này được áp dụng khôi phục ảnh

Thuật toán như sau: Khoảng trống ảnh được lấp đầy theo đệ quy Tại mỗi điểm ảnh trống P nằm bên cạnh ranh giới với vùng đủ thông tin, vùng trống được vá bằng các giá trị của trong vùng đủ thông tin tại điểm ảnh Q sao

Khoảng cách hình ảnh được lấp đầy một cách đệ quy, từ ranh giới vùng trắng và vùng có thông tin Mỗi "ô trống" điểm ảnh P tại ranh giới được làm đầy với các giá trị của các điểm ảnh Q (nằm bên ngoài vùng trắng, ví dụ như Q là một điểm ảnh với thông tin hợp lệ) Như vậy các khu vực lân cận Ψ(Q) của Q (một miếng vá vuông có trung tâm tại Q) phần lớn tương tự như khu vực Ψ(P) của P Điều này có thể được thể hiện như một vấn đề tối ưu hóa:

Và các chỉ số i, j chạy theo chiều dài bản vá (ví dụ: nếu  là bản vá có độ rộng dài là 11*11, thì 0 ≤ i, j ≤ 10 khi Khi P được lấp đầy, thuật toán đánh dấu P không còn là điểm trắng nữa, để không phải quay lại điểm P lần nữa

32

Những thiếu sót chính của thuật toán này là chi phí tính toán cao, việc lựa chọn kích thước vùng kề (là một tham số toàn ảnh do người dùng lựa chọn, nhưng thay đổi tùy thuộc vào nội dung ảnh), thứ tự lấp đầy (có thể tạo ra ranh giới chưa được nối với một số đối tượng) và thực tế là không xử lý tốt với các cạnh ảnh Ngoài ra, kết quả khá là kém nếu khoảng trống ảnh lớn và phân tán, ví dụ như một ảnh có 80% các điểm ảnh đã bị mất do nhiễu ngẫu nhiên

Criminisi và cộng sự [4] cải thiện thuật toán này ở hai khía cạnh Thứ nhất, họ đã thay đổi thứ tự điền thành một phương pháp ưu tiên, trong đó điểm ảnh trống ở các cạnh có độ ưu tiên cao hơn so với các điểm ảnh trống trên vùng bằng phẳng Do đó, có thể khôi phục chính xác cạnh mà có thể bị mất trong thuật toán đầu

Thứ hai, họ sao chép toàn bộ các bản vá lỗi thay vì từng điểm đơn lẻ, vì vậy phương pháp này nhanh hơn đáng kể

Vẫn có một số thiếu sót như không có khả năng xử lý với phối cảnh và cần phải tự chọn kích thước vùng kề (ở đây có hai kích thước để thiết lập, một cho các bản vá để so sánh và một cho các bản vá để sao chép) Ngoài ra, các đối tượng có cạnh cong có thể không được khôi phục chính xác

Ashikhmin [2] đóng góp cũng như cải thiện phương pháp ban đầu của Efros và Leung [12] Với ý tưởng giảm chi phí tính toán của các thủ tục, Ashikhmin đề xuất tìm kiếm các ứng viên tốt nhất Q để sao chép giá trị của đó vào điểm ảnh trống P, không tìm kiếm toàn bộ ảnh mà chỉ tìm kiếm trong số các ứng cử viên của các điểm kề của P đã được khôi phục Tốc độ đạt được với kỹ thuật đơn giản này là đáng kể, và cũng có một ảnh hưởng rất tích cực liên quan đến chất lượng ảnh đầu ra

Trong khi hầu hết các phương pháp khôi phục ảnh cố gắng trở nên hoàn toàn tự động (ngoài việc thiết lập một số thông số theo cách thủ công), có