PHỤC HỒI ẢNH NGÔ QUỐC VIỆT TPHCM-2014          Giới thiệu phục hồi ảnh Nhiễu ảnh nhiễu Các mô hình nhiễu Khử nhiễu sử dụng lọc miền không gian Nhiễu tuần hoàn Khử nhiễu sử dụng lọc miền tần số Mô hình ảnh lỗi (bao gồm nhiễu) Inverse filter Wiener-Helstrom filter Bài giảng Xử lý ảnh - TS Ngô Quốc Việt  Phục hồi nhằm khôi phục lại ảnh bị hỏng, nhòe, mờ, etc  Xác định xử lý gây suy giảm (degradation) cố gắng khắc phục  Tương tự image enhancement, mục tiêu rõ ràng Nguồn: Brian Mac Namee (DIT School of computing) Digital Image Processing, Richard Woods, 2002 Bài giảng Xử lý ảnh - TS Ngô Quốc Việt  Nâng cấp  Theo yêu cầu nâng cấp ảnh  Tri thức nguyên nhân giảm chất lượng (degradation) không bắt buộc (hoặc không bị degradation)  Các thủ tục heuristic quan tâm đến khía cạnh nhìn human visual system  Phục hồi  Chất lượng ảnh bị giảm (mờ, nhiễu, di chuyển)  Phục hồi ảnh dựa tri thức liên quan đến nguyên nhân suy giảm ảnh (degradation) Bài giảng Xử lý ảnh - TS Ngô Quốc Việt   Ảnh giảm chất lượng bị tác động nhiễu tác động thiết bị chụp Nhiễu ảnh số phát sinh trình thu nhận ảnh, số hóa ảnh (acquisition/ digitization) trình truyền ảnh)  Cảm biến ảnh bị tác động môi trường xung quanh  Một số hiệu ứng lề làm cho ảnh bị tác động trình truyền ảnh  Nhiễu phân loại tùy theo phân bố giá trị điểm ảnh histogram Bài giảng Xử lý ảnh - TS Ngô Quốc Việt  Ảnh nhiễu mô hình bởi: g ( x, y)  f ( x, y)   ( x, y)  Với f(x, y) điểm ảnh gốc, η(x, y) thành phần nhiễu g(x, y) pixel bị nhiễu  Nếu xác định mô hình nhiễu dạng trên, khôi phục ảnh gốc Bài giảng Xử lý ảnh - TS Ngô Quốc Việt  Có nhiều mô hình nhiễu, khác hàm nhiễu η(x, y): Gaussian Rayleigh  Gaussian (phổ biến nhất)  Rayleigh Erlang  Erlang Exponential  Exponential (lũy thừa)  Uniform (đồng nhất)  Impulse (nhiễu muối tiêu) Uniform Impulse Bài giảng Xử lý ảnh - TS Ngô Quốc Việt  Hàm phân phối xác suất (PDF) nhiễu noise xác định • 70% giá trị z khoảng [(-σ),(+σ)] • 95% giá trị z khoảng [(2σ),(+2σ)] p( z )  e p(z) ( z   ) / 2 2 Tạo nhiễu Gaussian, với a mean, b độ lệch chuẩn, MxN kích thước ảnh (default a = 0, b=1) R = a + b*randn(M,N); Bài giảng Xử lý ảnh - TS Ngô Quốc Việt       PDF nhiễu Rayleigh xác định   b2 ( z  a)e ( z a ) p( z )    0 /b for z  a for z  a p(z) Mean variance b(   )   a  b /   Tạo nhiễu Rayleigh, với a mean, b độ lệch chuẩn, MxN kích thước ảnh (default a=0, b= 1) R = a + (-b*log(1-rand(M,N)))^0.5; Bài giảng Xử lý ảnh - TS Ngô Quốc Việt a a b z  PDF nhiễu Erlang xác định  a b z b 1 az  e for z  p( z )   (b  1)! 0 for z  p(z) K a(b  1)b1 (b1) K e (b  1)! Mean variance b b  2  a a Tạo nhiễu Erlang, MxN kích thước ảnh (default a =2, b=5) k = -1/a; R = zeros(M,N); for j = 1:b R = R + k*log(1 - rand(M,N)); end Bài giảng Xử lý ảnh - TS Ngô Quốc Việt b 1 a z 10   Ảnh degradation: 𝑔 𝑥, 𝑦 = 𝐻 𝑓(𝑥, 𝑦) + 𝜂(𝑥, 𝑦) Trường hợp không bị nhiễu  H tuyến tính 𝐻 𝑎𝑓1 𝑥, 𝑦 + 𝑏𝑓2 𝑥, 𝑦 = 𝑎𝐻 𝑓1 𝑥, 𝑦  H bất biến vị trí 𝑔 𝑥, 𝑦 = 𝐻 𝑓 𝑥, 𝑦 ⇒ 𝐻 𝑓 𝑥 − 𝛼, 𝑦 − 𝛽  + 𝑏𝐻 𝑓2 𝑥, 𝑦 = 𝑔(𝑥 − 𝛼, 𝑦 − 𝛽) Trường hợp có nhiễu 𝑔(𝑥, 𝑦) = 𝑕(𝑥, 𝑦) ∗ 𝑓(𝑥, 𝑦) + (𝑥, 𝑦) 𝐺(𝑢, 𝑣) = 𝐻(𝑢, 𝑣)𝐹(𝑢, 𝑣) + 𝑁(𝑢, 𝑣) (trong miền tần số) Ảnh disorted/observed g(x, y) mô tích chập hàm mục tiêu h(x,y) cộng thêm nhiễu  Nguyên nhân degradation xấp xỉ dạng linear, position-invariant (chỉ phụ thuộc vào giá trị điểm ảnh) Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 45  Hệ thống PSF giá trị cố định xác định phần cứng vật lý (hình dạng ống kính máy ảnh, camer Anger thiết bị y khoa) thiết bị chụp Nguồn: Chris Solomon, Toby Breckon Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 46  Atmospheric turbulence model: 𝐻 𝑢, 𝑣 = 𝑒 −𝑘 𝑢2 +𝑣 5/6 High turbulence k=0.0025 Negligible turbulence Low turbulence k=0.00025 Mid turbulence k=0.001 Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 47  Blurring by linear motion (mô di chuyển camera) 𝑇 𝑔 𝑥, 𝑦 = 𝑓 𝑥 − 𝑥0 𝑡 , 𝑦 − 𝑦0 𝑡 𝑑𝑡 𝑇 𝑒 −𝑖2𝜋 𝑢𝑥0 𝐺 𝑢, 𝑣 = 𝐹(𝑢, 𝑣) 𝑇 𝑑𝑡 𝑒 −𝑖2𝜋 𝑢𝑥0 ⇒ 𝐻 𝑢, 𝑣 = 𝑡 +𝑣𝑦0 𝑡 𝑡 +𝑣𝑦0 𝑡 𝑑𝑡 Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 48  Blurring by linear motion (tt) 𝑎𝑡 , 𝑦0 𝑇 𝑏𝑡 𝑇 Nếu 𝑥0 𝑡 = 𝑡 = ⇒ 𝑇 𝐻 𝑢, 𝑣 = sin(𝜋(𝑢𝑎 + 𝑣𝑏))𝑒 −𝑖𝜋(𝑢𝑎+𝑣𝑏) 𝜋(𝑢𝑎 + 𝑣𝑏) Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 49  Thực nghiệm để xác định impulse response degradation thông qua chụp imaging an impulse (dùng nguồn sáng điểm)  Pp.154-157 tài liệu Fundamentals of Digital of Image Processing- A practical approach with examples in Matlab Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 50   Xét 𝐺 𝑢, 𝑣 = 𝐻 𝑢, 𝑣 𝐹 𝑢, 𝑣 + 𝑁 𝑢, 𝑣 Nếu bỏ qua yếu tố nhiễu thì: 𝐹 𝑢, 𝑣 = 𝑓 𝑥, 𝑦 = 𝐹  𝐻 𝑢,𝑣 ⇒ 𝐺(𝑢, 𝑣) 𝐻 𝑢, 𝑣 system optical transfer function (OTF) gọi inverse filter 𝑌(𝑢, 𝑣) = tiến tới  Vì : 𝑌(𝑢, 𝑣) = 𝐻(𝑢,𝑣) 𝐻(𝑢,𝑣)  −1 𝐺 𝑢,𝑣 𝐻 𝑢,𝑣 𝐻 𝑢, 𝑣 ≥𝛼 𝐻 𝑢, 𝑣 < 𝛼 Nếu có nhiễu: 𝐺 𝑢, 𝑣 𝑁 𝑢, 𝑣 𝐺 𝑢, 𝑣 𝐹 𝑢, 𝑣 = + = 𝐹 𝑢, 𝑣 + 𝐻 𝑢, 𝑣 𝐻 𝑢, 𝑣 𝐻 𝑢, 𝑣 Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 51  Khảo sát MATLAB code OTF inverse filter ảnh Gaussianpsf_inversefilter.m Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 52 Kết hợp khử nhiễu khử thành phần lỗi ảnh  Mục tiêu cực tiểu lỗi ảnh lý tưởng ảnh lỗi  arg 𝐸  Tính chất lọc Wiener 𝑓−𝑓  Tại tần số có thành phần nhiễu 𝑁(𝑢, 𝑣) nhỏ nhiều thành phần ảnh 𝐺(𝑢, 𝑣) lặp Wiener xấp xỉ inverse filter 𝑌(𝑢, 𝑣) = 1/𝐻(𝑢, 𝑣) 𝑁(𝑢, 𝑣) ≪ 𝐺(𝑢 𝑣)  Tại tần số có thành phần nhiễu 𝑁(𝑢, 𝑣) lớn nhiều thành phần ảnh 𝐺(𝑢, 𝑣) lặp Wiener xấp xỉ zero 𝑌(𝑢, 𝑣) ≈ 𝑁(𝑢, 𝑣) ≫ 𝐺(𝑢, 𝑣)  Nếu không tr/hợp trên, Wiener dung hòa inverse filter khử hoàn toàn Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 53 Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 54 𝐻∗ 𝑢, 𝑣 𝑆𝑓 𝑢, 𝑣 𝐹 (𝑢, 𝑣) = 𝐺 𝑢, 𝑣 𝑆𝑓 𝑢, 𝑣 𝐻 𝑢, 𝑣 + 𝑆𝜂 𝑢, 𝑣 𝐻∗ 𝑢, 𝑣 = 𝐺 𝑢, 𝑣 𝐻 𝑢, 𝑣 + 𝑆𝜂 𝑢, 𝑣 𝑆𝑓 𝑢, 𝑣 𝐻(𝑢, 𝑣) = 𝐺(𝑢, 𝑣) 𝐻 𝑢, 𝑣 𝐻 𝑢, 𝑣 + 𝑆𝜂 𝑢, 𝑣 𝑆𝑓 𝑢, 𝑣 𝐺 𝑢, 𝑣 : ảnh lỗi 𝑆𝜂 𝑢, 𝑣 = 𝑁(𝑢, 𝑣) : power spectrum nhiễu 𝑆𝑓 𝑢, 𝑣 = 𝐹(𝑢, 𝑣) : power spectrum ảnh gốc(không có) 𝐻∗ 𝑢, 𝑣 : conjugate phức 𝐻 𝑢, 𝑣 Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 55 𝐹 𝑢, 𝑣 = 𝐻 𝑢, 𝑣 𝐻 ∗ 𝑢, 𝑣 𝐻 𝑢, 𝑣 + 𝑆𝜂 𝑢, 𝑣 Hằng 𝐻 𝑢,𝑣 𝐻 𝑢,𝑣 𝐻 𝑢,𝑣 +𝑁𝑆𝑅(𝑢,𝑣) 𝑆𝑓 𝑢, 𝑣 𝐺(𝑢, 𝑣) Không biết 𝐻 ∗ 𝑢,𝑣 𝐻 𝑢,𝑣 +𝑁𝑆𝑅(𝑢,𝑣) : Wiener-Helstrom filter 𝑁𝑆𝑅 𝑢, 𝑣 = 𝑆𝜂 𝑢, 𝑣 𝑆𝑓 𝑢, 𝑣 : noise/signal ratio power Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 56 NSR nhỏ: ảnh có tín hiễu nhiễu ngang  khó phân biệt  ảnh hưởng đến chất lượng phục hồi ảnh  NSR lớn: ảnh bị nhiễu (dễ phân biệt nhiễu ảnh)  Nhận xét: Wiener-Helstrom filter xấp xỉ inverse filter NSR lớn (thành phần nhiễu không đáng kể)   Khảo sát MATLAB code OTF Wiener filter ảnh: MotionBlurpsf_wienerfilter.m Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 57 Cần phải biết trước NSR  phải biết trước input spectrum (thực tế trước giá trị này)  Wiener xây dựng để đạt tiêu chuẩn cực tiểu tổng lỗi bình phương (MMSE) toàn ảnh, không đem lại kết phục hồi ảnh thích hợp  Một số biến thể Wiener filter phát triển/bổ sung (Pp.151-156 tài liệu Fundamentals of Digital of Image Processing- A practical approach with examples in Matlab)  Xem: regularizedfilter.m  Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 58  Bài giảng trình bày “phục hồi ảnh” cho mục tiêu khử nhiễu ảnh giảm chất lượng Các kỹ thuật miền không gian dùng để khử nhiễu ngẫu nhiên  Kỹ thuật miền tần số thích hợp để khử nhiễu tuần hoàn  Sử dụng inverse filter để khử lỗi trường hợp nhiễu  Sử dụng Wiener filter để khử ảnh có nhiễu lỗi  Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 59 [...]... được mean và variance  Nhiễu chu kỳ: ước lượng thông qua power spectrum của ảnh Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 15  Minh họa ảnh gốc được thêm nhiễu với các mô hình khác nhau Ảnh gốc Histogram Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 16 Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 17 Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 18  Sử dụng bộ lọc không gian để khử nhiễu thông qua các bộ lọc arithmetic mean... 56 52 51 50 49 51 50 52 53 58 51 204 52 52 0 57 60 48 50 51 49 53 59 63 49 51 52 55 58 64 67 50 54 57 60 63 67 70 51 55 59 62 65 69 72 x y Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 33 Phát sinh do electrical hoặc electromagnetic Tạo nên các nhiễu dạng patterns trong ảnh Kỹ thuật miền tần số trong miền Fourier thích hợp để khử nhiễu dạng này (periodic noise) Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 34 Khử... /(imfilter(g.^q,ones(m,n),'replicate') + eps); Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 23 Thực hiện chập với kích thước Sxy là 3x3 cho các filter geometric, harmonic, contraharmonic Original Image Filtered Image x x 54 52 57 55 56 52 51 50 49 51 50 52 53 58 51 204 52 52 0 57 60 48 50 51 49 53 59 63 49 51 52 55 58 64 67 1 48 154 157 160 163 167 170 151 155 159 162 165 169 172 y y Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 24... (nhiều dạng nhiễu có trong ảnh) như kết hợp của nhiễu muối tiêu và Gaussian Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 29 f = ordfilt2(g,1,ones(m,n),'symmetric'); for k = 1:d/2 f = imsubstract(f,ordfilt2(g,k,ones(m,n),'symmetric')); end for k = (m*n - (d/2) + 1):m*n f = imsubstract(f,ordfilt2(g,k,ones(m,n),'symmetric')); end f = f/(m*n - d); Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 30 Ảnh bị nhiễu muối tiêu... Filter Kết quả lọc hai lầnvới 3*3 Median Filter Kết quả lọc ba lầnvới 3*3 Median Filter Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 31 Ảnh bị nhiệu Muối tiêu Ảnh bị nhiễu Uniform Lọc với 5*5 Arithmetic Mean Filter Lọc với 5*5 Geometric Mean Filter Lọc với 5*5 Median Filter Lọc với 5*5 Alpha-Trimmed Mean Filter Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 32 Thực hiện chập với kích thước Sxy là 3x3 cho các filter median,... (b-a)*rand(M,N); Bài giảng Xử lý ảnh - TS Ngô Quốc Việt a b z 12  PDF của nhiễu impulse (bipolar) xác định bởi Pa for z  a  p( z )   Pb for z  b  0 otherwise  p(z) Pb Tạo nhiễu salt-pepper, MxN là kích thước ảnh a+b