Chơng 3: Phục hồi ảnh 157 a = 2 g gEfEfgE (3.97a) và b = E[f] - E[g]a (3.97b) trong đó g 2 là phơng sai của g. Từ (3.93) và (3.94) và (3.97), a)mg(mf gf (3.98a) trong đó 2 2 g fv m a (3.98b ) Từ (3.93) và (3.98) và sau một vài phép tính đại số . )m(m mm )mg( m m f vvgv vgvg g v g 222 2222 (3.99) Vì (3.99) có thể sử dụng để ớc lợng f(n 1 , n 2 ) ở mỗi pixel )m)(n,n(m )n,n(mm)n,n( ))n,n(m)n,n(g( m )n,n(m )n,n(f vvgv vgvg g v g 22 21 2 2 21 22 21 2 2121 21 21 (3.100) Các đại lợng thống kê về nhiễu v 2 và m v giả sử đã biết. Chừng nào mô hình tín hiệu còn phù hợp và còn có thể ớc lợng m g (n 1 , n 2 ) và g 2 (n 1 , n 2 ) từ g(n 1 , n 2 ) ở vùng lân cận cục bộ mỗi pixel, thì còn có thể đợc ớc lợng f(n 1 , n 2 ) từ (9100). Cách tiếp cận này có thể sử dụng để khai triển các algorit làm giảm các loại nhiễu phụ thuộc tín hiệu, kể cả nhiễu Poisson. Hình 3.28: ảnh trong hình 3.27(b) đợc xử lý bởi một hệ làm giảm nhiễu nhân dựa vào phơng trình (3.100). ảnh đợc xử lý có NMSE = 2,8% và mức cải thiện SNR = 2,5 dB. Chơng 3: Phục hồi ảnh 158 Hình 3.28 là kết quả áp dụng phơng trình (3.100) để làm giảm nhiễu nhân. ảnh bị xuống cấp đợc sử dụng trong hình 3.27(b). ảnh đợc xử lý chỉ ra trên hình có Mức cải thiện SNR = 2,5dB. 6. phép lọc thời gian cho phục hồi ảnh Trong các tiết trớc, ta đã thảo luận về các algorit lọc không gian cho phục hồi ảnh. Trong các ứng dụng nh ảnh động, tồn tại một dãy ảnh tơng quan với nhau trong thứ nguyên thời gian và có thể đợc khai thác sự tơng quan thời gian này qua sự lọc thời gian. Một u điểm lớn của sự lọc thời gian so với sự lọc không gian là nó có khả năng làm giảm xuống cấp mà không gây méo(distortion) tín hiệu. Trong tiết này ta thảo luận về các algorit lọc thời gian. 6.1. Lấy trung bình khung Phơng pháp đơn giản nhất của bộ lọc thời gian là lấy trung bình khung, rất hiệu quả trong việc xử lý một dãy ảnh, ở đó ảnh không thay đổi từ khung này tới khung khác nhng sự xuống cấp lại thay đổi. Có nhiều kiểu trung bình khung khác nhau. Cách đơn giản nhất và thông dụng nhất là ớc lợng ảnh f(n 1 , n 2 ) từ một dãy N khung ảnh bị xuống cấp g i (n 1 , n 2 ), khi 1 i N : N i i )n,n(g N )n,n(f 1 2121 1 (3.101) Một ví dụ khác của trung bình khung là: N/ N i i ))n,n(g()n,n(f 1 1 2121 (3.102) Loại hình trung bình thờ i gian nào là tốt nhất trong một ứng dụng phụ thuộc vào nhiều yếu tố, bao gồm tiêu chí sai số đợc sử dụng và những giả định ban đầu về sự xuống cấp của ảnh. Giả sử có một dãy ảnh bị xuống cấp g i (n 1 , n 2 ) đợc đại biểu bởi: g i (n 1 , n 2 ) = f(n 1 , n 2 ) + v i (n 1 , n 2 ), 1 1 N (3.103) trong đó v i (n 1 , n 2 ) là nhiễu Gauss trắng dừng, trung vị bằng không, phơng sai là v 2 , và v i (n 1 , n 2 ) độc lập với v j (n 1 , n 2 ) khi i j. Nếu ta giả sử rằng f(n 1 , n 2 ) là không ngẫu Chơng 3: Phục hồi ảnh 159 nhiên, thì đánh giá gần dúng nhất (ML) của f(n 1 , n 2 ) có thể cực đại hoá ))n,n(f)n,n(g(P i )n,n(f)n,n(g i 2121 2121 là: N i i )n,n(g N )n,n(f 1 2121 1 (3.104) Từ (3.103) và (3.104) N i i )n,n(v N )n,n(f)n,n(f 1 212121 1 (3.105) Từ (3.105), sự xuống cấp trong ảnh trung bình hoá khung vẫn là nhiễu trắng Gauss dừng có trung vị bằng 0, phơng sai bằng 2 /N, biểu diễn sự giảm phơng sai nhiễu N lần so với v i (n 1 , n 2 ). Vì đặc tính nhiễu trong v í dụ này không đổi trong khi phơng sai bị giảm, ảnh đợc xử lý sẽ không nhoè chút nào mặc dù nhiễu giảm. Phép trung bình hoá khung trong (3.104) thờng sử dụng để giảm nhiễu có thể xuất hiện khi số hoá ảnh tĩnh bằng một thiết bị chụp hình nh camera vidic on. Lấy một ví dụ khác, ta giả sử g i (n 1 , n 2 ) có thể đợc biểu thị là: g i (n 1 , n 2 ) = f(n 1 , n 2 ) v i (n 1 , n 2 ) (3.106) trong đó v i (n 1 , n 2 ) cho mỗi bộ giá trị i và (n 1 , n 2 ) là một mẫu độc lập dẫn xuất từ hàm mật độ xác suất sau: p v (v 0 ) = (exp( - (v 0 )u(v 0 ) (3.107) trong đó u(.) là hàm bậc thang đơn vị. Trong một số trờng hợp có thể mô hình hoá nhiễu đốm đợc bằng nhiễu nhân trong (3.106) và (3.107) với = 1. Nếu ta ký hiệu g là g i (n 1 , n 2 ) ở một bộ giá trị i và (n 1 , n 2 ) nào đó, tơng ứng cũng ký hiệu f và v theo thứ tự là f(n 1 , n 2 ) và v i (n 1 , n 2 ) lấy từ (3.106) và (3.107). )g(u))fgexp(( f )fg(P fg 000 0 00 (3.108) Từ (3.106) và (3.108), nếu giả định rằng f(n 1 , n 2 ) là không ngẫu nhiên, đánh giá gần đúng nhất (ML , - Maximum Likelihood ) của f(n 1 , n 2 ) là: N i i )n,n(g N )n,n(f 1 2121 (3.109) Chơng 3: Phục hồi ảnh 160 Từ (3.106) và (3.109), N i i )n,n(v N )n,n(f)n,n(f 1 212121 (3.110) Từ (3.110) thấy rằng kiểu xuống cấp trong ảnh đã xử lý vẫn là nhiễu nhân trong ví dụ này. Phơng pháp đánh giá gần đúng nhất (ML) sử dụng trong hai ví dụ trên thờng đơn giản hơn phơng pháp ớc lợ ng sai số quân phơng tối thiểu(MMSE) hoặc phơng pháp ớc lợng cực đại hậu nghiệm (MAP). Trong phơng pháp ớc lợng ML (maximum likelyhood) ta giả thiết là không có sẵn thông tin trớc về các thông số (hoặc tín hiệu) cần ớc lợng, vì vậy chỉ nhận đợc lời giải có ích, khi số lợng các thông số cần ớc lợng nhỏ hơn số lần quan sát. Chẳng hạn, trong (3.104) và (3.110) nếu N = 1, làm cho số thông số cần ớc lợng bằng số lần quan sát, thì f (n 1 , n 2 ) chính là tín hiệu bị xuống cấp hoặ c chỉ khác tín hiệu bị xuống cấp một hệ số tỉ lệ. Đó là một lý do tại sao trong việc khai triển algorit bộ lọc không gian ở các tiết trớc, ta đã dựa vào tiêu chí MMSE chứ không phải tiêu chí ML. Tiêu chí MMSE kết hợp quan sát với một vài thông tin biết t rớc về các thông số cần ớc lợng. Chừng nào thông tin có sẵn còn chính xác và có ý nghĩa, thì còn có thể khai triển một quy trình ớc lợng có ích, ngay cả khi mà số thông số cần ớc lợng có thể so sánh đợc với số lần quan sát . Hình 3.29: Minh hoạ hiệu năng của trung bình hoá khung. (a) ảnh gốc 512 x 512 pixels; (b) ảnh bị xuống cấp bởi nhiễu trắng, với SNR = 2dB và NMSE = 65,2%; (c) ảnh đợc xử lý bằng cách lấy trung bình hoá khung (8 khung), có NMSE = 8,5% và Mức cải thiện SNR =8,8 dB. (a) (b) (c) Chơng 3: Phục hồi ảnh 161 Hình 3.29 và 3.30 minh hoạ hiệu năng của trung bình hoá khung. Hình 3.29(a) là ảnh gốc 512 x 512 pixels. Hình 3.29(b) là ảnh bị xuống cấp bởi nhiễu trắng Gauss dừng, có trung vị bằng 0, mức SNR là 2 dB. Hình 3.29(c) là kết quả của việc lấy trung bình 8 khung bị xuống cấp sử dụng (3.104). Hình 3.30(a) là ảnh gốc trong hình 3.29(a) bị xuống cấp bởi nhiễu nhân của (3.106) và (3.107) với = 1. Hình 3.30(c) là kết qủa lấy trung bình 8 khung ảnh bị xuống cấp, sử dụng (3.110). Hình 3.30: Minh hoạ hiệu năng của tr ung bình hoá khung. (a) ảnh trong hình3.29(a) bị xuống cấp bởi nhiễu nhân, với NMSE = 28,8%; (b) ảnh đợc xử lý bằng cách lấy trung bình khung (8 khung), với NMSE = 4,7% và Mức cải thiện SNR = 7,9dB; (c) ảnh đợc xử lý bằng cách áp dụng một bộ lọc không gian tới ảnh trong (b), có NMSE = 4,3% và Mức cải thiện SNR = 8,3dB. Ngoài ra lọc thời gian cũng có thể thực hiện lọc không gian. Chẳng hạn, ảnh đã xử lý trong hình 3.30(b) có thể đợc mô hình hoá nh một ảnh gốc bị xuống cấp bởi nhiễu nhân mà đ ặc tính có thể nhận đợc từ đặc tính nhiễu trong khung bị xuống cấp đơn. Nếu ta áp dụng phơng pháp trong tiết 3.5.2 để làm giảm nhiễu nhân cho ảnh ở hình 3.30(b), ta sẽ nhận đợc ảnh biểu diễn trên hình 3.30(c). Trong ví dụ này xử lý riêng rẽ, các phép lọ c thời gian và không gian đợc thực hiện riêng. Cũng có thể thiết kế và thực hiện chung một bộ lọc không gian -thời gian 3-D, nhng với cách tiếp cận (a) (b) (c) Chơng 3: Phục hồi ảnh 162 này chi phí tính toán thờng cao hơn xử lý riêng biệt nhiều, mà không có sự cải tiến hiệu năng đáng kể. Mặc dù trung bình khung trong một số hình thức thờng rất đơn giản và có hiệu quả, nhng đăng ký -ghi lại (registration) tín hiệu chính xác là yếu tố quan trọng cho sự thành công. Trong nhiều ứng dụng nh ảnh động và truyền hình, ảnh có thể thay đổi từ khung này sang khung kề theo sau do đối tợng chuyển động, camera chuyển động, v.v Để áp dụng một hình thức trung bình khung nào đó cho những khung ảnh này, ta cần ớc lợng đợc sự chuyển động của ảnh từ một khung tới khung tiếp theo. Việc bù chuyển động phục hồi ảnh sẽ đợc thảo luận trong tiết tiếp theo. 6.2. phục hồi ảnh bằng bù chuyển động Trong phục hồi ảnh bằng bù chuyển động thờng ớc lợng trớc các thông số chuyển động, sau đó các khung ảnh đợc lọc dọc theo quỹ đạo chuyển động. Các algorit ớc lợng chuyển động đã thảo luận trong tiết 2.4.2 có thể sử dụng để ớc lợng quỹ đạo chuyển động. Vì các algorit trong tiết 2.4.2 đợc khai triển với giả thiết đã có các khung ảnh không nhiễu (noise -free), cho nên cần phải xét đến sự xuống cấp trớc khi ớc lợng chuyển động. Một vài algorit ớc lợng chuyển động, nh algorit ớc lợng chuyển động có ràng buộc không gian -thời gian dùng nội suy đa thức tín hiệu đã thảo luận trong tiết 2.4.2 có khuynh hớng ít nhậy cảm với nhiễu. Với các algorit khác, thực hiện vài phép giảm xuống cấp đơn giản trớc khi ớc lợng chuyển động có thể nâng cao hiệu năng. Loại hình phép lọc thực hiện dọc theo quỹ đạo chuyển động phụ thuộc vào kiểu xuống cấp. Kỹ thuật phục hồi ảnh bằng bù chuyển động thờng nói đến trên các tạp chí chủ yếu đợc dùng làm giảm nhiễu cộng ngẫu nhiên. Để làm giảm nhiễu cộng ngẫu nhiên, cờng độ ảnh trong các khung khác nhau dọc theo quỹ đạo chuyển động đợc lọc thông thấp. Cả bộ lọc FIR và bộ lọc IIR đều đợc xét. Vì phép lọc thời gian bao hàm cả lu trữ các khung, nên thông thờng chỉ sử dụng các bộ lọc FIR và IIR bậc thấp. Hình 3.31 minh hoạ bộ lọc FIR ba điểm áp dụng dọc theo quỹ đạo chuyển động. Khung giữa g(n 1 , n 2 , t 0 ) trong hình là khung hiện thời (current) đang đợc xử lý. ảnh đợc xử lý f (n 1 , n 2 , t 0 ) nhận đợc từ g(n 1 , n 2 , t 0 ), khung trớc g(n 1 , n 2 , t -1 ) và khung sau g(n 1 , n 2 , t 1 ). Tại mỗi pixel trong khung hiện thời tính hai tốc độ (hoặc hai đoạn) . khung ảnh bị xuống cấp, sử dụng (3.110). Hình 3.30: Minh hoạ hiệu năng của tr ung bình hoá khung. (a) ảnh trong hình3. 29( a) bị xuống cấp bởi nhiễu nhân, với NMSE = 28,8%; (b) ảnh đợc xử lý bằng cách. (a) (b) (c) Chơng 3: Phục hồi ảnh 161 Hình 3. 29 và 3.30 minh hoạ hiệu năng của trung bình hoá khung. Hình 3. 29( a) là ảnh gốc 512 x 512 pixels. Hình 3. 29( b) là ảnh bị xuống cấp bởi nhiễu trắng. . Hình 3. 29: Minh hoạ hiệu năng của trung bình hoá khung. (a) ảnh gốc 512 x 512 pixels; (b) ảnh bị xuống cấp bởi nhiễu trắng, với SNR = 2dB và NMSE = 65,2%; (c) ảnh đợc xử lý bằng cách lấy trung