Chơng 2: cảI thiện ảnh 88 Error = 2211 21 1 2 Tny,Tnx N i ii n,n y,xSy,xf (2.28) Trong đó là những pixel trên đó f(x,y) đợc lấy xấp xỉ. Giải phơng tr ình (2.28) là bài toán tuyến tính đơn giản, bởi vì i (x,y) cố định. Ưu điểm của phép nội suy đa thức là y,xf c trơn và việc định giá x/y,xf c và y/y,xf c đơn giản. x/y,xf c và y/y,xf c là các đạo hàm riêng đợc dùng trong những ứng dụng nh phát hiện đờng biên và ớc lợng di động. Ngoài ra đem khớp một đa thức với số hệ số ít hơn số pixel trong vùng ở công thức (2.28), có thể làm trơn nhiễu ở một mức độ nhất định. Việc làm trơn nhiễu đặc biệt có lợi trong các ứng dụng có sử dụng đạo hàm riêng x/y,xf c và y/y,xf c . Cũng có thể sử dụng algorit ớc lợng di động sẽ thảo luận trong tiết sau để phát triển những sơ đồ nội suy không gian. Hình 2.42 là một ví dụ phép nội suy ảnh. Hình 2.42(a) là ảnh 265 256 pixel đợc tạo ra từ phép nội suy bậc không một ảnh gốc 64 64 pixel. Hình 2.42(b) là ảnh 256x256 pixel nhận đợc từ phép nội suy song tuyến tính một ảnh gốc 64 64 pixel. Hình 2.41: Vùng ở đó f c (x,y) đợc nội suy từ 4 pixel lân cận f c (n 1 T 1 ,n 2 T 2 ), f c ((n 1 +1)T 1 ,n 2 T 2 ), f c (n 1 T 1 ,(n 2 +1)T 2 ) , f c ((n 1 +1)T 1 ,(n 2 +1)T 2 ). (x,y) y T 2 x T 1 n 2 T 2 (n 2 +1)T 2 y n 1 T 1 x (n 1 +1)T 1 Chơng 2: cảI thiện ảnh 89 Hình 2.42: Ví dụ về phép nội suy không gian. (a) ảnh 265 x 256 pixel đợc tạo ra từ ph ép nội suy bậc-không một ảnh gốc 64 x 64 pixel; (b) ảnh 256 x 256 pixel nhận đợc từ phép nội suy song tuyến tính ảnh gốc đã sử dụng trong hình (a). 4.2. ớc lợng chuyển động Có thể từ những khung hình đã có tạo ra các khung hình mới bằng nội suy thời gian. Khác với nội suy không gian, nội suy thời gian yêu cầu lu trữ một khối lợng lớn. Vì vậy, thờng phải tạo ra một khung mới giữa hai khung liền kề, một cái thuộc về quá khứ, cái kia thuộc về tơng lai so với khung đợc tạo ra. Phơng pháp đơn g iản nhất thờng dùng trong thực tế là phơng pháp bậc - không (zero-order hold method) tạo ra một khung mới bằng cách lặp lại khung đã có ở thời điểm gần kề nhất. Khi biến đổi ảnh động 24 khung/sec sang tín hiệu NTSC 60 trờng/sec, từ một khung ảnh động tạo ra 3 trờng kế tiếp nhau, sau đó từ khung ảnh động kế theo lại tạo ra 2 trờng kế tiếp nhau nữa, quá trình cứ nh thế lặp lại cho đến khi hết các ảnh động. Đó là phơng pháp gỡ dần 3:2 (3:2 pull-down method). Với đa số cảnh (scene) không có chuyển động to àn bộ (global motion) lớn thì kết quả khá tốt. Tuy vậy, khi có chuyển động toàn bộ lớn, sẽ có hiện tợng giật giật. Một cách để cải thiện là bù chuyển động. ảnh động hoặc truyền hình quảng bá là một dãy những khung tĩnh đợc hiển thị liên tiếp nhau với tốc độ cao. Tốc độ (hay nhịp hiển thị) cần thiết để gây cảm nhận nh chuyển động tự nhiên thờng phải khá cao, đủ đảm bảo một độ d thừa về thời gian giữa các khung kề. Phần lớn biến thiên cờng độ từ khung này sang khung kế theo sau là do đối tợng chuyển độ ng. Quá trình xác định vận động (movement) của các đối tợng trong một dãy khung ảnh gọi là ớc lợng chuyển động . Xử lý ảnh có xét đến sự tồn tại của chuyển động gọi là xử lý ảnh có bù chuyển động . (a) (b) Chơng 2: cảI thiện ảnh 90 Hình 2.43 : ảnh tịnh tiến với di chuyển (d x , d y ). (a) f(x, y, t -1 ); (b) f(x, y, t 0 ). Xử lý ảnh có bù chuyển động có nhiều ứng dụng. Một ứng dụng là nội suy ảnh. Bằng cách ớc lợng các thông số chuyển động ta có thể tạo ra một khung mới giữa hai khung đã có. ứng dụng phép xử lý có bù chuyển động cho nội suy ảnh sẽ đợc thảo luận ở tiết sau. Một ứng dụng nữa là phục hồi ảnh. Nếu có thể ớc lợng các thông số chuyển động và nhận biết các vùng trong những khung khác nhau ở đó cờng độ ảnh bằng hoặc gần bằng nhau, thì có thể lọc thời gian ở những vùn g đó. Những ứng dụng cho phục hồi ảnh sẽ đợc thảo luận ở chơng 3. Xử lý ảnh có bù chuyển động cũng có thể ứng dụng cho mã hoá ảnh. Bằng cách dựa vào các khung trớc đó dự báo cờng độ khung đơng thời, có thể giới hạn mã hoá ở các hiệu số cờng độ giữa k hung đơng thời và khung đơng thời dự báo. Ngoài ra, chúng ta cũng có thể loại bỏ vài khung và xây dựng lại những khung bị loại bỏ bằng nội suy từ các khung đã mã hoá. Những ứng dụng cho mã hoá ảnh sẽ thảo luận ở chơng 3. Bài toán ớc lợng chuyển động m à ta xét ở đây là chuyển động tịnh tiến của các đối tợng. Đặt f(x, y, t -1 ) và f(x, y, t 0 ) theo thứ tự là cờng độ ảnh ở những thời điểm t -1 và t 0 . Ta gọi các khung f(x, y, t -1 ) và f(x, y, t 0 ) là khung quá khứ và khung đang xét. Giả thiết rằng: f(x, y, t 0 ) = f(x - d x , y - d y , t -1 ) (2.29) d x d y (a) f(x, y, t -1 ) (b) f(x, y, t 0 ) Chơng 2: cảI thiện ảnh 91 trong đó d x và d y là dịch chuyển ngang và thẳng đứng giữa t -1 và t 0 . Hình 2.43 biểu diễn một ví dụ của f(x, y, t -1 ) và f(x, y, t 0 ) thoả mãn phơng trình (2.29). Giả sử có chuyển động đều giữa t -1 và t 0 , 111 t,ttvy,ttvxft,y,xf yx , t -1 t t 0 (2.30) trong đó v x và v y là các tốc độ theo phơng nằm ngang và phơng thẳng đứng. Một hệ quả trực tiếp của (2.30) là một phơng trình vi phân liên hệ v x và v y với f(x, y, t)/x, f(x, y, t)/y, f(x. y, t)/t có hiệu lực trên miền không - thời gian trong đó giả thiết chuyển động là tịnh tiến đều. Để suy ra hệ thức này, ta ký hiệu f(x,y, t -1 ) bằng s(x, y): .,,, 1 tyxfyxs (2.31) Từ (2.30) và (2.31): ,t,y,x,t,y,xst,y,xf t -1 t t 0 (2.32) trong đó 1 ttvxt,y,x x (2.32b) và 1 ttvyt,y,x y (2.32c) Từ (2.32), giả thiết rằng f(x, y, t)/x, f(x, y, t)/y, f(x. y, t)/t tồn tại, ta nhận đợc: s x s x s x t,y,xf (2.33a) s y s y s y t,y,xf (2.33b) . s v s v t s t s t t,y,xf yx (2.33c) Từ (2.33), x t,y,xf v x y t,y,xf v y . t t,y,xf 0 (2.34) Chơng 2: cảI thiện ảnh 92 Phơng trình (2.34) gọi là phơng trình ràng buộc không - thời gian và có thể đợc mở rộng để xét đến những loại chuyển động khác, nh phóng to, thu nhỏ ống kính (zooming). Giả thiết tịnh tiến đơn giản dẫn đến phơng trình (2.29) và giả thiết bổ sung coi phép tịnh tiến có tốc độ đều dẫn đến (2.30) đã đặt ra nhiều hạn chế. Chẳng hạn, không đợc cho đối tợng quay, không phóng to, thu nhỏ ống kính, các vùng không bị trùm phủ bởi sự tịnh tiến đối tợng, các đối tợng không đợc chuyển động với những tốc độ v x và v y khác nhau. Tuy vậy, bằng cách giả thiết chỉ có chuyển động tịnh tiến đều ở cục bộ, và chỉ ớc lợng 2 thông số chuyển động (d x , d y ) hay (v x , v y ) ở mỗi pixel hay ở mỗi hình con, các công thức (2.29) và (2.34) vẫn có hiệu lực ở những vùng nền không bị ảnh hởng bởi chuyển động đối tợng. Những vùng này chiếm một phần đáng kể của dãy khung hình. Ngoài ra, nếu ta nhận biết những vùng ở đó ớc lợng chuyển động không chính x ác, có thể loại bỏ phép xử lý bù chuyển động ở những vùng đó. Chẳng hạn trong nội suy ảnh, ta có thể giả thiết v x = v y = 0. Có thể phân các phơng pháp ớc lợng chuyển động thành hai nhóm lớn, là các phơng pháp thích ứng vùng (region matching) và các p hơng pháp ràng buộc không - thời gian. Các phơng pháp thích ứng vùng dựa trên (2.29) và các phơng pháp ràng buộc không-thời gian dựa trên (2.34). Ta hãy thảo luận về các phơng pháp thích ứng vùng trớc. 4.2.1. Các phơng pháp thích ứng vùng Nội dung các phơng pháp thích ứng vùng là xét một vùng nhỏ trong khung hình và tìm sự chuyển động có vẻ khớp nhất trong số những vùng có thể của khung hình lân cận .Trong các phơng pháp thích ứng vùng, vector chuyển động (d x , d y ) đợc ớc lợng bằng cách lấ y cực tiểu: Error = Ry,x C[f(x, y, t 0 ), f(x - d x , y - d y , t -1 )] dx dy (2.35) trong đó R là vùng không gian cục bộ sử dụng để ớc lợng (d x , d y ), và C[. . .] là một độ đo để phân biệt s ự khác nhau giữa hai acgumen. Các tích phân trong công thức (2.35) Chơng 2: cảI thiện ảnh 93 có thể thay thế bằng những tổng nếu đợc lấy mẫu ở biến không gian (x, y). Nếu ta ớc lợng (d x , d y ) ở thời điểm t 0 , vùng R là vùng không gian cục bộ bao quanh vị trí không gian đặc biệt ở đó tiến hành ớc lợng (d x , d y ). Kích cỡ của R phụ thuộc nhiều yếu tố. Nếu chọn R quá lớn thì giả thiết (d x , d y ) gần nh không đổi trên vùng R sẽ không còn hiệu lực và sẽ phải tính toán nhiều để ớc lợng sai số. Nếu chọn R quá nhỏ thì các giá trị ớc lợng có thể rất nhậy với tạp âm. Dựa theo những nhận định trên thì sự lựa chọn phù hợp là 5 x 5 pixel. Có nhiều cách chọn hàm phân biệt C[. . .] khác nhau. Thông thờng sử dụng hai cách chọn là hiệu bình phơng và hiệu tuyệt đối giữa hai acgumen. Với những cách chọn đó (2.35) rút gọn lại là: Error = Ry,x [f(x, y, t 0 ) - f(x - d x , y - d y , t -1 )] 2 dx dy (2.36) Error = Ry,x |f(x, y, t 0 ) - f(x - d x , y - d y , t -1 )| dx dy (2.37) Hàm f(x, y, t 0 ) - f(x - d x , y - d y , t -1 ) đợc gọi là hàm dịch chuyển. Trong các ứng dụng điển hình của phép xử lý bù chuyển động , sự lựa chọn hàm phân biệt không ảnh hởng nhiều đến hiệu năng hệ thống. Trong phạm vi mà công thức (2.29) còn hiệu lực, thì biểu thức sai số trong (2.36) hoặc (2.37) sẽ bằng 0 ở một giá trị thích đáng của (d x , d y ). Cực tiểu hoá Error trong (2.36) hoặc (2.37) là một bài toán phi tuyến. Có nhiều nỗ lực để giải quyết bài toán phi tuyến đó, dẫn đến nhiều phơng pháp giải khác nhau, nhng tựu trung có thể phân thành hai loại chính là phơng pháp thích ứng khối và phơng pháp đệ quy. Ta thảo luận phơng pháp thích ứng khối trớc. Một cách tiếp cận tr ực tiếp để giải quyết vấn đề cực tiểu trên là định giá Error cho mọi vị trí (d x , d y ) trên một phạm vi phù hợp và chọn (d x , d y ) ở đó Error là cực tiểu. Trong cách tiếp cận đó, một khối các cờng độ pixel ở thời gian t 0 đợc khớp phù hợp trực tiếp (matched d irectly) với một khối ở thời gian t -1 . Đó là cơ sở của các phơng pháp thích ứng khối. Vì biểu thức Error phải đợc định giá ở nhiều giá trị của (d x , d y ), phơng pháp ớc lợng (d x , d y ) này chi phí tính toán quá lớn và nhiều phơng pháp đã đợc khai triển để làm giảm tính toán. Trong phơng pháp giản hoá đầu tiên, ta giả thiết (d x, d y ) là hằng số trên một khối 7 x 7 pixels. Với giả thiết đó, ta chia ảnh thành nhiều khối và ớc lợng (d x , d y ) cho mỗi khối. Mặc dù ta thờng chọn kích thớc khối nh là kích cỡ của R trong (2.35), nhng cũng không nhất thiết phải làm nh vậy. Trong một phơng pháp giản hoá khác, ta có thể giới hạn khoảng tìm kiếm ở các giá trị nguyên của (d x , d y ). Ngoài việc làm giảm khoảng tìm kiếm từ các biến (d x , d y ) liên tục Chơng 2: cảI thiện ảnh 94 sang các biến rời rạc, sự giới hạn khoảng tìm kiếm ở các giá trị nguyên cho phép ta xác định f(n 1 - d x , n 2 - d y , t -1 ) cần thiết để ớc lợng biểu thức Error, mà không nội suy. Tuy nhiên các giá trị ớc lợng (d x , d y ) chỉ hạn chế ở những giá trị rời rạc. Ta có thể làm giảm đòi hỏi tính toán ở các phơng pháp thích ứng khối hơn nữa bằng cách sử dụng thủ tục tìm kiếm hiệu quả hơn. Một phơng pháp đợc gọi là phơng pháp tìm kiếm ba bớc đợc minh hoạ trong Hình 2.44. Trong bớc đầu tiên của phơng pháp này, biểu thức sai số đợc định giá ở 9 giá trị của (d x , d y ), đợc đánh dấu là 1 và dùng dấu chấm tròn ghi vị trí trên hệ toạ độ. Trong 9 giá trị (d x , d y ) đó, ta chọn cái ứng với Error nhỏ nhất. Giả sử đạt Error nhỏ nhất ở (d x = 3, d y =-3). Trong bớc thứ hai, ta địn h giá biểu thức sai số ở 8 giá trị khác của (d x , d y ), đợc đánh dấu là 2 và dùng dấu chấm vuông ghi vị trí trên hệ toạ độ. Bây giờ ta chọn (d x , d y ) từ 9 giá trị (8 giá trị mới và (d x =3, d y = -3)). Thủ tục này đợc lặp lại thêm một lần nữa. Đến cuối bớc ba, ta có ớc lợng của (d x , d y ). Thủ tục này có thể mở rộng ra trên ba bớc để làm tăng phạm vi có thể của những vị trí (d x , d y ). Một phơng pháp tìm kiếm khác là thoạt tiên tìm d x bằng cách tìm (d x , 0). Khi đã ớc lợng đợc d x , chẳng hạn đó là x d , thì ớc lợng d y bằng cách tìm ( x d , d y ). Nếu ta muốn cải thiện ớc lợng hơn nữa, thì có thể ớc lợng lại d x bằng cách tìm (d x , y d ), trong đó y d là ớc lợng của d y nhận đợc trong bớc trớc. Mỗi bớc trong thủ tục đó, ta chỉ ớc lợng một tham số, đơn giản hơn ớc lợng hai tham số đồng thời. Các phơng pháp kinh nghiệm (heuristic) làm giảm khối lợng tính toán bằng cách làm giảm số các giá trị của (d x , d y ) ở đó biểu thức sai số đợc định giá. Tuy nhiên Error ở giá trị ớc lợng (d x , d y ) có thể không phải là một cực tiểu toàn bộ (global minimum). Trong các phơng pháp thích ứng khối, ta ớc lợng (d x , d y ) bằng cách định giá Error ở một vài bộ (d x , d y ) xác định. Có một bi ến thể của phơng pháp, là sử dụng các algorit giảm nh các phơng pháp Newton - Raphson và Davidon -Fletcher-Powell để giải quyết bài toán phi tuyến tìm cực tiểu của Error đối với (d x , d y ). Trong loại này của các algorit, thủ tục đệ quy đợc sử dụng để cả i thiện ớc lợng trong mỗi lần lặp, vì thế chúng đợc gọi là các phơng pháp đệ quy. Gọi kd ,kd yx là ớc lợng của (d x , d y ) sau k lần lặp. ứơc lợng (d x , d y ) sau k+ 1 lần lặp là 11 kd ,kd yx biểu diễn là: )k(u)k(d )k(d xxx 1 (2.38a) . Chơng 2: cảI thiện ảnh 88 Error = 2211 21 1 2 Tny,Tnx N i ii n,n y,xSy,xf (2. 28) Trong đó là những pixel trên đó f(x,y) đợc lấy xấp xỉ. Giải phơng tr ình (2. 28) là bài toán. (n 1 +1)T 1 Chơng 2: cảI thiện ảnh 89 Hình 2.42: Ví dụ về phép nội suy không gian. (a) ảnh 265 x 256 pixel đợc tạo ra từ ph ép nội suy bậc-không một ảnh gốc 64 x 64 pixel; (b) ảnh 256 x 256 pixel. gọi là ớc lợng chuyển động . Xử lý ảnh có xét đến sự tồn tại của chuyển động gọi là xử lý ảnh có bù chuyển động . (a) (b) Chơng 2: cảI thiện ảnh 90 Hình 2.43 : ảnh tịnh tiến với di chuyển (d x