Chơng 2: cảI thiện ảnh 95 )k(u)k(d )k(d yyy 1 (2.38b) trong đó x (k) , y (k) là các số hạng cập nhật hoặc số hạng hiệu chỉnh. Các số hạng cập nhật thay đổi theo phơng pháp giảm đợc sử dụng. Chẳng hạn, nếu ta dùng phơng pháp giảm nhanh nhất , thì (2.38) trở thành : )k(d d),k(d d x yx xx yyxx d )d,d(Error )k(d )k(d 1 (2.39a) )k(d d),k(d d y yx yy yyxx d )d,d(Error )k(d )k(d 1 (2.39b) trong đó là kích cỡ một bớc, có thể điều chỉnh đợc, và Error(d x , d y ) là Error trong công thức (2.35), hàm của d x và d y với mỗi giá trị đã cho R. Các phơng pháp đệ quy thờng liên quan tớ i đạo hàm riêng và có khuynh hớng là nhậy cảm với sự tồn tại nhiễu hoặc những chi tiết ảnh tinh vi. Làm trơn ảnh trớc khi ớc lợng chuyển động thờng cải thiện hiệu năng các phơng pháp đệ quy . Trong các phơng pháp đệ quy, (d x , d y ) không bị giới hạn ở các giá trị nguyên và có thể đợc ớc lợng chính xác trong điền ảnh con (subpixel). Các số hạng cập nhật thờng liên quan đến sự định giá các đạo hàm riêng của Error(d x , d y ), gồm việc định giá f(x, y, t -1 ) và các đạo hàm riêng của nó ở một điểm tuỳ ý tr ong không gian. Trong thực tế f(x, y, t -1 ) chỉ đợc biết khi x = n 1 T 1 và y = n 2 T 2 . Để định giá các đại lợng cần thiết ở điểm không gian tuỳ ý (x, y), ta có thể sử dụng kỹ thuật nội suy không gian đợc thảo luận trong tiết 1.4.1 3 n 2 +8 n 2 +7 n 2 +6 n 2 +5 n 2 +4 n 2 +3 n 2 +2 n 2 +1 n 1 +d x n 1 -8 n 1 -7 n 1 -6 n 1 -5 n 1 -4 n 1 -3 n 1 -2 n 1 -1 n 1 n 1 +1 n 1 +2 n 1 +3 n 1 +4 n 1 +5 n 1 +6 n 1 +7 n 1 +8 2 1 3 2 2 2 2 3 3 3 2 3 3 3 2 2 2 3 2 1 1 2 Chơng 2: cảI thiện ảnh 96 Trong các phơng pháp đệ quy, (d x , d y ) thờng đợc ớc lợng ở mỗi pixel. Khi sử dụng phép đệ quy liên quan tới công thức (2.38) 00 yx d ,d thờng nhận đợc ớc lợng ở pixel kề trong cùng một đờng quét ngang, trong đờng quét ngang kề theo hoặc trong khung kề theo. Các phơng pháp này đợc gọi là ớc lợng đệ quy pel phân tử ảnh (picture element), theo thứ tự là đệ quy ngang, dọc và đệ quy thời gian. Khi cho kd ,kd yx , ta chỉ có thể sử dụng phép đệ quy liên quan công thức (2.38 ) một lần cho mỗi pixel rồi chuyển động tới pixel tiếp theo. Hoặc là, ta cũng có thể sử dụng phép đệ quy nhiều hơn một lần để ớc lợng (d x ,d y ) chính xác hơn trớc khi chuyển động sang pixel tiếp theo. Chơng 2: cảI thiện ảnh 97 Mặc dù ta phân loại các phơng pháp thích ứng vùng thành phơng pháp thích ứng khối và phơng pháp đệ quy nh thờng làm trên báo chí khoa học, nhng đờng ranh giới giữa hai loại chỉ là ranh giới mờ. Bằng cách chọn lới (grid) định giá biểu thức sai số dày hơn, ta cũng có thể định giá (d x , d y ) trên từng subpixel với các phơng pháp thích ứng khối. Ngoài ra thủ tục tìm kiếm ba bớc ở trên có thể đợc xem nh phơng pháp đệ quy ở đó ớc lợng đợc cải thiện bằng phép lặp. Nhợc điểm chính của các phơng pháp thích ứng vùng là yêu cầu khối lợng tính toán lớn. Tuy chỉ phải ớc lợng hai tham số d x và d y , việc giải bài toán phi tuyến ở mỗi pixel hoặc ở mỗi ảnh con đều có thể đòi hỏi chi phí tính toán lớn. 4.2.2. các phơng pháp ràng buộc không - thời gian Các algorit của loại này đợc dựa trên phơng trình ràng buộc không - thời gian (2.34), có thể xem nh một phơng trình tuyến tính cho hai số cha biết v x và v y dới giả thiết là f(x, y, t)/x, f(x, y, t)/y và f(x, y, t)/t đã biết. Bằng cách ớc lợng f(x, y, t)/x, f(x, y, t)/y và f(x, y, t)/t ở nhiều điểm (x i , y i , t i ) với 1 i N, ở đó v x và v y đợc giả định là hằng số, ta có thể nhận đợc một tập hợp phơng trình tuyến tính quá xác định (overdetermined): 0 )t,y,x()t,y,x(y)t,y,x(x iiiiiiiii t )t,y,x(f y )t,y,x(f v x )t,y,x(f v , 1iN (2.40) các ớc lợng chuyển động có thể nhận đợc bằng cách lấy cực tiểu: 2 1 )t,y,x()t,y,x(y)t,y,x(x N i iiiiiiiii t )t,y,x(f y )t,y,x(f v x )t,y,x(f vError (2.41) vì biểu thức sai số trong (2.41) là dạng toàn phơng của hai số cha biết v x và v y, phải giải hai phơng trình tuyến tính để có đáp số. Tổng quát hơn, thờng giả thiết (2.34) là đúng trong vùng không - thời gian cục bộ ký hiệu là . Để ớc lợng v x và v y ta lấy cực tiểu: Chơng 2: cảI thiện ảnh 98 .dtdydx t )t,y,x(f y )t,y,x(f v x )t,y,x(f vError yx )t,y,x( 2 (2.42) Các tích phân trong (2.42) có thể đợc thay thế bằng các tổng. (2.41) là một ví dụ nh thế. Lấy vi phân Error trong (2.42) đối với v x và v y và cho kết quả bằng không dẫn đến: Wv (2.43a) trong đó .dtdydx x )t,y,x(f )t,y,x( 2 .dtdydx y )t,y,x(f x )t,y,x(f )t,y,x( W = (2.43b) .dtdydx y )t,y,x(f x )t,y,x(f )t,y,x( .dtdydx y )t,y,x(f )t,y,x( 2 v = [v x , v y ] T (2.43c) .dtdydx t )t,y,x(f x )t,y,x(f )t,y,x( (2.43d) .dtdydx t )t,y,x(f y )t,y,x(f )t,y,x( Hai phơng trình tuyến tính trong (2.43) có thể có nhiều lời giải. giả sử f(x, y, t) là hằng số trong vùng không gian thời gian , thì f(x, y, t)/x, f(x, y, t)/y và f(x, y, t)/t tất cả đều bằng không và mọi phần tử trong W và trong (2.43) cũng bằng không, nhờ đó bất kỳ (v x , v y ) nào cũng sẽ thoả mãn (2.43a). Mọi tốc độ chuyển động trong vùng độ cờng độ đồng đều sẽ không ảnh hởng đến f(x, y, t), do đó không thể từ f(x, y, t) ớc lợng đợc tốc độ chuyển động thực tế. Giả sử f(x, y, t) là một mép bậc thang lý tởng. Tốc độ chuyển động theo hớng song song với mép bậc thang sẽ không ảnh hởng đến f(x, y, t) và do đó không thể ớc lợng đợc. Những bài toán này đã đợc Chơng 2: cảI thiện ảnh 99 nghiên cứu và đã khai triển đợc một nghiêm [Martinez]. Gọi 1 và 2 là các giá trị riêng của W và gọi 1 và 2 là các vectơ riêng trực chuẩn tơng ứng. Một nghiệm hợp lý của phơng trình (2.43) là: Trờng hợp 1 v = 0, 21 , ngỡng (2.44a) Trờng hợp 2 v = 1 11 T , 21 (2.44b) Trờng hợp 3 v = W -1 , với các giá trị khác (otherwise) (2.44c) Trờng hợp 1 bao gồm cả vùng cờn g độ đều, ở đó đặt tốc độ bằng không. Trờng hợp 2 bao gồm vùng mép biên lý tởng và ớc lợng tốc độ trong (2.44b) đi theo hớng vuông góc với mép biên. Việc giải phơng trình tuyến tính (2.43) yêu cầu định giá f(x, y, t)/x, f(x, y, t)/y và f(x, y, t)/t ở các vị trí không - thời gian tuỳ ý. Điều đó có thể đợc hoàn thành bằng cách mở rộng phơng pháp nội suy đa thức không gian ra 3 -D, có u điểm so với các cách tiếp cận khác là tính toán đơn giản và không nhậy cảm với tạp âm. Trong phép nội suy đa thức 3-D, hàm nội suy )t,y,x(f là: N i ii ).t,y,x(S)t,y,x(f 1 (2.45) một ví dụ về )t,y,x( i khi N = 9 là. .yt,xt,xy,y,x,t,y,x,)t,y,x( i 22 1 (2.46) Hệ số S i có thể đợc xác định bằng cách lấy cực tiểu: .Tnt,Tny,Tnx )n,n,n( N i ii )t,y,x(S)t,y,x(fError 332211 321 2 1 (2.47) Một lựa chọn hợp lý là vùng chứa đựng 50 pixels: 5 cho n 1 , 5 cho n 2 và 2 cho t. Để lấy cực tiểu sai số trong (2.47) với S i phải giải một hệ phơng trình tuyến tính, Lu ý rằng các đạo hàm riêng f(x, y, t)/x, f(x, y, t)/y và f(x, y, t)/t dùng trong (2.43) có thể đợc tính trớc thành hàm của các số hạng S i. . Các algorit ớc lợng chuyển động đợc thảo luận trên yêu cầu xác định các vùng không - thời gian ký hiệu là trên đó có thể giả thiết là chuyển động đều. Vì Chơng 2: cảI thiện ảnh 100 vùng không gian cục bộ trong một khung vào cỡ 5 x 5 pixel, để xác định một hợp lý cần có một ớc lợng chuyển động ban đầu chỉ chênh lệch vài pixel so với dịch chuyển thực. Trong thực tế, chuyển động giữa hai khung kề nhau thờng không quá 10 pixels. Một cách tiếp cận để nhận đợc chuyển động (hay tốc độ) ban đầu là dùng tốc độ ở lân cận đã tính trớc đó rồi xác định ra vùng thích hợp nh trên Hình 2.45. Một cách tiếp cận khác là dùng phơng pháp cấp bậc (hierarchical) hoặc phơng pháp nhiều lới (multigrid). Phơng pháp nhiều lới bất đầu với chuyển động đợc ớc lợng trên lới thô. Lới thô nhận đợc từ khung gốc bằng lọc thông thấp và lấy mẫu down -sampling. Phép lấy mẫu down -sampling làm cho chuyển động (hoặc tốc độ) co lại. Tốc độ chuyển động lớn trong khung gốc sẽ bị giảm xuống theo một hệ số tỉ lệ bằng hệ số down-sampling. Tốc độ chuyển động trong các khung down -sampling có thể ớc lợng bằng cách sử dụng phơng pháp ràng buộc không - thời gian với giả thiết tốc độ ban đầu bằng không. Các tốc độ ớc lợng đợc trên lới thô sẽ đem nội suy để sinh ra các tốc độ ban đầu trên một lớ i tinh hơn. Có thể sử dụng phép nội suy song tuyến tính để nội suy tốc độ. Phơng pháp nhiều lới có thể xem nh một ví dụ về xử lý hình chóp (pyramid processing), khai thác một cấu trúc dữ liệu gọi là hình chóp. Một hình chóp liên tiếp cung cấp những thô ng tin cô đọng của ảnh. Một ví dụ về hình chóp là ảnh phân giải cao và những ảnh độ phân giải thấp hơn tiếp theo. Xử lý hình chóp có lợi trong các ứng dụng khác nhau bao gồm kỹ thuật mã hoá ảnh sẽ đợc thảo luận trong chơng 4 . Một u điểm chính của các p hơng pháp ràng buộc không - thời gian so với các phơng pháp thích ứng vùng là tính toán đơn giản . Ngoài ra, sự nghiên cứu sơ bộ dựa vào cả dữ liệu tổng hợp và thực tế chỉ ra rằng phơng pháp ràng buộc không - thời gian với phép nội suy đa thức cho f(x, y, t) cho kết quả không kém gì phơng pháp thích ứng vùng cả ở các khung ảnh có nhiễu và không nhiễu. Cả phơng pháp thích ứng vùng và phơng pháp ràng buộc không - thời gian, đều có thể đa ra các sai số đáng kể trong ớc lợng chuyển động ở một vài vùng , có thể là do tín hiệu f(x, y, t) không thể mô hình hoá bằng chuyển động đều hoặc là do algorit ớc lợng chuyển động không hoàn hảo khi có nhiễu. Một phơng tiện để phát hiện những sai số lớn là đem so sánh biểu thức sai số cho các phơng pháp thích ứ ng vùng (2.35), hoặc biểu thức sai số cho các phơng pháp ràng buộc không - thời gian (2.42) với một ngỡng nào đó. Các vùng ở đó sai số vợt trên ngỡng đợc tuyên bố là Chơng 2: cảI thiện ảnh 101 vùng ớc lợng chuyển động không đáng tin và phép xử lý bù chuyển động ở các vùng này phải huỷ bỏ. Hình 2.45 : Vùng dùng trong (2,42) để ớc lợng (d x , d y ) tại vị trí không gian (x 0 , y 0 ) và thời điểm t 0 . Giá trị ớc lợng yx d ,d đại diện cho sự dịch chuyển tính ra trớc đây ở vị trí lân cận 4.3. Phép nội suy thời gian có bù chuyển động Gỉa sử ta có hai khung liên tiếp 121 t,n,n và 021 t,n,n nh trong Hình 2.46. Ta muốn tạo ra một khung mới t,n,n 21 trong đó 01 ttt . Một cách tiếp cận đơn giản là chọn một khung gốc gần kề về thời gian với khung mong muốn. Một vấn đề với cách tiếp cận này là, nếu dẫy khung có một chuyển động tổng lớn thì sẽ có hiện tợng giật giật. Một cách khác là sử dụng phép nội suy bù chuyển động , các algorit ớc lợng đã thảo luận ở tiết trớc .Trong phép nội suy thời gian có bù chuyển động , ta giả thiết x d y d t -1 t 0 t y (x,y) x (x -1 ,y -1 ) x y . hớng song song với mép bậc thang sẽ không ảnh hởng đến f(x, y, t) và do đó không thể ớc lợng đợc. Những bài toán này đã đợc Chơng 2: cảI thiện ảnh 99 nghiên cứu và đã khai triển đợc một nghiêm. khuynh hớng là nhậy cảm với sự tồn tại nhiễu hoặc những chi tiết ảnh tinh vi. Làm trơn ảnh trớc khi ớc lợng chuyển động thờng cải thiện hiệu năng các phơng pháp đệ quy . Trong các phơng pháp đệ. n 1 +4 n 1 +5 n 1 +6 n 1 +7 n 1 +8 2 1 3 2 2 2 2 3 3 3 2 3 3 3 2 2 2 3 2 1 1 2 Chơng 2: cảI thiện ảnh 96 Trong các phơng pháp đệ quy, (d x , d y ) thờng đợc ớc lợng ở mỗi pixel. Khi sử dụng phép