BÀI TOÁN DÒ CẠNH TS NGÔ QUỐC VIỆT TPHCM-2014 Các toán tử dò cạnh dựa gradient bậc nhất, bậc hai Robert, Sobel, Prewitt Laplacian operator Dò cạnh tối ưu dựa phương pháp Canny Dò cạnh sử dụng OpenCV Bài giảng Xử lý ảnh - TS Ngô Quốc Việt Trang bị cho sinh viên tảng lý thuyết để thực toán dò cạnh  Trang bị toán tử phổ biến (mặt nạ) dùng để dò cạnh  Trình bày trở ngại (nhiễu, cạnh dầy) hướng giải cho toán dò cạnh  Cung cấp kỹ cần thiết sử dụng OpenCV để thực dò cạnh  Bài giảng Xử lý ảnh - TS Ngô Quốc Việt  Nhằm biến đổi ảnh thành tập curve  Thể đặc trưng bật ảnh  Cạnh mang lại nhiều thông tin pixel Cạnh vùng hai thông tin hữu ích cho toán dựa ảnh  Đối sánh cạnh dễ đối sánh tập pixel hai ảnh (cạnh hình dáng, kích cỡ, vị trí đối tượng) Bài giảng Xử lý ảnh - TS Ngô Quốc Việt  Cạnh biểu số thay đổi có ảnh surface normal discontinuity depth discontinuity surface color discontinuity illumination discontinuity  Cạnh nơi xảy thay đổi đột ngột hay không liên tục (discontinuity) độ sáng, bề mặt, màu sắc Bài giảng Xử lý ảnh - TS Ngô Quốc Việt Sự thay đổi đo đạo hàm bậc  Thay đổi cực đại, đạo hàm có có biên độ cực đại hay đạo hàm bậc hai zero  Thông tin biên phát pixel trung tâm pixel lân cận  Nếu cường độ sáng điểm ảnh lân cận xấp xỉ cường độ sáng điểm ảnh trung tâm, điểm ảnh không điểm thuộc cạnh  Nếu lân cận điểm ảnh trung tâm xét thay đổi mạnh, điểm ảnh thuộc cạnh  Bài giảng Xử lý ảnh - TS Ngô Quốc Việt  Phương pháp đạo hàm bậc hay Gradient  Roberts Operator  Sobel Operator  Prewitt Operator  Đạo hàm bậc hai  Laplacian  Laplacian of Gaussian  Difference of Gaussian  Dò cạnh tối ưu  Dò cạnh Canny Bài giảng Xử lý ảnh - TS Ngô Quốc Việt Kỹ thuật chủ yếu dùng để phát cạnh dựa vào biến đổi cường độ xám theo hướng  Cách tiếp cận theo đạo hàm bậc ảnh dựa kỹ thuật Gradient  Tiếp cận dựa gradient hiệu cường độ sáng thay đổi rõ nét biên Nghĩa biến thiên độ sáng đột ngột  Tại điểm có thay đổi nhiều (độ dốc lớn nhất), đạo hàm bậc có giá trị cực đại  Điểm cạnh có cực trị biên độ gradient  Phương pháp gradient dựa so sánh biên độ với ngưỡng  Bài giảng Xử lý ảnh - TS Ngô Quốc Việt  Gradient ảnh:  Điểm gradient theo hướng thay đổi cường độ sáng nhiều Hướng gradient xác định bởi: Độ đo cạnh xác định biên độ gradient f f f   x y Bài giảng Xử lý ảnh - TS Ngô Quốc Việt  Gradient rời rạc xấp xỉ đạo hàm bậc  Đạo hàm bậc hai  Làm cách chuyển từ gradient sang dạng mặt nạ để thực toán tử chập H?  Thực tổng hợp đạo hàm theo hai hướng X Y Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 10    Đạo hàm bậc hai, cụ thể phương pháp dựa Laplacian, ảnh hưởng nhiều nhiễu Khả dò cạnh sai cạnh Tuy nhiên, định vị cạnh xác so với phương pháp dựa gradient Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 34 Cạnh thật Bị tác động nhiễu Poor robustness To noise Bài giảng Xử lý ảnh - TS Ngô Quốc Việt Vị trí sai Poor Localization Dư nhiều Multiple Responses 35 Dò cạnh tối ưu phụ thuộc vào yếu tố    Tỉ lệ lỗi thấp – cạnh không bị thiếu điểm sai Vị trí – khoảng cách điểm cạnh dò tâm thật cạnh phải nhỏ Single response – không dư pixel dò cạnh Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 36  Các tiêu chuẩn định lượng công thức  Tỉ lệ lỗi nhiễu  Localization:  Mục tiêu cần tìm biểu thức RMS of Filter to edge RMS of Filter to noise SNR( f ) * Localization( f )   i Pi ( f ) Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 37   Phát triển John F Canny (1986) Bước  Khử nhiễu– dùng lọc Gaussian  Chú ý chọn độ rộng thích hợp cho lọc Gaussian  Bước  Cường độ cạnh xác định thông qua gradient image  Sử dụng mặt nạ Sobel Prewitt G  Gx  Gy  Gx  Gy 2 Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 38  Bước 3: xác định hướng cạnh 1  Gy    tan    Gx   Bước 4: tìm hướng cạnh hướng xác định Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 39  Bước 5: khử non-maxima– theo vết dọc theo hướng cạnh loại bỏ pixel không xem nằm cạnh Nhằm tạo cạnh mịn  Bước 6: dùng ngưỡng double / hysteresis (ngưỡng kép ngưỡng trễ) để loại bỏ streaking (sọc cạnh) Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 40  Ước lượng hướng theo nguyên tắc tan θ  Gy Gx Xấp xỉ hướng : -0.4142  tan θ  0.4142 : 0.4142  tan θ  2.4142 : | tan θ |  2.4142 : - 2.4142  tan θ  0.4142 Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 41  Loại bỏ pixel có |G| không cực trị cục x, y x, y x, y  G( x, y)  M x, y     0 if G( x, y)  G( x, y) & G( x, y)  G( x, y) otherwise (x’, y’) (x’’, y’’) lân cận (x, y) dọc theo hướng gradient (x, y) Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 42 Hướng 90 độ Các pixel khoanh trắng giữ lại sau bước Non-Max Suppession Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 43 Cho trước cặp giá trị (High, Low), biên độ gradient pixel:    Lớn “High”, pixel gán nhãn ‘edge pixel’ Nhỏ “Low”, pixel gán nhãn“nonedge-pixel” Giữa “Low” “High”  Kiểm tra lân cận pixel, tồn điểm ảnh có biên độ gradient lớn “High” gán pixel nhãn “edge pixel” ngược lại gán “non-edgepixel” Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 44  cvSobel( const CvArr* src, CvArr* dst, int xorder, int yorder, int aperture_size=3 )  cvLaplace( const CvArr* src, CvArr* dst, int aperture_size=3 )  cvCanny( const CvArr* image, CvArr* edges, double threshold1, double threshold2, int aperture_size=3 ); Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 45 Tham khảo: openCV_Canny(x) Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 46 Thuật giải dò cạnh phát triển dựa đạo hàm bậc hai  Các toán tử Prewitt, Sobel (đạo hàm bậc nhất), toán tử dựa Laplacian (đạo hàm bâc hai) LoG DoG bị nhạy với ảnh nhiễu   Thuật giải Canny phát triển dựa đạo hàm bậc (dùng toán tử Sobel Prewitt), thêm số bước để dò cạnh tối ưu Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 47 Cài đặt chương trình minh họa dò cạnh với toán tử Prewitt, Sobel, Log, DoG Cài đặt lại dò cạnh Canny ảnh tĩnh với tham số High, Low kiểu kích thước mặt nạ thay đổi Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 48 [...]... trung vào pixel gần tâm của nhân chập Toán tử này ít bị ảnh hưởng bởi nhiễu hơn, và được dùng phổ biến để dò cạnh Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 22  Xét hình sau Cạnh ở đâu trong hình, làm cách nào để dò cạnh Cạnh ở đâu? Nguồn: S.Sietz Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 23  Zero crossing của đạo hàm bậc hai xác định sự tồn tại của cực trị Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 24  Xấp xỉ... / std^2; Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 31  Một số mặt nạ dò cạnh theo DoG Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 32 Laplacian*I Laplacian Duplicate boundary row & cols trước khi chập Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 33    Đạo hàm bậc hai, cụ thể là phương pháp dựa trên Laplacian, vẫn còn ảnh hưởng nhiều bởi nhiễu Khả năng dò cạnh sai và mất cạnh vẫn còn Tuy nhiên, định vị cạnh chính... của Sobel không có phân số 1/8 Giá trị 1/8 nhằm lấy được gradient đúng 1 Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 13 Mặt nạ Prewitt dò cạnh xéo Mặt nạ Sobel dò cạnh xéo Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 14   1 0 1  1  2  1  H x   2 0 2 H y   0 0 0     1 0 1   1 2 1  Thêm cột và hàng zero vào các biên ảnh khi chập - zero padding Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 15... -4 1 1 0  Toán tử nhạy với nhiễu  ảnh hưởng dò cạnh  Sử dụng Laplacian Gaussian Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 25   Còn gọi bộ dò cạnh Marr-Hildreth Các bước thực hiện  Làm trơn ảnh với Gaussian filter  Nâng cấp cạnh với Laplacian operator  Kiểm tra Zero crossings để xác định điểm trên cạnh  Sử dụng nội suy tuyến tính để xác định vị trí subpixel của cạnh Bài giảng Xử lý ảnh - TS Ngô... biên ảnh khi chập Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 16   1 0 1  1  2  1  H x   2 0 2 H y   0 0 0     1 0 1  1 2 1  Duplicate mở rộng cột và hàng ở các biên ảnh khi chập Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 17   1 0 1  1  2  1  H x   2 0 2 H y   0 0 0     1 0 1  1 2 1  Duplicate mở rộng cột và hàng ở các biên ảnh khi chập Bài giảng Xử lý ảnh. ..  1 2 1  0 1 2 2 1  0  Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 21     Nhiễu – các toán tử dò cạnh dựa trên đạo hàm bậc nhất bị ảnh hưởng bởi nhiễu– có thể dùng các bộ lọc làm trơn ảnh trước Cạnh dày – cạnh sẽ có nhiều pixel với toán tử Sobel – tuy nhiên cạnh có thể bị nhòe và không định vị chính xác Toán tử Roberts không làm việc tốt cho ảnh nhiễu Toán tử Sobel có xu hướng tính trung... trên gradient Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 34 Cạnh thật Bị tác động bởi nhiễu Poor robustness To noise Bài giảng Xử lý ảnh - TS Ngô Quốc Việt Vị trí sai Poor Localization Dư quá nhiều Multiple Responses 35 Dò cạnh tối ưu phụ thuộc vào các yếu tố    Tỉ lệ lỗi thấp – cạnh không bị thiếu và không được có điểm sai Vị trí đúng – khoảng cách giữa điểm cạnh dò được và tâm thật sự của cạnh phải nhỏ... Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 28  Nhân chập Mexican Hat với giá trị  = 1.4 Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 29 LoG cần nhiều tính toán khi kích thước nhân chập dò cạnh lớn  Để giảm bớt tính toán, xấp xỉ LoG bởi hiệu của hai LoG DoG  ( x 2 y 2 ) 212 ( x 2 y 2 ) 2 22 e e DoG ( x, y)   2 2 2 1 2 2  Độ rộng của cạnh có thể điều chỉnh bằng cách thay đổi 1 and 2 Bài giảng. .. 26  Được định nghĩa bởi 1  x y LoG( x, y)   4 1    2 2 2    2  e  x2  y 2  2 2 Giá trị  càng lớn, lọc Gaussian càng rộng, hiệu ứng làm trơn càng nhiều Làm trơn quá nhiều sẽ ảnh hưởng đến dò cạnh Bài tập: viết code (C++/C#/JAVA/MATLAB) phát sinh nhân chập LoG Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 27  Hình dạng hàm lọc có dạng Mexican Hat (nên còn gọi là toán tử Mexican Hat) Bài. .. c] Bài giảng Xử lý ảnh - TS Ngô Quốc Việt 11  Xét khác biệt theo hai hướng ngang và dọc, sau đó kết hợp cả hai nhằm xác định biên độ hay hướng  1  1  1  1  1 H y   0 0 0    0   1 1 1 H x    1  1 1 1   1    1 Gy  I  H y 1 1 1   1 1     1   1  0 1 Gx  I  H x  Biên độ cạnh = G  G   Gy  Hướng cạnh = tan    Gx  2 x 0 0 0 2 y 1 Bài giảng