HỌC VIỆN KỸ THUẬT QUÂN SỰ KHOA CÔNG NGHỆ THÔNG TIN Nghiên cứu phương pháp phân lớp bằng mạng RBF Học viên : LÊ ANH TUẤN MSSV : 11870268 Chương 1: KIẾN THỨC CHUẨN BỊ 1.1 Nội suy dữ liệu rời rạc: Trong nhiều vấn đề khoa học kỹ thuật cần giải bài toán: Cho tập dữ liệu (gồm các kết quả đo đạc và vị trí thu được những kết quả đó), yêu cầu tìm một quy tắc cho phép suy diễn thông tin từ những kết quả đã có. Vì vậy ta mong muốn tìm một hàm “đủ tốt” phù hợp với tập dữ liệu đã có. Có nhiều cách để quyết định thế nào là tốt và một trong các tiêu chuẩn là muốn hàm xấp xỉ có giá trị chính xác với những kết quả đo đạc được tại những vị trí đã cho - Đáp ứng tiêu chuẩn này gọi là bài toán nội suy. Và nếu những vị trí mà đã cho kết quả đo đạc không nằm trên một lưới chuẩn thì tiến trình trên gọi là nội suy dữ liệu rời rạc. Chính xác hơn ta có: Bài toán 1.1 Cho tập dữ liệu ( ( ) njyx jj , ,1,, = với j x RyR j s ∈∈ , . Tìm một hàm (lien tục) P j thỏa mãn : ( ) njyxP jjf , ,1, == (1.1) Ý tưởng chung để giải quyết bài toán nội suy là tìm hàm P f dưới dạng tổ hợp tuyến tính của hệ hàm cơ sở { k B } n k 1= , nghĩa là : ( ) ( ) S n k kf RxxBcxP ∈= ∑ = , 1 (1.2) Từ đó , thay điều kiện (1.1) dẫn đến việc giải hệ phương trình đại số tuyến tính để xác định các hệ số n kk c 1 }{ = : Ac = y (1.3) Trong đó A T n T njkjk yyycccnkjxB ), ,(;), ,(:, ,1,);( 11 ==== Bài toán 1.1 sẽ được đặt đúng, nghĩa là tồn tại và duy nhất nghiệm, khi và chỉ khi ma trận A không suy biến. Trong trường hợp một chiều, ta luôn xây dựng được đa thức nội suy bậc n - 1 cho n điểm nội suy phân biệt tùy ý. Tuy nhiên khi s > 2, ta có kết quả phủ định sau: Định lý 1.1 (Mairhuber-Curtis) Nếu ⊂Ω R s , s > 2 chứa một điểm trong thì trong Ω không tồn tại không gian Haar các hàm liên tục, trừ trường hợp không gian một chiều. Trong đó, không gian Haar được định nghĩa như sau: Định nghĩa 1.1 Cho không gian hàm tuyến tính hữu hạn chiều B )(Ω⊂ C . Gọi {B ,, 21 B , B n } là một cơ sở của B. Khi đó B được gọi là không gian Haar trên Ω nếu det(A) ≠ 0 với mọi tập các điểm phân biệt {x, x 2 , , x n } Ω⊂ . Ở đây ma trận A là ma trận được xây dựng bởi A Jk = B )( jk x ; j, k = 1, , n. Sự tồn tại của không gian Haar đảm bảo tính khả nghịch của ma trận nội suy, nghĩa là tồn tại duy nhất nghiệm của bài toán nội suy 1.1. Không gian các đa thức một biến bậc n -1 chính là không gian Haar n chiều với tập dữ liệu (x j , y j ), j = 1, , n, x j ∈ R, y j ∈ R. Cơ sở chính tắc của không gian này là{ B 1 = 1, B 2 = x, B 3 = x 2 , , B n = x n-1 }. Định lý trên cho thấy, để giải quyết bài toán nội suy dữ liệu rời rạc trong không gian nhiều chiều chúng ta không thể xây dựng trước tập các hàm cơ sở không phụ thuộc dữ liệu. Để giải quyết vấn đề không suy biến của ma trận A, ta cần một phương pháp khác để xây dựng hàm nội suy. Thay vì sử dụng biểu diễn tuyến tính thông qua một hệ hàm cơ sở không phụ thuộc dữ liệu, ta biểu diễn tuyến tính thông qua một hàm đơn phụ thuộc dữ liệu đã cho, có tính khoảng cách, đối xứng với tâm nào đó của dữ liệu tương ứng. Phương pháp này được đề xuất bởi R.L Hardy năm 1971 và được gọi là phương pháp hàm cở sở bán kính. 1.2. Ma trận và hàm xác định dương: Định nghĩa 1.2 Ma trận giá trị thực, đối xứng A được gọi là nửa xác định dương nếu dạng toàn phương tương ứng là không âm: ∑∑ = = ≥ n j n k jkkj Acc 1 1 0 (1.4) Với c = (c 1 , ,c n ) T Nếu dấu bằng chỉ xảy ra khi và chỉ khi c = (0, ,0) T thì ma trận A được gọi là xác định dương. Tính chất quan trọng của ma trận xác định dương là nó có tất cả các giá trị riêng đều dương và không suy biến. Nếu hệ hàm cơ sở {B k } n k 1= trong khai triển (1.2) làm cho ma trận nội suy xác định dương thì bài toán nội suy được đặt đúng. Hàm xác định dương được định nghĩa như sau: Định nghĩa 1.3 Hàm liên tục φ : R s → R là xác định đương khi và chỉ khi nó là hàm chẵn và thỏa mãn: ∑∑ = = ≥− n j n k kjkj xxcc 1 1 0)( φ (1.5) với mọi n điểm đôi một khác nhau x, , x n ∈ R s và c = ( c1, , c n ) ∈ R n . Hàm φ gọi là xác định dương chặt nếu dấu bằng của (1.5) xảy ra khi và chỉ khi c = (0, ,0) T . Từ định nghĩa 1.3 và tính chất của ma trận xác định dương ta thấy, có thể sử dụng các hàm xác định dương chặt B k = φ (x - x k ) làm hệ hàm cơ sở, và khi đó ta có: ∑ = −= n k kkf xxcxp 1 )()( φ (1.6) Ma trận nội suy trở thành: A jk = B k (x j ) = φ (x j -x k ); j, k=1,….,n (1.7) Tuy nhiên giải bài toán nội suy sẽ trở nên khó khăn trong không gian nhiều chiều. Do đó, thay vì sử dụng hàm đa biến φ (x) (độ phức tạp sẽ tăng lên theo số chiều), chỉ làm việc với hàm một biến ϕ cho tất cả số chiều s. 1.3. Hàm bán kính (Radial function): Hàm bán kính là hàm chỉ phụ thuộc vào khoảng cách từ đối số đến một điểm (gọi là tâm) cho trước với . Một số hàm bán kính: • Hàm Gaussian: . • Hàm đa thức: • Khoảng cách: 1.4. Hàm cơ sở bán kính: Định nghĩa 1.4 Hàm φ : R s → R được gọi là hàm bán kính nếu tồn tại hàm một biến ϕ : [0,+ →∞+ ) R thỏa mãn: φ (x) = ϕ (r) (1.8) Với r = x và . là một chuẩn nào đó trong R s (thường dùng chuẩnEuclidean). Hàm ϕ tương ứng gọi là hàm cơ sở bán kính. Ta nói hàm ϕ là xác định dương (chặt) khi và chỉ khi hàm φ là xác định dương (chặt). 1.5. Hàm xác định dương và đơn điệu hoàn toàn: Trong phần này trình bày kết quả quan trọng xây dựng một số hàm bán kính thỏa mãn tính khả nghịch của ma trận nội suy tương ứng, dựa trên tính chất của hàm đơn điệu hoàn toàn. Định nghĩa 1.5 Hàm ϕ C ∞ (R >0 ) được gọi là đơn điệu hoàn toàn khi và chỉ khi (-1) 1 )(t ϕ (t) ≥ 0 (1.9) với mọi l = 0,1, , với mọi t. Việc xây dựng hàm bán kính xác định dương thông qua hàm đơn điệu hoàn toàn dựa vào kết quả sau, được đưa ra bởi Schoenberg năm 1938. Định lý 1.2 Cho ϕ : R + → R là hàm liên tục đơn điệu hoàn toàn. Khi đó với mọi tập điểm hữu hạn phân biệt từng đôi một (x 1 , x 2 , , x n ) ∈ R s hàm bán kính φ (x) = ϕ (r 2 ), r = x là hàm xác định dương. Ví dụ 1.1 Xét hàm ϕ (t) = e t α − với ≥ α 0. Ta có: (- 1) 1 0)()( 1)( >= − tl et α αϕ . Suy ra hàm này là đơn điệu hoàn toàn. Do đó hàm Gaussian (GA) ϕ (r)=e - 2 r α có thể sử dụng làm hàm cơ sở bán kính đảm bảo tính xác định dương của ma trận nội suy. Tương tự, hàm ϕ (t) = (t + 2 α ) β − , βα , > 0 cũng là hàm đơn điệu hoàn toàn. Hàm cơ sở bán kính ϕ (r) = (r 2 + 2 α ) β − , βα , > 0 được gọi là hàm Inverse Multiquadric (IMQ) Theo định nghĩa hàm đơn điệu hoàn toàn, ta có ϕ (t) ≥ 0, ϕ ‘(t) ≤ 0, Tuy nhiên nếu có ϕ ' đơn điệu hoàn toàn ( ϕ ' (t) ≥ 0, ϕ ” (t) ≤ 0, .) ta vẫn có thể sử dụng được hàm ϕ đảm bảo ma trận không suy biến. Định lý 1.3 Cho ϕ ∈ C ∞ [0,+ ∞ ) là hàm thỏa mãn ϕ ' đơn điệu hoàn toàn, khác hằng số. Giả sử thêm rằng ϕ (0) ≥ 0. Khi đó ma trận nội suy không suy biến với φ (x) = ϕ ( x ) = ϕ (r 2 ). Trong trường hợp tổng quát, nếu với giả thiết yếu hơn về tính đơn điệu hoàn toàn của ϕ , nghĩa là ϕ k , k > 1 là hàm đơn điệu hoàn toàn thì cần các điều kiện nào để sử dụng được ϕ (theo định nghĩa ma trận nội suy tương ứng không suy biến)?. Vấn đề này đã được Micchelli (1986) nghiên cứu và đưa ra những kết quả quan trọng về hàm xác định dương có điều kiện. 1.6. Nội suy với độ chính xác đa thức và hàm xác định dương có điều kiện: Định nghĩa 1.6 Hàm φ : R s → R được gọi là xác định dương có điều kiện bậc m nếu ∑∑ = = n j n k1 1 c j c k φ (x j - x k ) ≥ 0 ∀ c ∈ R n thỏa mãn: ( ) ∑ = − ∈∀= n j m sjj Ppxpc 1 1 ,0 (đa thức thuộc không gian các đa thức s biến có bậc < m - 1). Nếu đẳng thức chỉ xảy ra với c = 0 thì φ gọi là xác định dương chặt có điều kiện. Điều quan trọng là có thể sử dụng hàm xác định dương có điều kiện bậc m để nội suy nếu ta cộng vào biểu thức (1.6) một đa thức đa biến bậc (m -l) triệt tiêu trên tập dữ liệu đã cho. Cụ thể, hàm nội suy với độ chính xác đa thức được cho dưới dạng: (1.10) với các ký hiệu đa chỉ số: ∑ = =∈ 8 1 8 0 , i i N ααα và x α = s s xxx α αα 21 21 Khi thay điều kiện nội suy ta được hệ phương trình Ac = y. Để xác định hệ số của p(x) ta sử dụng các điều kiện mxc n j jj <= ∑ = α α ,0 1 (1.11) Ví dụ 1.2 Xây dựng hàm nội suy trong không gian 2 chiều với tập dữ liệu cho trước n jjjjj yxfyx 1, )},(),{( = , sử dụng hàm xác định dương có điều kiện bậc 2 ta được: (1.12) trong đó p(x,y) là đa thức hai biến bậc 1 triệt tiêu tại các điểm nội suy, p(x, y) = a + a 2 x + a 3 y (1.13) Cho (1.12) thỏa điều kiện nội suy được hệ: Để xác định các hệ số a l ,a 2 ,a 3 sử dụng (1.11), được thêm ba điều kiện sau: Vậy ta được hệ n + 3 phương trình n + 3 ẩn. Từ đó có thể tìm được P f (x,y). Trong trường hợp tổng quát, bài toán (1.10) sẽ dẫn tới hệ đại số tuyến tính sau: Trong đó: ( ) α φ j n jkjk xPxxA =−= = ;))(( 1, , j = 1, 2, ., n; d là ma trận các hệ số của p(x) Việc xây dựng cấu trúc cụ thể của các hàm bán kính xác định dương có điều kiện φ (x) = ϕ (r) dựa trên định lý: Định lý 1.4 Cho ϕ là hàm liên tục và thỏa mãn ( ) r dr rd k k k , )( 1 ϕ − > 0 là hàm đơn điệu hoàn toàn khác hằng số. Khi đó, hàm φ (x) = ϕ (||x||) = ϕ (r 2 ) là hàm xác định dương chặt bậc k. Ví dụ 1.3 1. Hàm thỏa mãn: . Vì vậy: là hàm đơn điệu hoàn toàn. Hơn nữa, với mọi m, m   β ≥ ,(- 1) m p (m) (r) cũng là hàm đơn điệu hoàn toàn. Vì vậy, hàm bán kính Multiquadric (MQ) tổng quát là xác định dương chặt có điều kiện bậc m, ∀ m   β ≥ . 2. Hàm thỏa mãn: vì vậy là hàm đơn điệu hoàn toàn. Hơn nữa, với mọi m,       ≥ 2 β m hàm (-1) m ϕ m (r) cũng là hàm đơn điệu hoàn toàn. Vì vậy, hàm Năng lượng là hàm xác định dương chặt có điều kiện bậc m,       ≥ 2 β m . 3. Hàm Thin plates spline (TPS) ϕ (r) = (- 1) k+1 r 2k lnr, k ∈ N Là các hàm xác định dương chặt có điều kiện bậc m > k+1. Thật vậy: Xét hàm ϕ (r) = (- 1) k + l (r) k lnr. Khi đó, đào hàm cấp l, l ≤ k của ϕ (r) là: ϕ 1 (r) = (-1) k + 1 k(k - 1) (k - l +1)r k-l lnr + p l (r), trong đó p l (r) là đa thức bậc k - l. Vì vậy, đạo hàm cấp k sẽ là: ϕ (k) (r) = (— 1) k+1 k! lnr +C, và đạo hàm cấp k + 1 là ϕ (k+1) (r)= (-1) k+1 r k! , là hàm đơn điệu hoàn toàn trên (0, ∞ ). Do đó, hàm ϕ (r) = (-1) k+1 r 2k lnr = )( 2 1 2 r ϕ là hàm xác định dương chặt có điều kiện bậc m > k + 1. 1.7. Ví du nôi suy bằng hàm RBF : Cho hàm mẫu Franke như sau: Cho trước tập giá trị z ij = f(x,y i ); i, j = 1, ,n, trong đó (x i ,y j ) ∈ [0,1] 2 là tập điểm nội suy. Để đơn giản, chúng tôi chọn tập điểm nội suy là lưới đều trên miền [0,1] 2 và tập tâm trùng với tập điểm nội suy. Xây dựng hàm nội suy P j = ( ) ∑ − n j kk uuc ϕ . Trong đó u k = (x,y) ∈ Tập điểm tâm, ϕ được chọn là hàm IMQ. Cho thỏa mãn điều kiện nội suy ta được hệ n 2 phương trình, n 2 ẩn. Kết quả trong một số lưới được cho trong bảng 1.1, với các sai số được định nghĩa như sau : - Sai số tương đối : - Sai số lớn nhất : Bảng 1.1 Sai số nội suy hàm Frank với s = 3 Lưới IMQ MQ Sai số tương đối Sai số lớn nhất Sai số tương đối Sai số lớn nhất 7 x 7 1.211536e-002 8.600572e-002 1.260168e-002 8.722025e-002 10 x 10 1.685702e-003 1.122684e-002 2.241647e-003 1.548224e-002 13 x 13 4.226489e-004 2.856954e-003 4.470312e-004 2.756763e-003 17 x 17 3.761833e-005 3.703740e-004 4.168475e-005 4.447710e-004 20 x 20 4.346574e-006 7.352464e-005 5.739650e-006 6.316986e-005 Chương 2 : ỨNG DỤNG HÀM RBF VÀO BÀI TOÁN KHÔI PHỤC VÀ BIỂU DIỄN CÁC ĐỐI TƯỢNG 3D 2.1. Mở đầu. Ngày nay với sự phát triển mạnh mẽ của công nghệ thông tin, con người đã ứng dụng những thành tựu của nó trong rất nhiều lĩnh vực khác nhau. Máy tính đã trở thành một công cụ hỗ trợ đắc lực cho con người trong việc xử lý dữ liệu một cách nhanh chóng và chính xác. [...]... trong các phạm vi khác Việc tạo mô hình 3D bằng phương pháp thủ công tốn nhiều thời gian và do vậy chi phí sẽ đắt đỏ Vì lý do đó, các kỹ thuật đã và đang tiếp tục được nghiên cứu, các kỹ thuật này cho phép khôi phục tự động các đối tượng 3D Các kỹ thuật này có thể chia thành 2 phương pháp: phương pháp chủ động và phương pháp bị động Nhược điểm của các phương pháp chủ động là quá trình khôi phục có thể...Đồ họa máy tính là một lĩnh vực của khoa học máy tính nghiên cứu các phương pháp và kỹ thuật biểu diễn và thao tác các dữ liệu số hóa của các vật thể trong thực tế Lĩnh vực này được phát triển dựa trên nền tảng của hình học họa hình, hình học tính toán, hình học vi phân cùng nhiều kiến thức toán học của đại số và giải tích, cũng như các thành tựu của phần cứng... triển một kỹ thuật nội suy mới có độ chính xác cao Đó là nội suy bởi hàm cơ sở bán kính (radial basis functions) viết tắt là RBF Phương pháp nội suy này đã được sử dụng trong nhiều lĩnh vực của CNTT như xử lý tín hiệu, xử lý ảnh và lý thuyết điều khiển Một số phần mềm về hàm RBF và các ứng dụng cũng đã được phát triển 2.2 Bài toán khôi phục và biểu diễn các đối tượng 3D Khôi phục đối tượng 3D đã trở... các phương pháp chủ động là quá trình khôi phục có thể trở thành một công trình ngân sách cao Vì lý do đó, cách tiếp cận được giới thiệu thuộc về các phương pháp bị động, nó yêu cầu ít thiết bị hơn và có thể áp dụng một cách tổng quát hơn Các phương pháp khôi phục các đối tượng 3D truyền thống không thực hiện tốt ở hai hướng: - Thứ nhất: Chúng không thể xử lý các trường hợp có độ phức tạp cao được... với các ảnh được chụp bằng máy ảnh không định cỡ, làm việc với loại ảnh này có thể khôi phục lại đối tượng so sánh với các phép biến đổi ảnh xạ Hai là, khôi phục từ các máy ảnh định cỡ làm việc với loại ảnh này có thể khôi phục lại đối tượng so sánh với các phép biến đổi đồng dạng Ba là, các thuộc tính đại số của các hàm đa tuyến tính và các lý tưởng phát sinh bởi chúng được nghiên cứu Trường hợp thứ . functions) viết tắt là RBF. Phương pháp nội suy này đã được sử dụng trong nhiều lĩnh vực của CNTT như xử lý tín hiệu, xử lý ảnh và lý thuyết điều khiển. Một số phần mềm về hàm RBF và các ứng dụng. )( 2 1 2 r ϕ là hàm xác định dương chặt có điều kiện bậc m > k + 1. 1.7. Ví du nôi suy bằng hàm RBF : Cho hàm mẫu Franke như sau: Cho trước tập giá trị z ij = f(x,y i ); i, j = 1, ,n, trong đó. 4.447710e-004 20 x 20 4.346574e-006 7.352464e-005 5.739650e-006 6.316986e-005 Chương 2 : ỨNG DỤNG HÀM RBF VÀO BÀI TOÁN KHÔI PHỤC VÀ BIỂU DIỄN CÁC ĐỐI TƯỢNG 3D 2.1. Mở đầu. Ngày nay với sự phát triển