Radial-basis function (RBF) networks RBF = radial-basis function: hàm phụ thuộc vào khỏang cách gốc từ vector XOR problem Khả phân tách theo bậc (quadratically separable) Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 1 RBFs hàm có dạng φ(|| x − t i ||) Với φ hàm activation phi tuyến, x đầu vào ti vị trí thứ i, mẫu đầu tiên, vector sở vector trung tâm Điều điểm gần tâm có đầu tương tự Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 2 RBF NN: Kiến trúc x1 ϕ1 w1 x2 y ϕ m1 wm1 xm  Có lớp ẩn với hàm activation RBF ϕ1 ϕm1  Lớp đầu với hàm activation tuyến tính y = w1ϕ1 (|| x − t1 ||) + + wm1ϕm1 (|| x − tm1 ||) || x − t || khoảng cách x = ( x1 , , xm ) với t Faculty of Electronics and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 Các loại RBF (a) Multiquadrics φ (r ) = (r + c ) 2 1/ Với c>0 (b) Inverse multiquadrics φ (r ) = (r + c ) 2 −1 / c>0 (c) Gaussian với σ >0 r2 φ )=e p− 2) (r x( σ Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 4 • Inverse multiquadrics Gaussian RBFs hai ví dụ hàm ‘localized’ • Multiquadrics RBFs hàm ‘nonlocalized’ • ‘Localized’: nghĩa khoảng cách từ tâm tăng dẫn đến giảm đầu RBF • ‘Nonlocalized’: khoảng cách từ tâm tăng với gia tăng RBF Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 5 ‘nonlocalized’ functions Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 ‘localized’ functions 6 HIDDEN NEURON MODEL  Các phần tử Hidden có hàm activation radial basis functions Đầu phụ thuộc vào khoảng cách đầu φ( || x - t||) vào x tới tâm t Xét hàm Gaussian RBF: x1 x2 xm ϕσ φσ ( || x - t||) t gọi tâm (center) σ gọi trải rộng (spread) center spread tham số Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 7 Gaussian RBF φ φ: center σ mức độ trải rộng đường cong Large σ Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 Small σ 8 Hidden Neurons  hidden neuron nhạy (more sensitive to) điểm liệu gần tâm  Đối với Gaussian RBF khả nhạy chỉnh cách thay đổi hệ số trải σ, hệ số trải lớn có độ nhạy giảm  Ví dụ Biologic: cochlear stereocilia cells (in our ears ) have locally tuned frequency responses Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 9 Ví dụ x2 +1 - - - - - - +2 x1 Không gian không gian đầu vào Các mẫu bên vòng tròn lớp +, ngược lại lớp – Liệu ta tách hai lớp dùng RBF NN hay không? Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 10 10 Learning Algorithm 2: Centers  Giải thuật nhóm để tìm tâm/centers Khởi đầu/initialization: tk(0) ngẫu nhiên k = 1, …, m1 Lấy mẫu/sampling: rút x từ khơng gian đầu vào Q trình tìm tương đồng/Similarity matching: tìm số tâm gần x k(x) = arg k x(n) − t k ( n ) Cập nhật: tinh chỉnh tâm t k ( n +1) = t k ( n ) + η[ x(n) − t k ( n )] t k (n) if k = k(x) otherwise Tiếp tục/Continuation: tăng n lên 1, đến tâm khơng có thay đổi đáng kể Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 25 25 Giải thuật học  Áp dụng phương pháp giảm để tìm tâm, hệ số trải weights, trình tối thiểu hóa sai số bình phương E = ( y ( x ) − d )2  Cập nhật cho: centers spread weights ∂E ∆t j = −ηt j ∂ tj ∂E ∆σ j = −ησ j ∂σ j ∂E ∆w ij = −ηij Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 ∂w ij 26 26 So sánh với FF NN RBF-Networks dùng cho hồi quy cho việc thực phân loại phức tạp/phi tuyến So sánh RBF networks FFNN:  Cả hai ví dụ non-linear layered feed-forward networks  Cả hai xấp xỉ tổng quát/universal approximators Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 27 27 So sánh với NN nhiều lớp  Kiến trúc:  RBF networks có lớp ẩn  FFNN networks có nhièu lớp ẩn  Mơ hình Neuron:  Trong RBF, mơ hình neuron neurons ẩn khác với đàu  Điển hình FFNN, neuron ẩn neuron đầu có chung mơ hình  Lớp hidden RBF phi tuyến (non-linear), lớp đầu RFB tuyến tính (linear)  Các lớp hidden output FFNN thường phi tuyến Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 28 28 So sánh với NN nhiều lớp, cont  Các hàm Activation :  Tham biến hàm activation neuron hidden RBF NN tính tốn khoảng cách Euclidean vector vào tâm vòng tròn  Trong FFNN, hidden neuron tính tốn tích nội (inner product) vector vào vector trọng số synaptic neuron  Việc xấp xỉ:  RBF NN dùng hàm Gaussian xây dựng xấp xỉ nội (local approximations) vào trình ánh xạ vào/ra phi tuyến tính  FF NN xây dựng xấp xỉ tồn cục (global approximations) vào q trình vào/ra phi tuyến Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 29 29 Ứng dụng: nhận dạng khuôn mặt  Nhiệm vụ học:  Nhận dạng mặt người thuộc nhóm người biết  Tiếp cận:  Học lớp mặt theo tư dùng RBF network  Tham khảo luận án tiến sỹ Jonathan Howell http://www.cogs.susx.ac.uk/users/jonh/index.html) Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 30 30 Datasets (Sussex) Toàn 10 ảnh thuộc lớp 0-3 từ sở liệu Sussex, mũi lấy mẫu (subsampled) 25x25 trước tiền xử lý Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 31 31 Dataset  Sussex database (university of Sussex)  100 ảnh 10 người (8-bit grayscale, resolution 384 x 287)  Với người, 10 ảnh đầu góc chụp khác từ chụp thẳng đến nghiêng  Dataset được thiết kế để thực hiện đánh giá các kỹ thuật nhận dạng mặt có nhiều tư thế chụp Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 32 32 Cách tiếp cận: Face unit RBF  RBF NN dùng cho nhận dạng khuôn mặt được dạy để nhận một người  Quá trình dạy sử dụng các mẫu ảnh của người sẽ được nhận dạng là những positive evidence, cùng với các ảnh có thể nhầm lẫn được chọn của người khác là negative evidence Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 33 33 Kiến trúc mạng  Lớp vào chứa 25*25 đầu vào biểu diễn các cường độ điểm ảnh (được chuẩn hóa) của một ảnh  Lớp Hidden chứa p+a neurons:  p hidden pro neurons (các bộ cảm nhận cho các positive evidence)  a hidden anti neurons (các bộ cảm nhận cho negative evidence)  Lớp Output chứa neurons:  Một cho người cụ thể  Một cho tất cả những người còn lại Đầu bị hủy bỏ nếu sự khác tuyệt đối của hai neuron đầu nhỏ tham số R nào đó Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 34 34 Kiến trúc RBF cho nhận dạng mặt Output units Linear Supervised RBF units Nonlinear Unsupervised Input units Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 35 35 Lớp Hidden  Các node Hidden có thể là:  Pro neurons: Evidence for that person  Anti neurons: Negative evidence  Tổng số các pro neurons bằng với số mẫu positive của tập dữ liệu dùng để dạy Đối với mỗi pro neuron có hoặc anti neurons  Mô hình của Hidden neuron: Gaussian RBF function Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 36 36 Quá trình dạy và kiểm tra  Các tâm của/centers:  pro neuron: mẫu positive tương ứng  anti neuron: mẫu negative hầu tương tự với pro neuron tương ứng theo khoảng cách Euclidean  Hệ số trải/spread: khoảng cách trung bình của một tâm đến tất cả các tâm khác Do đó, hệ số trải σ n của một hidden neuron n là σn = H || t n − t h || ∑ h Ở đó H là tổng số các hidden neurons và t i là tâm của neuron i  Weights: được xem xét dùng phương pháp pseudo-inverse  Một mạng RBF với pro neurons, 12 anti neurons, và R= 0.3, loại bỏ 23 pro cent của ảnh tập test và được phân lọai đúng vào 96 pro cent của các ảnh không bị hủy bỏ Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 37 37 Các ứng dụng khác  Vision and image processing (Bors and Pitas 1995)  Speech processing (Renals 1989)  Control (Roscheisen, Hofmann, Tresp 1992)  Multidimensional Motion Interpolation (Charles Rose, Michael F Cohen, and Bobby Bodenheimer 1998 ) Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 38 38 Radial basis function networks Feed-forward networks Non-linear classifiers Supervised learning Support vector machines Linear classifiers Perceptron Adaline Self-organizing maps K-means Clustering Unsupervised learning Content addressable memories Optimization Hopfield networks Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 39 39 ... 38 38 Radial basis function networks Feed-forward networks Non-linear classifiers Supervised learning Support vector machines Linear classifiers Perceptron Adaline Self-organizing maps K-means... radial basis function Faculty of Electronics NN and Telecommunications, HUT Bangkok, Jun 14 – 23, 2006 1 if || x − t || c 11 11 Example ϕ2 +2 - - -. .. 26 So sánh với FF NN RBF-Networks dùng cho hồi quy cho việc thực phân loại phức tạp/phi tuyến So sánh RBF networks FFNN:  Cả hai ví dụ non-linear layered feed-forward networks  Cả hai xấp xỉ