- 1 - Tổng quan về mạng Neural Network trong phân tích ảnh Trịnh Vũ Long Giao MSSV: 0211053 Lớp: 02TT1 Khoa: Toán – Tin Học Trường: ðH KHTN - 2 - Mục Lục TổNG QUAN 3 GIớI THIệU Về MạNG NEURAL 3 Giới thiệu 3 Xấp xỉ hàm số 4 Hệ thống ñộng (Dynamic) và chuỗi thời gian (Time Series) 4 Phân loại (Classification) và nhóm (Clustering) 5 MÔ HÌNH TUYếN TÍNH (LINEAR MODELS) 5 MÔ HÌNH TRựC GIÁC (PERCEPTRON) 6 Thuật toán Huấn luyện 7 FEEDFORWARD VÀ RADIAL BASIS FUNCTION NETWORKS 7 Mạng neural Feedforward (FF) 7 Mạng ña lớp 9 Ví dụ 9 Mạng Radial Basis Network (RBF) 12 Huấn luyện mạng Feedforward và Radial Basis Function 14 Levenberg-Marquardt 15 Gauss-Newton 15 Giảm dốc nhất (Steepest Descent) 15 Lan truyền ngược (Backpropagation) 16 Ví dụ minh so sánh các phương pháp huấn luyện khác nhau 16 MạNG NEURAL ðộNG (DYNAMIC) 19 MạNG HOPFIELD 21 Mạng Hopfield rời rạc thời gian 22 Mạng Hopfield Liên tục thời gian 23 MạNG KHÔNG GIÁM SÁT (UNSUPERVISED) VÀ MạNG VECTOR LƯợNG Tử HÓA (QUANTIZATION) (VQ) 23 CÁC MINH HọA CƠ BảN 24 BÀI TOÁN PHÂN LOạI (CLASSIFICATION) 25 XấP Xỉ HÀM Số (FUNCTION APPROXIMATION) 26 THAM KHảO: 27 - 3 - Tổng quan Giới thiệu về mạng Neural Giới thiệu • Mạng neural ñược xem như là 1 hàm số với tham số có thể ñiều chỉnh cho thích hợp. o Dữ liệu nhập ñược ký hiệu là x là 1 vector dòng giá trị thực với chiều hoặc ñộ dài tùy ý. 1 cách thông thừơng x chỉ dữ liệu nhập, vector nhập, giá trị hồi quy (regressor), hoặc vector mẫu (pattern vector). ðộ dài vector chỉ số nút nhập của mạng. o Dữ liệu xuất ñược ký hiệu là ˆ y là xấ p x ỉ c ủ a giá tr ị ra lý t ưở ng. là 1 vector giá tr ị th ự c có 1 hay nhi ề u ph ầ n t ử ch ỉ s ố nút ra c ủ a m ạ ng. o Thông th ườ ng t ậ p d ữ li ệ u bao g ồ m nhi ề u c ặ p d ữ li ệ u nh ậ p-xu ấ t. x và y bi ể u di ễ n b ở i ma tr ậ n v ớ i 1 vector nh ậ p vector xu ấ t ở m ỗ i dòng. • m ạ ng neural là 1 c ấ u trúc bao hàm các quan h ệ các tr ọ ng s ố c ủ a neurons, hay các ñơ n v ị (units) v ớ i các phép bi ế n ñổ i vô h ướ ng không tuy ế n tính và tuy ế n tính. Minh h ọ a ví d ụ v ề m ạ ng neural 1 l ớ p ẩ n v ớ i 3 nút nh ậ p, x = {x 1 ,x 2 ,x 3 } và nút giá tr ị l ệ ch (unity bias) n ố i vào 2 neuron trong l ớ p ẩ n. 2 giá tr ị ra t ừ l ớ p ẩ n cùng v ớ i giá tr ị l ệ ch ñượ c ñư a vào 1 neuron ở l ớ p xu ấ t tính ra giá tr ị xu ấ t vô h ướ ng ˆ y . L ớ p ch ứ a các neuron g ọ i là l ớ p ẩ n vì giá tr ị xu ấ t c ủ a nó không c ầ n xu ấ t ra tr ự c ti ế p trong d ữ li ệ u. các ki ể u ñặ t tr ư ng c ủ a m ạ ng neural ñượ c ñề c ậ p trong ph ầ n mạng Feedforward và Radial Basis Function . Các m ũ i tên t ượ ng tr ư ng cho các tham s ố giá tr ị th ự c hay tr ọ ng s ố c ủ a m ạ ng. • 1 neuron là 1 c ấ u trúc ñể x ử lý các nút nh ậ p, bao g ồ m c ả giá tr ị l ệ ch, theo h ướ ng không tuy ế n tính, cho ra 1 giá tr ị xu ấ t. ðồ ng th ờ i, t ấ t c ả các nút nh ậ p ñư a vào neuron ñượ c gia t ố thêm b ở i các tr ọ ng s ố . sau ñ ó l ấ y t ổ ng và ñư a vào hàm s ố không tuy ế n tuy ế n g ọ i là hàm ho ạ t ñộ ng σ . - 4 - • Nh ư minh h ọ a ở hình trên, giá tr ị xu ấ t c ủ a m ạ ng d ượ c tính nh ư sau: trong ñ ó các tr ọ ng s ố là 1 1 2 2 , , 1 { , , , } i j i j w b w b • Eq (1) là 1 ánh x ạ không tuy ế n tính x  ˆ y , ở d ạ ng rút g ọ n, ánh x ạ ñượ c vi ế t: Trong ñ ó θ là vector giá tr ị th ự c có các ph ầ n t ử là các tham s ố (tr ọ ng s ố ) c ủ a m ạ ng. • M ụ c tiêu c ủ a vi ệ c hu ấ n luy ệ n m ạ ng là tìm giá tr ị tham s ố θ thích h ợ p ñể v ớ i d ữ li ệ u nh ậ p x b ấ t k ỳ có ra 1 giá tr ị ˆ y x ấ p x ỉ g ầ n v ớ i y nh ấ t. các thu ậ t toán hu ấ n luy ệ n s ẽ l ặ p nhi ề u b ướ c v ớ i vector tham s ố kh ở i t ạ o θ và ñượ c c ậ p nh ậ t t ố t h ợ p trong m ỗ i b ướ c l ặ p. • Tr ướ c khi m ạ ng ñượ c ch ấ p nh ậ t, c ầ n có b ướ c ki ể m nghi ệ m (validate). Ngh ĩ a là m ạ ng s ẽ ñượ c ch ạ y th ử v ớ i 1 s ố d ữ li ệ u ñ ã bi ế t. ðơ n gi ả n và t ố t nh ấ t là th ử nghi ệ m m ạ ng v ớ i t ậ p d ữ li ệ u mà không có trong d ữ li ệ u ñượ c hu ấ n luy ệ n và d ữ li ệ u này v ớ i d ữ li ệ u hu ấ n luy ệ n ñượ c t ạ o ra trong cùng các ñ i ề u ki ệ n t ươ ng t ự nhau. Vi ệ c hu ấ n luy ệ n m ạ ng th ườ ng th ấ t b ạ i trong b ướ c ki ể m nghi ệ m, trong tr ườ ng h ợ p này, ta ph ả i ch ọ n mô hình t ố t h ơ n. Tuy nhiên, ñ ôi khi ta ch ỉ c ầ n l ặ p l ạ i b ướ c hu ấ n luy ệ n v ớ i giá tr ị tham s ố kh ở i t ạ o θ khác. M ộ t khi m ạ ng neural ñ ã ñượ c ki ể m nghi ệ m thành công, m ạ ng có th ể ñượ c ñư a vào s ử d ụ ng. Xấp xỉ hàm số • Khi d ữ li ệ u nh ậ p b ắ t ngu ồ n t ừ 1 hàm s ố v ớ i các nút xu ấ t giá tr ị th ự c trong 1 kho ả ng liên t ụ c, m ạ ng neural ñượ c xem nh ư là s ự x ấ p x ỉ hàm s ố truy ề n th ố ng. 1 ví d ụ c ủ a bài toán x ấ p x ỉ là nhi ệ t ñộ c ủ a 1 ñố i t ượ ng có th ể ñượ c tính b ằ ng ñộ b ứ c x ạ . ví d ụ thông th ườ ng khác là c ỡ giày có th ể ướ c l ượ ng t ừ chi ề u cao c ủ a ng ườ i mang. 2 ví d ụ này liên quan ñế n mô hình m ạ ng v ớ i 1 nút nh ậ p vào 1 nút xu ấ t. 1 mô hình m ạ nh h ơ n ở ví d ụ 2 là dùng gi ớ i tính nh ư nút nh ậ p th ứ 2 ñể ướ c l ượ ng chính xác h ơ n. • Các hàm s ố thu ầ n túy có th ể ñượ c x ấ p x ỉ b ở i 2 ki ể u m ạ ng neural: o Feedforward Neural Networks o Radial Basis Function Networks Hệ thống ñộng (Dynamic) và chuỗi thời gian (Time Series) • D ữ li ệ u vào ph ụ thu ộ c th ờ i gian, c ầ n ñế n “b ộ nh ớ ” (memory) nên ñượ c nói ñế n nh ư là h ệ th ố ng ñộ ng. - 5 - • thông tin quá kh ứ ñượ c dùng ñể d ự ñ oán tr ạ ng thái t ươ ng lai. • Ví d ụ : d ự ñ oán giá c ả ; mô t ả i t ố c ñộ máy d ự a vào ñ i ệ n áp và t ả i tr ọ ng o Ví d ụ 1: time-series không có d ữ li ệ u nh ậ p. o Ví d ụ 2: 2 d ữ li ệ u nh ậ p là ñ i ệ n áp và t ả i tr ọ ng. • M ạ ng neural ñộ ng có th ể dùng FF hay RBF và c ầ n b ộ nh ớ cho thông tin quá kh ứ . Phân loại (Classification) và nhóm (Clustering) • Phân lo ạ i d ữ li ệ u vào trong danh m ụ c, l ớ p d ự a trên t ậ p các ñặ t tr ư ng riêng. • G ọ i là m ạ ng phân lo ạ i (network classifier). • Hu ấ n luy ệ n dùng d ữ li ệ u vào t ừ các l ớ p khác nhau, d ữ li ệ u ra là vectors ch ỉ ra thu ộ c l ớ p nào. • D ữ li ệ u ra th ườ ng là vector các l ớ p trong ñ ó 1 ch ỉ ra d ữ li ệ u thu ộ c l ớ p và 0 cho t ấ t c ả l ớ p còn l ạ i. • Các ki ể u m ạ ng th ườ ng dùng ñể gi ả i bài toán phân lo ạ i: o Perceptron o Vector Quantization (VQ) Networks o Feedforward Neural Networks o Radial Basis Function Networks o Hopfield Networks Mô hình tuyến tính (Linear Models) • Minh h ọ a mô hình tuy ế n tính: x 1 , x 2 , …, x n là các nút nh ậ p, ˆ y là nút xu ấ t. m ỗ i m ũ i tên ñạ i di ệ n trong s ố t ươ ng ứ ng các nut. - 6 - • Bi ễ u di ễ n b ằ ng ph ươ ng trình: • Mô hình tuy ế n tính v ớ i nhi ề u nút xu ấ t: Mô hình trực giác (Perceptron) • Là d ạ ng ñơ n gi ả n nh ấ t c ủ a m ạ ng neural. Th ườ ng ñượ c dùng trong vi ệ c phân lo ạ i. • Minh h ọ a mô hình tr ự c giác v ớ i các nút nh ậ p x 1 , x 2 , …, x n và 1 nút xu ấ t ˆ y : • nút xu ấ t ñượ c tính b ằ ng công th ứ c: trong ñ ó {w 1 , w 2 , …, w n } là tr ọ ng s ố c ủ a nút nh ậ p, b là ñộ d ố c (bias weigth). M ỗ i tr ọ ng s ố ñạ i di ệ n b ở i m ũ i tên trong hình trên. Hàm UnitStep tr ả v ề 0 cho các giá tr ị nh ỏ h ơ n 0, ng ượ c l ạ i tr ả v ề 1. Do ñ ó nút nh ậ p ˆ y có giá tr ị 0 hay 1 tùy theo giá tr ị t ổ ng tr ọ ng s ố . Cho nên mô hình tr ự c giác ch ỉ ra 2 l ớ p t ươ ng ứ ng 2 giá tr ị xu ấ t. • Trong quá trình hu ấ n luy ệ n, các tr ọ ng s ố (nút nh ậ p và ñộ d ố c) ñượ c ñ i ề u ch ỉ nh ñể giá tr ị nh ậ p ánh x ạ chính xác ñế n 2 l ớ p. - 7 - Thuật toán Huấn luyện • Mô hình tr ự c giác ñượ c bi ể u di ễ n b ằ ng tham s ố b ở i {w, b}. w là vector c ộ t có ñộ dài b ằ ng chi ề u vector nh ậ p x. • Vector nh ậ p x = {x 1 ,x 2 ,…,x n }, nút xu ấ t ñượ c bi ể u di ễ n: • N ế u x là ma tr ậ n v ớ i m ỗ i dòng là 1 vector thì ˆ y là vector c ộ t có giá tr ị t ươ ng ứ ng cho m ỗ i dòng. • {w, b} nh ậ n ñượ c trong các b ướ c l ặ p hu ấ n luy ệ n m ạ ng v ớ i các c ặ p d ữ li ệ u nh ậ p – xu ấ t ñ ã xác ñị nh. M ỗ i vector nh ậ p là 1 dòng ma tr ậ n x, m ỗ i nút xu ấ t là 1 dòng c ủ a vector dòng ˆ y . • Cho N c ậ p, vi ệ c hu ấ n luy ệ n m ạ ng ñượ c ñị nh ngh ĩ a nh ư sau: Trong ñ ó i là các b ướ c l ặ p, η là ñộ l ớ n b ướ c nh ả y và ε i =y- ˆ y (x,w i ,b i ) là vector c ộ t N ph ầ n t ử sai s ố t ươ ng ứ ng N d ữ li ệ u m ẫ u trong t ậ p hu ấ n luy ệ n. Ph ầ n t ử c ủ a vector sai s ố có th ề là 1 trong 3 giá tr ị 0, -1, 1. Ở m ỗ i b ướ c l ặ p i, 0 ch ỉ ra d ữ li ệ u m ẫ u phân lo ạ i chính xác, các giá tr ị còn l ạ i là không chính xác. • Vi ệ c huy ế n luy ệ n s ẽ d ừ ng khi t ấ t c ả các tr ọ ng s ố {w,b} ñựơ c c ậ p nh ậ t sao cho t ấ t c ả d ữ li ệ u m ẫ u ñề u ñựơ c phân lo ạ i chính xác ho ặ c b ướ c l ặ p i ti ế n ñế n gi ớ i h ạ n i max . • ðộ l ớ n b ướ c nh ả y η hay còn g ọ i là t ố c ñộ h ọ c (learning rate) có giá tr ị m ặ c ñị nh: m ặ c dù giá tr ị η càng l ớ n có th ể t ă ng t ố c ñộ h ọ c, tuy nhiên c ũ ng có th ể gây ra s ự dao ñộ ng làm có th ể làm ch ậ m s ự h ộ i t ụ . Feedforward và Radial Basis Function Networks [introduction…] Mạng neural Feedforward (FF) • Ph ổ bi ế n và ứ ng d ụ ng r ộ ng rãi nh ấ t. ñượ c bi ế t v ớ i tên g ọ i khác là m ạ ng tr ự c giác nhi ề u l ớ p (multi-layer perceptrons) - 8 - • Minh h ọ a m ạ ng FF 1 l ớ p ẩ n v ớ i các nút nh ậ p x 1 , x 2 , …, x n và 1 nút xu ấ t ˆ y m ạ ng ñượ c chia thành nhi ề u l ớ p. l ớ p nh ậ p bao g ồ m các nút nh ậ p, l ớ p ẩ n bao g ồ m các neuron ẩ n ñặ t song song. M ỗ i neural bi ể u di ễ n t ổ ng tr ọ ng các nút nh ậ p sau ñ ó ñượ c ñư a vào hàm ho ạ t ñộ ng σ (activation function) còn ñượ c g ọ i là hàm neural. • Bi ể u di ễ n toán h ọ c: 1 n j j j j w x b σ =   +     ∑ trong ñ ó tr ọ ng s ố {w j , b j } t ượ ng tr ư ng b ằ ng các m ũ i tên h ướ ng vào neuron. • Nút xu ấ t b ằ ng t ổ ng tr ọ ng ñầ u ra c ủ a các neuron. T ậ p các nút xu ấ t g ọ i là l ớ p xu ấ t. • D ữ li ệ u xu ấ t c ủ a m ạ ng ñượ c tính b ở i công th ứ c: n là s ố nút nh ậ p, nh là s ố neuron trong l ớ p ẩ n. các bi ế n { 1 , i j w , 1 , j i b , 2 i w , 2 b } ñượ c g ộ p chung trong vector θ . M ộ t cách t ổ ng quát, mô hình m ạ ng neural ñượ c vi ế t d ướ i d ạ ng rút g ọ n g( θ ,x) . • Trong quá trình hu ấ n luy ệ n m ạ ng. các tham s ố s ẽ ñượ c ñ i ề u chính t ă ng d ầ n cho ñế n khi d ữ li ệ u m ẫ u th ỏ a ánh x ạ mong mu ố n nh ấ t, t ứ c là ˆ ( ) y ϑ ñạ t ñế n y chính xác nh ấ t có th ể trong gi ớ i h ạ n s ố các b ướ c l ặ p. • Hàm ho ạ t ñộ ng phi tuy ế n th ườ ng ñượ c ch ọ n là hàm có b ướ c nh ả y m ị n (smooth step function). Ph ổ bi ế n nh ấ t là hàm sigma - 9 - ñồ th ị là: Mạng ña lớp • Hình minh h ọ a m ạ ng có 2 l ớ p ẩ n v ớ i nhi ề u nút xu ấ t: • S ố các l ớ p ẩ n và s ố neuron ẩ n là các tham s ố do ng ườ i dùng thi ế t k ế . 1 quy t ắ c chung là ch ọ n các tham s ố sao cho mô hình kh ả thi nh ấ t v ớ i ít các tham s ố nh ấ t có th ể . Trong th ự c t ế , quy t ắ c này không ph ả i luôn t ố t, mà ta c ầ n th ử v ớ i nhi ề u m ẫ u l ự a ch ọ n khác nhau, so sánh các k ế t qu ả ñể ch ọ n ra mô hình m ạ ng phù h ợ p nh ấ t cho bài toán. • Trong nhi ề u ứ ng d ụ ng th ự c t ế , m ạ ng 1 ho ặ c 2 l ớ p ẩ n là v ừ a ñủ . • Giá tr ị xu ấ t c ủ a các neuron trong hình trên là tuy ế n tính, không có hàm ho ạ t ñộ ng phi tuy ế n tính ñượ c tính sau khi l ấ y t ổ ng tr ọ ng s ố . ñ i ề u này t ố t trong các bài toán h ệ th ố ng ñộ ng và dãy th ờ i gian (dynamic và time series). Tuy nhiên n ế u dùng m ạ ng FF trong các bài toán phân lo ạ i, s ẽ thu ậ n l ợ i n ế u các giá tr ị xu ấ t c ủ a neuron là không tuy ế n tính. Mô t ả s ẽ ñượ c di ễ n gi ả i trong ví d ụ dùng m ạ ng FF cho bài toán phân lo ạ i. (example) Ví dụ • Quy ướ c: o ðể hu ấ n luy ệ n m ạ ng c ầ n 1 t ậ p d ữ li ệ u 1 { , } N i i i x y = ch ứ a N c ậ p d ữ li ệ u nh ậ p - xu ấ t. ñượ c bi ể u di ễ n d ướ i d ạ ng ma tr ậ n, trong ñ ó x i là vector trên dòng th ứ i c ủ a ma tr ậ n d ữ li ệ u nh ậ p, y i là vector trên dòng i c ủ a d ữ li ệ u xu ấ t. Ví d ụ : 20 c ặ p, vector x i có ñộ dài 1, vectory y i có ñộ dài 2. x = - 10 - y = o Trong bài toán phân lo ạ i, d ữ li ệ u nh ậ p ñượ c g ọ i là vector m ẫ u. M ỗ i dòng c ủ a d ữ li ệ u nh ậ p x ch ứ a 1 vector m ẫ u, và dòng t ươ ng ứ ng trong d ữ li ệ u xu ấ t y ch ỉ ra chính xác l ớ p c ủ a vector m ẫ u. ma tr ậ n y có m ỗ i c ộ t t ươ ng ứ ng 1 l ớ p, trên m ỗ i dòng, ứ ng v ớ i l ớ p chính xác có giá tr ị 1, còn l ạ i mang giá tr ị 0. N ế u bài toán phân lo ạ i ch ỉ có 2 l ớ p, ta c ũ ng có th ể ch ỉ dùng 1 c ộ t, ch ỉ ra l ớ p v ớ i giá tr ị 0 ho ặ c 1. Ví d ụ : vector m ẫ u x 25 = t ươ ng ứ ng y 25 = nên m ẫ u thu ộ c l ớ p 2. • D ữ li ệ u m ẫ u bao g ồ m 3 l ớ p, m ỗ i l ớ p phân thành 2 nhóm. x là d ữ li ệ u nh ậ p, y ch ỉ ra l ớ p t ươ ng ứ ng. • Trong bài toán phân l ọ ai, ñ i ể m quan tr ọ ng là s ự không tuy ế n tính khác nhau ở nút ra trong m ạ ng FF. m ụ c ñ ích c ủ a không tuy ế n tính là ch ắ c r ằ ng giá tr ị xu ấ t n ằ m bên trong vùng phân l ớ p khác nhau. chúng ta s ẽ dùng hàm Sigma ñể bão hòa các giá tr ị là 0 ho ặ c 1 chính xác v ớ i d ữ li ệ u xu ấ t c ủ a l ớ p. Chú ý r ằ ng hàm Sigma không bao gi ờ ti ế n ñế n chính xác giá tr ị 0, 1. • Hu ấ n luy ệ n m ạ ng FF v ớ i 8 b ướ c l ặ p: [...]... Thư ng dùng trong các bài toán phân lo i v i các vector m u nh phân (binary pattern vector) • M ng Hopfield ñư c t o ra b ng cách cung c p các vector d li u vào - vector ki u m u tương ng v i các l p khác nhau G i là các m u phân lo i l p (class patterns) • Trong không gian d li u n chi u, các m u phân lo i l p có n thành ph n nh phân {1,-1} mà m i m u tương ng v i 1 góc c a hình kh i (cube) trong không... trong không gian n chi u Thư ng dùng ñ phân lo i các m u b bi n d ng vào trong l p thích h p • Khi m u bi n d ng ñã ñư c phân lo i trong m ng, nó ñư c quy v 1 m u khác (associated pattern) N u m ng làm vi c chính xác m u liên k t là 1 trong các m u phân lo i l p trong 1 vài trư ng h p, c c ti u gi (spurious minima) có th xu t hi n, d n ñ n m u liên k t s không n m trong các vector m u • M ng Hopfield... minh h a b ng ñ th 1 cách tr c quan • M t ki u m ng neural khác tương t v i m ng không giám sát là m ng vector lư ng t (Vector Quantization) VQ thư ng dùng trong các bài toán phân lo i Gi ng như m ng không giám sát, m ng VQ d a trên t p các vector codebook M i l p có 1 t p con các vector codebook k t h p v i nó, và vector d li u ñư c phân lo i vào trong l p có vector phân lo i codebook g n nh t Vector... ph n t nào thì h th ng phân lo i ñư c xem như không ñáng tin c y ñ i v i d li u ñư c dùng • Bi u di n h th ng phân lo i b ng ñ th ñư ng biên: • Chúng ta cũng có quan sát ñ th hàm phân lo i có 3 ñ th ng v i 3 l p các ñư ng biên (bi u di n trên) ng v i ñư ng cong c t m t t i giá tr xu t 0.5: - 11 - • Minh h a quá trình hu n luy n: M ng Radial Basis Network (RBF) • Minh h a m ng neural v i các n nút nh... ng liên t c như sau: Tham kh o: • Mathematica Neural Networks Application http://documents.wolfram.com/applications/neuralnetworks/ • Gauss-Newton algorithm - http://en.wikipedia.org/wiki/Gauss-Newton_algorithm • Ma tr n Hessian - http://en.wikipedia.org/wiki/Hessian_matrix • Hyoung Ku LEE, and Suk In YOO, Paper “Intelligent Image Retrieval Using Neural Network , IEICE Trans Inf & Syst., Vol.E84-D,... xu t vào trong các l p khác nhau Các minh h a cơ b n • M i bài toán m ng neural ñi u th c hi n theo 4 bư c sau: 1 chu n b t p d li u nh p 2 Kh i t o m ng 3 Hu n luy n m ng - 24 - 4 ki m ñ nh mô hình Bài toán phân lo i (Classification) • Bài toán có 2 tham s ñ có th minh h a ñư c b ng ñ th D li u nh p g m tu i và tr ng lư ng tr em D li u ra ñ i di n phân l p mà nh ng ñ a tr thu c vào Có 2 l p trong ví... và cân n ng • Thư c ño ñ phù h p (measure of fit), ñư c t i ti u b i thu t toán hu n luy n, ph i ñ ơc ch n ñ i v i bài toán phân l ai, chu n ñư c gán là s m u phân lo i sai M ng phân lo i là chính xác n u chu n b ng 0 • M ng Perception là m ng phân l ai ñơn gi n nh t, ñư c s d ng trong ví d này • Quá trình hu n luy n ñư c minh h a như sau: - 25 - Do giá tr tham s kh i t o ñư c ch n ng u nhiên nên n u... d li u hay tìm ra m i quan h 1 chi u trong d li u n u c u trúc t n t i nó có th ñư c dùng ñ mô t d li u nhi u d ng rút g n • H u h t các mô hình m ng ñư c hu n luy n v i thu t toán giám sát Có nghĩa là d li u xu t mong mu n ph i t n t i ng v i m i vector d li u nh p trong d ng trong vi c hu n luy n M ng không giám sát hay m ng t t ch c ch d a vào d li u nh p ñ tìm ra c u trúc trong không gian d li... 3D: o B i toán t momen ñư c dùng trong quá trình h c, tham s ư c lư ng s ñi lên sát d c giá tr kh i t o M ng Neural ð ng (Dynamic) • H th ng g m 3 ki u tín hi u: o tín hi u xu t y(t) là tín hi u có th ño /quan sát ñư c o tín hi u vào u(t) là tín hi u ño ñư c t bên ngoài, có nh hư ng ñ n h th ng o tín hi u nhi u e(t) nh hư ng ñ n h th ng nh ng là tín hi u không ño ñư c • Trong h th ng 1 vào 1 ra (SISO),... sinh ng u nhiên: quan sát d li u tr v : không ph i lúc nào m ng cũng tr v 1 trong các d li u m u ñi u này do g p ph i trư ng h p c c ti u gi • 2 ki u m ng Hopfield: o Liên t c th i gian (Continuous-time) o R i r c th i gian (discrete-time) • Ma tr n tr ng s ñư c ñ nh nghĩa là: D là s các m u phân lo i l p (class patterns) {ξ1, ξ2, …, ξD}, các vector m u ξi g m các ph n t ±1 ñư c lưu tr trong m ng, n . - Tổng quan về mạng Neural Network trong phân tích ảnh Trịnh Vũ Long Giao MSSV: 0211053 Lớp: 02TT1 Khoa: Toán – Tin Học Trường: ðH KHTN - 2 - Mục Lục TổNG QUAN 3 GIớI THIệU Về MạNG. MạNG NEURAL ðộNG (DYNAMIC) 19 MạNG HOPFIELD 21 Mạng Hopfield rời rạc thời gian 22 Mạng Hopfield Liên tục thời gian 23 MạNG KHÔNG GIÁM SÁT (UNSUPERVISED) VÀ MạNG VECTOR LƯợNG Tử HÓA (QUANTIZATION). BảN 24 BÀI TOÁN PHÂN LOạI (CLASSIFICATION) 25 XấP Xỉ HÀM Số (FUNCTION APPROXIMATION) 26 THAM KHảO: 27 - 3 - Tổng quan Giới thiệu về mạng Neural Giới thiệu • Mạng neural ñược xem như