Đang tải... (xem toàn văn)
TÌM HIỂU MÔ HÌNH MARKOV ẨN ỨNG DỤNG ĐỂ NHẬN DẠNG CHỮ VIẾT TAY Hidden Markov Models (HMMs) là những mô hình thống kê có sức mạnh đối với việc mô hình các dữ liệu tuần tự hay liên tục theo thời gian. HMMs đã được giới thiệu từ cuối những năm 1960 và đầu những năm 1970 của thế kỉ trước. Năm 1970, Baum và một vài người đã công bố phương pháp cực đại hoá mà đã cung cấp giải pháp cho vấn đề huấn luyện mô hình với quan sát đơn.
TÌM HIỂU MÔ HÌNH MARKOV ẨN - ỨNG DỤNG ĐỂ NHẬN DẠNG CHỮ VIẾT TAY Lê Đình Phúc Phạm Xuân Thu Trần Đình Hoàng Huy Nguyễn Đức Hoàng Tùng GI I THI U - HMMsỚ Ệ MÔ HÌNH MARKOV CÁC NG D NGỨ Ụ NỘI DUNG GIỚI THIỆU GIỚI THIỆU Hidden Markov Models (HMMs) là những mô hình thống kê có sức mạnh đối với việc mô hình các dữ liệu tuần tự hay liên tục theo thời gian. HMMs đã được giới thiệu từ cuối những năm 1960 và đầu những năm 1970 của thế kỉ trước. Năm 1970, Baum và một vài người đã công bố phương pháp cực đại hoá mà đã cung cấp giải pháp cho vấn đề huấn luyện mô hình với quan sát đơn. 3 GIỚI THIỆU GIỚI THIỆU Năm 1977, Dempster đã công bố phương pháp Expectation Maximization để cho việc ước tính độ giống nhau cực đại từ dữ liệu. Năm 1983, Levinsons đã giới thiệu phương pháp độ giống nhau cực đại(maximun likelihood) cho huấn luyện HMMs nhiều chuỗi quan sát đều độc lập với nhau 4 MÔ HÌNH MARKOV MÔ HÌNH MARKOV Xét mô hình về dự báo thời tiết Giả sử chúng ta có 03 trạng thái của thời tiết Nắng (N) Mưa (M) Sương mù (S) Giả sử thời tiết trong một ngày là không thay đổi, nghĩa là không chuyển từ trạng thái này sang trạng thái khác. 5 MÔ HÌNH MARKOV MÔ HÌNH MARKOV Dự đoán thời tiết của ngày mai dựa trên các quan sát các trạng thái thời tiết trong quá khứ. Xây dựng một mô hình thống kê để dự đoán q n (trạng thái thời tiết của ngày thứ n). q n phụ thuộc vào q n-1 (trạng thái thời tiết ngày thứ n-1), q n-2, vv… Tìm xác suất có điều kiện P(q n |q n-1 , q n-2 , …, q 1 ) 6 MÔ HÌNH MARKOV MÔ HÌNH MARKOV Dựa vào công thức chúng ta có thể dự đoán xác suất của các trạng thái thời tiết của ngày mai, ngày mốt, … dựa vào các trạng thái quan sát được trong quá khứ. Ví dụ: Chúng ta biết thời tiết của ba ngày liên tiếp trước đó là {N, N, S} Xác suất để ngày mai trời mưa (M) được tính bởi công thức: P(q 4 =M|q 3 =S,q 2 =N,q 1 =N) Nghĩa là chúng ta cần tìm xác suất để xảy ra chuỗi trạng thái quan sát được theo thứ tự {N, N, S, M}. 7 MÔ HÌNH MARKOV MÔ HÌNH MARKOV n lớn → số trạng thái quan sát lớn. Với n = 6, ta phải thu thập đến 3(6-1) = 243 trạng thái trong quá khứ. Giả sử một cách đơn giản (giả thiết markov): Với dãy các trạng thái {q 1 , q 2 , …, q n } thì P(q n |q n-1 , q n-2 , …, q 1 ) = P(q n |q n-1 ) Gọi là giả thiết Markov bậc nhất (mô hình Markov). Với dãy các trạng thái {q 1 , q 2 , …, q n } thì P(q n |q n-1 , q n-2 , …, q 1 ) = P(q n |q n-1 , q n-2 ) Gọi là giả thiết Markov bậc hai. 8 MÔ HÌNH MARKOV MÔ HÌNH MARKOV Với dãy các trạng thái {q 1 , q 2 , …, q n } mà P(q n |q n-1 , q n-2 , …, q 1 ) = P(q n |q n-1 ) Gọi là giả thiết Markov bậc nhất (mô hình Markov). Chuỗi {q i } đầu ra được gọi là xích Markov. Ta có thể biểu diễn xác suất của chuỗi {q 1 , q 2 , …, q n } bằng cách sử dụng giả thiết Markov như sau: Với giả thiết Markov, chúng ta chỉ cần biết xác suất để chuyển từ trạng thái q n-1 sang q n, tức là P(q n |q n-1 ). ∏ = =… n 1i 1-iin21 )q|P(q)q , ,q ,P(q 9 MÔ HÌNH MARKOV MÔ HÌNH MARKOV Ở mô hình dự báo thời tiết trên, chúng ta có 3 * 3 = 9 giá trị P(q n |q n-1 ) với q n , q n-1 ∈ {N, M, S}. Giả sử có bảng xác suất chuyển trạng thái thời tiết như sau: 10 [...]... o3=K t=1 t=2 t=3 thời gian Ba bài toán với mô hình Markov ẩn 22 Hầu hết các ứng dụng của mô hình Markov ẩn đều đi đến việc giải ba bài toán cơ bản sau: 1 Cho mô hình Markov ẩn λ = (A, B, π), tính P(O| λ) là xác suất xảy ra chuỗi tín hiệu O = {o1, o2, …, oT} 2 Cho mô hình Markov ẩn λ = (A, B, π), tìm chuỗi trạng thái Q = {q1, q2, …, qT} sao cho xác suất tương ứng với chuỗi tín hiệu quan sát được O =... qT → Forward-Backward Procedure: N2T (oT ) Ba bài toán với mô hình Markov ẩn 24 Lời giải bài toán 2: Thuật toán Viterbi Lời giải bài toán 3: Thuật toán phân đoạn K-Trung bình Công thức ước lượng lại Baum-Welch CÁC ỨNG DỤNG CỦA HMMs 25 Nhận dạng tiếng nói Phân tích chuỗi protein AND Nhận dạng âm thanh Nhận dạng chữ viết tay Xử lý ngôn ngữ thống kê Điều khiển robot Tin sinh học...MÔ HÌNH MARKOV 11 Với mô hình Markov bậc nhất, và với dữ liệu bảng trên chúng ta có thể biểu diễn bằng Ôtômat hữu hạn sau: 0.80 0.50 0.15 N S 0.20 0.05 0.30 0.20 0.20 M 0.60 MÔ HÌNH MARKOV 12 Ví dụ 1: Cho biết hôm nay trời nắng (N) Tính xác suất để ngày mai trời nắng (N) và ngày mốt trời mưa (M) Sử dụng giả thiết Markov và xác suất cho trong bảng trên,... P(q1=si) MÔ HÌNH MARKOV Ẩn - HMMs 19 Lưu ý hai giả thiết: Giả thiết Markov, trạng thái hiện tại chỉ phụ thuộc vào trạng thái trước đó, tức là: P(qt|qt-1, qt-2, …, q1) = P(qt|qt-1) Tín hiệu quan sát được tại thời điểm t chỉ phụ thuộc vào trạng thái hiện tại, nó độc lập với các tín hiệu quan sát và các trạng thái trước đó, nghĩa là: P(ot|ot-1, ot-2, …, ot, qt, qt-1, …, q1) = P(ot|qt) MÔ HÌNH MARKOV Ẩn. .. thái Q = {q1, q2, …, qT} sao cho xác suất tương ứng với chuỗi tín hiệu quan sát được O = {o1, o2, …, oT} lớn nhất, tức là P(O,Q|λ) cực đại 3 Xây dựng mô hình Markov ẩn λ = (A, B, π) sao cho P(O| λ) hoặc P(O,Q|λ) đạt cực đại Ba bài toán với mô hình Markov ẩn 23 Lời giải bài toán 1: P (O | λ ) = ∑ P(O | Q, λ ) P (Q | λ ) trong đó: Q T P(O | Q, λ ) = ∏ P(ot | qt , λ ) = bq1 (o1 )bq2 (o2 ) bqT (oT ) t... thiết Markov) MÔ HÌNH MARKOV 14 Ví dụ 3: Cho biết hôm nay trời sương mù (q 1=S) Tính xác suất ngày mốt trời sẽ mưa (q3 = M) Sử dụng giả thiết Markov và xác suất cho trong bảng trên, ta có: P(q3=M|q1=S) = P(q2=N,q3=M|q1=S) + P(q2=M,q3=M|q1=S) + P(q2=S,q3=M|q1=S) = P(q3=M|q2=N) * P(q2=N|q1=S) + = P(q3=M|q2=M) * P(q2=M|q1=S) + = P(q3=M|q2=S) * P(q2=S|q1=S) = 0.05*0.20 +0.60*0.30+0.30*0.50 = 0.34 MÔ HÌNH... Mô phỏng cấu trúc không gian của protein từ trình tự amino acid … Thuật toán Viterbi 26 Được đề xuất bởi Andrew Viterbi vào năm 1967 Được sử dụng để giải mã các dữ liệu được mã hóa chập (được sử dụng trong các mạng di động, LAN, không dây, truyền thông vũ trụ…) Sử dụng trong nhận dạng giọng nói, trong đó các tín hiệu âm thanh được coi là chuỗi quan sát được, và chuỗi văn bản được coi là ẩn ... q1=N) = P(q3=M|q2=N) * P(q2=N|q1=N) (Giả thiết Markov) = 0.05 * 0.8 = 0.04 Chúng ta có thể tính xác suất này thông qua Ôtômát trong hình trên, bằng cách nhân các giá trị trên đường đi MÔ HÌNH MARKOV 13 Ví dụ 2: Giả sử thời tiết ngày hôm qua là mưa (q1=M) và ngày hôm nay là sương mù (q2=S) Tính xác suất ngày mai trời sẽ nắng (q3=N) Sử dụng giả thiết Markov và xác suất cho trong bảng trên, ta có:... q1) = P(ot|qt) MÔ HÌNH MARKOV Ẩn - HMMs 20 Dùng lược đồ mắt cáo để tính toán cho HMMs b1,k Trạng thái 1 a1,1 b1,k …… b1,k …… a1,2 b2,k b2,k a1,3 Trạng thái 2 b3,k b2,k …… b3,k Trạng thái 3 Dãy tín hiệu quan sát b1,k b2,k …… b3,k …… b3,k …… o1 o2 oi oN t=1 t=2 t=i t=N thời gian MÔ HÌNH MARKOV Ẩn - HMMs 21 Ví dụ lược đồ mắt cáo cho mô hình dự báo thời tiết bN,K=0.9 bN,K=0.9 N aN,S=0.1 aS,N=0.2 5 0... tiết Xác suất mang dù N 0.10 M 0.80 S 0.30 MÔ HÌNH MARKOV Ẩn - HMMs 16 Như vậy, thời tiết bên ngoài sẽ là ẩn đối với chúng ta Bây giờ chúng ta phải tìm xác suất của các trạng thái thời tiết q i ∈ {N, M, S} thông qua các quan sát được o , với o =D, nếu người chăm sóc mang theo i i dù, o =K nếu người chăm sóc không mang theo dù Nghĩa là chúng ta phải i tìm P(q |o ) i i Công thức Bayes P (o | q ) . o t , q t , q t-1 , …, q 1 ) = P(o t |q t ) MÔ HÌNH MARKOV Ẩn - HMMs MÔ HÌNH MARKOV Ẩn - HMMs 20 Dùng lược đồ mắt cáo để tính toán cho HMMs. Trạng thái 1 Trạng thái 2 Trạng thái 3 b 1,k b 2,k b 3,k o 1 t=1 b 1,k b 2,k b 3,k o 2 t=2 b 1,k b 2,k b 3,k o i t=i b 1,k b 2,k b 3,k o N t=N Dãy. P(q 3 =M|q 2 =S) * P(q 2 =S|q 1 =S) = 0.05*0.20 +0.60*0.30+0.30*0.50 = 0.34 14 MÔ HÌNH MARKOV ẨN - HMMs MÔ HÌNH MARKOV ẨN - HMMs 15 Giả sử chúng ta bị nhốt trong một ngôi nhà và muốn biết được thời tiết bên. q i trong ngày i. Thời tiết Xác suất mang dù N 0.10 M 0.80 S 0.30 MÔ HÌNH MARKOV Ẩn - HMMs MÔ HÌNH MARKOV Ẩn - HMMs 16 Như vậy, thời tiết bên ngoài sẽ là ẩn đối với chúng ta. Bây giờ chúng ta