Entropy Cực Đại Và Ứng Dụng Ngày 7 tháng 6 năm 2013 LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành và biết ơn sâu sắc tới Thạc sỹ Trần Thiện Thành Khoa Toán Trường Đại học Khoa Học Huế đã chỉ bảo và hướng dẫn tận tình cho em trong suốt quá trình thực hiện khoá luận này. Em xin gửi lời cảm ơn và biết ơn sâu sắc tới các thầy, cô đã dạy dỗ em trong suốt quá trình học tập tại trường Đại học Khoa Học. Những kiến thức các thầy, cô dạy em là hành trang để em vững bước vào đời. Em cũng xin chân thành cảm ơn các thầy, cô, anh, chị trong Khoa Toán đã tạo điều kiện, giúp đỡ và động viên tinh thần cho em trong quá trình làm khoá luận. Và cuối cùng, con xin gửi lời cảm ơn và biết ơn vô hạn tới bố, mẹ, những người thân yêu của em, đã nuôi nấng, dạy dỗ và luôn động viên, làm chỗ dựa tinh thần cho em trong cuộc sống cũng như trong học tập. Mặc dù đã cố gắng, nhưng với kiến thức và thời gian còn hạn chế nên không thể tránh khỏi những thiếu sót. Em mong nhận được sự chỉ bảo của quý thầy cô và ý kiến đóng góp của bạn bè để khóa luận của em được hoàn thiện hơn. Xin chân thành cảm ơn ! Huế, ngày 16 tháng 05 năm 2012 Sinh viên Nguyễn Thị Thu Mơ 1] Mục lục LỜI CẢM ƠN 1 MỤC LỤC 2 LỜI MỞ ĐẦU 3 1 Entropy, Entropy Tương Đối Và Thông Tin Tương Hỗ 6 1.1 Entropy của biến ngẫu nhiên . . . . . . . . . . . . . . . . . . . . . . 6 1.1.1 Định nghĩa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.1.2 Entropy của một số phân phối thường dùng . . . . . . . . . 9 1.2 Entropy đồng thời và Entropy điều kiện . . . . . . . . . . . . . . . . 11 1.3 Entropy tương đối và thông tin tương hỗ . . . . . . . . . . . . . . . 16 2 Một Số Kết Quả Của Entropy Cực Đại 23 2.1 Nguyên Lý Entropy Cực Đại . . . . . . . . . . . . . . . . . . . . . . . 23 2.1.1 Định Lý Cơ Bản Về Entropy Cực Đại . . . . . . . . . . . . . 23 2.1.2 Một Số Định Lý Mở Rộng Khác . . . . . . . . . . . . . . . . 27 2.2 Ứng Dụng Về Entropy Cực Đại . . . . . . . . . . . . . . . . . . . . . 30 2.2.1 Bài toán con xúc xắc . . . . . . . . . . . . . . . . . . . . . . . 30 2.2.2 Bài toán Berger’s Burges . . . . . . . . . . . . . . . . . . . . . 31 KẾT LUẬN 34 TÀI LIỆU THAM KHẢO 35 2 MỤC LỤC LỜI MỞ ĐẦU Lịch sử Entropy được bắt đầu trong nhiệt động học sau đó được nhà toán học, vật lý Claude Elwood Shannon mở rộng và giới thiệu trong bài báo "A Math- ematical theory of Communication" vào năm 1948 thông qua khái niệm trung gian là "độ bất định". Trong dự đoán khả năng xảy ra trước khi nhận được thông tin. Sau khi nhận thông tin nếu độ bất định giảm đi thì có thể coi lượng thông tin nhận được là bằng mức độ giảm đi của độ bất định. Nếu dự đoán đoán càng nhiều tình huống có thể xảy ra thì độ bất định trong dự báo càng lớn. Entropy cực đại và phương pháp tiếp cận dự đoán phân bố xác suất lần đầu tiên được đề xuất bởi Jaynes, và kể từ đó đã được sử dụng trong nhiều lĩnh vực của khoa học máy tính và thống kê học, đặc biệt là xử lý ngôn ngữ tự nhiên, và gần đây hơn trong mô hình môi trường sống của loài . Trước khi trình bày về mô hình về mô hình entropy cực đại chúng ta xem xét ví dụ sau: Xét một quá trình ngẫu nhiên gieo con xúc xắc cân đối đồng chất. Quan sát 1000 lần thử thống kê xác suất xuất hiện từng mặt ta có: 6  i=1 p(i) = 1. (1) (2) trong đó p(i) là xác suất xuất hiện của mặt có i chấm. Bây giờ ta muốn ước lượng phân phối xác suất của các mặt. Chúng ta có thể đưa ra nhiều phân phối xác suất thỏa mãn phương trình (1). Chẳng hạn p(1) = 1 và tất cả các mặt khác có xác suất xuất hiện đều bằng 0 nghĩa là mặt xuất hiện luôn luôn là mặt 1. Giả sử vì một lý do nào đó con xúc xắc bị lệch 2 mặt là 1 và 4. Trong 1000 lần gieo thử ta quan sát thấy rằng số lần xuất hiện của các mặt 1 và mặt 4 chiếm 50% trên tổng số lần tung. Lúc đó ta có ràng buộc sau: p(1) + p(4) = 1 2 . (3) Vì phân phối xác suất tuân theo phương trình (1) nên ta có: 3] MỤC LỤC p(2) + p(3) + p(5) + p(6) = 1 2 . (4) Một lần nữa có nhiều phân phối xác suất phù hợp với các ràng buộc trên chẳng hạn p(1) = 1 3 , p(4)= 1 6 và p(2) = 1 2 , các mặt 3, 5, 6 có xác suất xuất hiện là 0. Có rất nhiều kết quả thỏa mãn yêu cầu của bài toán. Bây giờ chúng ta có thể ước lượng phân phối xác suất của các mặt thông qua 2 ràng buộc sau. 6  i=1 p(i) = 1 p(1) + p(4) = 1 2 . Trong trường hợp không có thông tin nào khác hay không có thêm ràng buộc nào khác, lựa chọn hợp lý nhất cho phân phối xác suất của các mặt là đều nhất có thể, phụ thuộc vào các ràng buộc. Giả sử chúng ta kiểm tra lại dữ liệu nhiều lần, và lần này nhận thấy số điểm bình quân của các mặt là 4, 7 điểm. Chúng ta có thể kết hợp thông tin này vào mô hình của chúng ta như một ràng buộc thứ 3 của bài toán: 6  i=1 ip(i) = 4, 7. Chúng ta có thể tìm được các phân phối xác suất đều hơn ứng với các ràng buộc trên, nhưng bây giờ việc lựa chọn các phân phối xác suất không còn dễ dàng nữa khi chúng ta thêm những ràng buộc phức tạp, chúng ta gặp phải khó khăn nhất định câu hỏi đặt ra là làm thế nào để tìm được một phân phối xác suất đều nhất hay độ bất định là lớn nhất phụ thuộc vào tập các ràng buộc mà chúng ta đã biết. Phương pháp entropy cực đại sẽ trả lời cho ta câu hỏi đó chúng ta sẽ chứng minh bài toán trong những phần sau. Nguyên lý rất đơn giản cho một tập các ràng buộc, lựa chọn một phân phối xác suất mà nó phù hợp với tất cả các ràng buộc của bài toán và đều nhất có thể. Phân phối xác suất tìm được phải thỏa mãn các ràng buộc quan sát từ thực nghiệm mà không cần đưa thêm bất kỳ một giả thiết nào khác. 4] MỤC LỤC Trong bài khóa luận này em tập trung trình bày, giới thiệu các định nghĩa liên quan đến Entropy của biến ngẫu nhiên, Entropy của một số phân phối, các định lý cơ bản về Entropy cực đại và ứng dụng nguyên lý Entropy cực đại để giải quyết một số bài toán cơ bản. Khóa luận được chia làm 2 chương. Chương 1: Trong chương này em sẽ giới thiệu tổng quan về Entropy cũng như các mối quan hệ giữa chúng. Chương 2: Sẽ tập trung giới thiệu nguyên lý Entropy cực đại, một số định lý về Entropy cực đại và bài toán ứng dụng. 5] Chương 1 Entropy, Entropy Tương Đối Và Thông Tin Tương Hỗ 1.1 Entropy của biến ngẫu nhiên 1.1.1 Định nghĩa Cho X là biến ngẫu nhiên rời rạc với không gian mẫu Ω(X) = {x 1 , x 2 , , x n , } và hàm mật độ xác suất p(x i ) = p(X = x i ). Entropy được định nghĩa là: H(X) = − ∞  i=1 p(x i )logp(x i ). Ta có thể ký hiệu: H(p(x)) = H(p) = H(X). Một cách tương tự chúng ta có định nghĩa entropy của biến ngẫu nhiên liên tục với hàm mật độ xác suất p(x) là : H(X) = −  ∞ −∞ p(x)logp(x)dx. Trong thông tin việc chọn cơ số logarit tương ứng với việc chọn đơn vị đo thông tin. Nếu cơ số 2 được sử dụng thì các đơn vị đó ký hiệu là bit, cơ số e thì ký hiệu là nat, cơ số 10 thì ký hiệu là Hartley. Các đơn vị đo thông tin có thể chuyển đổi qua lại lẫn nhau dựa vào phép đổi cơ số của logarit. Trong phần này trừ khi có quy định riêng chúng ta quy ước rằng tất cả logarit là cơ số 2. 6 CHƯƠNG 1. ENTROPY, ENTROPY TƯƠNG ĐỐI VÀ THÔNG TIN TƯƠNG HỖ Entropy của một biến ngẫu nhiên là thước đo sự "bất định" của biến ngẫu nhiên, nó đo lường số lượng thông tin trung bình để mô tả biến ngẫu nhiên. Quy ước: Ta có xlogx → 0 khi x → 0 nên quy ước 0log0 = 0. Ví dụ 1.1.1. Giả sử X ∼ Bernoulli(p). Thì khi đó entropy của X là: H(X) = − n  i=1 p(x i )logp(x i ) = −plogp −(1 −p)log(1 −p). Chẳng hạn nếu p = 1 2 thì H(X) = 1. Nhận xét: H(X) đạt cực đại tại p = 1 2 vì tập chỉ có 2 phần tử nên xác suất xuất hiện các giá trị lúc này là bằng nhau, nên độ bất định lúc này lớn nhất. Khi p = 0 hoặc p = 1. Khi đó xác suất lúc này luôn nhận giá trị 0 hoặc 1 đây là một biến cố chắc chắn nên lúc này không có độ bất định lượng thông tin trung bình lúc này là 0. Ví dụ 1.1.2. Giả sử phân phối xác suất các mặt xuất hiện khi gieo con xúc xắc được cho bởi: P (X = 1) = 1 2 , P (X = 2) = 1 4 , P (X = 3) = 0 P (X = 4) = 0, P (X = 5) = 1 8 , P (X = 6) = 1 8 . Entropy là: H(X) = −  x∈{1,2,3,4,5,6} p(x)logp(x) = −  1 2 log 1 2 + 1 4 log 1 4 + 0log0 + 0log0 + 1 8 log 1 8 + 1 8 log 1 8  = 1, 75. Thông thường trong thông tin bài toán này chúng ta cần ít nhất 3bit nhưng phân phối xác suất là không đều nhau và bằng cách tính Entropy chúng ta biết được rằng chỉ cần 1,75 bit là có tể mã hóa thông tin trên, nó cho chúng ta biết chính xác lượng bit cần thiết để mã hóa thông tin. 7] CHƯƠNG 1. ENTROPY, ENTROPY TƯƠNG ĐỐI VÀ THÔNG TIN TƯƠNG HỖ Ví dụ 1.1.3. Giả sửX ∼ U(a, b) với: p(x) =    1 b−a nếu x ∈ (a, b) 0 nếu ngược lại H(X) = −  b a 1 b −a log 1 b −a dx = −  a b −a log 1 b −a − b b −a log 1 b −a  = log(b −a). Nếu X là phân phối rời rạc thì lúc đó 0 < P (x i ) < 1 suy ra −P (x i )logP (x i ) > 0 với ∀i nên H(X) ≥ 0. Nếu X là liên tục, thì do hàm mật độ có thể nhận giá trị lớn hơn 1 nên H(X) có thể âm. Chẳng hạn ta xét ví dụ sau: Ví dụ 1.1.4. Giả sử X là đại lượng ngẫu nhiên có hàm mật độ xác định bởi: f(x) =    3x 2 nếu 0 < x < 1 0 nếu ngược lại H(X) = −  1 0 3x 2 log3x 2 dx = −  x 3 log3x 2 | 1 0 −  1 0 x 3 2 xln2 dx  = −log 2 3 + 1 3ln2  −1, 1. Bổ đề 1.1.5. Cho 2 hàm phân phối xác suất p(x i ) và q(x i ) rời rạc trên tập {x 1 , x 2 , , x n } với q(x i ) > 0 với ∀i. Khi đó ta có: − n  i=1 p(x i )logp(x i ) ≤ − n  i=1 p(x i )logq(x i ) . Nếu tổng hội tụ. Dấu "=" xảy ra nếu và chỉ nếu p(x i ) = q(x i ) với ∀i. Chứng minh: Ta luôn có log(x) ≤ x −1 với x > 0 và dấu "=" xảy ra khi x=1. 8] CHƯƠNG 1. ENTROPY, ENTROPY TƯƠNG ĐỐI VÀ THÔNG TIN TƯƠNG HỖ Đặt x = q(x i ) p(x i ) suy ra log( q(x i ) p(x i ) ) ≤ q(x i ) p(x i ) − 1, và dấu "=" xảy ra khi p(x i ) = q(x i ) với ∀i. ⇔ n  i=1 p(x i )log q(x i ) p(x i ) ≤ n  i=1 (q(x i ) −p(x i )) = 0 ⇔ − n  i=1 p(x i )logp(x i ) ≤ − n  i=1 p(x i )logq(x i ), Dấu "=" xảy ra khi p(x i ) = q(x i ) với ∀ i (đpcm). 1.1.2 Entropy của một số phân phối thường dùng 1. Cho X có phân phối chuẩn N(µ, σ 2 ) với hàm mật độ xác suất p(x) = 1 √ 2πσ 2 e − (x−µ) 2 2σ 2 thì Entropy của X là: H(X) = −  R p(x)logp(x)dx = −  R 1 √ 2πσ 2 e − (x−µ) 2 2σ 2 log 1 √ 2πσ 2 e − (x−µ) 2 2σ 2 dx =  R 1 √ 2πσ 2 e − (x−µ) 2 2σ 2 ( 1 2 log(2πσ 2 ) + (x − µ) 2 2σ 2 )dx = 1 2 (1 + log(2πσ 2 )). 2. Cho X có phân phối mũ Exp(λ) với p(x) = 1 λ e − x λ thì Entropy của X là: H(X) = −  ∞ 0 p(x)logp(x)dx = −  ∞ 0 1 λ e − x λ log( 1 λ e − x λ )dx =  ∞ 0 1 λ e − x λ (logλ + x λ )dx =  ∞ 0 1 λ e − x λ logλdx +  ∞ 0 x λ 1 λ e − x λ dx = 1 + logλ. 3. Cho X có phân phối Laplace với phương sai 2λ 2 và p(x) = 1 2λ e − |x| λ lúc đó En- tropy của X là: H(X) = −  R p(x)logp(x)dx = −  R 1 2λ e − |x| λ log( 1 2λ e − |x| λ )dx =  R 1 2λ e − |x| λ (log2λ + | x | λ )dx =  R 1 2λ e − |x| λ log2λdx +  R | x | λ 1 2λ e − |x| λ dx = log2λ + 1 λ  R | x | 1 2λ e − |x| λ dx = 1 + log2λ. 9] [...]... cách sử dụng maple ta biết rằng cực đại xuất hiện khi p(F) = 0,216 và p(B) = 0,466, p(C) = 0,318 và S= 1,517 bit Nguyên lý Entropy cực đại cho phép ta tìm ra phân phối xác suất phù hợp với những ràng buộc của bài toán và có tính bất định lớn nhất mà không đưa thêm bất kỳ một ràng buộc nào khác 33] CHƯƠNG 2 MỘT SỐ KẾT QUẢ CỦA ENTROPY CỰC ĐẠI KẾT LUẬN Nguyên lý Entropy cực đại ngày càng được sử dụng rộng... MỘT SỐ KẾT QUẢ CỦA ENTROPY CỰC ĐẠI mà đáp ứng các điều kiện công thức: qj Ej =< E > và có entropy cực đại, nó được cho bởi qj = e−βEj n −βEi i=1 e Với β là số thực trên R = [−∞; ∞] phụ thuộc vào Đặc biệt: • β = −∞ tương ứng với < E >= maxEj • β = ∞ tương ứng với < E >= minEj • β = 0 tương ứng với trung bình cộng < E >= Ej n Chứng minh định lý này chúng ta có thể xem ở trang 10 và 11 trong tài liệu... log 3 2 3 4 4 = log 3 − 3 22] Chương 2 Một Số Kết Quả Của Entropy Cực Đại 2.1 Nguyên Lý Entropy Cực Đại Nguyên lý Entropy cực đại là phương pháp giải các bài toán mà chúng ta thiếu thông tin về chúng, nguyên lý rất đơn giản dựa vào các tập ràng buộc, chúng ta lựa chọn một phân phối xác suất mà nó phù hợp với tất cả các ràng buộc của bài toán và đều nhất có thể hay tính bất định là lớn nhất, mà không... phối xác suất là gì ? Bằng nguyên lý của entropy cực đại và định lý 2.1.8 chúng ta có thể dự đoán tốt nhất q (β0 ) với β0 được chọn sao cho: 30] CHƯƠNG 2 MỘT SỐ KẾT QUẢ CỦA ENTROPY CỰC ĐẠI 6 jqj (β0 ) = 4, 7 j=1 Tức là: 6 −β0 j j=1 je 6 −β0 i i=1 e = 4, 7 Ta có thể dễ dàng giải được phương trình bằng các phương pháp gần đúng ta sẽ có β0 = −0, 4632823, entropy cực đại của toàn phân phối ta sẽ có được:... bình cộng < E >= Ej n Chứng minh định lý này chúng ta có thể xem ở trang 10 và 11 trong tài liệu Probability Ditribution and Maximum Entropy của Keith Cornad 2.2 Ứng Dụng Về Entropy Cực Đại Bây giờ chúng ta sẽ xem xét một số ví dụ về việc sử dụng nguyên tắc entropy cực đại, ta trở lại ví dụ lúc đầu như sau: 2.2.1 Bài toán con xúc xắc Trở lại bài toán ví dụ ban đầu xét quá trình ngẫu nhiên gieo 1 con... CHƯƠNG 1 ENTROPY, ENTROPY TƯƠNG ĐỐI VÀ THÔNG TIN TƯƠNG HỖ Y\X 1 2 3 4 1 0.125 0,0625 0.03125 0,03125 2 0,0625 0.125 0.03125 0,03125 3 0,0625 0,0625 0,0625 0,0625 4 0,25 0 0 0 1 1 Suy ra ta có phân phối biên duyên của X là( 2 , 1 , 8 , 1 ) và phân phối biên duyên 4 8 1 1 1 1 7 của Y là ( 4 , 4 , 4 , 4 ) và entropy của X là H(X) = 4 và entropy của Y là H(Y) = 2 bài toán đặt ra là tìm H (X | Y ) và H (X,... định nghĩa, định lý liên quan đến Entropy của biến ngẫu nhiên và mối quan hệ giữa chúng Giới thiệu về nguyên lý Entropy cực đại đặc biệt là trong một số định lý cơ bản, bên cạnh đó còn giới thiệu một số bài toán cũng như phương pháp giải bằng nguyên lý Entropy cực đại Trong suốt quá trình thực hiện không tránh khỏi những thiếu sót rất mong nhận được sự góp ý của thầy cô và các bạn 34] Tài liệu tham khảo... CỦA ENTROPY CỰC ĐẠI 1, 75 = 1.p(B ) + 2.p(C ) + 3.p(F ) Giờ chúng ta sẽ ước lượng các phân phối xác suất p(B),p(C) và p(F) với hai điều kiện ràng buộc biết rõ là: 1 = p (B ) + p (C ) + p (F ) 1, 75 = 1.p(B ) + 2.p(C ) + 3.p(F ) Ta thấy rằng có 3 ẩn chưa biết và duy nhất 2 phương trình không đủ thông tin để giải quyết các ẩn chưa biết Để giải các ẩn chưa biết chúng ta sẽ dùng nguyên lý Entropy cực đại. .. + H (X | Y ) 1.3 Entropy tương đối và thông tin tương hỗ Trong phần này chúng tôi giới thiệu hai khái niệm liên quan là entropy tương đối và thông tin tương hỗ Entropy tương đối là độ đo khoảng cách giữa hai phân phối, D(p||q) với p là phân phối "thực" và q là một phân phối bất kỳ Định nghĩa 3 Entropy tương đối hay khoảng cách Kull back - Leibler giữa hai hàm phân phối xác suất p(x) và q(x) được định... nếu và chỉ nếu p(x) = q (x) Vì vậy D(p||q ) = 0 nếu và chỉ nếu p(x) = q (x) (đpcm) Chú ý: Entropy tương đối không phải là một khoảng cách thực sự giữa hai phân phối xác suất vì nó không có tính đối xứng và không thỏa mãn bất đẳng thức tam giác, mặc dù vậy ta có thể coi Entropy tương đối như một "khoảng cách" giữa hai phân phối xác suất Ví dụ 1.3.1 Giả sử biến ngẫu nhiên X nhận 2 giá tri 0 và 1 và xét