Lý Thuyết thông tin Chương 2

19 1.4K 22
Lý Thuyết thông tin Chương 2

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

Chương 2 Nguồn tin.Giáo Viên: TS. Trần Trung Duy Học Viện Công Nghệ Bưu Chính Viễn Thông TP. Hồ Chí Minh. Email: trantrungduyptithcm.edu.vn. Điện Thoại: 0938967217. Để đánh giá định lượng cho tin tức, người ta đưa ra khái niệm lượng tin. Lượng tin đưa ra khả năng dự đoán được của tin. Một tin có xác suất xuất hiện càng nhỏ thì có độ bất ngờ càng lớn, lượng tin càng lớn, và ngược lại. Xét nguồn tin X rời rạc sinh ra các tin i với xác suất là p(i), lượng tin i phải là một hàm có đặc điểm sau: Tỉ lệ nghịch với xác suất xuất hiện p(i), f(1(p(i))). Hàm này phải bằng 0 khi p(i)=1 Nếu hai tin độc lập thống kê là i và j đồng thời xuất hiện ta có tin là (i, j) , thì lượng tin chung phải bằng tổng lượng tin của từng tin: Với luật nhân xác suất thì Vì vậy

CHƯƠNG NGUỒN TIN Giáo Viên: TS Trần Trung Duy Học Viện Công Nghệ Bưu Chính Viễn Thông TP Hồ Chí Minh Email: trantrungduy@ptithcm.edu.vn Điện Thoại: 0938967217 Nguồn Tin  Để đánh giá định lượng cho tin tức, người ta đưa khái niệm lượng tin  Lượng tin đưa khả dự đoán tin  Một tin có xác suất xuất nhỏ có độ bất ngờ lớn, lượng tin lớn, ngược lại  Xét nguồn tin X rời rạc sinh tin i với xác suất p(i), lượng tin i phải hàm có đặc điểm sau: • Tỉ lệ nghịch với xác suất xuất p(i), f(1/(p(i))) • Hàm phải p(i)=1 Nguồn Tin  Nếu hai tin độc lập thống kê i j đồng thời xuất ta có tin (i, j) , lượng tin chung phải tổng lượng tin tin:  Với luật nhân xác suất  Vì Nguồn Tin  Hàm loga thỏa mãn yêu cầu nên hàm log(1/p(i)) chọn để đánh giá định lường cho tin  Lượng tin tin i ký hiệu I(i) Định nghĩa lượng tin tin i  Đơn vị bit hay nat hay hartley số 2, e hay 10  Cơ số hay chọn Nguồn Tin  Entropy nguồn tin  Entropy H định nghĩa giá trị trung bình thống kê lượng tin Đó lượng tin trung bình chứa ký tự nguồn tin  Entropy nguồn M  p(m) xác suất ký tự thứ m Nguồn Tin  Entropy nguồn tin  Giá trị lớn entropy đạt  Tốc độ thông tin nguồn: R=rH, r (bit/s) Ví dụ • Cho X={x1, x2} có xác suất xuất là: – P(x1) = P(x2) = 0.5 – P(x1) = 0.96875 P(x2) = 0.03125 – P(x1) = P(x2) = Tính I(x1) I(x2) cho trường hợp nhận xét Lượng Tin có Điều Kiện • Lượng tin X = xi xảy Y = yj ( ) I ( xi / y j ) = − log P ( xi / y j ) Lượng Tin Tương Hỗ • Lượng tin X = xi xảy Y = yj I ( xi ; y j ) = I ( xi ) − I ( xi / y j )  P ( xi / y j ) = log   P ( xi )   ÷ ÷  Lượng Tin Tương Hỗ • Lượng tin tương hỗ có điều kiện • Giả sử có tập tin rời rạc X, Y, Z xi ∈ X, yj ∈ Y, zk ∈ Z Khi lượng tin tương hỗ có điều kiện: P( xi / y j zk ) I ( xi ; y j / zk ) = log P( xi / zk ) Entropy đồng thời n m H ( XY ) = −∑∑ P ( xi , y j ) log P( xi , y j ) i =1 j =1 Entropy đồng thời • H(XY) = H(X)+H(Y/X) • H(XY) = H(Y)+H(X/Y) • H(XYZ) = H(X)+H(Y/X)+H(Z/X,Y) = H(XY) + H(Z/X,Y) Entropy có điều kiện • Xét hai biến ngẫu nhiên rời rạc xi∈X yj ∈ Y với xác suất xuất P(x i), i = 1, 2, , n P(yj), j = 1, 2, , m Entropy có điều kiện H(X/Y) tập tích XY độ bất định trung bình X xảy tin nguồn tin Y: n m H ( X / Y ) = −∑∑ P ( xi , y j ) log P ( xi / y j ) i =1 j =1 Tính chất Entropy điều kiện Entropy tương hỗ • H(X;Y) = H(X) - H(Y/X) • H(X;Y) = H(Y) - H(X/Y) • H(X;YZ) = H(X;Y) + H(X;Z/Y) BÀI TẬP • Bài Tập 1: Nguồn tin X có ký tự với xác suất xuất PA = ½, PB = ¼, PC = 1/8, PD = PE =1/20, PF = 1/40 a)Tính lượng thông tin chứa đựng thông điệp sau: ABABBA FDDFDF b)Tính entropy H nguồn tin X BÀI TẬP • Bài Tập 2: Cho ký tự với xác suất xuất PA = 0.4, PB =0.2, PC = 0.12, PD = PE =0.1, PF = 0.08 a)Tính lượng thông tin chứa đựng thông điệp sau: ABCDEF ACADAF b)Tính entropy H(X) BÀI TẬP • Bài Tập 3: Một nguồn tin gồm hai tin có xác suất xuất PA = x PB = 1-x a)Tính entropy H(X) nguồn b)Tìm x để H(X) lớn BÀI TẬP • Bài Tập 4: Một nguồn tin gồm ba tin A, B C có xác suất xuất PA = 1/3, PB = x PC = y a)Tìm y tính entropy H(X) nguồn theo x b)Vẽ H(X) theo x c)Tìm x để H(X) lớn [...]... PD = PE =1 /20 , PF = 1/40 a)Tính lượng thông tin chứa đựng trong thông điệp sau: ABABBA và FDDFDF b)Tính entropy H của nguồn tin X BÀI TẬP • Bài Tập 2: Cho 6 ký tự với xác suất xuất hiện lần lượt là PA = 0.4, PB =0 .2, PC = 0. 12, PD = PE =0.1, PF = 0.08 a)Tính lượng thông tin chứa đựng trong thông điệp sau: ABCDEF và ACADAF b)Tính entropy H(X) BÀI TẬP • Bài Tập 3: Một nguồn tin gồm hai tin có xác suất... P(x i), i = 1, 2, , n và P(yj), j = 1, 2, , m Entropy có điều kiện H(X/Y) của tập tích XY là độ bất định trung bình của X khi đã xảy ra một tin bất kỳ trong nguồn tin Y: n m H ( X / Y ) = −∑∑ P ( xi , y j ) log P ( xi / y j ) i =1 j =1 Tính chất của Entropy điều kiện Entropy tương hỗ • H(X;Y) = H(X) - H(Y/X) • H(X;Y) = H(Y) - H(X/Y) • H(X;YZ) = H(X;Y) + H(X;Z/Y) BÀI TẬP • Bài Tập 1: Nguồn tin X có 6 ký... entropy H(X) BÀI TẬP • Bài Tập 3: Một nguồn tin gồm hai tin có xác suất xuất hiện lần lượt là PA = x và PB = 1-x a)Tính entropy H(X) của nguồn b)Tìm x để H(X) lớn nhất BÀI TẬP • Bài Tập 4: Một nguồn tin gồm ba tin A, B và C có xác suất xuất hiện lần lượt là PA = 1/3, PB = x và PC = y a)Tìm y và tính entropy H(X) của nguồn theo x b)Vẽ H(X) theo x c)Tìm x để H(X) lớn nhất

Ngày đăng: 09/06/2016, 22:49

Từ khóa liên quan

Mục lục

  • CHƯƠNG 2 NGUỒN TIN

  • PowerPoint Presentation

  • Slide 3

  • Slide 4

  • Slide 5

  • Slide 6

  • Ví dụ

  • Lượng Tin có Điều Kiện

  • Lượng Tin Tương Hỗ

  • Slide 10

  • Entropy đồng thời

  • Slide 12

  • Entropy có điều kiện

  • Tính chất của Entropy điều kiện

  • Entropy tương hỗ

  • BÀI TẬP

  • Slide 17

  • Slide 18

  • Slide 19

Tài liệu cùng người dùng

  • Đang cập nhật ...

Tài liệu liên quan