Giáo trình Lý thuyết thông tin ( Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu ) doc

Giáo trình Lý thuyết thông tin ( Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu ) doc

... j L jjiMi L jjjypyxpypypYH∑∑∑===−=−=∑∑==+−=+⇒Mi L jjijiypxpyxpYHXH1122 ] )( log )( ) [log , () ( )( ∑∑==−=+⇒Mi L jjijiypxpyxpYHXH112] )( ) () [ log , () ( )( (1 ) Đặt qij =p(xi)p(yj ) Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài ... có: ∑== L jjiiyxpxP1 ) , () ( ∑==MijiiyxpyP1 ) , () ( )( log) , () (log )( ) ( 21112 iMijiMi L jiixpyxpxpxpXH∑∑∑===−=−= )( log) , () (log )( ) ( 21112 j L jjiMi L jjjypyxpypypYH∑∑∑===−=−=∑∑==+−=+⇒Mi L jjijiypxpyxpYHXH1122 ] )( log )( ) [log , () ( )( ... (Decoder). Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 13www.tech.com.vn Giáo trình: L thuyết thông tin. Mô hình l thuyết thông tin theo quan điểm Shannon L ...

95

1,308

7

Giáo trình lý thuyết thông tin

... j L jjiMi L jjjypyxpypypYH∑∑∑===−=−=∑∑==+−=+⇒Mi L jjijiypxpyxpYHXH1122 ] )( log )( ) [log , () ( )( ∑∑==−=+⇒Mi L jjijiypxpyxpYHXH112] )( ) () [ log , () ( )( (1 ) Đặt qij =p(xi)p(yj ) Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài ... nghĩa l : )/ (log) / () /( 1ij L jijixypxypxXYH∑=−== Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 22 Giáo trình: L thuyết thông tin. BAI 2.5: ĐO L ỢNG TIN (MESURE ... ∑== L jjiiyxpxP1 ) , () ( ∑==MijiiyxpyP1 ) , () ( )( log) , () (log )( ) ( 21112 iMijiMi L jiixpyxpxpxpXH∑∑∑===−=−= )( log) , () (log )( ) ( 21112 j L jjiMi L jjjypyxpypypYH∑∑∑===−=−=∑∑==+−=+⇒Mi L jjijiypxpyxpYHXH1122 ] )( log )( ) [log , () ( )( ...

95

1,585

10

Giáo trình: Lý thuyết thông tin 1

... Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 10 Giáo trình: L thuyết thông tin. • Biết các khái niệm về kênh truyền tin rời rạc không nhớ, dung l ợng kênh ... TRƯNG CỦA THANH GHI 86 1. Mục tiêu 86 Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 4 Giáo trình: L thuyết thông tin. TÀI LIỆU THAM KHẢO 1. David J.C. Mackey, ... được quá trình truyền tín hiệu. Môn “xử l tín hiệu” đã đề cập đến vấn đề này. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 9 Giáo trình: L thuyết thông tin. CHƯƠNG...

10

1,001

9

Giáo trình: Lý thuyết thông tin 2

... p=1/4 (xác suất truyền sai một bit) và q =3/4 (xác suất truyền đúng 1 bit): Y ~ B(i,n) hay Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 12 Giáo trình: L thuyết ... tin của kênh, thì cần phải giảm tốc độ nạp thông tin sao cho nhỏ hơn tốc độ truyền tin. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 14 Giáo trình: L thuyết ... càng l n. Nếu đo l ợng tin của nó thì sẽ được l ợng tin không biết càng l n. Hay l ợng tin chắc chắn càng nhỏ. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 15Giáo...

10

825

5

Giáo trình: Lý thuyết thông tin 3

... j L jjiMi L jjjypyxpypypYH∑∑∑===−=−=∑∑==+−=+⇒Mi L jjijiypxpyxpYHXH1122 ] )( log )( ) [log , () ( )( ∑∑==−=+⇒Mi L jjijiypxpyxpYHXH112] )( ) () [ log , () ( )( (1 ) Đặt qij =p(xi)p(yj ) Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài ... H(X), H(Y) và H(X,Y) Entropy của X: H(X) = H(0.5, 0 5) = -(0 .5)log(0. 5) -(0 .5)log(0. 5) = 1 (bit) Entropy của Y: H(X) = H(0.125, 0.25, 0.62 5) = -(0 .125)log(0.12 5) + (0 .25)log(0.2 5) + (0 .625)log(0.62 5) ... nghĩa l : )/ (log) / () /( 1ij L jijixypxypxXYH∑=−== Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 22 Giáo trình: L thuyết thông tin. Entropy của Y: H(Y) =...

10

767

5

Giáo trình: Lý thuyết thông tin 4

... Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 35 Giáo trình: L thuyết thông tin. Nhận tiếp 0 -> 00 -> Giải ra x1, còn l i 0. Nhận tiếp 0 -> 00 -> ... X: H(X)= H(0.5, 0.25, 0.125, 0.12 5) = 0.5 +0.5 + 0.375 + 0.375 =1.75 Log2D=1. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 40 Giáo trình: L thuyết thông ... Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 36 Giáo trình: L thuyết thông tin. Bộ mã được gọi l tách được nếu như từ một dãy các ký tự mã nhận được liên...

10

753

4

Giáo trình: Lý thuyết thông tin 5

... p(x1 ). H(Y/X=x1 ) + p(x2 ). H(Y/X=x2 ) + p(x3 ). H(Y/X=x3 ) = 1.49 (bit) L ợng thông tin truyền trên kênh: I (X/Y)= I (Y/X)= H(Y) - H(Y/X) = 0,09 (bit) Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài ... của kênh truyền ( VT: bit). ) /( )( YXIMaxCXp∀= Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 48 Giáo trình: L thuyết thông tin. 2. Cho biến ngẫu nhiên Y ... (2 ) Trong đó: Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 46 Giáo trình: L thuyết thông tin. - Aj l cột thứ j của A - P’X = [p(x1 ), p(x2 ), ….,...

10

770

2

Giáo trình: Lý thuyết thông tin 6

... [p(wk ). p(yj/wk )] / p(yj ) với ( wk ∈ W) ⇒ P(wk/yj ) → Max ⇔ p(wk ). p(yj/wk ) → Max. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 59 Giáo trình: L thuyết ... =>MaxLyYPyYPpYHLLMMyYPjjj====−==>===∑log)(log ) (& apos; )( 11 )( => H(Y) đạt max l logL khi P(Y=yj )= 1 /L hoặc P(X=xi )= 1/M Vậy: C= log L – H(p’1, p’2, …, p’ L ) hay ∑=+= L jjjppLC1loglogChú ... ( i) Bước l p: xét với mọi yj ∈Y + Tính: p(w1 ). p(yj/w1 ) p(w2 ). p(yj/w2 ) … p(wM ). p(yj/wM ) Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn...

10

779

3

Giáo trình: Lý thuyết thông tin 7

... ∑−=−>12012eiinmCGhi chú: Cni = n!/(i!*(n-i) !) Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 67 Giáo trình: L thuyết thông tin. Minh họa: a. d(wi, wj )= 2e+1= 7, e=3 Nếu ... gọi v l chẵn (trường hợp nhận đúng) Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 65 Giáo trình: L thuyết thông tin. Bước i: Tìm từ mã thứ i (1 ≤ i ≤ s): w’1=r1r2r3000 ... k=3. => m = n – k = 3. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 70 Giáo trình: L thuyết thông tin. Ví dụ tìm m nhỏ nhất từ n và e Giả sử biết trước...

10

623

5

Giáo trình: Lý thuyết thông tin 8

... l mã xoay vòng. Đây cũng l một dạng mã kiểm tra chẵn l . Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 79 Giáo trình: L thuyết thông tin. Ví dụ minh họa l ợc ... ⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛=100111001111011110111100A⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛=101000110100010010110001A Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 72 Giáo trình: L thuyết thông tin. Ghi chú: Kết quả chi tiết xây dựng bảng mã Hamming dành cho sinh viên tự l m. ... ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=101000110100010010110001A Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 74 Giáo trình: L thuyết thông tin. BÀI 5.5: L ỢC ĐỒ SỬA L I TỐI ƯU Mục tiêu Sau khi hoàn tất...

10

856

2