Giáo trình: Lý thuyết thông tin part 2 doc

... sau: Y x1 x 2 x3 x4P 1/6 2/ 6 1/6 2/ 6 Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 18 Giáo trình: Lý thuyết thông tin. BÀI 2. 2: CÁC TÍNH CHẤT CỦA ... Văn Hiếu. 17 Giáo trình: Lý thuyết thông tin. Một vấn đề quan trọng cần lưu ý là phải đồng bộ giữa tốc độ nạp thông tin (phát tín hiệu) với tốc độ truyền tin. Nếu tốc độ nạp thông tin bằng hoặc ... ∑∑∑=====−≤−MiiMiiMiiiMpMMppp1 22 1 2 1 2 loglog1loglog Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 20 Giáo trình: Lý thuyết thông tin. Một phân phối xác suất...

Giáo trình: Lý thuyết thông tin part 10 docx

... Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 92 Giáo trình: Lý thuyết thông tin. Câu 2: Phân lớp các giá trị của Y về các lớp B0, B1, B 2 , và B3 dùng để giải mã tối ưu Y tốt nhất về ... & Ks. Dương Văn Hiếu. 93 Giáo trình: Lý thuyết thông tin. TÀI LIỆU THAM KHẢO 12. G.J.ChaiTin, Algorithmic Information Theory, CamBridge University Express-19 92. 13. David J.C. Mackey, ... Giáo trình: Lý thuyết thông tin. Truyền một giá trị của X có thể nhận được nhiều giá trị khác nhau của Y với...

Giáo trình: Lý thuyết thông tin part 9 docx

... 1+x3+x10 21 1+x 2 +x 21 11 1+x 2 +x11 22 1+x+x 22 12 1+x+x4+x6+x 12 23 1+x3+x 23 13 1+x+x3+x4+x13 24 1+x+x 2 +x7+x 24 Bài tập 1. Tìm bộ mã vòng có độ dài 7 bit. 2. Tìm thanh ghi sinh ... 1+x 2 +x516 1+x+x3+x 12 +x166 1+x+x617 1+x3+x77 1+x3+x718 1+x7+x188 1+x 2 +x3+x4+x819 1+x+x 2 +x5+x199 1+x4+x9 20 1+x3+x 20 10 1+x3+x10 21 1+x 2 +x 21 11 ... họa 2 Chọn đa thức gm(x)= 1+x+x4 ⇒ a0 = 1, a1 = 1, a2 = 0, a3 = 0. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 89 Giáo trình: Lý thuyết thông tin. w 2 = 0a0a1a 2 …am-11000…0...

Giáo trình: Lý thuyết thông tin part 8 ppt

... ⎪⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎪⎨⎧⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛10101010000110101010011010101010001133 323 1 23 222 113 121 1bbbbbbbbb b11 = 1 b 12 = 1 b13 = 1 => b 21 = 1 b 22 = 1 b 23 = 0 b31 = 1 b 32 = 0 b33 = 1 => A= ⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛101100011010111001 ... & Ks. Dương Văn Hiếu. 78 Giáo trình: Lý thuyết thông tin. Như vậy: ma trận kiểm tra chẵn lẻ có dạng như sau: ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=33 323 1 23 222 113 121 13bbbbbbbbbIA Các bij ... Văn Hiếu. 71 Giáo trình: Lý thuyết thông tin. Bước 1: Sinh k = 3 từ độc lập truyến tính: w’1=001001, w’ 2 =111010, w’3=110100 Bước 2: Cộng tổ hợp các từ mã. + Cộng các tổ hợp 2 từ mã đltt:...

Giáo trình: Lý thuyết thông tin part 7 ppsx

... tin: gồm k bit thông tin. Mỗi đoạn mã thông tin có duy nhất một đoạn mã kiểm tra và được xác định bởi hệ phương trình tuyến tính nhị phân sau: 0 00 22 11 22 221 21 121 2111===⎪⎪⎩⎪⎪⎨⎧+++++++++nnnnnnnnnrararararararararaGọi ... Giáo trình: Lý thuyết thông tin. ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=mkmmkkmbbbbbbbbbIA 21 22 221 1 121 1 Trong đó: - Ma trận A có m dòng và ... số bit thông tin ⇒ s =2 k (vì với k bit thông tin thì ta chỉ có thể biểu diên tối đa 2 k trạng thái thông tin k bit). + Đoạn kiểm tra: gồm m bit dùng để kiểm tra mã sai. + Đoạn thông tin: gồm...

Giáo trình: Lý thuyết thông tin part 6 pdf

... truyền tin sau: ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡ 12/ 7 12/ 2 12/ 3 12/ 3 12/ 7 12/ 2 12/ 2 12/ 3 12/ 73 2 1xxx y1 y 2 y3Biết xác suất ở đầu truyền: p(x1)=1/3, p(x 2 )=1/3, p(x3)=1/3. - Tính dung lượng ... Ks. Dương Văn Hiếu. 59 Giáo trình: Lý thuyết thông tin. Bài tập 1 1. Cho ma trận truyền tin sau: ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡3/ 12/ 16/1 2/ 16/13/16/13/ 12/ 13 2 1xxx y1 y 2 y3Biết xác suất ... B1={y1}. Bước 2: Nhận giá trị y 2 , ta tính: + p(x1).p(y 2 /x1)= 1 /2 . 1/3 = 1/6 (Max) + p(x 2 ).p(y 2 /x 2 )= 1/4 . 1/6 = 1 /24 + p(x3).p(y 2 /x3)= 1/4 . 1 /2 = 1/8 Do p(x1).p(y1/x1)...

Giáo trình: Lý thuyết thông tin part 5 potx

... 0.3 x1 0.3 x1 0.3 x 23 0.45 x1564 0.55 0 x 2 0 .25 x 2 0 .25 x564 0 .25 x1 0.3 x 23 0.45 1 x3 0 .2 x3 02 x 2 0 ,25 x564 0 .25 x4 0.1 x56 0.15 x3 0 .2 x5 0.1 x4 0.1 x6 ... X x1 x 2 x3 x4 x5 x6P 0.3 0 .25 0 .2 0.1 0.1 0.05 Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 42 Giáo trình: Lý thuyết thông tin. 2. Cho biến ... 10=w 2 11=w01 00=w1 0100 0100=w5 0101=w6 n=(0.3 x 2) + (0 .25 x 2) + (0 .2 x 2) + (0.1 x 3) +(0.1 x 4) + (0.05 x 4) = 2. 4 Entropy của X: H(X) = H(0.3, 0 .25 ; 0 .2, 0.1,0.1, 0.05) = 2. 4...

Giáo trình: Lý thuyết thông tin part 4 pps

... n3=3; D =2 187 2 1 2 1 2 1 321 1<=++=∑=−MiniD => Tồn tại bảng mã tức thời. Ví dụ 2: Bộ mã W={w1, w 2 , w3} với M=3; n1=n 2 =1; n3 =2; D =2 145 2 1 2 1 2 1 21 11>=++=∑=−MiniD ... H(0.5, 0 .25 , 0. 125 , 0. 125 ) = 0.5 +0.5 + 0.375 + 0.375 =1.75 Log 2 D=1. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 40 Giáo trình: Lý thuyết thông tin. ... mã thỏa M=3, D =2, n1=1, n 2 =2, n3=3. Vậy ta kiểm tra xem có tạo được bảng mã tức thời hay không? Ta có ∑=−−−<=++=−31 321 187 22 22 iin => W= {w1, w 2 , w3} là bảng...

Giáo trình: Lý thuyết thông tin part 3 pps

... p(X=1)p(Y=0/X=1)+p(X =2) p(Y=0/X =2) = 0,5 x 0 ,25 +0,5 x 0 =0. 125 P(Y=1) = p(X=1)p(Y=1/X=1)+p(X =2) p(Y=1/X =2) = 0,5 x 0,5 +0,5 x 0 =0 .25 0 P(Y =2) = p(X=1)p(Y =2/ X=1)+p(X =2) p(Y =2/ X =2) = 0,5 x 0 ,25 + 0,5 x 1=0. 625 Y 0 1 2 P ... 0 1 2 P 0 .25 0.5 0 .25 Tính H(X,Y). - Lập phân phối của P(X,Y) X,Y X=0,Y=0 X=0,Y=1 X=0,Y =2 X=1,Y=0 X=1,Y=1 X=1,Y =2 P(X,Y) 0. 125 0 .25 0. 125 0. 125 0 .25 0. 125 - H(X,Y) =H(0. 125 , 0 .25 , ... Giáo trình: Lý thuyết thông tin. Phân phối của Y khi nhận được đồng tiền có 2 mặt đều có đầu hình (Y/X =2) Y/X =2 0 1 2 P 0 0 1 Tìm phân phối của Y: P(Y=0) = p(X=1)p(Y=0/X=1)+p(X =2) p(Y=0/X =2) ...

Giáo trình: Lý thuyết thông tin part 1 pdf

... 8 Giáo trình: Lý thuyết thông tin. GIỚI THIỆU TỔNG QUAN GIÁO TRÌNH LÝ THUYẾT THÔNG TIN MỤC ĐÍCH  Giáo trình này sẽ cung cấp cho người đọc những khối kiến thức cơ bản của lý thuyết thông tin ... 7. Bài tập 21 BÀI 2. 3: ENTROPY CỦA NHIỀU BIẾN 22 1. Mục tiêu 22 2. Định nghĩa Entropy của nhiều biến 22 3. Ví dụ Entropy của nhiều biến 22 4. Định nghĩa Entropy có điều kiện 22 Biên soạn: ... Mục tiêu: 64 2. Bộ mã kiểm tra chẵn lẻ 65 Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 3 Giáo trình: Lý thuyết thông tin. Mô hình lý thuyết thông tin theo quan...

Xem thêm