... ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 24
Giáo trình: Lý thuyết thông tin. Chứng minh định lý 3: Từ định lý 1 và định lý về quan hệ giữa các Entropy, ta có: H(X,Y)=H(X)+H(Y/X)≤ ... lại tính chất 3. - Kiểm tra lại định lý cực đại từ dữ liệu cho trên. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 21
Giáo trình: Lý thuyết thông...
... 5
Giáo trình: Lý thuyết thông tin. GIỚI THIỆU TỔNG QUAN GIÁO TRÌNH LÝ THUYẾT THÔNG TIN MỤC ĐÍCH Giáo trình này sẽ cung cấp cho người đọc những khối kiến thức cơ bản của lý ... 13
Giáo trình: Lý thuyết thông tin. Một vấn đề quan trọng cần lưu ý là phải đồng bộ giữa tốc độ nạp thông tin (phát tín hiệu) với tốc độ truyền tin. Nếu tốc độ nạp thông tin ... “...
... 5
Giáo trình: Lý thuyết thông tin. GIỚI THIỆU TỔNG QUAN GIÁO TRÌNH LÝ THUYẾT THÔNG TIN MỤC ĐÍCH Giáo trình này sẽ cung cấp cho người đọc những khối kiến thức cơ bản của lý ... Hiếu. 8
Giáo trình: Lý thuyết thông tin. CHƯƠNG 1: GIỚI THIỆU 1: Mục tiêu Sau khi hoàn tất bài học này bạn có thể biết: - Đối tượng nghiên cứu, - Mô hình lý thuyết thông tin ... “xử...
... 13
Giáo trình: Lý thuyết thông tin. Một vấn đề quan trọng cần lưu ý là phải đồng bộ giữa tốc độ nạp thông tin (phát tín hiệu) với tốc độ truyền tin. Nếu tốc độ nạp thông tin ... )!(!!inininC−= Vậy truyền sai khi Y ∈ {2, 3} có xác xuất là: Psai= P(y≥2) = P(Y=2) + P(Y =3) = B(2 ,3) + B(2 ,3) Hay 416410)) 43( )41(()) 43. ()41(( Psai 033 312 23& lt;=+= CC (đpcm). Chi phí phả...
... Ks. Dương Văn Hiếu. 39
Giáo trình: Lý thuyết thông tin. BÀI 3. 3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ Mục tiêu Sau khi hoàn tất bài học này bạn có thể: - Hiểu định lý Shannon (1948), ... hợp S2 ={100, 1110, 01011} Tập hợp S3={11} Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 34
Giáo trình: Lý thuyết thông tin. Tập hợp S4={00, ... ết Thắng, ThS....
... Dương Văn Hiếu. 57
Giáo trình: Lý thuyết thông tin. Bài tập 1 1. Cho ma trận truyền tin sau: ⎥⎥⎥⎦⎤⎢⎢⎢⎣ 3/ 12/16/12/16/ 13/ 16/ 13/ 12/ 132 1xxx y1 y2 y3Biết xác suất ở ... p(Y=yj ∉B2/X=x2) = p(y1/x2) + p(y2/x2) =1 /3+ 1/6=1/2 Xác suất truyền sai từ mã x3: p(e/x3)= ∑ p(Y=yj ∉B3/X=x3) = p(y1/x3) + p(y2/x3) + p(y3/x3) =1/6+1 /3+ 1/2=1 Xác suất truyền sai trung bình: ... Phan Tấn Tài...
... bit thông tin ⇒ s=2k (vì với k bit thông tin thì ta chỉ có thể biểu diên tối đa 2k trạng thái thông tin k bit). + Đoạn kiểm tra: gồm m bit dùng để kiểm tra mã sai. + Đoạn thông tin: gồm k bit thông ... m =3 (= số cột của ma trận A) Số bit thông tin k = n – m = 3 => Số từ mã s=2k=8 từ mã. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 66...
... Giáo trình: Lý thuyết thông tin. Như vậy: ma trận kiểm tra chẵn lẻ có dạng như sau: ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡ =33 3 231 232 221 131 2113bbbbbbbbbIA Các bij (3, 1, =∀ ii) được xác ... ⎪⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎪⎨⎧⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛10101010000110101010011010101010001 133 3 231 232 221 131 211bbbbbbbbb...