Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Layout Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Mọi nguồn thông tin tạo tin cách ngẫu nhiên, tức đầu nguồn thông tin đặc trưng, hay mô tả khái niệm thông số thống kê Có hai loại nguồn: nguồn rời rạc nguồn liên tục Nguồn rời rạc nguồn tạo tập hợp hữu hạn tin (còn gọi ký hiệu), ký hiệu L {x1 , , xL } L pk = P(X = xk ), pk = 1 ≤ k ≤ L, k=1 Nguổn rời rạc không nhớ (DMS): ký hiệu tạo độc lập thống kê với Nếu ký hiệu có phụ thuộc thống kê, ví dụ chữ tiếng Việt hay tiếng Anh, xây dựng mô hình toán học nguồn dựa vào tính chất dừng thống kê nguồn (hàm mật độ phân bố xác suất đồng thời dãy ký hiệu không thay đổi với dịch chuyển thời gian) Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Nguồn tương tự tạo tin x(t) thể cụ thể trình ngẫu nhiên X (t) Khi X (t) trình có băng tần hữu hạn, tức Φxx (f ) = với |f | ≥ W , chuyển đầu nguồn tương tự thành nguồn rời rạc tương đương theo định lý lấy mẫu Shannon: ∞ s(t) = n=−∞ n 2W sin[2πW (t − n/2W )] 2πW (t − n/2W )] Như vậy, đầu nguồn đặc trưng thống kê hàm mật độ phân bố xác suất đồng thời p(x1 , , xm ) với m ≥ 1, Xn = X (n/2W ) Các mẫu {X (n/2W )} từ nguồn dừng tương tự nói chung liên tục theo độ lớn (biên độ) Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Layout Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Giả thiết quan sát đầu nguồn thông tin Y ký hiệu yj , tức Y = yj muốn xác định lượng thông tin mà kiện Y = yj cung cấp kiện X = xi , tức xi đưa vào đầu vào kênh hay xi nguồn tạo Khi X Y độc lập thống kê, kiện Y = yj không cung cấp chút thông tin kiện X = xi Lượng tin tương hỗ/Mutual information xi yj định nghĩa là: I (xi ; yj ) = log P(X = xi |Y = yj ) P(xi |yj ) = log P(xi ) P(xi ) Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Khi kiện Y = yj khẳng định chắn xuất kiện X = xi , có lượng tin riêng/self-information kiện X = xi : = − log P(xi ) = I (xi ) I (xi ; yj ) = log P(xi ) Sự kiện có xác suất xuất cao chứa/mang thông tin ngược lại Dễ dàng thấy I (xi ; yj ) = I (yj ; xi ) Lượng tin có điều kiện/conditional self-information: I (xi |yj ) = log = − log P(xi |yj ), P(xi |yj ) I (xi ; yj ) = I (xi ) − I (xi |yj ) Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Lượng tin tương hỗ trung bình entropy Lượng tin tương hỗ trung bình/average mutual information X Y : n m I (X ; Y ) = P(xi , yj )I (xi ; yj ) i =1 j=1 I (X ; Y ) = X Y độc lập thống kê I (X ; Y ) ≥ Lượng tin trung bình/average self-information: n I (X ) = H(X ) = n P(xi )I (xi ) = − i =1 P(xi ) log P(xi ) i =1 Entropy nguồn rời rạc cực đại ký hiệu có xác suất Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Introduction to Information Theory Lượng tin tương hỗ trung bình entropy Lượng tin có điều kiện trung bình gọi entropy có điều kiện: n m H(X |Y ) = P(xi , yj ) log i =1 j=1 P(xi |yj ) Khi nhìn góc độ đầu vào kênh X đầu kênh Y , H(X |Y ) gọi độ bất định/equivocation, lượng thông tin trung bình lại X (chưa nhận được, chưa chắn phía thu) phía thu nhận Y Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Introduction to Information Theory Lượng tin biến ngẫu nhiên liên tục Nếu X Y hai biến ngẫu nhiên với hàm mật độ phân bố đồng thời pdf p(x, y ) hàm mật độ phân bố độc lập p(x) p(y ), lượng tin tương hỗ trung bình X Y định nghĩa là: ∞ ∞ I (X ; Y ) = p(x)p(y |x) log −∞ −∞ p(y |x)p(x) dxdy p(x)p(y ) Entropy/entropy vi sai/differential entropy biến ngẫu nhiên liên tục X (không mang ý nghĩa lượng tin riêng biến ngẫu nhiên liên tục): ∞ p(x) log p(x)dx H(X ) = − −∞ Entropy có điều kiện trung bình X nhận Y : ∞ ∞ −∞ −∞ H(X |Y ) = − p(x, y ) log p(x|y )dxdy Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Lượng tin biến ngẫu nhiên liên tục I (X ; Y ) = H(X ) − H(X |Y ) = H(Y ) − H(Y |X ) Trong số trường hợp, X rời rạc Y liên tục: n p(y ) = p(y |xi )P(xi ) i =1 I (xi ; y ) = log n p(y |xi ) p(y |xi )P(xi ) = log p(y )P(xi ) p(y ) ∞ I (X ; Y ) = p(y |xi )P(xi ) log i =1 −∞ p(y |xi ) dy p(y ) Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Mã hoá nguồn rời rạc không nhớ (DMS) Thuật toán Huffman Thuật toán tối ưu theo nghĩa độ dài trung bình mã tối thiểu, mã có tính prefix, giải mã Letter x1 x2 x3 x4 x5 x6 x7 Hình: Ví dụ thuật toán Huffman pk 0.35 0.3 0.2 0.10 0.04 0.005 0.005 H(X ) = 2.11 Self-Info 1.5146 1.7370 2.3219 3.3219 4.6439 7.6439 7.6439 ¯ = 2.21 R Code 00 01 10 110 1110 11110 11111 Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Introduction to Information Theory Mã hoá nguồn dừng rời rạc Entropy khối biến ngẫu nhiên X1 , X2 , , Xk định nghĩa là: k H(X1 , , Xk ) = H(Xi |X1 , , Xi −1 ) i =1 Chúng ta định nghĩa lượng thông tin trung bình có ký hiệu nguồn dừng rởi rạc entropy ký hiệu số lượng ký hiệu vô hạn (k → ∞): H(X1 , , Xk ) k→∞ k H∞ (X ) = lim Hk (X ) = lim k→∞ Chúng ta mã hoá J ký hiệu nguồn thuật toán Huffman, có: ¯J < H(X1 , , XJ )+1, H(X1 , , XJ ) ≤ R ¯ < HJ (X )+ HJ (X ) ≤ R J Sử dụng thuật toán Huffman yêu cầu phải biết hàm mật độ phân bố xác suất đồng thời khối J ký hiệu, có thực tế Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Thuật toán Lempel-Ziv Trong thực tế, thông số thống kê nguồn thông tin trước, việc tính hay ước lượng hàm mật độ phân bố xác suất đồng thời hay xác suất ký hiệu khó Khi việc sử dụng thuật toán Huffman cho nguồn thực tế (có nhớ) khó không thực tế (tất nhiên có giải pháp) Thuật toán Lempel-Ziv không phụ thuộc vào tính chất thống kê nguồn Dãy ký hiệu đầu vào (đầu nguồn thông tin) chia thành khối (phrase), mội khối xuất khối khác khối xuất (khối A) ký hiệu cuối Từ mã khối vị trí khối A từ điển chèn vào say ký hiệu cuối Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Thuật toán Lempel-Ziv 10 Dictionary Location 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 Content 10 11 01 00 100 111 010 1000 Codeword 00001 00000 00010 00011 00101 00100 00110 01001 01010 01110 Bảng: Ví dụ thuật toán Lempel-Ziv Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Layout Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Nguồn tương tự tạo tin x(t) thể cụ thể trình ngẫu nhiên X (t) Khi X (t) trình ngẫu nhiên dừng có băng thông hạn chế, định lý lấy mẫu cho phép biểu diễn X (t) qua mẫu cách lẫy mẫu với tốc độ Nyquist Các mẫu lượng tử hoá theo mức với R = ⌊log2 L⌋ bit/mẫu Sau dùng thuật toán Huffman để mã hoá mẫu biết xác suất mẫu Lượng tử hoá mẫu tín hiệu mang lại hiệu nén, tạo sai lệch lên tín hiệu, điều xét phần Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Hàm tốc độ tạo tin-sai lệch Khái niệm "sai lệch" có nghĩa so sánh khác mẫu nguồn {xk } với giá trị lượng tử hoá {˜ xk } Bình phương sai lệch: d(xk , x˜k ) = (xk − x˜k )2 Tổng quát: d(xk , x˜k ) = |xk − x˜k |p ˜ n: Sai lệch dãy n mẫu Xn dãy n giá trị lượng tử X ˜ n) = d(Xn , X n n d(xk , x˜k ) k=1 Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Hàm tốc độ tạo tin-sai lệch Đầu nguồn trình ngẫu nhiên, mẫu ˜ n ) biến ngẫu nhiên: giá trị ngẫu nhiên, d(Xn , X ˜ n )] = D = E [d(Xn , X n n E [d(xk , x˜k )] k=1 Với nguồn không nhớ có biên độ liên tục, tốc độ tối thiểu (bit/mẫu) cần thiết để biểu diễn đầu nguồn với sai lệch không vượt D gọi hàm tốc độ-sai lệch: R(D) = ˜ p(˜ x |x):E [d(X,X)]≤D ˜ I (X, X) Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Hàm tốc độ tạo tin-sai lệch Định lý: hàm tốc độ-sai lệch nguồn Gaussian không nhớ Tốc độ tối thiểu dựa tiêu chuẩn MSE : Rg (D) = log2 (σx2 /D) (0 ≤ D ≤ σx2 ) (D > σx2 ) Không cần truyền thông tin D ≥ σx2 Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Hàm tốc độ tạo tin-sai lệch Định lý: Mã hoá nguồn với sai lệch xác định Tồn phương pháp mã hoá để với sai lệch D, tốc độ tối thiểu R(D) bit/ký hiệu đủ để khôi phục lại đầu nguồn với sai lệch trung bình sát dần tuỳ ý tới D R(D) biểu diễn giới hạn tốc độ bit/ký hiệu để có sai lệch D cho trước Hàm sai lệch-tốc độ nguồn Gaussian không nhớ, rời rạc: Dg (R) = 2−2R σx2 Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Introduction to Information Theory Hàm tốc độ tạo tin-sai lệch Định lý: Giới hạn R(D) Hàm tốc độ-sai lệch nguồn không nhớ, biên độ liên tục với giá trị trung bình sai phương hữu hạn theo tiêu chuẩn MSE có giới hạn R(D) ≤ Rg (D) = σ2 log2 x (0 ≤ D ≤ σx2 ) D Hàm sai lệch-tốc độ nguồn vậy: D(R) ≤ Dg (R) = 2−2R σx2 Giới hạn Shannon cho tiêu chuẩn MSE: R ∗ (D) = H(X ) − log2 2πeD, D ∗ (R) = −2[R−H(X )] 2πe Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Lượng tử hoá vô hướng Trong mã hoá nguồn, tối ưu lượng tử biết hàm mật độ phân bố xác suất mẫu tín hiệu đầu vào Chúng ta muốn thiết kế lượng tử hoá vô hướng tối ưu, làm tối thiểu sai lệch (là hàm sai số lượng tử q = x˜ − x) Giả thiết f (˜ x − x) hàm đánh giá sai lệch Khi sai lệch : ∞ D= f (˜ x − x)p(x)dx −∞ Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Lượng tử hoá vô hướng Với lượng tử hoá đồng đều, mức lượng tử (đầu ra) x˜k = 12 (2k − 1)∆, tương ứng với mức tín hiệu vào khoảng (k − 1)∆ ≤ x < k∆ Sai lệch trung bình: L/2−1 D=2 k=1 ∞ +2 k∆ f ( (2k − 1)∆ − x)p(x)dx (k−1)∆ f ( (2k − 1)∆ − x)p(x)dx (L/2−1)∆ Introduction to Information Theory Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Lượng tử hoá vô hướng Để tối thiểu hoá D theo ∆, lấy đạo hàm D theo ∆, ta có L/2−1 k∆ (2k − 1) k=1 f ( (2k − 1)∆ − x)p(x)dx (k−1)∆ ∞ +(L − 1) f ′ ( (L − 1)∆ − x)p(x)dx = −(L/2−1)∆ Với lượng tử hoá không đều, sai lệch giảm nhiều Ký hiệu đầu x˜ = x˜k biên độ đầu vào khoảng xk−1 ≤ x < xk Mô hình toán học nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Introduction to Information Theory Lượng tử hoá vô hướng Sai lệch L xk k=1 xk−1 D= f (˜ xk − x)p(x)dx tối thiểu hoá cách lựa chọn {˜ xk } {xk } Điều kiện cần để D tối thiểu nhận đạo hàm riêng D theo {xk } {˜ xk }: f (˜ xk − xk ) = f (˜ xk+1 − xk ), xk xk−1 f ′ (˜ xk − x)p(x)dx = 0, k = 1, , L − k = 1, , L [...]... toán học của nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Layout 1 Introduction to Information Theory Mô hình toán học của nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Introduction to Information Theory Mô hình toán học của nguồn thông tin Đo lường thông. .. toán học của nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Layout 1 Introduction to Information Theory Mô hình toán học của nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Introduction to Information Theory Mô hình toán học của nguồn thông tin Đo lường thông. .. thời của khối J ký hiệu, hiếm khi có trong thực tế Introduction to Information Theory Mô hình toán học của nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Thuật toán Lempel-Ziv Trong thực tế, các thông số thống kê của nguồn thông tin là chúng ta không biết trước, và việc tính hay ước lượng hàm mật độ phân bố xác suất đồng thời... của mỗi ký hiệu là H(X ) và tốc độ tạo thông tin của nguồn là H(X )/τs : L H(X ) = − P(xi ) log2 P(xi ) ≤ log2 L i =1 Introduction to Information Theory Mô hình toán học của nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Mã hoá nguồn rời rạc không nhớ (DMS) Mã hoá với từ mã có độ dài cố định Số lượng ký hiệu nhị phân để mã hoá duy... Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Chúng ta xét việc mã hoá đầu ra của nguồn thông tin, tức là quá trình biểu diễn các bản tin của nguồn thành một dãy các ký hiệu nhị phân H(X ) biểu diễn lượng thông tin trung bình mà nguồn tạo ra khi tạo ra một bản tin bất kỳ Đo lường độ hiệu quả của việc mã hoá bằng cách so sánh số lượng ký hiệu... bản tin (một ký hiệu của nguồn) với H(X ) Introduction to Information Theory Mô hình toán học của nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Mã hoá nguồn rời rạc không nhớ (DMS) Một nguồn DMS tạo ra mỗi ký hiệu trong khoảng thời gian τs giây Bộ ký hiệu của nguồn là xi , i = 1, 2, , L với xác suất P(xi ) Lượng thông tin. .. Information Theory Mô hình toán học của nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Hàm tốc độ tạo tin- sai lệch Định lý: hàm tốc độ-sai lệch của nguồn Gaussian không nhớ Tốc độ tối thiểu dựa trên tiêu chuẩn MSE là : Rg (D) = 1 2 log2 (σx2 /D) (0 ≤ D ≤ σx2 ) 0 (D > σx2 ) Không cần truyền thông tin đi nếu D ≥ σx2 Introduction... 1110 11110 11111 Mô hình toán học của nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Introduction to Information Theory Mã hoá nguồn dừng rời rạc Entropy của khối các biến ngẫu nhiên X1 , X2 , , Xk được định nghĩa là: k H(X1 , , Xk ) = H(Xi |X1 , , Xi −1 ) i =1 Chúng ta định nghĩa lượng thông tin trung bình có trong một... hiệu đầu vào (đầu ra của nguồn thông tin) được chia thành từng khối (phrase), mội khối mới xuất hiện khi khối này khác một trong các khối đã xuất hiện (khối A) chỉ ở duy nhất một ký hiệu cuối cùng Từ mã của khối mới sẽ là vị trí của khối A trong từ điển và chèn vào say ký hiệu cuối cùng Introduction to Information Theory Mô hình toán học của nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã... n mẫu Xn và dãy n các giá trị lượng tử X ˜ n) = 1 d(Xn , X n n d(xk , x˜k ) k=1 Introduction to Information Theory Mô hình toán học của nguồn thông tin Đo lường thông tin Mã hoá nguồn rời rạc – Mã hoá không tổn hao Mã hoá nguồn liên tục – Mã hoá có tổn hao Hàm tốc độ tạo tin- sai lệch Đầu ra của nguồn là một quá trình ngẫu nhiên, các mẫu của nó là ˜ n ) là một biến ngẫu nhiên: các giá trị ngẫu nhiên,