1. Độ đo thông tin:          )( 1 )( i i xp fxI )(log )( 1 log)( i i i xp xp xI  2. Lượng tin riêng )(log)( ii xpxI  (dvtt) 3. Lượng tin riêng của nguồn   i ii xIxpXI )().()(   )(log).( ii xpxp (dvtt/tin) 4. Entropi của nguồn  Rời rạc )(log)()( iii xpxIxH    )(log).()()( ii xpxpXIXH  Liên tục   x dxxwXH )()( 5. Lượng tin đồng thời  Rời rạc ),(log),( iiii yxPyxI  );()()(),( iiiiii yxIyIxIyxI    ji iiii yxPyxPYXHYXI , ),(log),(),(),(  Liên tục   yx dxdyyxwyxwYXHYXI , ),(log),(),(),( 6. Độ bất định có điều kiện  Rời rạc )/(log)/( iiii yxPyxI    ji iiii yxPyxPYXHYXI , )/(log),()/()/(   ji iiii xyPyxPXYHXYI , )/(log),()/()/(  Liên tục   yx dxdyyxwyxwYXIYXH , )/(log),()/()/(   yx dxdyxywyxwXYIXYH , )/(log),()/()/( 7. Quan hệ giữa các Entropi  H(X,Y) = H(X)+H(Y/X) = H(X)+H(X/Y)  H(Y/X) = H(Y) H(Y/X) = H(X) Nếu X,Y độc lập thống kê 8. Lượng tin tương hỗ )( )/( log)/()();( i ii iiiii xp yxp yxHxHyxI  ),()()();( iiiiii yxIyIxIyxI  9. Lượng tin tương hỗ trung bình  Nguồn rời rạc   ji i ji ji xp yxp yxpYXI , )( )/( log),();(   ji ji ji ji ypxp yxp yxp , )().( ),( log),(   ji j ij ji yp xyp yxp , )( )/( log),( )/()();( YXHXHYXI   ),()()( YXHYHXH    )/()( XYHYH   10. Tốc độ lập tin của nguồn )(.)( 0 XHnXR  Nguồn rời rạc 0 n - Tần số tạo tin của nguồn )(.)( XHFXR  Nếu p(x i ) = p i  )log(. NFR  Nguồn liên tục )(2 max XHFR  Nguồn có giá trị đỉnh hữu hạn          0 ) 1 ( )( maxmin dx N d wxw xxxxX )log(2 minmaxmax xxFR  Nguồn có công suất trung bình hữu hạn      tb Pxw xxX )( }{ tb ePFR  2log.2 max 11. Thông lượng của kênh ),(. 0 YXInC  Kênh rời rạc max )(. XHfC  Kênh liên tục   )()(2 NHYHfC  Thường là nhiễu chuẩn eNNH  2log)( )2log2(log2 eNePfC y  )1log()1log( N S f N P f x  1. Các công thức xác suất B).P(B)P(A,A)|P(B  )(/),()|( BPBAPBAP ii     n j jj ii APABP APABP 1 )().,( )().,( 2. Mã hóa nguồn rời rạc Mô hình (A, p(x i ))   L xxX 1  ))() (()( 1 L xpxpXP    LxpxpXH ii 22 log)(log)()( L xpxpxpXH L 1 )( )()()( 21max  LXH 2max log)(  Mã hóa với từ mã có độ dài cố định  Độ dài từ mã tối thiểu   1log 2  LR  Hiệu suất mã hóa   1 log )()( 2  L XH R XH Hiệu suất bằng 1      k L XH 2 max)(  Định lý mã hóa nguồn 1: X: Nguồn rời rạc không nhớ, H(X) hữu hạn. Với 0   :         J XH J N R P e  )( 0       J XHR P e  )( 1 Mã hóa với từ mã có độ dài thay đổi  Xây dựng bộ mã min R min)(. 1    L i ii xpnR  Bất đẳng thức Kraft: Nếu bộ mã có các từ mã có độ dài tương ứng là n 1 <n 2 <…<n L điều kiện cần và đủ để mọi bộ mã có tính Prefix: 12 1     L i n i  Định lý mã hóa nguồn 2: Có thể xây dựng được một mã hiệu nhị phân có tính Prefix và có độ dài từ mã trung bình R thõa mãn bất đẳng thức: 1X)()(  HRXH 3. Mã hóa Huffman Chọn n 0                Z m nL mn 1 2 0 0 n 0 -Số kí hiệu được nhóm 4. Giới hạn Hamming về độ dài từ mã chống nhiễu Mã phát hiện sai Điều kiện: RN E  1 mà          kn t i ii nE mmR mCN 1 1 )1.(    t i ii n kn mCmm 1 )1.( Mã sửa sai Điều kiện E NNR 1 .    t i ii n kkn mCmmm 1 )1(.    t i ii nm mCkn 0 )1(log 5. Giới hạn Hamming về quãng cách mã Phát hiện sai kênh có số sai t 1   td Sửa sai hoàn toàn kênh có có số sai t 12   td . 1. Độ đo thông tin:          )( 1 )( i i xp fxI )(log )( 1 log)( i i i xp xp xI  2. Lượng tin riêng )(log)( ii xpxI  (dvtt) 3. Lượng tin riêng của nguồn   i ii xIxpXI.   )(log).( ii xpxp (dvtt /tin) 4. Entropi của nguồn  Rời rạc )(log)()( iii xpxIxH    )(log).()()( ii xpxpXIXH  Liên tục   x dxxwXH )()( 5. Lượng tin đồng thời  Rời rạc. Nếu X,Y độc lập thống kê 8. Lượng tin tương hỗ )( )/( log)/()();( i ii iiiii xp yxp yxHxHyxI  ),()()();( iiiiii yxIyIxIyxI  9. Lượng tin tương hỗ trung bình  Nguồn rời rạc