Giáo trình: Lý thuyết thông tin H(X) = H(p1 , p 2 , , p M ) = −∑ pi log 2 ( pi )i ppsx
Giáo trình: Lý thuyết thông tin.H(X) = H(p1 , p 2 ,..., p M ) = −∑ pi log 2 ( pi )i ppsx
... 0,5 x 0 ,2 5 + 0,5 x 0 =0 . 125
P( Y= 1) = p( X=1 )p( Y=1/X= 1) +p( X =2 )p( Y=1/X = 2) = 0,5 x 0,5 + 0,5 x 0 =0 .25 0
P( Y = 2) = p( X=1 )p( Y =2 / X= 1) +p( X =2 )p( Y =2 / X = 2) = 0,5 x 0 ,2 5 + 0,5 x 1=0 . 625
Y 0 1 2
P 0. 125 ...
∑
=
=
L
j
jii
yxpxP
1
), ( )(
∑
=
=
M
i
jii
yxpyP
1
), ( )...
Giáo trình lý thuyết thông tin
... i
M
i
ji
M
i
L
j
ii
xpyxpxpxpXH
∑∑∑
== =
= =
)( log ), ( )( log) () (
2
111
2 j
L
j
ji
M
i
L
j
jj
ypyxpypypYH
∑∑∑
== =
= =
∑∑
==
+ =+ ⇒
M
i
L
j
jiji
ypxpyxpYHXH
11
22
] )( log) () [ log, () ( )(
∑∑
==
=+ ⇒
M
i
L
j
jiji
ypxpyxpYHXH
11
2
] )( ) () [ log, () ( )(
...
H(Y) = H(0. 12 5, 0 .2...
Giáo trình: Lý thuyết thông tin 1
... 23
6. Quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y độc l p 23
7. Quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y tương quan 24
8. Bài t p 25
BÀI 2. 4: MINH HỌA CÁC ENTROPY 26
1. M c tiêu 26 ... M c tiêu 26
2. Yêu cầu của bài toán 26
3. Xác định các phân phối ngẫu nhiên của bài toán 26
4. Minh họa Entropy H(X ), H(Y) và H(X,Y) 27
5. Minh họa Entropy H(X/Y) và H(Y...
Giáo trình: Lý thuyết thông tin 2
... +… +p
r
, p
r+1
+ p
r +2
+…+ p
M
)
), ,( ) Hp p (p
11
1
r21
∑∑
==
+…+++
r
i
i
r
r
i
i
p
p
p
p
), ,( ) Hp p (p
11
1
M2 r1r
∑∑
+=+ =
+
++
+…+++
M
ri
i
M
M
ri
i
r
p
p
p
p
4. H (p, 1 -p) là h m liên ... Y =h(X) có dạng:
H(X )= H (p
1
, p
2
, p
3
, … ,p
n
) = p
1
h (p
1
)+ p
2
h (p
2...
Giáo trình: Lý thuyết thông tin 3
... p( X=1 )p( Y=0/X= 1) +p( X =2 )p( Y=0/X = 2) = 0,5 x 0 ,2 5 + 0,5 x 0 =0 . 125
P( Y= 1) = p( X=1 )p( Y=1/X= 1) +p( X =2 )p( Y=1/X = 2) = 0,5 x 0,5 + 0,5 x 0 =0 .25 0
P( Y = 2) = p( X=1 )p( Y =2 / X= 1) +p( X =2 )p( Y =2 / X = 2) = 0,5 x 0 ,2 5 + 0,5 x 1=0 . 625
Y ...
∑
=
=
L
j
jii
yxpxP
1
), ( )(
∑...
Giáo trình: Lý thuyết thông tin 4
... m W={w
1
, w
2
, w
3
} với M= 3; n
1
=1 ; n
2
=2 ; n
3
=3 ; D =2
1
8
7
2
1
2
1
2
1
321
1
< ;=+ +=
∑
=
−
M
i
n
i
D
=& gt; Tồn tại bảng m tức thời.
Ví dụ 2: Bộ m W={w
1
, w
2
, w
3
} với M= 3; ... Giáo trình: Lý thuyết thông tin.
T p h p S
4
={ 0 0, 110}
T p h p S
5
={ 0 1, 0, 01 1, 110}
T p...
Giáo trình: Lý thuyết thông tin 5
... =( 0.37 5, 0. 3, 0. 325 )
Tính các Entropy:
H(Y) = H(0.37 5, 0. 3, 0. 325 ) = 1.58 (bit)
H(Y/X=x
1
) = H(0. 5, 0. 2, 0.3 )= 1.49 (bit)
H(Y/X=x
2
) = H(0. 3, 0. 5, 0 .2 )= 1.49 (bit)
H(Y/X=x
1
) = H(0. 2, ... 0. 3, 0.5 )= 1.49 (bit)
H(Y/X )= p( x
1
). H(Y/X=x
1
) + p( x
2
). H(Y/X=x
2...
Giáo trình: Lý thuyết thông tin 6
...
=& gt;
MaxLyYPyYPpYH
LL
M
M
yYP
jjj
== == == > ;== =
∑
log) (log) (& apos ; )(
11
)(
=& gt; H(Y) đạt max là logL khi P( Y=y
j
)= 1 /L hoặc P( X=x
i
)= 1 /M
Vậy: C= log L – H (p
1
, p
2
, , p
L
) hay
∑
=
+=
L
j
jj
ppLC
1
loglog
Chú ... p( e) =p( x
1
) .p( e/x
1
) + p( x
2
) .p( e/x
2
) + p( x
3...
Giáo trình: Lý thuyết thông tin 7
...
22 11
22 221 21
121 2111
=
=
=
⎪
⎪
⎩
⎪
⎪
⎨
⎧
+++
+++
+++
nnnnn
nn
nn
rarara
rarara
rarara
Gọi A=||a
ij
|| =A
m x n
, a
ij
∈{ 0,1 }, i=
m, 1
, j=
n,1
. Ma trận A được gọi là ma trận ki m tra chẵn lẻ có
hạng là m (hay Rank(A) = m) .
Các ph p toán trong Modulo 2 ( +,- ):
0 + 1 = 1 + 0 = ... thiết của bộ m chẵn lẻ.
Theo định lý điề...
Giáo trình: Lý thuyết thông tin 8
... m Hamming là s = 2
k
= 8
T m k từ m độc l p tuyến tính có dạng:
w’
1
=r
1
r
2
0r
4
01
w’
2
=r
1
r
2
0r
4
10
w’
3
=r
1
r
2
1r
4
00
Giải các hệ phương trình: A.w
1
=0 , A.w
2
=0 , A.w
3
=0 ...
F
2
F
0
Từ thanh ghi, ta có: m= 4, a
0
=1 , a
1
=0 , a
2
=1 , a
3
=0 .
Biên soạn: TS. L ê Quy ết Thắng, ThS. Pha...
Từ khóa:
- giáo trình lý thuyết thông tin ptit
- giao trinh lý thuyết thông tin va mã hóa
- giáo trình lý thuyết thống kê trường đh ktqd
- giáo trình lý thuyết thống kê đại học thương mại
- giáo trình lý thuyết thống kê kinh tế quốc dân
- giáo trình lý thuyết thống kê hà văn sơn
- giáo trình lý thuyết thống kê của trần ngọc phác
- giáo trình lý thuyết thống kê trần ngọc phác
- giáo trình lý thuyết thống kê kinh tế
- giáo trình lý thuyết truyền tin
- download giáo trình lý thuyết thống kê
- giáo trình lý thuyết thống kê đại học kinh tế quốc dân
- giáo trình lý thuyết thống kê nguyễn hoàng oanh
- giáo trình lý thuyết thống kê ths đồng thị vân hồng
- giáo trình lý thuyết thống kê đh kinh tế tp hcm
- Nghiên cứu sự biến đổi một số cytokin ở bệnh nhân xơ cứng bì hệ thống
- chuyên đề điện xoay chiều theo dạng
- Nghiên cứu sự hình thành lớp bảo vệ và khả năng chống ăn mòn của thép bền thời tiết trong điều kiện khí hậu nhiệt đới việt nam
- Nghiên cứu tổ hợp chất chỉ điểm sinh học vWF, VCAM 1, MCP 1, d dimer trong chẩn đoán và tiên lượng nhồi máu não cấp
- Giáo án Sinh học 11 bài 13: Thực hành phát hiện diệp lục và carôtenôit
- Giáo án Sinh học 11 bài 13: Thực hành phát hiện diệp lục và carôtenôit
- NGHIÊN CỨU CÔNG NGHỆ KẾT NỐI VÔ TUYẾN CỰ LY XA, CÔNG SUẤT THẤP LPWAN SLIDE
- Quản lý hoạt động học tập của học sinh theo hướng phát triển kỹ năng học tập hợp tác tại các trường phổ thông dân tộc bán trú huyện ba chẽ, tỉnh quảng ninh
- Phối hợp giữa phòng văn hóa và thông tin với phòng giáo dục và đào tạo trong việc tuyên truyền, giáo dục, vận động xây dựng nông thôn mới huyện thanh thủy, tỉnh phú thọ
- Trả hồ sơ điều tra bổ sung đối với các tội xâm phạm sở hữu có tính chất chiếm đoạt theo pháp luật Tố tụng hình sự Việt Nam từ thực tiễn thành phố Hồ Chí Minh (Luận văn thạc sĩ)
- Phát triển du lịch bền vững trên cơ sở bảo vệ môi trường tự nhiên vịnh hạ long
- Nghiên cứu, xây dựng phần mềm smartscan và ứng dụng trong bảo vệ mạng máy tính chuyên dùng
- Nghiên cứu về mô hình thống kê học sâu và ứng dụng trong nhận dạng chữ viết tay hạn chế
- Nghiên cứu tổng hợp các oxit hỗn hợp kích thƣớc nanomet ce 0 75 zr0 25o2 , ce 0 5 zr0 5o2 và khảo sát hoạt tính quang xúc tác của chúng
- Nghiên cứu khả năng đo năng lượng điện bằng hệ thu thập dữ liệu 16 kênh DEWE 5000
- Sở hữu ruộng đất và kinh tế nông nghiệp châu ôn (lạng sơn) nửa đầu thế kỷ XIX
- BT Tieng anh 6 UNIT 2
- Tranh tụng tại phiên tòa hình sự sơ thẩm theo pháp luật tố tụng hình sự Việt Nam từ thực tiễn xét xử của các Tòa án quân sự Quân khu (Luận văn thạc sĩ)
- Giáo án Sinh học 11 bài 14: Thực hành phát hiện hô hấp ở thực vật
- Giáo án Sinh học 11 bài 14: Thực hành phát hiện hô hấp ở thực vật