Thông tin tài liệu
Lîngtintrungb×nh • Lîngtintrungb×nh:lµlîngtintrungb×nh chøatrongmétkýhiÖubÊtkúthuécnguån X: vÝdô:X={x 1 ,x 2 ,x 3 }cãx¸csuÊtxuÊthiÖnt ¬ngøngP={0,3;0,2;0,5} I(X)=-[0,3.log0,3+0,2.log0,2+0,5log0,5] ( ) ( ) ( ) i n i i xpxpXI log 1 ∑ = −= Lîngtint¬nghçtrungb×nh • Lîngtint¬nghétrungb×nh:Lîngtin trungb×nhvÒméttinbÊtkúcñanguånX chøatrongméttinbÊtkúthuéctËpY ( ) ( ) ( ) ( ) i ji n i m j ji xp yxp yxpYXI | log,, 1 1 ∑∑ = = = • Lîngtintrungb×nhcã®iÒukiÖn:lîngtin trungb×nhcñaméttinbÊtkúcñaYkhi®· biÕtméttinbÊtkúcñaX: ( ) ( ) ( ) ∑∑ = = = n i m j ijji xypyxpXYI 1 1 |log,| • MèiquanhÖgi÷ac¸clîngtintrungb×nh: I(X,Y)=I(X)–I(X|Y) I(X,Y)=I(Y,X)>=0 Entropicñanguånrêir¹c • EntropicñaméttinbÊtkúx i chÝnhlµ®é bÊtngêcñatinvµ®îcx¸c®Þnh: H(x i )=-logp(x i )(1) • Entropicu¶nguånX®îcx¸c®Þnhb»ng ®ébÊtngêtrungb×nhvÒméttincñanguån: ( ) ( ) ( ) ∑ = −= n i ii xpxpXH 1 log (2) • TÝnhchÊtcñaEntropi: -T/chÊt1: ( ) 0≥XH -T/chÊt2:H(X)=0khinguånXchØcã métkýhiÖu. -T/chÊt3:H(X)®¹tcùa®¹ikhix¸csuÊt xuÊthiÖnc¸ckýhiÖucñanguånb»ngnhau Entropiđồngthời Xéttậptínhiệuđầuvào: [X]=[x 1 ,x 2 x n ],vớixácsuấttơngứng: [P x ]=[p(x 1 ),p(x 2 )p(x n )]. Tậpcáctínhiệuđầuracủakênh: [Y]=[y 1 ,y 2 y m ].Xácsuấttơngứng: [P y ]=[p(y 1 ),p(y 2 )p(y m ) Kh«nggiantÝnhiÖu®Çuvµovµracãtrêng: [ ] = mnnn m m yxyxyx yxyxyx yxyxyx YX , 21 22212 12111 Matranx¸csuÊt: ( ) [ ] ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) = mnnn m m yxpyxpyxp yxpyxpyxp yxpyxpyxp YXP , ,, , ,, , ,, , 21 22212 12111 Tõmatranx¸csuÊtcãthÓx¸c®Þnh: ( ) ( ) ∑ = = m j ii yxpxp 1 , ( ) ( ) ∑ = = n i jij yxpyp 1 , Vµ • Entropi®ångthêi:lîngtintrungb×nhvÒx i trongXchøatrongtiny j cñanguånY: ( ) ( ) ( ) ji n i m j ji yxpyxpYXH ,log,, 1 1 ∑∑ = = −= (3) • Entropicã®iÒukiÖnH(X|Y): ( ) ( ) ( ) ji n i m j ji yxpyxpYXH |log,| 1 1 ∑∑ = = −= (4) H(X|Y)lµ®émËpmêcñatrêngvµocña kªnhkhi®·biÕttrêngracñakªnh • Entropicñatrêngrakhi®·biÕttrêngvµo cñakªnhH(Y|X): ( ) ( ) ( ) ji n i m j ji yxpyxpYXH |log,| 1 1 ∑∑ = = −= (5) - NÕutrªnkªnhkh«ngcãnhiÔu:P(x i |y j )=1 vµP(y j |x i )=1th×H(X|Y)=H(Y|X)=0 - TrªnkªnhcãnhiÔulín®Ótrêngvµovµra kªnh®éclËpthèngkª: P(x i |y j )=p(x i ),P(y j |x i )=P(y j )th×: H(X|Y)=H(X)vµH(Y|X)=H(Y) §Óx¸c®Þnhentropicã®iÒukiÖntacÇnx¸c ®Þnhc¸cx¸csuÊtcã®iÒukiÖn: ( ) [ ] ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) = mnnn m m yxpyxpyxp yxpyxpyxp yxpyxpyxp YXP | || | || | || | 21 22212 12111 Matr©nnhiÔutrªnkªnh: ( ) ( ) ( ) = nmnn m m xypxypxyp xypxypxyp xypxypxyp XYP | |)|( )|( )|()|( )|( )|()|( | 21 22221 11211 [...]... bit / s ) Nhưvậyưlư ng tin tốiưđaưđiưquaưkênhưmàư ư ợ khôngưxảyưraưsaiưlầmưchínhưlàưtốcưđộưlập tin cựcưđạiưtrongưkênhưcóưnhiễu ưĐộưdưtư ngưđốiưcủaưkênhưđư cưxácưđịnh: ươ ợ ưưưưưưưưưưưưưưưưưưưrcư=ư1ưưR/C ưHiệuưquảưsửưdụngưkênh:làưđộưđoưsựưchênhư lệchưgiữaưtốcưđộưlập tin ởưđầuưraưkênhưvàư thôngưlư ngưkênh: ợ R C = C Entropiưcủaưnguồnưrờiưrạc Xétưmộtưnguồn tin liênưtụcưXưvớiưcác tin cóư phânưbốưxácưsuấtưlàưhàmưfx(x).ưEntropiưcủaư... quaưkênhưsẽưchuyểnưđổiưthànhưy(t)ưtheoưquyư luậtưphânưbốưfXY(x|y):ư x x H( X |Y) = f ( x, y ) log f ( x | y ) dxdy XY XY -ưQuyưluậtưphânưbốưfXY(x|y)ưđểưxácưđịnhưđộư bấtưđịnh trung bìnhưvềưmột tin xưkhiưbênư nhậnưnhậnưđư c tin y ợ -ưTư ngưtựưtaưcó:ư ơ H ( Y | X ) = f XY ( x, y ) log f XY ( y | x ) dxdy -ưQuyưluậtưphânưbốưfXY(x,y)ưđểưxácưđịnhưđộư bấtưđịnhưđồngưthời: H ( X , Y ) = f XY (... H(X,Y)ư=ưH(X)ư+ưH(Y)ưvàư H(X)ư H(X|Y), H(Y) H(Y|X) Mốiưliênưhệưgiữaưlư ng tin vàưentropi: ợ ưI(X,Y)ư=ưH(X)ưưH(X|Y)ư=ưH(Y)ư-ưH(Y| X) =ưH(X)ư+ưH(Y)ưưH(X,Y) -Nếuưtrênưkênhưcóưnhiễuưlớnưthìưtậpưphátưvàư tậpưthuưđộcưlậpưthốngưkêưthì:ư H(X,Y)ư=ưH(X)ư+ưH(Y)ưvìưI(X,Y)ư=ư0 ưThôngưlư ng,ưđộưdưvàưhiệuưquảưsửưdụngư ợ ư kênh: -ưThôngưlư ngưkênhưCư(b/s):ưLàưlư ng tin tốiưđaư ợ ợ màưkênhưchoưđiưquaưtrongưmộtưđơnưvịưthờiư gianưmàưkhôngưgâyưraưsaiưlầm.ư... ưưư=ưn/Ts[H(Y)ư-ưH(N) Bàiưtập: 1.ChoưXư=ư{a,b,c,d}ưcóưxácưsuấtưtư ngưứngư ơ là:ư0,5;ư0,25;ư0,125;ư0,125.ưtínhưlư ng tin ợ riêng,ưentropiưcủaưnguồnưX 2.Haiưnguồnưnhịưphânưcóưphânưbốưxácưsuất:ư p(x=y=0)ư=ưp(x=0,y=1)ư=ưp(x=y=1)ư=ư1/3 Hãyưtính:ư H(X),ưH(Y),ưH(X,Y),ưH(Y|X),ưH(X|Y) 3.ưChoưnguồn tin liênưtụcưcóưphânưbố: 1 / a a / 2 x a / 2 f X ( x) = 0 ưxưcònưlại Xácưđịnhưentropiưcủaưnguồn . ) i n i i xpxpXI log 1 ∑ = −= Lîng tin t¬nghç trung b×nh • Lîng tin t¬nghé trung b×nh:Lîng tin trung b×nhvÒmét tin bÊtkúcñanguånX chøatrongmét tin bÊtkúthuéctËpY ( ) ( ) (. Lîng tin trung b×nh • Lîng tin trung b×nh:lµlîng tin trung b×nh chøatrongmétkýhiÖubÊtkúthuécnguån X: vÝdô:X={x 1 ,x 2 ,x 3 }cãx¸csuÊtxuÊthiÖnt ¬ngøngP={0,3;0,2;0,5} I(X)=-[0,3.log0,3+0,2.log0,2+0,5log0,5] (. ) i ji n i m j ji xp yxp yxpYXI | log,, 1 1 ∑∑ = = = • Lîng tin trung b×nhcã®iÒukiÖn:lîng tin trung b×nhcñamét tin bÊtkúcñaYkhi®· biÕtmét tin bÊtkúcñaX: ( ) ( ) ( ) ∑∑ = = = n i m j ijji xypyxpXYI 1
Ngày đăng: 07/08/2014, 14:20
Xem thêm: LUONG TIN TRUNG BINH docx, LUONG TIN TRUNG BINH docx
