- Chỉång IV - Chỉång M họa ngưn Hãû thäúng thäng tin âỉåüc sỉí dủng âãø truưn tin tỉïc tỉì ngưn tin âãún nháûn tin Ngưn tin sinh tin dỉåïi nhiãưu dảng khạc nhau, vê dủ ám hãû thäúng radio, tên hiãûu video hãû thäúng vọ tuyóỳn truyóửn hỗnh Tin naỡy coù thóứ õổồỹc âỉa trỉûc tiãúp vo kãnh âãø truưn âi, nhỉng thỉûc tãú, tin ny thỉåìng âỉåüc biãún âäøi räưi âỉa vo kãnh truưn Vê dủ tin l vàn bn tiãúng Anh, ngưn tin cọ khong 40 k tỉû (symbol) khạc nhau, gäưm cạc máùu tỉû alphabet, säú, dáúu cháúm cáu Vãư ngun tàõc ta cọ thãø dng 40 dảng sọng âiãûn ạp khạc âãø biãøu thë 40 kyù tổỷ naỡy Tuy nhión thổỷc tóỳ thỗ phổồng phaùp ny khäng ph håüp, quạ khọ thỉûc hiãûn hay tháûm chờ khọng thóứ õổồỹc, vỗ: - Kónh truyóửn khọng phuỡ håüp vãư màût váût l âãø cọ thãø mang nhiãưu k tỉû khạc váûy - Di táưn âi hi s ráút räüng - Viãûc lỉu trỉỵ hay xỉí l tên hiãûu trỉåïc truưn ráút khọ, nóỳu chuyóứn sang nhở phỏn thỗ moỹi vióỷc seợ dóự dng hån nhiãưu Váûy ta tháúy cáưn phi thay âäøi dảng ca tin khạc âi so våïi dảng ban âáưu ngưn cung cáúp Cäng viãûc thay âäøi dảng ny âỉåüc gi l m họa (encoding) Cå såí l thuút ca m họa l l thuút tin (information theory) L thuyãút tin liãn quan âãún viãûc biãøu diãùn tin bàòng cạc k tỉû, âỉa giåïi hản l thuút cho viãûc thỉûc hiãûn hãû thäúng thäng tin, cho phẹp âạnh giạ hiãûu sút ca hãû thäúng thỉûc tãú Nãưn tng ca l thuút tin Hartley v Nyquist âỉa tỉì nhỉỵng nàm 1920 v âỉåüc Shannon hon chènh v täøng kãút vaìo nàm 1948 Âáy laì mäüt lyï thuyãút phổùc taỷp, phỏửn õỏửu cuớa chổồng naỡy daỡnh õóứ trỗnh by nhỉỵng váún âãư cå bn nháút ca l thuút tin Vãư cạc mủc âêch ca m họa, ta cọ thãø tọm tàõt sau: - Âënh dảng, âãø chuøn tin tỉì dảng gäúc tỉû nhiãn sang dảng chøn vê dủ sang dảng säú PCM - M họa âỉåìng, âãø âm bo dảng sọng ca k tỉû truưn âi ph håüp våïi cạc âàûc âiãøm ca kãnh truưn - M họa ngưn (source encoding), nhàịm gim säú k tỉû trung bỗnh yóu cỏửu õóứ truyóửn baớn tin - Mỏỷt maợ họa (encryption), âãø m họa bn tin bàịng mäüt khọa máût m nhàịm trạnh sỉû thám nháûp trại phẹp, âm bo âäü an ton cho thäng tin - M họa kãnh truưn (channel encoding), cho phẹp bãn thu cọ thãø phạt hiãûn, kãø c sỉía - 81 - - Chỉång IV - âỉåüc cạc läùi bn tin thu âãø tàng âäü tin cáûy ca thäng tin Pháưn âënh dảng v m họa âỉåìng â âỉåüc xẹt âãún chỉång III Do nhỉỵng âàûc âiãøm riãng, pháưn máût m họa khọng õổồỹc õóử cỏỷp giaùo trỗnh naỡy Phỏửn maợ hoaù kónh truyóửn seợ õổồỹc trỗnh baỡy chổồng sau Chổồng naỡy trỗnh baỡy vóử maợ hoùa nguọửn, õoù táûp trung vo loải m thäúng kã täúi ỉu Loải m ny tảo tỉì m cọ âäü di thay âäøi, âọ phäø biãún l m Huffman, bao gäưm m Huffman cå såí (basic Huffman) v m Huffman âäüng (dynamic Huffman) Pháưn cúi chỉång s giåïi thiãûu så lỉåüc vãư m họa fax (facsimile) 4.1 L thuút tin 4.1.1 Âo tin tỉïc Âãø âạnh giạ âënh lỉåüng cho tin tỉïc, ngỉåìi ta âỉa khại niãûm lỉåüng tin (information content) Lỉåüng tin liãn quan âãún giạ trë ca tin, hay nọi cạch khạc l kh nàng dỉû âoạn âỉåüc (predictability) ca tin: mäüt tin cọ kh nàng âoạn trỉåïc caỡng nhióửu thỗ caỡng chổùa ờt tin Vờ duỷ, baớn tin vãư t säú tráûn bọng Manchester United - Bradford Academicals l - chỉïa ráút êt tin nhỉng kóỳt quaớ ngổồỹc laỷi thỗ gỏy chỏỳn õọỹng, vaỡ âọ chỉïa ráút nhiãưu tin Váûy xạc sút cng cao thỗ baớn tin caỡng chổùa ờt tin vaỡ ngổồỹc laỷi Ta cọ thãø viãút: p (bn tin) = khäng mang tin p (bn tin) = mang mäüt lỉåüng tin vä hản Tỉì nháûn xẹt trãn, ta tháúy tin cng cọ nghéa cng hiãúm gàûp, nãn âäü låïn ca phi t lãû nghëch våïi xạc sút xút hiãûn ca tin Xẹt ngưn tin X råìi rảc sinh cạc tin i våïi xạc sút l p(i), lỉåüng tin ca tin i phi l mäüt hm cọ cạc âàûc âiãøm sau: - T lãû nghëch våïi xạc sút xút hiãûn p(i), hay âọ l hm f(1/p(i)) - Hm ny phi l p(i) = - Nãúu hai tin âäüc láûp thäúng kã laì i v j âäưng thåìi xút hiãûn, ta cọ tin l (i,j), lỉåüng tin chung ca chụng phi bàịng täøng lỉåüng tin ca tỉìng tin, nghéa l: f(1/p(i,j)) = f(1/p(i)) + f(1/p(j)) Theo lût nhán xạc sút ta cọ: p(i,j) = p(i).p(j) Do âoï: f(1/(p(i).p(j))) = f(1/p(i)) + f(1/p(j)) Ta tháúy hm loga tho mn táút c cạc u cáưu ny Váûy hm log(1/p(i)) âỉåüc chn âãø âạnh giạ âënh lỉåüng cho tin Lỉåüng tin ca mäüt tin i âỉåüc k hiãûu l I(i) Âënh nghéa lỉåüng tin ca mäüt tin i laì: I(i) = log = − log p(i) p(i) - 82 - - Chæång IV - Âån vë âo ca lỉåüng tin tu thüc vo cå säú ca loga Âån vë ca lỉåüng tin l bit, l nat hay l hartley cå säú ca loga láưn lỉåüt l 2, l e hay l 10 Trong âọ cå säú thỉåìng âỉåüc chn hån c Khi chn cå sọỳ thỗ lổồỹng tin cuớa tin i laỡ: I(i) = log = − log p(i) (bit) p(i) Váûy cọ thãø âënh nghéa bit sau: bit l lỉåüng tin mang mäüt k tỉû cọ xạc sút xút hiãûn l p = 0,5 4.1.2 Entropy ca ngưn tin Entropy H âỉåüc âënh nghéa l giạ trë trung bỗnh thọỳng kó cuớa lổồỹng tin où laỡ lổồỹng tin trung bỗnh chổùa mọỹt kyù tổỷ bỏỳt kyỡ ca ngưn tin Xẹt mäüt ngưn tin sinh M k tỉû âäüc láûp thäúng kã Ngưn tin ny âỉåüc gi l ngưn råìi rảc khäng nhåï (discrete memoryless source) Entropy ca ngưn ny lì: M H = ∑ p(m) log m =1 (bit/kyï tæû) p( m) âọ p (m) l xạc sút chn k tỉû thỉï m L thuút tin â chỉïng minh giạ trë låïn nháút ca entropy l H max = log M , âảt âỉåüc cạc k tỉû âäüc láûp v âäưng xạc sút (equiprobable), nghéa l: p(m) = / M, ∀m = 1, M Âäúi våïi nguäön tin ASCII coù M = 128 thỗ entropy cổỷc õaỷi laỡ: Hmax = - log2(1/128) = (bit/kyù tổỷ) Thổỷc tóỳ thỗ âiãưu ny khọ xy nãn entropy ca ngưn ASCII laì: 128 H = ∑ p(m) log m =1 < (bit/kyï tæû) p( m ) Âäúi våïi ngưn tin nhë phán cọ M = 2, nãúu p (1) = vaỡ p (0) = 1-p thỗ entropy laì: H = ∑ p(m) log m =1 1 = p log + (1 − p) log (bit/kyï tæû) 1− p p p( m ) 4.1.3 Entropy cọ âiãưu kiãûn v âäü dỉ Âäúi våïi cạc ngưn tin âọ viãûc sinh k tỉû sau khäng âäüc láûp thäúng kã våïi cạc k tỉû trỉåïc âọ ( gi l ngưn cọ nhåï - memory source) thỗ cọng thổùc entropy trón khọng õuớ tọứng quạt âãø âỉåüc entropy chênh xạc Trong trỉåìng håüp ny phi xẹt âãún xạc sút cọ âiãưu kiãûn (conditional probability) Vê dủ våïi ngưn cọ nhåï mäüt k tỉû, nghéa l k tỉû sau âỉåüc chn phủ thüc vo mäüt k tỉû trỉåïc âọ, entropy âỉåüc sau: - 83 - - Chæång IV - H=∑ i ∑ p( j, i) log p( j i) j (bit/k tỉû) åí âáy p( j, i) l xạc sút ngưn chn i v j, p( j i) l xạc sút ngưn chn j nãúu trỉåïc âọ â chn i Theo âënh lyï Bayes, ta coï: p( j, i) = p(i)p( j i) Váûy: H = ∑ p(i)∑ p( j i) log i j (bit/kyï tæû) p( j i) Sỉû khạc giỉỵa entropy thỉûc sỉû ca ngưn v entropy cỉûc âải gi l âäü dỉ (redundancy) ca ngưn, k hiãûu l r: r = H max − H = log M − ∑ p(i)∑ p( j i) log i j (bit/kyï tæû) p( j i) Âäü dỉ tỉång âäúi ca ngưn âỉåüc âënh nghéa nhæ sau: r= H max − H H max =1− H H max 4.1.4 Sỉû máút mạt tin nhiãùu Gi k tỉû ngưn thỉï i âỉåüc truưn âi l i TX , xạc sút xút hiãûn i TX l p(i TX ) , lỉåüng tin ca i TX l I TX (i TX ) : I TX (i TX ) = log (bit) p(i TX ) Âäúi våïi kãnh khäng nhiãùu (noiseless channel), gi sỉí âiãûn ạp v RX tỉång ỉïng våïi k tỉû phạt l i TX , bãn nháûn tin tạch âỉåüc v RX thỗ coù thóứ bióỳt chừc chừn kyù tổỷ phaùt ồớ ngưn l i TX Lỉåüng tin trỉåìng håüp ny âỉåüc bo ton truưn qua kãnh: I RX ( v RX : i TX ) = I TX (i TX ) = log (bit) p(i TX ) Tuy nhiãn, âäúi våïi kãnh coï nhiãùu (noise channel), bãn nháûn tin tạch âỉåüc âiãûn ạp v RX thỗ khọng thóứ kóỳt luỏỷn chừc chừn vóử kyù tổỷ thỉûc phạt åí ngưn Sỉû khäng chàõc chàõn ny liãn quan âãún xaïc suáút p(i TX v RX ) , âáy l xạc sút phạt k tỉû thỉï i v tạch âỉåüc âiãûn ạp v RX åí bãn nháûn (Âäúi våïi kãnh khäng nhiãùu, xạc sút ny l 1) Âäúi våïi kãnh cọ nhiãùu, tin nháûn âỉåüc êt hån tin truưn âi mäüt lỉåüng liãn quan âãún âäü khäng chàõc chàõn ca quút âënh Thỉûc tãú, lỉåüng tin nháûn âỉåüc l: - 84 - - Chỉång IV - p(i TX v RX ) I RX ( v RX : i TX ) = log p(i TX ) Gi sỉí bãn nháûn tin thỉûc hiãûn quút âënh cỉïng, âiãûn ạp v nháûn l i RX RX (bit) chuøn âäøi trỉûc tiãúp thnh k tỉû Trong trỉåìng håüp ny, lỉåüng tin nháûn âỉåüc l: I RX (i RX ) = log p(i TX i RX ) p(i TX ) (bit) Sỉû suy gim lỉåüng tin mäùi k tỉû nhiãùu cọ nghéa l entropy nháûn nh hån entropy phạt Entropy nháûn chênh l entropy hiãûu qu (effective entropy) ca cạc k tỉû nháûn K hiãûu entropy hiãûu qu l H v âỉåüc sau: eff H eff = ∑ p(i RX )I RX (i RX ) (bit/kyï tỉû) i åí âáy p(i RX ) l xạc sút thu k tỉû thỉï i Sỉû khạc giỉỵa H eff v entropy phạt gi l âäü nghi ngåì (equivocation) E: H eff = H - E (bit/kyï tæû) Âäü nghi ngåì âỉåüc tỉì viãûc ta khäng chàõc l k tỉû truưn âi cọ giäúng våïi k tỉû nháûn âỉåüc hay khäng Sỉû khäng chàõc chàõn ny l kãnh truưn cọ nhiãùu nãn cọ thãø xem nhiãùu chênh l tin ám cäüng vo dng k tỉû phạt Âäü nghi ngåì âỉåüc âënh nghéa l: E=∑ i åí âáy p( j ∑ p(i j RX , jRX ) log TX p(i TX jRX ) = ∑ p( jRX )∑ p(i TX jRX ) log j i p(i TX jRX ) ) l xạc sút nháûn kyï tæû thæï j, p(i TX jRX ) liãn quan âãún xạc sút läùi k tỉû 4.1.5 Täúc âäü láûp tin ca ngưn tin Ngoi thäng säú cå bn ca ngưn l entropy tu thüc vo cáúu trục thäúng kã ca ngưn, cn cọ mäüt thäng säú khạc tu thüc vo cháút váût l ca ngưn Âọ l täúc âäü thiãút láûp tin (information rate) ca ngưn, k hiãûu laỡ R Thọng sọỳ naỡy chố sổỷ hỗnh thaỡnh tin nhanh hay cháûm âãø âỉa vo kãnh Vê dủ ngỉåìi, kãút cáúu ca cå quan phạt ám nãn mäùi giáy chè phạt ám âỉåüc tỉì âãún tiãúng, mäüt thiãút bë âáöu cuäúi säú liãûu cọ thãø âảt âãún hng ngn k hiãûu mäüt giáy Täúc âäü thiãút láûp tin ca ngưn cọ âån vë l lỉåüng tin trãn âån vë thåìi gian (trổồỡng hồỹp duỡng loga cồ sọỳ thỗ õồn l bit/s) v âỉåüc l têch ca entropy våïi säú k hiãûu láûp âỉåüc mäüt âån vë thåìi gian: - 85 - - Chæång IV - R = n H (bit/s) âọ n0 l säú k hiãûu láûp âỉåüc mäüt âån vë thåìi gian, tu thüc vo cháút váût l ca ngưn Ta tháúy âãø náng cao täúc âäü thiãút láûp tin ca ngưn cáưn thiãút phi náng cao entropy Täúc âäü láûp tin ca ngưn s cỉûc âải entropy ca ngưn cỉûc âải 4.1.6 Thäng lỉåüng kãnh Âënh nghéa thäng lỉåüng ca kãnh (channel capacity) l lỉåüng tin täúi âa kãnh cho âi qua mäüt âån vë thåìi gian maì khäng gáy läùi K hiãûu thäng lỉåüng kãnh l C v âån vë âo giäúng âån vë ca täúc âäü láûp tin (bit/s) Thäng thỉåìng täúc âäü láûp tin bẹ hån nhiãưu so våïi thäng lỉåüng kãnh: R C thỗ khọng thóứ truyóửn tin õi maỡ khọng bở läùi Phỉång phạp m họa âãø gim xạc sút läùi âỉåüc gi l m hoạ âiãưu khiãøn läùi Âãø so sạnh cạc loải hãû thäúng thäng tin khạc nhau, ta cọ thãø xẹt kãnh truưn cho thûn tiãûn Xẹt kãnh cọ nhiãùu gausse tràõng, t säú tên hiãûu trãn nhiãùu trung bỗnh laỡ S/N, bng thọng cuớa kónh laỡ B Theo âënh l Hartley - Shannon, thäng lỉåüng ca kãnh naìy laì: C = B log (1 + S / N) (bit/s) - 86 - - Chæång IV - Cọ thãø ạp dủng räüng ri kãút qu ny cho nhióửu hóỷ thọỳng khaùc bồới vỗ coù thóứ mọ hỗnh hoùa nhióửu kónh thaỡnh kónh gausse trừng (white gaussian channel) Kãút qu ny cng âỉåüc cháúp nháûn cho c kãnh liãn tủc v råìi rảc 4.2 Cå bn vãư m họa 4.2.1 Âënh nghéa m họa Cho ngưn tin råìi rảc X sinh N tin hay k tỉû âäüc láûp ( x , x , , x , , x ) Xeït mäüt táûp M i N cọ M pháưn tỉí hỉỵu hản ( m , m , , m ) q M họa (encoding) ngưn tin X bàịng táûp M cọ nghéa l biãún âäøi mäùi tin x ca ngưn tin X i thnh mäüt táûp cạc pháưn tỉí thüc M nhàịm tha mn mäüt u cáưu no âọ ca hãû thäúng thäng tin: x i → m i1m i m il Phẹp biãún âäøi ngỉåüc lải: m i1m i m il → x i âỉåüc gi l gii m (decoding) Thäng thỉåìng, säú tin ca ngưn tin ráút låïn nãn säú k hiãûu m khäng thãø bàịng hồûc nhiãưu hån säú tin 4.2.2 Cạc tham säú cå bn ca m họa Táûp M âỉåüc gi l m hiãûu (code), cạc pháưn tỉí m gi l k hiãûu m (symbol), säú k hiãûu m k khạc m gi l cå säú ca m M nhë phán l m cå säú 2, âọ m chè cọ k hiãûu m l v Dy liãn tủc cạc k hiãûu m dng âãø m họa mäüt tin ca ngưn âỉåüc gi l tỉì m (codeword) ÅÍ âáy tỉì m tỉång ỉïng våïi tin x l m m m i i1 i2 il Säú k hiãûu m cọ mäüt tỉì m âỉåüc gi l âäü di ca tỉì m (codeword length), k hiãûu l l Vê dủ tỉì m 00100 cọ âäü di l Tham säú tiãúp theo l trng lỉåüng tỉì m (codeword weigh), âọ l täøng säú cạc k hiãûu khạc cọ màût tỉì mỵ, k hiãûu l w Vê dủ tỉì m 110001 cọ trng lỉåüng l Mäüt tham säú nỉỵa l khong cạch m (distance), k hiãûu l d Âọ l säú k hiãûu cng vë trê khạc giỉỵa hai tỉì m di bàịng Vê dủ khong cạch giỉỵa hai tỉì m 110001 v 101000 l Gi C1 v C2 l hai tỉì m di bàịng Cọ thãø dãù dng nháûn tháúy khong cạch m giỉỵa hai tỉì m ny l: d (C1 , C ) = w (C1 ⊕ C ) - 87 - - Chỉång IV - 4.2.3 Phán loải m Ta cọ thãø phán loải m theo nhiãưu cạch khạc Dỉåïi âáy l mäüt säú cạch hay gàûp: - Dỉûa vo âäü di ca tỉì m, ta phán m cọ âäü di khäng âäøi gi l m âãưu v m cọ âäü di thay âäøi gi l m khäng õóửu ọỳi vồùi maợ khọng õóửu, õọỹ daỡi trung bỗnh l mäüt thäng säú cå bn ca m v âỉåüc theobiãøu thæïc: M l = ∑ p ( m )l m m =1 âọ lm l âäü di tỉì m tỉång ỉïng våïi k tỉû m - Dỉûa vo trng lỉåüng ca tỉì m, ta phán m cọ trng lỉåüng khäng âäøi v m cọ trng lỉåüng thay âäøi - Dỉûa vo khong cạch m giỉỵa hai tỉì m kãư nhau, ta phán m cọ khong cạch khäng âäøi v m cọ khong cạch thay âäøi - Dỉûa vo cå säú ca m, ta phán m nhë phán (m cå säú 2), m bạt phán (m cå säú 8), m hexa (m cå säú 16) Trong âọ m nhë phán l m thäng dủng nháút Chỉång ny ta chè xẹt m nhë phán - Dỉûa vo âäü tin cáûy, ta phán m cọ kh nàng phạt hiãûn v sỉía läùi v m khäng cọ kh nàng phạt hiãûn v sỉía läùi - Dỉûa vo hiãûu sút thäng tin, ta phán m täúi ỉu v m chỉa täúi ỉu 4.2.4 Cạc phỉång phạp biãøu diãùn m a) Phỉång phạp liãût kã Âáy l phỉång phạp biãøu diãùn m âån gin nháút: chè cáưn liãût kã cạc tin ca ngưn v cạc tỉì m tỉång ỉïng mäüt bng Vê dủ: ngưn tin cọ tin (k tỉû), cạc tin âỉåüc m họa bng 4.1 Phỉång phạp biãøu diãùn ny cọ ỉu âiãøm l củ thãø, r rng nhỉng âäúi våïi cạc bäü maợ lồùn thỗ quaù cọửng kóửnh Tin A B C D E F G H Tỉì m 000 001 010 011 100 101 110 111 Bng 4.1 Vê dủ vãư bng m b) Phỉång phạp ma tráûn Tỉì vê dủ trãn, ta tháúy: cọ nhỉỵng tỉì m l täø håüp tuún ca cạc tỉì m khạc Chàóng hản nhỉ: D = B ⊕ C, F = B ⊕ E, G = C ⊕ E, H = B ⊕ C ⊕ E Váûy khäng cáưn thiãút phi liãût kã hãút táút c cạc tỉì m bng m m chè cáưn chn mäüt säú tỉì m lm cå såí Cạc tỉì m cå såí ny s láûp thnh bng dỉåïi dảng ma tráûn v gi l ma tráûn sinh (generated matrix) - 88 - - Chæång IV - Vê dủ ma tráûn sinh tỉång ỉïng våïi bng m trãn laì: ⎡0 1⎤ ⎢0 ⎥ ⎥ ⎢ ⎢1 0⎥ ⎦ ⎣ Khi thaình láûp ma tráûn sinh, quy ỉåïc loải b cạc tỉì m gäưm ton k hiãûu c) Phỉång phạp cáy Cáy m (code tree) gäưm cọ nụt gäúc (root node), nụt lạ (leaf node) v cạc nụt nhạnh (branch node) Gäúc ca cáy gi l nụt gäúc Tỉì nụt gäúc phán täúi âa q nhạnh (q l cå säú ca m) Mäùi nhạnh mang mäüt k hiãûu m, âọ l giạ trë ca nhạnh Nhạnh âỉåüc bàõt âáưu åí nụt mỉïc i v kãút thục åí nụt mỉïc i+1 Nụt m tỉì âọ cn phán nhạnh tiãúp gi l nụt nhạnh Tỉì mäùi nụt nhạnh phán täúi âa q nhạnh Nụt cúi cng ca cáy gi l nụt lạ Mäùi nụt lạ biãøu diãùn mäüt cho mäüt tỉì m Tỉì m bao gäưm cạc k hiãûu m l giạ trë ca cạc nhạnh theo thỉï tỉû âi tỉì nụt gäúc qua caùc nuùt nhaùnh õóỳn nuùt laù Hỗnh 4.1 laỡ vờ dủ vãư mäüt cáy m cho bäü m nhë phán gäưm cạc tỉì m l 00, 01, 10, 1101, 11001 Mæïc Mæïc 0 1 Mæïc 00 01 10 Mæïc Mæïc 1101 Mổùc 11001 Hỗnh 4.1 Vờ duỷ vóử cỏy maợ Nhỗn vaỡo cỏy maợ ta coù thóứ biãút âỉåüc âáy l m âãưu hay khäng âãưu M l âãưu táút c cạc nụt lạ cọ cng mổùc Maợ bióứu dióựn bũng cỏy maợ ồớ hỗnh 4.1 thüc loải m khäng âãưu d) Phỉång phạp âa thỉïc Phổồng phaùp naỡy duỡng laỡm mọ hỗnh toaùn õóứ bióứu dióựn maợ voỡng ặu õióứm cuớa phổồng phaùp naỡy laỡ cọ thãø thỉûc hiãûn m họa v gii m m vng dãù dng bàịng cạch sỉí dủng cạc phẹp toạn âäúi våïi âa thỉïc phẹp cäüng, nhán v chia Tỉì m k bit m k −1 m k −2 m m1m ( theo thỉï tỉû tỉì trại qua phi l msb âãún lsb) cọ thãø âỉåüc biãøu diãùn bàịng âa thỉïc sau: - 89 - - Chỉång IV - f ( x ) = m k −1 x k −1 + m k −2 x k −2 + + m x + m1 x + m Vê dủ tỉì m nhë phán 1101001 cọ thãø biãøu diãùn bàịng âa thỉïc: f ( x ) = x + x + x + 4.3 M họa ngưn Hãû thäúng thäng tin âỉåüc sỉí dủng âãø truưn tin tỉïc tỉì ngưn tin âãún nháûn tin Ngưn tin cọ ráút nhiãưu dảng khạc nhau, nhỉng cọ thãø phán thnh hai loải chênh l ngưn liãn tủc (continuous source) ngưn ám thanh, ngưn video v ngưn råìi rảc (discrete source) ngưn dỉỵ liãûu tỉì mạy Trong hãû thäúng thäng tin säú, âáưu ca ngưn phi âỉåüc chuøn thnh dảng thêch håüp âãø cọ thãø truưn âi bàịng k thût säú Theo sỉû phán loải ngưn, ta cọ hai k thût m họa ngưn chênh l m họa ngưn liãn tủc v m họa ngưn råìi rảc Näüi dung m họa ngưn liãn tủc cng trng våïi näüi dung säú hoạ tên hiãûu liãn tủc â xẹt chỉång trổồùc Trong phỏửn naỡy, ta xeùt quaù trỗnh maợ hoùa ngưn råìi rảc (discrete source encoding) Ngưn råìi rảc l ngưn sinh cạc k tỉû våïi mäüt quy lût phán bäú xạc sút no âọ Âãø cho âån gin, ta xẹt trỉåìng håüp ngưn khäng nhåï, cạc k tỉû âỉåüc sinh âäüc láûp våïi Thäng thỉåìng, quy lût phán bäú xạc sút sinh cạc k tỉû l khäng âãưu nãn âäü dỉ ca ngưn låïn, entropy ca ngưn bẹ, täúc âäü láûp tin ca ngưn cn xa måïi âảt âãún thäng lỉåüng kãnh Lục âọ nhiãûm vủ ca m họa ngưn råìi rảc l lm cho cáúu trục thäúng kã ca ngưn tråí nãn håüp l bàịng cạch tàng entropy ca cạc k tỉû dng âãø m họa ngưn Ngun tàõc ca m họa ngưn råìi rảc l m họa cạc k tỉû cọ xạc sút sinh låïn bàịng cạc tỉì m ngàõn v m họa cạc k tỉû cọ xạc sút sinh bẹ bàịng cạc tỉì m di Loải m ny gi l m họa thäúng kã (statistical encoding) Mäüt vê dủ ca m họa thäúng kã l m Morse dng âãø m họa bn tin tiãúng Anh Trong m Morse, k tỉû xút hiãûn nhiãưu nháút l 'e' âỉåüc m hoạ bàịng tỉì m ngàõn nháút '.' (1 bit) Dỉûa theo ngun tàõc ny ta tháúy m họa thäúng kã giụp trạnh hiãûn tỉåüng kãnh truưn bë quạ ti bn tin chỉïa quạ nhiãưu k tỉû cọ xạc sút xút hiãûn låïn Viãûc truưn tin s tråí nãn kinh tãú hån nóỳu maợ thọỳng kó coù õọỹ daỡi trung bỗnh cuớa tỉì m l nh nháút Loải m váûy gi l m thäúng kã täúi ỉu (optimum statistical code) Âáy chênh l m họa nẹn (copression) Pháưn sau âáy s xẹt củ thãø cạc tiãu chøn ca m thäúng kã täúi ỉu cå säú 4.3.1 Giåïi hản ca âäü daỡi tổỡ maợ trung bỗnh Giaớ sổớ nguọửn tin X sinh cạc k tỉû xi âäüc láûp M họa ngưn tin X bàịng bäü m nhë phán M, cạc k hiãûu m v cọ xạc sút bàịng p(0) = p(1) = 0.5 Lỉåüng tin riãng ca mäüt k hiãûu hay bàịng våïi lỉåüng tin trung bỗnh vaỡ õaỷt giaù trở cổỷc õaỷi: I(0) = I(1) = log 2 = (bit/k hiãûu) M họa k tỉû xi bàịng mäüt tỉì m nhë phán di li Nhỉ váûy lỉåüng tin chỉïa tỉì m naỡy seợ laỡ li (bit) Lổồỹng tin trung bỗnh chổùa mọỹt tổỡ maợ seợ laỡ õọỹ daỡi trung bỗnh ca tỉì m, l L (bit) - 90 - - Chỉång IV - Âãø cho phẹp m họa âảt hiãûu qu cao, ton bäü lỉåüng tin riãng mäùi k tỉû ngưn phi âỉåüc chuøn hãút sang cho tỉì m tổồng ổùng, hay lổồỹng tin trung bỗnh cuớa tổỡ maợ phaới lồùn hồn hoỷc bũng lổồỹng tin trung bỗnh cuớa mọỹt kyù tổỷ nguọửn Lổồỹng tin trung bỗnh cuớa mọỹt k tỉû ngưn chênh l entropy ca ngưn H Váûy: L≥H Âáy l giåïi hản dỉåïi ca âäü di trung bỗnh cuớa tổỡ maợ Dỏỳu bũng chố xaớy âäü di ca mäüt tỉì m báút k bàịng våïi lỉåüng tin riãng ca k tỉû m m họa: l i = log p( x i ) Vỗ li l säú ngun nãn - logp(xi) phi l säú nguyón Khi õoù õọỹ daỡi trung bỗnh cuớa tổỡ maợ s âảt täúi thiãøu L = Lmin Ta cọ bäü maợ thọỳng kó tọỳi ổu Thổồỡng thỗ - logp(xi) khọng phi l säú ngun nãn L ≥ H chè l mäüt âiãưu kiãûn giåïi hản Ta cọ thãø tháúy: âãø õọỹ daỡi tổỡ maợ trung bỗnh nhoớ nhỏỳt - logp(xi) khọng phaới laỡ sọỳ nguyón thỗ L phaới thoaớ mn báút âàóng thỉïc sau: H ≤ L < H +1 Váûy giåïi hản trãn ca âäü di tỉì m trung bỗnh laỡ H+1 Mọỹt bọỹ maợ coù õọỹ daỡi tổỡ maợ trung bỗnh thoaớ õióửu kióỷn naỡy õổồỹc goỹi l m thäúng kã täúi ỉu 4.3.2 Hiãûu sút m Âënh nghéa hiãûu sút m (code efficiency) l t säú giỉỵa entropy ca ngưn tin cọ cạc k tỉû âäüc láûp v entropy cỉûc âải ca ngưn âọ: M η= H x100 % = H max ∑ p(m) log m =1 log M p(m) x100 % Nãúu cạc k tỉû ngưn âỉåüc m họa thnh mäüt táûp caùc kyù tổỷ mồùi nhổ hỗnh 4.2 thỗ H vaỡ H max l entropy v entropy cỉûc âải ca táûp k tỉû måïi ny Bn tin (Táûp k tỉû 1) Maợ hoùa Baớn tin (Tỏỷp kyù tổỷ 2) Hỗnh 4.2 Chuøn âäøi bn tin giỉỵa hai táûp k tỉû khạc Nãúu cạc k tỉû ngưn âỉåüc m họa thnh tổỡ maợ nhở phỏn thỗ coù mọỹt caùch khaùc õóứ hiãûu sút m: - 91 - - Chỉång IV - η= H x100 % = L H x100 % (bit/säú nhë phán) M ∑ p ( m )l m =1 m åí âáy lm l âäü di ca mäùi tỉì m nhë phán v L l âäü di tỉì maợ trung bỗnh So saùnh hai cọng thổùc tờnh hióỷu sút m åí trãn, ta rụt âỉåüc: Hmax (bit/k tỉû) = L (bit/tỉì m) 4.3.3 Gii m trỉåìng håüp tỉì m cọ âäü di thay âäøi Nọi chung laỡ chuùng ta õi tỗm mọỹt caùch maợ hoùa hổợu hiãûu cọ thãø biãøu diãùn cạc tin giäúng m trung bỗnh duỡng ờt sọỳ nhở phỏn hồn Kóỳt quaớ l âäü di ca cạc tỉì m biãøu diãùn cạc k tỉû khạc s khạc Váún âãư âàût l lm thãú no âãø bãn gii m nháûn âỉåüc âiãøm bàõt âáưu v kãút thục ca cạc tỉì m di khạc váûy Sau âáy l cạc âàûc âiãøm cáưn phi cọ âãø gii m våïi cạc tỉì m di khạc nhau: a) Gii m nháút (unique decoding) Âiãưu ny l cáưn thiãút âãø cho cạc bn tin thu chè cọ mäüt nghéa nháút Xẹt mäüt ngưn tin gäưm k tỉû alphabet, cạc k tỉû âỉåüc m họa bàịng cạc tỉì m nhë phán nhæ sau: A = 0, B = 01, C = 11, D = 00 Nãúu bãn thu nháûn âæåüc daợy tổỡ maợ 0011thỗ khọng bióỳt laỡ bón phaùt truyóửn âi DC hay l AAC Váûy vê dủ trãn khäng tha gii m nháút b) Gii m tỉïc thåìi (instaneous decoding) Báy giåì xẹt mäüt ngưn tin khạc gäưm k tỉû alphabet, cạc k tỉû âỉåüc m họa bàịng cạc tỉì m nhë phán sau: A = 0, B = 10, C = 110, D = 111 M ny cọ thãø gii m tỉïc thåìi dng cỏy maợ nhổ hỗnh 4.3 a, vỗ khọng coù tỉì m hon thnh no l pháưn âáưu (prefix) ca tỉì m khạc di hån M tha âiãưu kiãûn ny gi l m cọ prefix Vê dủ ny ngỉåüc våïi vê dủ trỉåïc cọ A l pháưn âáưu ca c B v D Âäi m khäng cọ prefix nhỉng váùn âm bo gii m nháút, nhiãn lục ny khäng thãø gii m tỉïc thåìi âỉåüc m phi máút thãm thåìi gian âãø xem xẹt cạc säú tiãúp theo trỉåïc kãút lûn chênh xạc âỉåüc âiãøm kãút thục ca tỉì m Vê dủ nguäön tin sau: A = 0, B = 01, C = 011, D = 111 Ta tháúy nãúu bãn thu nhỏỷn õổồỹc sọỳ thỗ phaới chồỡ nhỏỷn thóm sọỳ tióỳp theo Nóỳu sọỳ tióỳp theo laỡ thỗ quyóỳt âënh säú trỉåïc l A, nãúu säú tiãúp theo laỡ thỗ chồỡ nhỏỷn thóm mọỹt sọỳ nổợa, rọửi cổù tióỳp tuỷc nhổ vỏỷy Thuỏỷt toaùn giaới maợ (hỗnh 4.3 c) gi sỉí bãn thu â cọ sàơn bng tỉì m v bng m ASCII tỉång ỉïng Dng bit thu âỉåüc xỉí l biãún DNG BIT.ì Biãún TỈÌ M âỉåüc dng âãø lỉu cạc bit vo mäùi tỉì maợ caùc tổỡ maợ naỡy õổồỹc hỗnh thaỡnh dáưn Nhỉ ta tháúy tỉì lỉu âäư, mäùi tỉì - 92 - - Chỉång IV - m âỉåüc nháûn dảng, tỉì m ASCII tỉång ỉïng âỉåüc viãút vo biãún BÄÜ ÂÃÛM THU Th tủc ny âỉåüc làûp lải cho âãún xỉí l hãút táút c cạc bit Hỗnh 4.3 b laỡ mọỹt vờ duỷ vóử giaới maợ (a) A B C D (b) Dng bit thu: 1000001 Tỉì m: A 1 1 1000010 1000001 B - thåìi gian 1000100 A D Begin (c) Tặè MAẻ = oỹc bit tióỳp theo tỉì DNG BIT & gàõn thãm vo cạc bit âang coù Tặè MAẻ Tặè MAẻ õaợ coù sụn cáy m ? Y Ti k tỉû ASCII vo BÄÜ ÂÃÛM THU Â xỉí l táút c bit DNG BIT N Y End Hỗnh 4.3 Thuỏỷt toaùn giaới maợ v mäüt vê dủ gii m thỉûc tãú (a) Vê dủ cáy m (b) Vê dủ gi i m (c) Thût toạn gii m - 93 - N - Chỉång IV - 4.4 M họa Huffman Nháûn tháúy xạc sút xút hiãûn ca cạc k tỉû ngưn tin l khäng bàịng nhau, cọ nhỉỵng k tỉû xút hiãûn thỉåìng xun hån nhỉỵng k tỉû khạc, nàm 1952, Huffman â âỉa mäüt thût toạn m họa dỉûa trãn xạc sút xút hiãûn ca cạc k tỉû Thût toạn ca Huffman täúi ỉu theo nghéa âäü di tỉì m trung bỗnh laỡ nhoớ nhỏỳt Maợ Huffman khọng coù õỷc tờnh sỉía läùi, nhỉng cọ gii m nháút v tỉïc thåìi Sau âáy ta s xẹt hai vê dủ, mäüt vê dủ vãư m họa Huffman cå såí v mäüt vê dủ vãư m họa Huffman âäüng 4.4.1 M họa Huffman cå såí (basic Huffman encoding) Gi sỉí cọ mäüt säú bn tin âỉåüc truưn giỉỵa hai mạy qua mảng PSTN Cạc bn tin chè chỉïa cạc k tỉû tỉì A âãún H Theo kãút qu thäúng kã cho tháúy xạc sút xút hiãûn ca cạc k tỉû nhæ sau: Kyï tæû A B C D E F G H X.suáút 0.1 0.18 0.4 0.05 0.06 0.1 0.07 0.04 Entropy ca ngưn l: H = ∑ p(m) log m =1 = 2.55 (bit/kyï tæû) p( m) Entropy cỉûc âải ca ngưn l: H = log = (bit/kyï tæû) Nhæ váûy hiãûu suáút ca ngưn l: η= 2.55 x100 % = 85 % Nãúu mäùi k tỉû trãn âỉåüc m họa thnh bit thỗ hióỷu suỏỳt maợ hoùa seợ giổợ nguyón khäng thay âäøi l 85 % M họa Huffman thỉûc hiãûn m họa sỉí dủng êt bit hån cho cạc kyù tổỷ coù xaùc suỏỳt xuỏỳt hióỷn cao vỗ chuùng âỉåüc truưn âi thỉåìng xun hån v ngỉåüc lải, nhiãưu bit hån cho cạc k tỉû cọ xạc sút xút hiãûn tháúp nãn cọ thãø tàng âỉåüc hiãûu sút Thût toạn m họa Huffman gäưm cạc bỉåïc sau: (1) Sàõp xãúp cạc k tỉû theo thỉï tỉû xạc sút gim dáưn (2) Gạn cho hai k tỉû cọ xạc sút xút hiãûn tháúp nháút våïi hai nhạnh (0) v (1) ca cáy m Tỉì hai k tỉû cọ xạc sút tháúp nháút gim cn mäüt k tỉû våïi xạc sút bàịng täøng ca hai xạc sút (3) Làûp lải tỉì bỉåïc (1) cho âãún chè cn lải mäüt k tỉû nháút våïi xạc sút l (4) Duût cỏy maợ õóứ tỗm tổỡ maợ tổồng ổùng vồùi tỉìng k tỉû ca ngưn - 94 - - Chỉång IV - Hỗnh 4.4 a trỗnh baỡy vờ duỷ vóử m họa Huffman cho ngưn tin trãn Nãúu ta quy ỉåïc gạn cho nhạnh âi tỉì k hiãûu cọ xạc sút cao hån l v nhạnh l 0, nhạnh v åí bãn trại, nhạnh v ồớ bón phaới thỗ ta coù thóứ veợ laỷi cỏy maợ Huffman vổỡa lỏỷp õổồỹc nhổ hỗnh 4.4 b (a) C 0.40 0.40 0.40 0.40 0.40 0.40 0.60(1) B 0.18 0.18 0.18 0.19 0.23 0.37(1) 0.40(0) A 0.10 0.10 0.13 0.18 0.19(1) 0.23(0) F 0.10 0.10 0.10 0.13(1) 0.18(0) G 0.07 0.09 0.10(1) 0.10(0) E 0.06 0.07(1) 0.09(0) D 0.05(1) 0.06(0) H 0.04(0) 1.0 (b) C 0.40 0.60 0.23 0.37 A 0.10 0.13 E 0.06 B 0.18 0.19 1 0.09 G 0.07 H 0.04 F 0.10 D 0.05 Thæï tæû troüng säú = 0.04 0.05 0.06 0.07 0.09 0.10 0.10 0.13 0.18 0.19 0.23 0.37 0.40 0.60 Hỗnh 4.4 Vờ duỷ maợ hoùa Huffman (a) Taỷo cáy m (b) Cáy m Gi trng säú ca cạc nụt cáy m l xạc sút ca nụt âọ, ta nháûn tháúy cáy m Huffman vỉìa láûp l cáy m täúi ỉu theo nghéa thỉï tỉû trng säú ca cạc nụt tàng dáưn theo chiãưu tỉì dỉåïi lãn trãn vaỡ traùi sang phaới Nhỗn vaỡo cỏy maợ, ta thỏỳy kãút qu m họa Huffman ca ngưn tin trãn sau: - 95 - - Chæång IV - Kyï tæû C B A F G E D H Tỉì m 110 100 1111 1011 1010 11101 11100 Âäü daìi tổỡ maợ trung bỗnh bỏy giồỡ laỡ: L = 1(0.4) + 3(0.18 + 0.10) + 4(0.10 + 0.07 + 0.06) + 5(0.05 + 0.04) = 2.61(bit/kyï tæû) Váûy âäü låüi m họa l: η= H 2.55 x100 % = x100 % = 97.7 % L 2.61 Qua vê duû trãn ta tháúy hiãûu sút 85 % khäng m họa â tàng lãn âãún 97.7 % m họa Huffman Ta tháúy ràịng phỉång phạp m họa Huffman khäng phi chố cho mọỹt bọỹ maợ nhỏỳt, vỗ ta coù thãø k hiãûu báút cỉï nhạnh no l hay chỉï khäng bàõt büc Táút nhiãn âọ hiãûu sút m họa s khäng thay âäøi, nhỉng thỉï tỉû trng säú ca cạc nụt s thay âäøi Do tỉì m Huffman khạc âäúi våïi cạc táûp k tỉû khạc nãn âãø bãn thu cọ thãø gii m õổồỹc thỗ yóu cỏửu bón thu phaới bióỳt caùc tổỡ m liãn quan âãún dỉỵ liãûu phạt Cọ thãø thỉûc hiãûn âiãưu ny bàịng hai cạch Hồûc l bãn phạt gåíi bng m trỉåïc phạt dỉỵ liãûu, hồûc l bãn thu phi cọ sàơn bng m Phỉång phạp âáưu cọ ỉu âiãøm l cọ thãø m họa nẹn thêch nghi, vỗ tổỡ maợ coù thóứ thay õọứi cho phuỡ håüp våïi kiãøu dỉỵ liãûu truưn, nhỉng cọ khuút âiãøm l phi máút thåìi gian truưn bng m måïi mäùi gåíi kiãøu dỉỵ liãûu måïi 4.4.2 M họa Huffman âäüng (dynamic Huffman encoding) Khạc våïi m họa Huffman cå såí, phỉång phạp m họa Huffman âäüng khäng u cáưu bãn phạt v bãn thu biãút bng m liãn quan âãún dỉỵ liãûu phạt, cng khäng u cáưu kãút qu thäúng kã xạc sút xút hiãûn k tỉû ca ngưn tin Phỉång phạp m họa Huffman âäüng cho phẹp c bãn phạt (m họa) v bãn thu (gii m) láûp cáy m Huffman - v dáùn âãún bng m - mäüt cạch âäüng k tỉû âỉåüc phạt/ thu Våïi phỉång phạp ny, nãúu k tỉû phạt âang cọ màût cỏy maợ thỗ tổỡ maợ tổồng ổùng seợ õổồỹc xạc âënh giäúng m Huffman cå såí v gåïi âi theo cạch thäng thỉåìng Nãúu k tỉû chỉa cọ màût cáy m - nghéa l xút hiãûn láưn âáưu, thỗ noù seợ õổồỹc gồới õi theo daỷng khọng neùn Bäü m họa bãn phạt cáûp nháût vo cáy m Huffman bàịng cạch tàng säú láưn xút hiãûn (tàng trng säú) ca k tỉû phạt hồûc l âỉa thãm k tỉû måïi vo cáy Ngoi ra, âãø cho bãn thu cọ thãø xạc âënh âỉåüc k tỉû m nháûn, mäùi tỉì m phạt âỉåüc m họa theo cng cạch ca bãn thu Bãn thu tiãún hnh cạc thay âäøi giäúng bãn phạt v cọ mäüt bng riãng ca cáy Nhåì âọ bãn thu s xạc âënh âụng tỉì m tiãúp theo âỉåüc nháûn tu vo cáúu trục cáy måïi cáûp nháût C bãn phạt v bãn thu âãưu bàõt âáưu våïi mäüt cáy m chè cọ mäüt nhạnh trại - nhạnh - v mäüt - 96 - - Chỉång IV - nụt lạ räùng (empty leaf node) - nụt lạ cọ láưn xút hiãûn Âãø mä t chi tiãút phỉång phạp ny, ta xẹt vê dủ bn tin truưn âi bàõt âáưu bàịng dy k tổỷ: ABCDCDC Hỗnh 4.5 minh hoỹa caùc bổồùc lỏỷp cáy m Huffman Trỉåïc tiãn, c bãn phạt v bãn thu cng thnh láûp cáy ban âáưu ( mäüt nhạnh v mäüt nụt lạ räùng e0) Tiãúp theo, bäü m họa bàõt âáưu âc k tỉû âáưu tiãn bn tin - A - v gạn 'A'ï vo nhạnh phaớinhaùnh õỏửu tión Vỗ õỏy laỡ lỏửn xuỏỳt hióỷn âáưu tiãn ca 'A' nãn âỉåüc truưn âi khäng neùn (daỷng ASCII) Vỗ cỏy bón giaới maợ õang rọựng nãn nháûn dy bit nháûn âỉåüc l mäüt k tỉû khäng nẹn v sàõp xãúp k tỉû ny vo cáy theo cạch giäúng bãn m họa (hỗnh 4.5a) Vồùi mọựi kyù tổỷ tióỳp theo, trổồùc hóỳt bäü m họa kiãøm tra xem k tỉû âọ â coù mỷt cỏy maợ chổa Nóỳu coù rọửi thỗ bäü m họa s gåíi tỉì m theo cạch thäng thỉåìng giäúng m Huffman cå såí, tỉì m âỉåüc xạc âënh båíi vë trê ca k tỉû cáy Nóỳu chổa coù thỗ bọỹ maợ hoùa gồới tổỡ maợ hiãûn hnh cho nụt lạ räùng - âỉåüc xạc âënh båíi vë trê ca nụt lạ räùng cáy, theo sau laỡ tổỡ maợ khọng neùn cuớa kyù tổỷ Vỗ bäü gii m cng cọ cáy m y váûy nãn cọ thãø suy tỉì dng bit nháûn âỉåüc âáu l tỉì m cọ nẹn, âáu l nụt lạ räùng våïi k tỉû khäng nẹn theo sau Bäü m họa v gii m cáûp nháût vo cáy m dỉûa trãn k tỉû cúi cng âỉåüc phạt/ thu Nãúu õỏy laỡ kyù tổỷ mồùi thỗ nuùt laù rọựng õang täưn tải cáy âỉåüc thay bàịng mäüt nụt nhạnh måïi, nụt lạ räùng âỉåüc gạn bãn nhạnh v kyù tổỷ bón nhaùnh (hỗnh 4.5 b) Nóỳu kyù tổỷ õaợ coù mỷt cỏy thỗ sọỳ lỏửn xuỏỳt hiãûn ca nụt lạ tỉång ỉïng tàng lãn Vê duỷ hỗnh 4.5 e, bọỹ maợ hoùa kióứm tra vaỡ tháúy k tỉû 'C' â cọ màût cáy m nãn truưn âi tỉì m tỉång ỉïng l '01', trng säú ca nụt C tỉì tàng lãn thnh Caùc vờ duỷ tổồng tổỷ khaùc ồớ hỗnh 4.5 f v g Lục ny, vë trê ca nụt lạ cọ thãø khäng cn l vë trê täúi ỉu nổợa Vỗ vỏỷy, mọựi lỏửn cỏỷp nhỏỷt cỏy tổùc laỡ thãm k tỉû måïi hồûc tàng säú láưn xút hiãûn ca k tỉû sàơn cọ - c bäü m họa v gii m âãưu phi kiãøm tra v nãúu cáưn thỗ phaới thay õọứi trờ hióỷn taỷi cuớa tỏỳt c cạc nụt cáy Âãø âm bo c bäü m họa v gii m âãưu lm viãûc ny theo cng mäüt cạch, trỉåïc hãút c bäü m họa v gii m phi liãût kã cạc trng säú ca cạc nụt theo chiãưu tỉì trại sang phi, tỉì dỉåïi lãn trãn bàõt âáưu tỉì nụt lạ räùng Nãúu thỉï tỉû sừp xóỳp tng dỏửn thỗ khọng thay õọứi cỏy, nóỳu khọng õuùng thỗ phaới thay õọứi cỏỳu truùc cuớa cỏy bàịng cạch thay âäøi vë trê ca cạc nụt cáy Khi âỉa nụt lạ âãún vë trê måïi phi km theo ton bäü cạc nhạnh v nụt ca chuùng (hỗnh 4.5 c õóỳn 4.5 g) Qua vờ duỷ trãn ta tháúy nãúu truưn dy k tỉû A B C D C D C bũng maợ ASCII thỗ mỏỳt 49 bit, duỡng maợ Huffman õọỹng thỗ máút 41 bit Bàng thäng truưn dáùn chè âỉåüc tiãút kiãûm bàõt âáưu tỉì cọ k tỉû làûp lải Thỉûc tãú, cạc file vàn bn ln cọ sỉû làûp lải k tỉû, v m Huffman âäüng âỉåüc ỉïng dủng nhiãưu ỉïng dủng truưn thäng, l nẹn dỉỵ liãûu modem V.32 - 97 - - Chæång IV - K tỉû (a) A Phạt e0 'A' e0 (b) B A1 0 'B' 1 A1 e0 (c) C B1 0 'C' A1 1 e0 B1 C1 A1 1 e0 (d) D 0 'D' - 98 - B1 C1 - Chæång IV - (d) D 0 'D' A1 B1 1 C1 e0 D1 2 1 C1 C A1 B1 D1 01 0 1 e0 1 e0 (e) 0 C2 D1 - 99 - A1 B1 - Chæång IV B1 A1 D1 D C2 e0 (f) 1 001 3 B1 A1 C2 e0 D2 B1 C D2 C2 A1 11 0 B1 e0 1 e0 (g) A1 - 100 - D2 C3 - Chæång IV - C3 D2 1 e0 B1 A1 Hỗnh 4.5 Vờ duỷ maợ hoùa Huffman âäüng 4.5 M họa facsimile (fax) Fax l dëch vủ truưn cạc ti liãûu säú âen tràõng, gäưm cạc vàn bn âạnh mạy, viãút tay, tranh nh, âäư thë, bng biãøu Trong mạy fax cọ mạy quẹt, quẹt mäüt trang theo chiãưu dc våïi âäü phán gii l 3.85 hồûc 7.7 dng/ mm v 1728 âiãøm nh (pixel) trãn mäùi dng Nãúu mäùi pixel âỉåüc lỉåüng tỉí họa nhë phán thaình bit cho maìu tràõng vaì bit cho maỡu õen thỗ mọỹt trang giỏỳy A4 taỷo khong triãûu bit Nãúu truưn trang A4 khäng nẹn qua modem 4.8 kbps thỗ mỏỳt gỏửn phuùt õóứ truưn Thỉûc tãú, háưu hãút cạc ti liãûu, nhiãưu dng quẹt chè gäưm ton mu tràõng, nhiãưu dng khạc chỉïa c dy di mu tràõng v dy di mu õen Vỗ maùy fax thổồỡng duỡng vồùi maỷng cọng cọỹng nãn ITU-T â âỉa cạc chøn liãn quan Âọ l fax nhọm 1, nhọm 2, nhọm v nhọm Nhọm v nhọm ngy ráút êt dng, nhọm dng mảng PSTN, nhọm dng mảng hon ton säú ISDN C nhọm v nhọm âãưu âảt t lãû nẹn khong 10:1 Do váûy âãø truưn trang A4 våïi fax nhọm chè máút chỉa âáưy phụt, våïi fax nhọm cọ âỉåìng truưn täúc âäü cao hån (64kbps) nãn chè mỏỳt vaỡi giỏy Quaù trỗnh maợ hoùa trổồùc tión laỡ phán têch täøng quạt trang ti liãûu âỉåüc quẹt Bng m fax âỉåüc tảo dỉûa trãn cå såí vãư táưn sút xút hiãûn ca mäüt säú pixel tràõng v âen liãn tủc (gi l run length) mäùi dng queùt Tổỡ maợ ngừn hồn thỗ õổồỹc ỏỳn õởnh cho cạc run length hay xút hiãûn hån v ngỉåüc lải Nọi cạch khạc, âáy chênh l m họa Huffman cå såí Bng m fax cäú âënh gäưm hai bng m riãng biãût: bng m cúi (termination-codes table) v bng m makeup (make-up codes table) Bng 4.2 l bng m nhọm v nhọm theo chøn ITU-T Bng m cúi dng cho cạc run length tỉì âãún 63 pixel, bỉåïc nhy l pixel Bng m make-up dng cho cạc run length tỉì 64 âãún 2560 pixel, bỉåïc nhy l 64 pixel K thût quẹt - 101 - - Chỉång IV - ngáưm âënh l táút c cạc dng âãưu bàõt âáưu våïi êt nháút l pixel mu tràõng Theo cạch ny, bãn thu biãút âỉåüc tỉì m âáưu tiãn ln ln liãn quan âãún pixel mu tràõng (a) Run length tràõng Tỉì m Run length âen Tỉì m 00110101 0000110111 000111 010 0111 11 1000 10 62 00110011 62 000001100110 63 00110100 63 000001100111 Run length tràõng Tỉì m Run length âen Tỉì m 64 11011 64 0000001111 128 10010 128 000011001000 192 010111 192 000011001001 2560 000000011111 2560 000000011111 EOL 00000000001 EOL 00000000001 (b) Baíng 4.2 Bng m Fax nhọm v nhọm (ITU-T) (a) Bng m cúi (b) Bng m make-up Vê dủ mọỹt run length gọửm 12 pixel trừng thỗ õổồỹc maợ họa trỉûc tiãúp thnh 001000, mäüt run length gäưm 140 pixel õen thỗ õổồỹc maợ hoùa thaỡnh 000011001000 + 0000111, vỗ 140 pixel = 128 pixel + 12 pixel Nóỳu run length gọửm nhióửu hồn 2560 pixel thỗ seợ õổồỹc m họa bàịng cạch dng nhiãưu m make - up cäüng våïi mäüt m cúi Mäüt vê dủ khạc, mäüt dng quẹt ca dy k tỉû T I E âỉåüc maợ hoùa nhổ hỗnh 4.6 Fax nhoùm khọng coù thuớ tuỷc xổớ lyù lọựi Nóỳu quaù trỗnh truyóửn coù mọỹt hoỷc vaỡi bit lọựi thỗ bón thu seợ máút âäưng bäü Âãø cho phẹp bãn thu cọ thãø âäưng bäü lải, mäùi dng quẹt ln âỉåüc kãút - 102 - - Chỉång IV - thục bàịng k tỉû EOL (end-of-line), mäùi trang kãút thục bàịng dy k tỉû EOL liãn tiãúp Theo cạch ny, nãúu bãn thu khäng gii m âỉåüc sau mäüt säú bit täúi âa ổùng vồùi mọỹt tổỡ maợ thỗ noù phaới tỗm EOL Nóỳu sau vaỡi doỡng queùt vỏựn chổa tỗm õổồỹc EOL thỗ bón thu ngổng giaới maợ vaỡ thọng baùo cho bãn phạt Fax nhọm cọ th tủc xỉí l läùi Âọ l th tủc MMR (modified-modifed read) [ 6] 1111110011111111100111110000000011 bit | run length 6W |2B| 1110 9W |2B| 5W 10100 11 | 8B 1100 11 |2W 0111 000101 111011101001111000001010111 tràõng âen âáưu ca m họa fax (Huffman) Hỗnh 4.6 Vờ duỷ maợ hoùa fax TOẽM TếT CHặNG Lỉåüng tin l mäüt âải lỉåüng dng âãø âạnh giạ âënh lỉåüng cho tin tỉïc Lỉåüng tin liãn quan âãún kh nàng dỉû âoạn âỉåüc ca tin Lỉåüng tin âỉåüc l logarit ám ca xạc sút xút hiãûn cuớa tin Nóỳu cồ sọỳ cuớa liogarit laỡ thỗ âån vë va lỉåüng tin l bit Entropy H cuớa nguọửn tin laỡ lổồỹng tin trung bỗnh chổùa mäüt k tỉû báút k ca ngưn tin Giạ trë låïn nháút ca entropy âảt âỉåüc cạc k tỉû âäüc láûp v âäưng xạc sút Entropy ca mäüt ngưn tin nhë phán âäüc láûp thäúng kã, xaïc suáút xuáút hiãûn ca säú '1' v '0' bàịng l bit/säú nhë phán Sỉû phủ thüc thäúng kã ca cạc k tỉû v xạc sút xút hiãûn cạc k tỉû khäng bàịng lm cho entropy ca ngưn nh hån entropy cỉûc âải Sai khạc giỉỵa entropy cỉûc âải v entropy thỉûc sỉû ca ngưn l âäü dỉ Nhiãùu trãn kãnh truưn lm cho quút âënh tải bãn thu vóử kyù tổỷ thu khọng chừc chừn õuùng Vỗ váûy nhiãùu lm gim lỉåüng tin dng k tỉû thu Lỉåüng tin ca cạc k tỉû thu âỉåüc gi l entropy hiãûu qu, bàịng entropy phạt trỉì âi âäü nghi ngåì nhiãùu Cọ thãø xem nhiãùu l tin ám cäüng thãm vo dng k tỉû phạt - 103 - - Chæång IV - Täúc âäü thiãút láûp tin ca ngưn l mäüt thäng säú phủ thüc vo cháút váût l ca ngưn Thäng säú ny chố sổỷ hỗnh thaỡnh tin nhanh hay chỏỷm õóứ âỉa vo kãnh, âỉåüc l têch ca entropy våïi säú k hiãûu ngưn láûp âỉåüc mäüt âån vë thåìi gian, âån vë âo laì bit/s Täúc âäü láûp tin ca ngưn s cỉûc âải entropy ca ngưn cỉûc âải Thäng lỉåüng ca kãnh l lỉåüng tin täúi âa kãnh cho âi qua mäüt âån vë thåìi gian maì khäng gáy läùi Âån vë âo giäúng âån vë ca täúc âäü láûp tin (bit/s) Thäng thỉåìng täúc âäü láûp tin bẹ hån nhiãưu so våïi thäng lỉåüng kãnh Theo Shannon, cọ thãø m họa âãø lm cho täúc âäü láûp tin ca ngưn tiãúp cáûn våïi thäng lỉåüng kãnh M họa ngưn tin X bàịng táûp M cọ nghéa l biãún âäøi mäùi tin ca ngưn tin X thnh mäüt táûp cạc pháưn tỉí thüc M nhàịm tha mn mäüt u cáưu no âọ ca hãû thäúng thäng tin Phẹp biãún âäøi ngỉåüc lải âỉåüc gi l gii m Cạc tham säú cå bn ca m gäưm âäü di ca tỉì, m trng lỉåüng tỉì m, khong cạch m Cọ thãø phán loải m theo nhiãưu cạch khạc nhau, dỉûa vo âäü di ca tỉì m, trng lỉåüng ca tỉì m, khong cạch m giỉỵa hai tỉì m kãư nhau, cå säú ca m, âäü tin cáûy, hiãûu sút thäng tin 10 Cọ nhiãưu phỉång phạp biãøu diãùn m khạc nhau: phỉång phạp liãût kã l phỉång phạp âån gin nháút, cọ ỉu âiãøm l r rng, củ thãø nhỉng cäưng kãưnh, khäng thêch håüp våïi cạc bäü m låïn; phỉång phạp ma tráûn rụt gn tỉì phỉång phạp liãût kã, thêch håüp våïi cạc m khäúi tuún tênh; phỉång phaùp cỏy giuùp cho vióỷc giaới maợ dóự daỡng, nhỗn vo cáy cọ thãø biãút âỉåüc mäüt säú âàûc âiãøm ca bäü m; phỉång phạp âa thỉïc thêch håüp våïi cạc m vng, giụp cho viãûc m họa v gii m m vng dãù dng bàịng cạch sỉí dủng cạc phẹp toạn âäúi våïi âa thỉïc 11 M họa ngưn nhàịm loải b âäü dỉ cạc k tỉû dng âãø m họa, lm cho viãûc truưn v lỉu trỉỵ thọng tin trồớ nón hióỷu quaớ hồn Noùi chung thỗ m họa ngưn phi tha gii m nháút 12 Ngun tàõc ca m họa ngưn råìi rảc l m họa cạc k tỉû cọ xạc sút sinh låïn bàịng cạc tỉì m ngàõn v m họa cạc k tỉû cọ xạc sút sinh bẹ bàịng cạc tỉì m di Loải m ny gi l m họa thäúng kã 13 Viãûc truưn tin s tråí nãn kinh tãú hån nãúu m thäúng kã cọ âäü di trung bỗnh cuớa tổỡ maợ laỡ nhoớ nhỏỳt Loaỷi maợ nhổ váûy gi l m thäúng kã täúi ỉu Âáy cng chênh l m họa nẹn 14 M Huffman l mäüt loải m thäúng kã täúi ỉu M Huffman âảt âỉåüc yóu cỏửỡu vóử õọỹ daỡi tổỡ maợ trung bỗnh nhoớ nháút v tho gii m nháút Thãm vo âọ, m Huffman cn tho gii m tỉïc thåìi, nghéa l khäng cọ tỉì m no trng våïi pháưn âáưu ca tỉì m khạc di hån 15 M họa fax - loải m họa dng dëch vủ facsimile - l mäüt ỉïng dủng ca m hoạ Huffman cå såí Âáy l loải m tho gii m nháút, tỉïc thåìi v khäng cọ täøn hao Phỉång phạp m họa ngưn cho phẹp âảt nhỉỵng chè tiãu kinh tãú täút, nhiãn cáưn phi âm bo chè tiãu truưn tin chênh xạc Âãø gii quút váún âãư ny cọ mäüt gii phạp l m họa kãnh - 104 - ... thóứ veợ laỷi cỏy maợ Huffman vổỡa lỏỷp õổồỹc nhổ hỗnh 4. 4 b (a) C 0 .40 0 .40 0 .40 0 .40 0 .40 0 .40 0.60(1) B 0.18 0.18 0.18 0.19 0.23 0.37(1) 0 .40 (0) A 0.10 0.10 0.13 0.18 0.19(1) 0.23(0) F 0.10 0.10... (facsimile) 4. 1 L thuút tin 4. 1.1 Âo tin tỉïc Âãø âạnh giạ âënh lỉåüng cho tin tỉïc, ngỉåìi ta âỉa khại niãûm lỉåüng tin (information content) Lỉåüng tin liãn quan âãún giạ trë ca tin, hay nọi... âọ chỉïa ráút nhiãưu tin Váûy xạc sút caỡng cao thỗ baớn tin caỡng chổùa ờt tin vaỡ ngỉåüc lải Ta cọ thãø viãút: p (bn tin) = khäng mang tin p (baín tin) = mang mäüt lỉåüng tin vä hản Tỉì nháûn