- Chổồng IV - Chổồng 4 Maợ hoùa nguọửn Hóỷ thọỳng thọng tin õổồỹc sổớ duỷng õóứ truyóửn tin tổùc tổỡ nguọửn tin õóỳn nhỏỷn tin. Nguọửn tin sinh ra tin dổồùi nhióửu daỷng khaùc nhau, vờ duỷ ỏm thanh trong hóỷ thọỳng radio, tờn hióỷu video trong hóỷ thọỳng vọ tuyóỳn truyóửn hỗnh Tin naỡy coù thóứ õổồỹc õổa trổỷc tióỳp vaỡo kónh õóứ truyóửn õi, nhổng trong thổỷc tóỳ, tin naỡy thổồỡng õổồỹc bióỳn õọứi rọửi õổa vaỡo kónh truyóửn. Vờ duỷ nhổ tin laỡ vn baớn tióỳng Anh, nguọửn tin coù khoaớng 40 kyù tổỷ (symbol) khaùc nhau, gọửm caùc mỏựu tổỷ alphabet, con sọỳ, dỏỳu chỏỳm cỏu Vóử nguyón từc ta coù thóứ duỡng 40 daỷng soùng õióỷn aùp khaùc nhau õóứ bióứu thở 40 kyù tổỷ naỡy. Tuy nhión thổỷc tóỳ thỗ phổồng phaùp naỡy khọng phuỡ hồỹp, quaù khoù thổỷc hióỷn hay thỏỷm chờ khọng thóứ õổồỹc, vỗ: - Kónh truyóửn khọng phuỡ hồỹp vóử mỷt vỏỷt lyù õóứ coù thóứ mang nhióửu kyù tổỷ khaùc nhau nhổ vỏỷy. - Daới tỏửn õoỡi hoới seợ rỏỳt rọỹng. - Vióỷc lổu trổợ hay xổớ lyù tờn hióỷu trổồùc khi truyóửn rỏỳt khoù, trong khi nóỳu chuyóứn sang nhở phỏn thỗ moỹi vióỷc seợ dóự daỡng hồn nhióửu. Vỏỷy ta thỏỳy cỏửn phaới thay õọứi daỷng cuớa tin khaùc õi so vồùi daỷng ban õỏửu do nguọửn cung cỏỳp. Cọng vióỷc thay õọứi daỷng naỡy õổồỹc goỹi laỡ maợ hoùa (encoding). Cồ sồớ lyù thuyóỳt cuớa maợ hoùa laỡ lyù thuyóỳt tin (information theory). Lyù thuyóỳt tin lión quan õóỳn vióỷc bióứu dióựn tin bũng caùc kyù tổỷ, õổa ra giồùi haỷn lyù thuyóỳt cho vióỷc thổỷ c hióỷn hóỷ thọỳng thọng tin, cho pheùp õaùnh giaù hióỷu suỏỳt cuớa hóỷ thọỳng thổỷc tóỳ. Nóửn taớng cuớa lyù thuyóỳt tin do Hartley vaỡ Nyquist õổa ra tổỡ nhổợng nm 1920 vaỡ õổồỹc Shannon hoaỡn chốnh vaỡ tọứng kóỳt vaỡo nm 1948. ỏy laỡ mọỹt lyù thuyóỳt phổùc taỷp, phỏửn õỏửu cuớa chổồng naỡy daỡnh õóứ trỗnh baỡy nhổợng vỏỳn õóử cồ baớn nhỏỳt cuớa lyù thuyóỳt tin. Vóử caùc muỷc õờch cuớa maợ hoùa, ta coù thóứ toùm từt nhổ sau: - ởnh daỷng, õóứ chuyóứn tin tổỡ daỷng gọỳc tổỷ nhión sang daỷng chuỏứn vờ duỷ sang daỷng sọỳ PCM. - Maợ hoùa õổồỡng, õóứ õaớm baớo daỷng soùng cuớa kyù tổỷ truyóửn õi phuỡ hồỹp vồùi caùc õỷ c õióứm cuớa kónh truyóửn. - Maợ hoùa nguọửn (source encoding), nhũm giaớm sọỳ kyù tổỷ trung bỗnh yóu cỏửu õóứ truyóửn baớn tin. - Mỏỷt maợ hoùa (encryption), õóứ maợ hoùa baớn tin bũng mọỹt khoùa mỏỷt maợ nhũm traùnh sổỷ thỏm nhỏỷp traùi pheùp, õaớm baớo õọỹ an toaỡn cho thọng tin. - Maợ hoùa kónh truyóửn (channel encoding), cho pheùp bón thu coù thóứ phaùt hióỷn, kóứ caớ sổớa - 81 - - Chỉång IV - âỉåüc cạc läùi trong bn tin thu âãø tàng âäü tin cáûy ca thäng tin. Pháưn âënh dảng v m họa âỉåìng â âỉåüc xẹt âãún trong chỉång III. Do nhỉỵng âàûc âiãøm riãng, pháưn máût m họa khäng âỉåüc âãư cáûp trong giạo trçnh ny. Pháưn m hoạ kãnh truưn s âỉåüc trçnh by trong chỉång sau. Chỉång ny trçnh by vãư m họa ngưn, trong âọ táûp trung vo loải m thäúng kã täúi ỉu. Loải m ny tảo ra tỉì m cọ âäü di thay âäøi, trong âọ phäø biãún l m Huffman, bao gäưm m Huffman cå såí (basic Huffman) v m Huffman âäüng (dynamic Huffman). Pháưn cúi chỉång s giåïi thiãûu så lỉåüc vãư m họa fax (facsimile) 4.1 L thuút tin 4.1.1 Âo tin tỉïc Âãø âạnh giạ âënh lỉåüng cho tin tỉïc, ngỉåìi ta âỉa ra khại niãûm lỉåüng tin (information content). Lỉåüng tin liãn quan âãún giạ trë ca tin, hay nọi cạch khạc l kh nàng dỉû âoạn âỉåüc (predictability) ca tin: mäüt tin cọ kh nàng âoạn trỉåïc cng nhiãưu thç cng chỉïa êt tin. Vê dủ, bn tin vãư t säú tráûn bọng Manchester United - Bradford Academicals l 7 - 0 chỉïa ráút êt tin nhỉng kãút qu ngỉåüc lải thç gáy cháún âäüng, v do âọ chỉïa ráút nhiãưu tin. Váûy xạc sút cng cao thç bn tin cng chỉïa êt tin v ngỉåüc lải. Ta cọ thãø viãút: p (bn tin) = 1 khäng mang tin p (bn tin) = 0 mang mäüt lỉåüng tin vä hản. Tỉì nháûn xẹt trãn, ta tháúy tin cng cọ nghéa khi nọ cng hiãúm gàû p, nãn âäü låïn ca nọ phi t lãû nghëch våïi xạc sút xút hiãûn ca tin. Xẹt ngưn tin X råìi rảc sinh ra cạc tin i våïi xạc sút l p(i), lỉåüng tin ca tin i phi l mäüt hm cọ cạc âàûc âiãøm sau: - T lãû nghëch våïi xạc sút xút hiãûn p(i), hay âọ l hm f(1/p(i)). - Hm ny phi l 0 khi p(i) = 1. - Nãúu hai tin âäüc láûp thäúng kã l i v j âäưng thåìi xút hiãûn, ta cọ tin l (i,j), lỉåüng tin chung ca chụng phi bàòng täøng lỉåüng tin ca tỉìng tin, nghéa l: f(1/p(i,j)) = f(1/p(i)) + f(1/p(j)) Theo lût nhán xạc sút ta cọ: p(i,j) = p(i).p(j) Do âọ: f(1/(p(i).p(j))) = f(1/p(i)) + f(1/p(j)) Ta tháúy hm loga tho mn táút c cạc u cáưu ny. Váûy hm log(1/p(i)) âỉåüc chn âãø âạnh giạ âënh lỉåüng cho tin. Lỉåüng tin ca mäüt tin i âỉåüc k hiãûu l I(i). Âënh nghéa lỉåüng tin ca mäüt tin i l: )i(plog )i(p 1 log)i(I −== - 82 - - Chổồng IV - ồn vở õo cuớa lổồỹng tin tuyỡ thuọỹc vaỡo cồ sọỳ cuớa loga. ồn vở cuớa lổồỹng tin laỡ bit, laỡ nat hay laỡ hartley khi cồ sọỳ cuớa loga lỏửn lổồỹt laỡ 2, laỡ e hay laỡ 10. Trong õoù cồ sọỳ 2 thổồỡng õổồỹc choỹn hồn caớ. Khi choỹn cồ sọỳ 2 thỗ lổồỹng tin cuớa tin i laỡ: )i(plog )i(p 1 log)i(I 22 == (bit) Vỏỷy coù thóứ õởnh nghộa bit nhổ sau: bit laỡ lổồỹng tin mang trong mọỹt kyù tổỷ coù xaùc suỏỳt xuỏỳt hióỷn laỡ p = 0,5. 4.1.2 Entropy cuớa nguọửn tin Entropy H õổồỹc õởnh nghộa laỡ giaù trở trung bỗnh thọỳng kó cuớa lổồỹng tin. où laỡ lổồỹng tin trung bỗnh chổùa trong mọỹt kyù tổỷ bỏỳt kyỡ cuớa nguọửn tin. Xeùt mọỹt nguọửn tin sinh ra M kyù tổỷ õọỹc lỏỷp thọỳng kó. Nguọửn tin naỡy õổồỹc goỹi laỡ nguọửn rồỡi raỷc khọng nhồù (discrete memoryless source). Entropy cuớa nguọửn naỡy laỡỡ: = = M 1m 2 )m(p 1 log)m(pH (bit/kyù tổỷ) trong õoù p (m) laỡ xaùc suỏỳt choỹn kyù tổỷ thổù m. Lyù thuyóỳt tin õaợ chổùng minh giaù trở lồùn nhỏỳt cuớa entropy laỡ MlogH 2max = , õaỷt õổồỹc khi caùc kyù tổỷ õọỹc lỏỷp vaỡ õọửng xaùc suỏỳt (equiprobable), nghộa laỡ: M,1m,M/1)m(p == ọỳi vồùi nguọửn tin ASCII coù M = 128 thỗ entropy cổỷc õaỷi laỡ: H max = - log 2 (1/128) = 7 (bit/kyù tổỷ). Thổỷc tóỳ thỗ õióửu naỡy khoù xaớy ra nón entropy cuớa nguọửn ASCII laỡ: 7 )m(p 1 log)m(pH 128 1m 2 <= = (bit/kyù tổỷ) ọỳi vồùi nguọửn tin nhở phỏn coù M = 2, nóỳu p (1) = 1 vaỡ p (0) = 1-p thỗ entropy laỡ: p1 1 log)p1( p 1 logp )m(p 1 log)m(pH 22 2 1m 2 +== = (bit/kyù tổỷ) 4.1.3 Entropy coù õióửu kióỷn vaỡ õọỹ dổ ọỳi vồùi caùc nguọửn tin trong õoù vióỷc sinh ra kyù tổỷ sau khọng õọỹc lỏỷp thọỳng kó vồùi caùc kyù tổỷ trổồùc õoù ( goỹi laỡ nguọửn coù nhồù - memory source) thỗ cọng thổùc entropy trón khọng õuớ tọứng quaùt õóứ tờnh õổồỹc entropy chờnh xaùc. Trong trổồỡng hồỹp naỡy phaới xeùt õóỳn xaùc suỏỳt coù õióửu kióỷn (conditional probability). Vờ duỷ vồùi nguọửn coù nhồù mọỹt kyù tổỷ, nghộa laỡ kyù tổỷ sau õổồỹc choỹn phuỷ thuọỹc vaỡo mọỹt kyù tổỷ trổồùc õoù, entropy õổồỹc tờnh nhổ sau: - 83 - - Chổồng IV - = j 2 i )ij(p 1 log)i,j(pH (bit/kyù tổỷ) ồớ õỏy laỡ xaùc suỏỳt nguọửn choỹn i vaỡ j, )i,j(p )ij(p laỡ xaùc suỏỳt nguọửn choỹn j nóỳu trổồùc õoù õaợ choỹn i. Theo õởnh lyù Bayes, ta coù: )ij(p)i(p)i,j(p = Vỏỷy: = j 2 i )ij(p 1 log)ij(p)i(pH (bit/kyù tổỷ) Sổỷ khaùc nhau giổợa entropy thổỷc sổỷ cuớa nguọửn vaỡ entropy cổỷc õaỷi goỹi laỡ õọỹ dổ (redundancy) cuớa nguọửn, kyù hióỷu laỡ r: == j 2 i 2max )ij(p 1 log)ij(p)i(pMlogHHr (bit/kyù tổỷ) ọỹ dổ tổồng õọỳi cuớa nguọửn õổồỹc õởnh nghộa nhổ sau: maxmax max H H 1 H HH r = = 4.1.4 Sổỷ mỏỳt maùt tin do nhióựu Goỹi kyù tổỷ nguọửn thổù i õổồỹc truyóửn õi laỡ , xaùc suỏỳt xuỏỳt hióỷn laỡ , lổồỹng tin cuớa laỡ : TX i TX i )i(p TX TX i )i(I TXTX )i(p 1 log)i(I TX 2TXTX = (bit) ọỳi vồùi kónh khọng nhióựu (noiseless channel), giaớ sổớ õióỷn aùp tổồng ổùng vồùi kyù tổỷ phaùt laỡ , khi bón nhỏỷn tin taùch õổồỹc thỗ coù thóứ bióỳt chừc chừn kyù tổỷ phaùt ồớ nguọửn laỡ . Lổồỹng tin trong trổồỡng hồỹp naỡy õổồỹc baớo toaỡn khi truyóửn qua kónh: RX v TX i RX v TX i )i(p 1 log)i(I)i:v(I TX 2TXTXTXRXRX == (bit) Tuy nhión, õọỳi vồùi kónh coù nhióựu (noise channel), khi bón nhỏỷn tin taùch õổồỹc õióỷn aùp thỗ khọng thóứ kóỳt luỏỷn chừc chừn vóử kyù tổỷ thổỷc phaùt ồớ nguọửn. Sổỷ khọng chừc chừn naỡy lión quan õóỳn xaùc suỏỳt RX v )vi(p RXTX , õỏy laỡ xaùc suỏỳt phaùt kyù tổỷ thổù i vaỡ taùch õổồỹc õióỷn aùp ồớ bón nhỏỷn (ọỳi vồùi kónh khọng nhióựu, xaùc suỏỳt naỡy laỡ 1). ọỳi vồùi kónh coù nhióựu, tin nhỏỷn õổồỹc ờt hồn tin truyóửn õi mọỹt lổồỹng lión quan õóỳn õọỹ khọng chừc chừn cuớa quyóỳt õởnh. Thổỷc tóỳ, lổồỹng tin nhỏỷn õổồỹc laỡ: RX v - 84 - - Chổồng IV - )i(p )vi(p log)i:v(I TX RXTX 2TXRXRX = (bit) Giaớ sổớ bón nhỏỷn tin thổỷc hióỷn quyóỳt õởnh cổùng, õióỷn aùp chuyóứn õọứi trổỷc tióỳp thaỡnh kyù tổỷ nhỏỷn laỡ . Trong trổồỡng hồỹp naỡy, lổồỹng tin nhỏỷn õổồỹc laỡ: RX v RX i )i(p )ii(p log)i(I TX RXTX 2RXRX = (bit) Sổỷ suy giaớm lổồỹng tin trong mọựi kyù tổỷ do nhióựu coù nghộa laỡ entropy nhỏỷn nhoớ hồn entropy phaùt. Entropy nhỏỷn chờnh laỡ entropy hióỷu quaớ (effective entropy) cuớa caùc kyù tổỷ nhỏỷn. Kyù hióỷu entropy hióỷu quaớ laỡ vaỡ õổồỹc tờnh nhổ sau: eff H = i RXRXRXeff )i(I)i(pH (bit/kyù tổỷ) ồớ õỏy laỡ xaùc suỏỳt thu kyù tổỷ thổù i. )i(p RX Sổỷ khaùc nhau giổợa vaỡ entropy phaùt goỹi laỡ õọỹ nghi ngồỡ (equivocation) E: eff H eff H = H - E (bit/kyù tổỷ) ọỹ nghi ngồỡ õổồỹc tờnh tổỡ vióỷc ta khọng chừc laỡ kyù tổỷ truyóửn õi coù giọỳng vồùi kyù tổỷ nhỏỷn õổồỹc hay khọng. Sổỷ khọng chừc chừn naỡy laỡ do kónh truyóửn coù nhióựu nón coù thóứ xem nhióựu chờnh laỡ tin ỏm cọỹng vaỡo doỡng kyù tổỷ phaùt. ọỹ nghi ngồỡ õổồỹc õởnh nghộa laỡ: )ji(p 1 log)ji(p)j(p )ji(p 1 log)j,i(pE RXTX 2 i RXTX jj RX RXTX 2RXTX i == ồớ õỏy laỡ xaùc suỏỳt nhỏỷn kyù tổỷ thổù j, )j(p RX )ji(p RXTX lión quan õóỳn xaùc suỏỳt lọựi kyù tổỷ. 4.1.5 Tọỳc õọỹ lỏỷp tin cuớa nguọửn tin Ngoaỡi thọng sọỳ cồ baớn cuớa nguọửn laỡ entropy tuyỡ thuọỹc vaỡo cỏỳu truùc thọỳng kó cuớa nguọửn, coỡn coù mọỹt thọng sọỳ khaùc tuyỡ thuọỹc vaỡo tờnh chỏỳt vỏỷt lyù cuớa nguọửn. où laỡ tọỳc õọỹ thióỳt lỏỷp tin (information rate) cuớa nguọửn, kyù hióỷu laỡ R. Thọng sọỳ naỡy chố ra sổỷ hỗnh thaỡnh tin nhanh hay chỏỷm õóứ õổa vaỡo kónh. Vờ duỷ con ngổồỡi, do kóỳt cỏỳu cuớa cồ quan phaùt ỏm nón mọựi giỏy chố phaùt ỏm õổồỹc tổỡ 5 õóỳn 7 tióỳng, trong khi mọỹt thióỳt bở õỏửu cuọỳi sọỳ lióỷu coù thóứ õaỷt õóỳn haỡng ngaỡn kyù hióỷu trong mọỹt giỏy. Tọỳc õọỹ thióỳt lỏỷp tin cuớa nguọử n coù õồn vở laỡ lổồỹng tin trón õồn vở thồỡi gian (trổồỡng hồỹp duỡng loga cồ sọỳ 2 thỗ õồn vở laỡ bit/s) vaỡ õổồỹc tờnh laỡ tờch cuớa entropy vồùi sọỳ kyù hióỷu lỏỷp õổồỹc trong mọỹt õồn vở thồỡi gian: - 85 - - Chổồng IV - HnR 0 = (bit/s) trong õoù n 0 laỡ sọỳ kyù hióỷu lỏỷp õổồỹc trong mọỹt õồn vở thồỡi gian, tuyỡ thuọỹc vaỡo tờnh chỏỳt vỏỷt lyù cuớa nguọửn. Ta thỏỳy õóứ nỏng cao tọỳc õọỹ thióỳt lỏỷp tin cuớa nguọửn cỏửn thióỳt phaới nỏng cao entropy. Tọỳc õọỹ lỏỷp tin cuớa nguọửn seợ cổỷc õaỷi khi entropy cuớa nguọửn cổỷc õaỷi. 4.1.6 Thọng lổồỹng kónh ởnh nghộa thọng lổồỹng cuớa kónh (channel capacity) laỡ lổồỹng tin tọỳi õa kónh cho õi qua trong mọỹt õồn vở thồỡi gian maỡ khọng gỏy lọựi. Kyù hióỷu thọng lổồỹng kónh laỡ C vaỡ õồn vở õo giọỳng nhổ õồn vở cuớa tọỳc õọỹ lỏỷp tin (bit/s). Thọng thổồỡng tọỳc õọỹ lỏỷp tin beù hồn nhióửu so vồùi thọng lổồỹng kónh: CR < < a) Trổồỡng hồỹp truyóửn tin trong kónh khọng nhióựu: Khi kónh khọng nhióựu, toaỡn bọỹ tin tổùc õóửu õổồỹc truyóửn qua kónh maỡ khọng bở lọựi. Lổồỹng tin tọỳi õa maỡ kónh cho qua cuợng bũng vồùi lổồỹng tin tọỳi õa maỡ nguọửn coù thóứ thióỳt lỏỷp. Vỏỷy thọng lổồỹng kónh laỡ: max0max HnRC = = (bit/s) Theo Shannon, nóỳu R < C thỗ coù thóứ maợ hoùa õóứ laỡm cho tọỳc õọỹ lỏỷp tin cuớa nguọửn tióỳp cỏỷn vồùi thọng lổồỹng kónh: < ,RC laỡ vọ cuỡng beù Phổồng phaùp maợ hoùa naỡy õổồỹc goỹi laỡ maợ hoaù thọỳng kó tọỳi ổu. b) Trổồỡng hồỹp truyóửn tin trong kónh coù nhióựu: Trong kónh coù nhióựu, lổồỹng tin truyóửn õi bở hao huỷt mọỹt phỏửn do nhióựu nón thọng lổồỹng kónh bở giaớm õi. Lổồỹng giaớm õi õoù chờnh laỡ lổồỹng tin bở nhióựu phaù huớy trong mọỹt õồn vở thồỡi gian, õổồỹc tờnh bũng n 0 E. Vỏỷy thọng lổồỹng kónh coù nhióựu laỡ: )EH(nEnHnR max00max0 = = Theo Shannon, nóỳu R < C thỗ coù thóứ maợ hoùa õóứ tin õổồỹc truyóửn õi trong kónh vồùi xaùc suỏỳt lọựi beù tuyỡ yù vaỡ nóỳu R > C thỗ khọng thóứ truyóửn tin õi maỡ khọng bở lọựi. Phổồng phaùp maợ hoùa õóứ giaớm xaùc suỏỳt lọựi õổồỹc goỹi laỡ maợ hoaù õióửu khióứn lọựi. óứ so saùnh caùc loaỷi hóỷ thọỳng thọng tin khaùc nhau, ta coù thóứ xeùt kónh truyóửn cho thuỏỷn tióỷn. Xeùt kónh coù nhióựu gausse trừng, tyớ sọỳ tờn hióỷu trón nhióựu trung bỗnh laỡ S/N, bng thọng cuớa kónh laỡ B. Theo õởnh lyù Hartley - Shannon, thọng lổồỹng cuớa kónh naỡy laỡ: )N/S1(logBC 2 + = (bit/s) - 86 - - Chỉång IV - Cọ thãø ạp dủng räüng ri kãút qu ny cho nhiãưu hãû thäúng khạc nhau båíi vç cọ thãø mä hçnh họa nhiãưu kãnh thnh kãnh gausse tràõng (white gaussian channel). Kãút qu ny cng âỉåüc cháúp nháûn cho c kãnh liãn tủc v råìi rảc. 4.2 Cå bn vãư m họa 4.2.1 Âënh nghéa m họa Cho ngưn tin råìi rảc X sinh ra N tin hay k tỉû âäüc láûp ( ). Xẹt mäüt táûp M cọ M pháưn tỉí hỉỵu hản ( ). Ni21 x, ,x, ,x,x q21 m, ,m,m M họa (encoding) ngưn tin X bàòng táûp M cọ nghéa l biãún âäøi mäùi tin ca ngưn tin X thnh mäüt táûp cạc pháưn tỉí thüc M nhàòm tha mn mäüt u cáưu no âọ ca hãû thäúng thäng tin: i x il2i1ii m mmx → Phẹp biãún âäøi ngỉåüc lải: iil2i1i xm mm → âỉåüc gi l gii m (decoding). Thäng thỉåìng, säú tin ca ngưn tin ráút låïn nãn säú k hiãûu m khäng thãø bàòng hồûc nhiãưu hån säú tin. 4.2.2 Cạc tham säú cå bn ca m họa Táûp M âỉåüc gi l m hiãûu (code), cạc pháưn tỉí gi l k hiãûu m (symbol), säú k hiãûu m khạc nhau trong m gi l cå säú ca m. M nhë phán l m cå säú 2, trong âọ m chè cọ 2 k hiãûu m l 0 v 1. k m Dy liãn tủc cạc k hiãûu m dng âãø m họa mäüt tin ca ngưn âỉåüc gi l tỉì m (codeword). ÅÍ âáy tỉì m tỉång ỉïng våïi tin l . i x il2i1i m mm Säú k hiãûu m cọ trong mäüt tỉì m âỉåüc gi l âäü di ca tỉì m (codeword length), k hiãûu l l. Vê dủ tỉì m 00100 cọ âäü di l 5. Tham säú tiãúp theo l trng lỉåüng tỉì m (codeword weigh), âọ l täøng säú cạc k hiãûu khạc 0 cọ màût trong tỉì mỵ, k hiãûu l w. Vê dủ tỉì m 110001 cọ trng lỉåüng l 3. Mäüt tham säú nỉỵa l khong cạch m (distance), k hiãûu l d. Âọ l säú k hiãûu cng vë trê khạc nhau giỉỵa hai tỉì m di bàòng nhau. Vê dủ khong cạch giỉỵa hai tỉì m 110001 v 101000 l 3. G i C 1 v C 2 l hai tỉì m di bàòng nhau. Cọ thãø dãù dng nháûn tháúy khong cạch m giỉỵa hai tỉì m ny l: )CC(w)C,C(d 2121 ⊕ = - 87 - - Chổồng IV - 4.2.3 Phỏn loaỷi maợ Ta coù thóứ phỏn loaỷi maợ theo nhióửu caùch khaùc nhau. Dổồùi õỏy laỡ mọỹt sọỳ caùch hay gỷp: - Dổỷa vaỡo õọỹ daỡi cuớa tổỡ maợ, ta phỏn ra maợ coù õọỹ daỡi khọng õọứi goỹi laỡ maợ õóửu vaỡ maợ coù õọỹ daỡi thay õọứi goỹi laỡ maợ khọng õóửu. ọỳi vồùi maợ khọng õóửu, õọỹ daỡi trung bỗnh laỡ mọỹt thọng sọỳ cồ baớn cuớa maợ vaỡ õổồỹc tờnh theobióứu thổùc: = = M 1m m l)m(pl trong õoù l m laỡ õọỹ daỡi tổỡ maợ tổồng ổùng vồùi kyù tổỷ m. - Dổỷa vaỡo troỹng lổồỹng cuớa tổỡ maợ, ta phỏn ra maợ coù troỹng lổồỹng khọng õọứi vaỡ maợ coù troỹng lổồỹng thay õọứi. - Dổỷa vaỡo khoaớng caùch maợ giổợa hai tổỡ maợ kóử nhau, ta phỏn ra maợ coù khoaớng caùch khọng õọứi vaỡ maợ coù khoaớng caùch thay õọứi. - Dổỷa vaỡo cồ sọỳ cuớa maợ, ta phỏn ra maợ nhở phỏn (maợ cồ sọỳ 2), maợ baùt phỏn (maợ cồ sọỳ 8), maợ hexa (maợ cồ sọỳ 16) Trong õoù maợ nhở phỏn laỡ maợ thọng duỷng nhỏỳt. Chổồng naỡy ta chố xeùt maợ nhở phỏn. - Dổỷa vaỡo õọỹ tin cỏỷy, ta phỏn ra maợ coù khaớ nng phaùt hióỷn vaỡ sổớa lọựi vaỡ maợ khọng coù khaớ nng phaùt hióỷn vaỡ sổớa lọựi - Dổỷa vaỡo hióỷu suỏỳt thọng tin, ta phỏn ra maợ tọỳi ổu vaỡ maợ chổa tọỳi ổu. 4.2.4 Caùc phổồng phaùp bióứu dióựn maợ a) Phổồng phaùp lióỷt kó ỏy laỡ phổồng phaùp bióứu dióựn maợ õồn giaớn nhỏỳt: chố cỏửn lióỷt kó caùc tin cuớa nguọửn vaỡ caùc tổỡ maợ tổồng ổùng trong mọỹt baớng. Vờ duỷ: nguọửn tin coù 8 tin (kyù tổỷ), caùc tin õổồỹc maợ hoùa nhổ baớng 4.1 Phổồng phaùp bióứu dióựn naỡy coù ổu õióứm laỡ cuỷ thóứ, roợ raỡng nhổng õọỳi vồùi caùc bọỹ maợ lồùn thỗ quaù cọửng kóửnh. Tin A B C D E F G H Tổỡ maợ 000 001 010 011 100 101 110 111 Baớng 4.1 Vờ duỷ vóử baớng maợ b) Phổồng phaùp ma trỏỷn Tổỡ vờ duỷ trón, ta thỏỳy: coù nhổợng tổỡ maợ laỡ tọứ hồỹp tuyóỳn tờnh cuớa caùc tổỡ maợ khaùc. Chúng haỷn nhổ: ECBH,ECG,EBF,CBD = = == . Vỏỷy khọng cỏửn thióỳt phaới lióỷt kó hóỳt tỏỳt caớ caùc tổỡ maợ trong baớng maợ maỡ chố cỏửn choỹn mọỹt sọỳ tổỡ maợ laỡm cồ sồớ. Caùc tổỡ maợ cồ sồớ naỡy seợ lỏỷp thaỡnh baớng dổồùi daỷng ma trỏỷn vaỡ goỹi laỡ ma trỏỷn sinh (generated matrix). - 88 - - Chỉång IV - Vê dủ ma tráûn sinh tỉång ỉïng våïi bng m trãn l: ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 001 010 100 Khi thnh láûp ma tráûn sinh, quy ỉåïc loải b cạc tỉì m gäưm ton k hiãûu 0. c) Phỉång phạp cáy Cáy m (code tree) gäưm cọ nụt gäúc (root node), nụt lạ (leaf node) v cạc nụt nhạnh (branch node). Gäúc ca cáy gi l nụt gäúc. Tỉì nụt gäúc phán ra täúi âa q nhạnh (q l cå säú ca m). Mäùi nhạnh mang mäüt k hiãûu m, âọ l giạ trë ca nhạnh. Nhạnh âỉåüc bàõt âáưu åí nụt mỉïc i v kãút thục åí nụt mỉïc i+1. Nụt m tỉì âọ cn phán nhạnh tiãúp gi l nụt nhạnh. Tỉì mäùi nụt nhạnh phán ra täúi âa q nhạnh. Nụt cúi cng ca cáy gi l nụt lạ. Mäùi nụt lạ biãøu diãùn mäüt cho mäüt tỉì m. Tỉì m bao gäưm cạc k hiãûu m l giạ trë ca cạc nhạnh theo thỉï tỉû âi tỉì nụt gäúc qua cạc nụt nhạnh âãún nụt lạ. Hçnh 4.1 l vê dủ vãư mäüt cáy m cho bäü m nhë phán gäưm cạc tỉì m l 00, 01, 10, 1101, 11001. Mỉïc 11001 11 0 1 1 0 0 1 1 00 1 1 1 0 0 0 0 1 0 Mỉïc Mỉïc 5 Mỉïc 4 Mỉïc 3 Mỉïc 2 Mỉïc 1 Hçnh 4.1 Vê dủ vãư cáy m Nhçn vo cáy m ta cọ thãø biãút âỉåüc âáy l m âãưu hay khäng âãưu. M l âãưu khi táút c cạc nụt lạ cọ cng mỉïc. M biãøu diãùn bàòng cáy m åí hçnh 4.1 thüc loải m khäng âãưu. d) Phỉång phạp âa thỉïc Phỉång phạ p ny dng lm mä hçnh toạn âãø biãøu diãùn m vng. Ỉu âiãøm ca phỉång phạp ny l cọ thãø thỉûc hiãûn m họa v gii m m vng dãù dng bàòng cạch sỉí dủng cạc phẹp toạn âäúi våïi âa thỉïc nhỉ phẹp cäüng, nhán v chia. Tỉì m k bit ( theo thỉï tỉû tỉì trại qua phi l msb âãún lsb) cọ thãø âỉåüc biãøu diãùn bàòng âa thỉïc sau: 0122k1k mmm mm −− - 89 - - Chỉång IV - 01 2 2 2k 2k 1k 1k mxmxm xmxm)x(f +++++= − − − − Vê dủ tỉì m nhë phán 1101001 cọ thãø biãøu diãùn bàòng âa thỉïc: . 1xxx)x(f 356 +++= 4.3 M họa ngưn Hãû thäúng thäng tin âỉåüc sỉí dủng âãø truưn tin tỉïc tỉì ngưn tin âãún nháûn tin. Ngưn tin cọ ráút nhiãưu dảng khạc nhau, nhỉng cọ thãø phán thnh hai loải chênh l ngưn liãn tủc (continuous source) nhỉ ngưn ám thanh, ngưn video v ngưn råìi rảc (discrete source) nhỉ ngưn dỉỵ liãûu tỉì mạy tênh. Trong hãû thäúng thäng tin säú, âáưu ra ca ngưn phi âỉåüc chuøn thnh dảng thêch håüp âãø cọ thãø truưn âi bàòng k thût säú. Theo sỉû phán loải ngưn, ta cọ hai k thût m họa ngưn chênh l m họa ngưn liãn tủc v m họa ngưn råìi rảc. Näüi dung m họa ngưn liãn tủc cng tr ng våïi näüi dung säú hoạ tên hiãûu liãn tủc â xẹt trong chỉång trỉåïc. Trong pháưn ny, ta xẹt quạ trçnh m họa ngưn råìi rảc (discrete source encoding). Ngưn råìi rảc l ngưn sinh ra cạc k tỉû våïi mäüt quy lût phán bäú xạc sút no âọ. Âãø cho âån gin, ta xẹt trỉåìng håüp ngưn khäng nhåï, cạc k tỉû âỉåüc sinh ra âäüc láûp våïi nhau. Thäng thỉåìng, quy lût phán bäú xạc sút sinh ra cạc k tỉû l khäng âãưu nãn âäü dỉ ca ngưn låïn, entropy ca ngưn bẹ, täúc âäü láûp tin ca ngưn cn xa måïi âảt âãún thäng lỉåüng kãnh. Lục âọ nhiãûm vủ ca m họa ngưn råìi rảc l lm cho cáúu trục thäúng kã ca ngưn tråí nãn håüp l bàòng cạch tàng entropy ca cạc k tỉû dng âãø m họa ngưn. Ngun tàõc ca m họa ngưn råìi rảc l m họa cạc k tỉû cọ xạc sút sinh ra låïn bàòng cạc tỉì m ngàõn v m họa cạc k tỉû cọ xạc sút sinh ra bẹ bàòng cạc tỉì m di. Loải m ny gi l m họa thäúng kã (statistical encoding). Mäüt vê dủ ca m họa thäúng kã l m Morse dng âãø m họa bn tin tiãúng Anh. Trong m Morse, k tỉû xút hiãûn nhiãưu nháút l 'e' âỉåüc m hoạ bàòng tỉì m ngàõn nháút '.' (1 bit). Dỉûa theo ngun tàõc ny ta tháú y m họa thäúng kã giụp trạnh hiãûn tỉåüng kãnh truưn bë quạ ti khi bn tin chỉïa quạ nhiãưu k tỉû cọ xạc sút xút hiãûn låïn. Viãûc truưn tin s tråí nãn kinh tãú hån nãúu m thäúng kã cọ âäü di trung bçnh ca tỉì m l nh nháút. Loải m nhỉ váûy gi l m thäúng kã täúi ỉu (optimum statistical code). Âáy chênh l m họa nẹn (copression) Pháưn sau âáy s xẹt củ thãø cạc tiãu chøn ca m thäúng kã täúi ỉu cå säú 2. 4.3.1 Giåïi hản ca âäü di tỉì m trung bçnh Gi sỉí ngưn tin X sinh ra cạc k tỉû x i âäüc láûp. M họa ngưn tin X bàòng bäü m nhë phán M, cạc k hiãûu m 0 v 1 cọ xạc sút bàòng nhau p(0) = p(1) = 0.5. Lỉåüng tin riãng ca mäüt k hiãûu 0 hay 1 bàòng våïi lỉåüng tin trung bçnh v âảt giạ trë cỉûc âải: 12log)1(I)0(I 2 = = = (bit/k hiãûu) M họa k tỉû x i bàòng mäüt tỉì m nhë phán di l i . Nhỉ váûy lỉåüng tin chỉïa trong tỉì m ny s l l i (bit). Lỉåüng tin trung bçnh chỉïa trong mäüt tỉì m s l âäü di trung bçnh ca tỉì m, l L (bit) - 90 - [...]... sút l 1 (4) Duût cáy m âãø tçm ra tỉì m tỉång ỉïng våïi tỉìng k tỉû ca ngưn - 94 - - Chỉång IV - Hçnh 4. 4 a trçnh by vê dủ vãư m họa Huffman cho ngưn tin trãn Nãúu ta quy ỉåïc gạn cho nhạnh âi ra tỉì k hiãûu cọ xạc sút cao hån l 1 v nhạnh kia l 0, nhạnh 0 v åí bãn trại, nhạnh 1 v åí bãn phi thç ta cọ thãø v lải cáy m Huffman vỉìa láûp âỉåüc nhỉ hçnh 4. 4 b (a) C 0 .40 0 .40 0 .40 0 .40 0 .40 0 .40 0.60(1)... 0.23 0.37(1) 0 .40 (0) 1 A 0.10 0.10 0.13 0.18 0.19(1) 0.23(0) F 0.10 0.10 0.10 0.13(1) 0.18(0) G 0.07 0.09 0.10(1) 0.10(0) E 0.06 0.07(1) 0.09(0) D 0.05(1) 0.06(0) H 0. 04( 0) 1.0 (b) 0 1 C 0 .40 0.60 0 1 0.23 0.37 0 1 A 0.10 0 0.13 0 E 0.06 1 B 0.18 0.19 1 0 1 0.09 G 0.07 0 H 0. 04 F 0.10 1 D 0.05 Thỉï tỉû trng säú = 0. 04 0.05 0.06 0.07 0.09 0.10 0.10 0.13 0.18 0.19 0.23 0.37 0 .40 0.60 Hçnh 4. 4 Vê dủ m họa... tin liãn quan âãún kh nàng dỉû âoạn âỉåüc ca tin Lỉåüng tin âỉåüc tênh l logarit ám ca xạc sút xút hiãûn ca tin Nãúu cå säú ca liogarit l 2 thç âån vë va lỉåüng tin l bit 2 Entropy H ca ngưn tin l lỉåüng tin trung bçnh chỉïa trong mäüt k tỉû báút k ca ngưn tin Giạ trë låïn nháút ca entropy âảt âỉåüc khi cạc k tỉû âäüc láûp v âäưng xạc sút Entropy ca mäüt ngưn tin nhë phán âäüc láûp thäúng kã, xạc sút... Huffman cå såí v mäüt vê dủ vãư m họa Huffman âäüng 4. 4.1 M họa Huffman cå såí (basic Huffman encoding) Gi sỉí cọ mäüt säú bn tin âỉåüc truưn giỉỵa hai mạy tênh qua mảng PSTN Cạc bn tin chè chỉïa cạc k tỉû tỉì A âãún H Theo kãút qu thäúng kã cho tháúy xạc sút xút hiãûn ca cạc k tỉû nhỉ sau: K tỉû A B C D E F G H X.sút 0.1 0.18 0 .4 0.05 0.06 0.1 0.07 0. 04 Entropy ca ngưn l: 8 H = ∑ p(m) log 2 m =1 1 =... âäü láûp tin (bit/s) Thäng thỉåìng täúc âäü láûp tin bẹ hån nhiãưu so våïi thäng lỉåüng kãnh Theo Shannon, cọ thãø m họa âãø lm cho täúc âäü láûp tin ca ngưn tiãúp cáûn våïi thäng lỉåüng kãnh 7 M họa ngưn tin X bàòng táûp M cọ nghéa l biãún âäøi mäùi tin ca ngưn tin X thnh mäüt táûp cạc pháưn tỉí thüc M nhàòm tha mn mäüt u cáưu no âọ ca hãû thäúng thäng tin Phẹp biãún âäøi ngỉåüc lải âỉåüc gi l gii m... âãø cho cạc bn tin thu chè cọ mäüt nghéa duy nháút Xẹt mäüt ngưn tin gäưm 4 k tỉû alphabet, cạc k tỉû âỉåüc m họa bàòng cạc tỉì m nhë phán nhỉ sau: A = 0, B = 01, C = 11, D = 00 Nãúu bãn thu nháûn âỉåüc dy tỉì m 0011thç khäng biãút l bãn phạt truưn âi DC hay l AAC Váûy vê dủ trãn khäng tha tênh gii m duy nháút b) Gii m tỉïc thåìi (instaneous decoding) Báy giåì xẹt mäüt ngưn tin khạc gäưm 4 k tỉû alphabet,... 1, nhọm 2, nhọm 3 v nhọm 4 Nhọm 1 v nhọm 2 ngy nay ráút êt dng, nhọm 3 dng trong mảng PSTN, nhọm 4 dng trong mảng hon ton säú ISDN C nhọm 3 v nhọm 4 âãưu âảt t lãû nẹn khong 10:1 Do váûy âãø truưn trang A4 våïi fax nhọm 3 chè máút chỉa âáưy 1 phụt, våïi fax nhọm 4 do cọ âỉåìng truưn täúc âäü cao hån (64kbps) nãn chè máút vi giáy Quạ trçnh m họa trỉåïc tiãn l phán têch täøng quạt trang ti liãûu âỉåüc... tràõng Tỉì m Run length âen Tỉì m 64 11011 64 0000001111 128 10010 128 000011001000 192 010111 192 000011001001 2560 000000011111 2560 000000011111 EOL 00000000001 EOL 00000000001 (b) Bng 4. 2 Bng m Fax nhọm 3 v nhọm 4 (ITU-T) (a) Bng m cúi (b) Bng m make-up Vê dủ mäüt run length gäưm 12 pixel tràõng thç âỉåüc m họa trỉûc tiãúp thnh 001000, mäüt run length gäưm 140 pixel âen thç âỉåüc m họa thnh... phạt Fax nhọm 4 cọ th tủc xỉí l läùi Âọ l th tủc MMR (modified-modifed read) [ 6] 1111110011111111100111110000000011 bit | run length 6W |2B| 1110 9W |2B| 5W 10100 11 | 8B 1100 11 |2W 0111 000101 111011101001111000001010111 tràõng âen âáưu ra ca m họa fax (Huffman) Hçnh 4. 6 Vê dủ m họa fax TỌM TÀÕT CHỈÅNG 1 Lỉåüng tin l mäüt âải lỉåüng dng âãø âạnh giạ âënh lỉåüng cho tin tỉïc Lỉåüng tin liãn quan... bäü lỉåüng tin riãng trong mäùi k tỉû ngưn phi âỉåüc chuøn hãút sang cho tỉì m tỉång ỉïng, hay lỉåüng tin trung bçnh ca tỉì m phi låïn hån hồûc bàòng lỉåüng tin trung bçnh ca mäüt k tỉû ngưn Lỉåüng tin trung bçnh ca mäüt k tỉû ngưn chênh l entropy ca ngưn H Váûy: L≥H Âáy l giåïi hản dỉåïi ca âäü di trung bçnh ca tỉì m Dáúu bàòng chè xy ra khi âäü di ca mäüt tỉì m báút k bàòng våïi lỉåüng tin riãng ca . veợ laỷi cỏy maợ Huffman vổỡa lỏỷp õổồỹc nhổ hỗnh 4. 4 b. (a) C 0 .40 0 .40 0 .40 0 .40 0 .40 0 .40 0.60(1) B 0.18 0.18 0.18 0.19 0.23 0.37(1) 0 .40 (0) A 0.10 0.10 0.13 0.18 0.19(1) 0.23(0) F 0.10. (facsimile) 4. 1 L thuút tin 4. 1.1 Âo tin tỉïc Âãø âạnh giạ âënh lỉåüng cho tin tỉïc, ngỉåìi ta âỉa ra khại niãûm lỉåüng tin (information content). Lỉåüng tin liãn quan âãún giạ trë ca tin, hay. âọ chỉïa ráút nhiãưu tin. Váûy xạc sút cng cao thç bn tin cng chỉïa êt tin v ngỉåüc lải. Ta cọ thãø viãút: p (bn tin) = 1 khäng mang tin p (bn tin) = 0 mang mäüt lỉåüng tin vä hản. Tỉì nháûn