Burrows–Wheeler-transzformáció

4.9. Burrows–Wheeler-transzformáció

A tömörítend ˝o adatok statisztikai elemzésével a széles körben elterjedt Lempel–

Ziv-algoritmusoknál jobb tömörítési arány érhet ˝o el, de ez lényegesen nagyobb futási id ˝ot igényel. A következ ˝okben egy olyan eljárást mutatunk be, amelynek tömörítési aránya jól megközelíti a statisztikai módszerekét, viszont a Lempel–

Ziv-algoritmusokkal összemérhet ˝o sebességgel m˝uködik.

A Burrows és Wheeler által javasolt eljárás egy blokk-kódolás. Alapötlete az, hogy invertálható módon úgy rendezzük át a blokk szimbólumait, hogy az azonos karakterek nagy valószín˝uséggel egymás mellé kerüljenek, s így már egyszer˝u tö-mörítési eljárásokkal is jó hatásfokot érhetünk el. Minél nagyobb a blokkméret, annál jobb tömörítési arány érhet ˝o el. (Természetesen a m˝uveletek memóriaigénye gátat szab a blokkméret határtalan növelésének.) Az eljáráshoz szükséges, hogy a lehetséges bemeneti szimbólumokon rendezést definiáljunk.

Vegyük a bemeneti szimbólumok egy m hosszú blokkját. Képezzük rendre az összes ciklikus eltoltját, és ezeket rendezzük egy táblázatba. (Valójában nem szük-séges ezeket az eltoltakat fizikailag létrehoznunk, elegend ˝o ha a bemeneti blokk memóriaterületének mutatóival dolgozunk.) Ennek az m soros táblázatnak a so-rait rendezzük lexikografikusan, majd ebben a sorrendben olvassuk ki az utolsó oszlopot, vagyis a blokkok utolsó szimbólumát. Az így kapott, szintén m hosszú sorozatból helyreállítható az eredeti blokk, amennyiben még azt is tudjuk, hogy a rendezett táblázat hányadik sorában szerepel az eredeti blokk. A 4.11. ábrán egy m=6 hosszú blokkra szemléltetjük a módszert (a gyakorlatban természetesen en-nél lényegesen nagyobb blokkméretet célszer˝u választani). A transzformáció az ALMAFA sorozatból az FMAAAL sorozatot állítja el ˝o, és az eredeti sorozat pedig a táblázat harmadik sorában jelenik meg.

A L M A F A INPUT: x[ ]={tömörítend˝o blokk}

n={tömörítend˝o blokk hossza}

OUTPUT: L={rendezett táblázat utolsó oszlopa}

i={az eredeti blokk sorszáma}

WHILE {R i-edik sora} != {T i-edik sora}

i=i+1 ENDWHILE RETURN L,i

Az inverz transzformáció is nagyon egyszer˝uen m˝uködik. A rendezett táblázat-nak azon sorát kell helyreállítanunk, amelyben az eredeti sorozat szerepel. Ennek sorszámát tudjuk. Ismerjük még a táblázat utolsó oszlopát, s ez rögtön megadja az els ˝o oszlopot is, hiszen abban szintén az utolsó oszlop karakterei szerepelnek, csak rendezett sorrendben. Ezután megkeressük, hogy a kérdéses sor els ˝o szimbó-luma melyik sor utolsó elemeként szerepel, majd e sor els ˝o elemét írjuk a kérdéses sor második helyére, ugyanis a ciklikus eltolások miatt bármely sorban a karakte-rek sorrendje azonos. Általában pedig a kérdéses sor i-edik helyére azon sor els ˝o szimbólumát írjuk, amelynek utolsó helyén a kérdéses sor i−1-edik szimbóluma szerepel. Ha az utolsó oszlopban a keresett szimbólum többször is el ˝ofordul, ak-kor az annyiadik el ˝ofordulását vesszük, ahányadikként az els ˝o oszlopban szerepelt ezen szimbólumok közül.

Vegyük észre, hogy a bemeneti blokkot eddig még nem tömörítettük, hiszen a BW-transzformáció az eredetivel megegyez ˝o hosszúságú blokkot állít el ˝o. A bemenet szimbólumai közötti függ ˝oségek miatt viszont a transzformált blokkban hosszú, azonos szimbólumokból álló sorozatok jelennek meg, amelyek jól

tömö-A, F, L, M

↓ 2

=⇒ F, A, L, M

↓ 4

=⇒ M, F, A, L

↓ 3

=⇒ A, M, F, L

↓ 1

=⇒ A, M, F, L

↓ 1

=⇒

A, M, F, L

↓ 4

4.12. ábra. A „mozgasd az elejére” eljárás

ríthet ˝ok az ún. „mozgasd az elejére” (move to front) módszerrel. Kiindulásként vegyünk fel egy listát, amely a bemeneten el ˝oforduló szimbólumokat tartalmazza tetsz ˝oleges sorrendben. A szimbólumokat egyesével olvasva kódoljuk azokat a lis-tában elfoglalt helyük sorszámával, és minden lépésben mozgassuk a lista elejére az aktuális szimbólumot (a többit eggyel hátrébb tolva). A BW-transzformáció ál-tal szolgáltatott speciális sorozat miatt azt várhatjuk, hogy kis sorszámok sorozatát eredményezi ez az algoritmus, amely jól tömöríthet ˝o például Huffman-kódolással.

INPUT: L[ ]={BW-transzformált blokk}

n={blokk hossza}

F[ ]={forrásábécé}

OUTPUT: c[ ]={sorszámok sorozata}

FOR i=0 to n j=0

WHILE F[j]!=L[i]

j=j+1 ENDWHILE c[i]=j tmp=F[j]

FOR k=j to 1 F[k]=F[k-1]

ENDFOR F[0]=tmp ENDFOR RETURN c

Alkalmazzuk a 4.11. ábra példájára a mozgasd az elejére módszert. Az egy-szer˝uség kedvéért a kezdeti listán csak a blokkban ténylegesen el ˝oforduló szimbó-lumok szerepelnek, mégpedig ábécé sorrendben. A lista alakulása és a kimeneten megjelen ˝o sorszámok a 4.12. ábrán nyomonkövethet ˝ok. Az FMAAAL sorozatból a 2,4,3,1,1,4 sorozatot kapjuk.

4.10. Alkalmazások

Faxkódolás

A 4.6. példa átmenetvalószín˝uségei jellegzetesek egy túlnyomóan szöveget tar-talmazó (pl. üzleti) dokumentum esetén. Megfigyelhet ˝o, hogy a következ ˝o képpont színe sokkal nagyobb valószín˝uséggel lesz azonos az el ˝oz˝oével, mint eltér ˝o (külö-nösen világos esetében). Ahelyett, hogy a képpontok színét külön-külön kódol-nánk, kódoljuk egyszer˝uen az azonos szín˝u képpontok (vagyis a futamok) hosszát, tehát azt a hosszt, amíg a Markov-lánc azonos állapotában maradunk. Ezt a tech-nikát futamhossz kódolásnak nevezzük. (A futamhossz kódolás optimalitására vonatkozóan lásd a 4.14. feladatot.) Például, ha 190 világos pixelt 30 sötét követ, majd 210 világos jön, a 430 képpont egyenkénti kódolása helyett a 190,30,210 sorozatot fogjuk kódolni, valamint jeleznünk kell azt, hogy az els ˝o pontsorozat milyen szín˝u volt.

Futamhossz kódolást alkalmaznak az ITU-T fax-szabványaiban is. Számunkra a Group 3 illetve Group 4 ajánlások érdekesek, ugyanis a korábbi Group 1 és 2 technikák csak analóg módszereket használtak, ennélfogva nem tömörítettek.

Az 1980-ban megjelent Group 3 szabvány egydimenziós futamhossz kódolás-sal dolgozik. Ez azt jelenti, hogy az egymás alatti vízszintes sorokat egymástól függetlenül kódolja, a futamok pedig az egy soron belül váltakozó fehér és fekete képpontokból állnak. Minden sor els ˝o futama fehér képpontokból áll; ha egy sor fekete pixellel kezd ˝odik, akkor az els ˝o futamot egy 0 hosszúságú fehér futamnak kell tekinteni. A különböz ˝o hosszúságú futamok eltér ˝o valószín˝uséggel fordulnak el˝o egy dokumentumban, ezért ezeket változó szóhosszúságú kóddal, mégpedig a szabvány szerint Huffman-kóddal kódolják. A futamok összhossza, vagyis egy sor hosszúsága 1728 képpont. Ez túl sok lehetséges futamhosszt eredményez, nincs értelme ilyen nagyméret˝u kódot alkalmazni. Ezért a h hosszt 1 vagy 2 jegy˝u, 64-es számrendszerben felírt (vagyis 6 bites) számként kódolják:

h=64m+t t=0,1, . . . ,63 m=0,1, . . . ,26

Külön kódtáblázat vonatkozik az m, vagyis a kiegészít ˝o kód (make up code, MUC) illetve a t, vagyis a befejez ˝o kód (terminating code, TC) értékeire, külön a fekete és külön a fehér képpontok esetére. Egy futam kódját a színnek megfelel ˝o MUC illetve TC táblázatból kiolvasott kódszavak konkatenációja adja. Azonos színhez tartozó MUC és TC táblázatok prefix tulajdonságúak (együttesen is). Mivel a fe-kete és fehér futamok mindig váltakozva szerepelnek, ezért a fefe-kete táblázatokban álló kódszavak lehetnek a fehér táblázatokban állók prefixei és fordítva. A sor végét a speciális EOL (end of line, sorvége) kódszó jelöli: 000000000001. Ez biztosítja az adó és vev ˝o közötti szinkronizációt is.

1984-ben publikálta a ITU-T a Group 4 ajánlást, amely kihasználja a függ ˝ole-ges irányú redundanciát is, emellett felülr ˝ol kompatíbilis a Group 3-mal. Egy soron

6 a₀

6 a1

6 a2

? b₁

? b₂

6 a₀

6 a1

6 a2

? b₁

? b₂

4.13. ábra. Az a₀,a₁,a₂,b₁,b₂mutatók lehetséges elhelyezkedése

belül a futamokat nem csak a már megismert módon, a futamhosszak felsorolásával kódolhatjuk, hanem a színátmenetek helyének pozícióival is.

A kétdimenziós kódolás megértéséhez vezessük be az alábbi jelöléseket:

a₀: Az utolsó pixel, amelynek értékét a kódoló és a dekódoló egyaránt ismeri.

Egy sor kódolásának megkezdésekor az a0egy képzeletbeli fehér képpontra mutat, amely az els ˝o aktuális pixel bal oldalán áll.

a₁: Az els ˝o színátmenetet jelent ˝o képpont a₀ jobb oldalán. a₁ színe ellentétes a0színével. a1helye csak a kódoló számára ismert.

a2: Az második színátmenetet jelent ˝o képpont a0jobb oldalán. a2színe ellen-tétes a₁színével, ami azt jelenti, hogy megegyezik a₀színével.

b1: Az els ˝o színátmenetet jelent ˝o képpont az aktuálisan kódolandó sort meg-el˝oz˝o sorban a0 jobb oldalán, amelynek színe ellentétes a0színével. Mivel a meg-el˝oz˝o sor és a₀ értéke ismert a kódoló és a dekódoló számára is, ezért b₁helye is ismert mindkett ˝ojük el ˝ott.

b2: Az els ˝o színátmenetet jelent ˝o képpont az aktuálisan kódolandó sort meg-el˝oz˝o sorban b₁jobb oldalán.

A Group 4 algoritmusa az els ˝o sort ugyanúgy kódolja, mint a Group 3 esetében láttuk. A további sorok kódolásához felhasználja az azt megel ˝oz˝ot, így a második-hoz az els ˝ot, a harmadikmásodik-hoz a másodikat, stb. A 4.13. ábra azt a helyzetet ábrázolja, amikor éppen a második sornál tartunk a feldolgozásban, és a képpontokat a má-sodik pixelig már feldolgoztuk. A színátmenetet jelent ˝o pixeleket ponttal jelöltük.

Két esetet kell megkülönböztetnünk:

Ha b₁és b₂ a₀és a₁között fekszik, a kódoláshoz az átadó (pass) módot hasz-náljuk. A kódoló egy speciális kódszó kiküldésével értesíti a dekódolót err ˝ol. Eb-b˝ol a dekódoló tudja, hogy az a0-tól a b2alatti pixelig a képpontok színe azonos. Ha ez nem lenne igaz, akkor közben lenne egy színátmenetet jelent ˝o képpont, vagyis

a1 és b2 viszonyára nem lenne igaz a feltételünk. Ekkor a kódoló és a dekódoló által egyaránt ismert legutolsó képpont a b₂által mutatott lesz. Így ez lesz az a₀új helye, a másik négy mutató új pozícióját pedig a már ismert módon jelöljük ki.

Ha a1 megel ˝ozi b2-t, ismét két eset lehetséges: Ha a1 és b1 távolsága nem nagyobb 3-nál, elküldjük ezt a távolságértéket (ezt függ ˝oleges módnak nevezzük).

(A kódszó természetesen függ attól, hogy a₁ jobbra vagy balra van-e b₁-t ˝ol, így itt összesen 7 eset lehetséges azt is beleértve, hogy a1 éppen b1 alatt helyezkedik el.) a₀-t a₁-re állítjuk, módosítjuk a másik négy mutatót is, és folytatjuk a kódolást az algoritmus elejét ˝ol. Ha a₁ és b₁ távolsága nagy, lényegében visszatérünk az egydimenziós technikához. Egy speciális kódszóval jelezzük a dekódolónak, hogy vízszintes módban vagyunk, majd elküldjük a₀ és a₁ illetve a₁ és a₂ távolságát Huffman-kódolva. a₀-t a₂ helyére állítjuk, és aktualizáljuk a másik négy mutatót is. A kódolást az algoritmus elejét ˝ol folytatjuk.

A kétdimenziós algoritmus használatával egy sor kódolása a megel ˝oz ˝o soron alapul, így elképzelhet ˝o, hogy egy sorban bekövetkez ˝o hiba kiterjed a többire is.

Ezt megel ˝ozend ˝o, a szabvány rögzíti, hogy minden egydimenziós eljárással kódolt sort normál függ ˝oleges felbontás esetén legfeljebb 1, nagy felbontás esetén legfel-jebb 3 kétdimenziós algoritmussal kódolt sor követhet.

A sorvégeket a Group 3 szabványban megismert EOL szimbólum jelzi, azon-ban attól függ ˝oen, hogy vízszintes módazon-ban, vagyis az egydimenziós Group 3 sze-rint kódoltuk a sort, vagy az új kétdimenziós módszerrel, egy 1 illetve 0 bit követi.

Ez lehet ˝ové teszi, hogy mindkét módszerrel elvégezve a kódolást az adó a rövidebb hosszúságot eredményez ˝ot választhassa ki, majd a megfelel ˝o EOL jellel jelezze a vev ˝onek, hogy melyik algoritmust használta.

Tömörít˝o programok

Bár az LZ77 algoritmus aszimptotikusan optimális, a gyakorlatban számos to-vábbfejlesztése ismeretes, amelyek célja a hatékonyság növelése. Például a nép-szer˝u PKZIP és ARJ tömörít ˝okben a ht,h,ci hármasokat nem fix, hanem változó hosszúságú kóddal kódolják. Egy másik variáció változtatható méret˝u keres ˝o és el˝oretekint ˝o ablakot használ. Az LZ77 legegyszer˝ubb módosítása annak kiküszö-bölése, amikor egyetlen karaktert kódolunk egy hármassal. Ez egy jelz ˝obittel old-ható meg. Ezzel jelezzük, hogy nem egy hármast, hanem csak egy kódszót kül-dünk át. Szintén az LZ77 algoritmuson alapul a UnixGZIPtömörít ˝oje, a WINZIP, az LHARC, aPNG(Portable Network Graphics) képtömörít ˝o formátum és aPDF

dokumentumformátum bels ˝o tömörítése is.

A Unix COMPRESS parancsa és a GIF (Graphics Interchange Format) képtö-mörít ˝o eljárás az LZW algoritmust használja, mégpedig adaptív szótármérettel.

ACOMPRESS esetében kezdetben a szótárban 512 bejegyzésnek van hely, ez azt jelenti, hogy a kódszavak 9 bit hosszúak. Amikor a szótár betelik, méretét meg-duplázzuk, 1024 bejegyzésre. Ett ˝ol kezdve 10 bites kódszavakat viszünk át, és így tovább. A kódszavak lehetséges maximális hosszát a felhasználó állíthatja be 9

és 16 bit között (alapértelmezés: 16 bit). Ezt elérve, a COMPRESS eljárás stati-kus szótár alapú technikává válik. Ilyenkor a program figyeli a tömörítési arányt.

Amennyiben ez egy bizonyos küszöb alá esik, a szótár már nem felel meg célja-inknak, ezért a szótárépít ˝o folyamat kezd ˝odik elölr ˝ol. Így a szótár mindig tükrözi a forrás lokális jellemz ˝oit.

Szintén az LZW algoritmusra épül az ITU-T V.42bis tömörítési szabványa, amely a telefonhálózaton modemmel történ ˝o adatátvitelr ˝ol szóló V.42 ajánlás ki-egészítése. Az algoritmus két üzemmódot definiál. Az egyik a transzparens mód, amikor az adatok tömörítetlen formában kerülnek átvitelre, a másik pedig a tömö-rített mód. A két üzemmódra azért van szükség, mert lehetséges, hogy az átvitelre kerül ˝o adatokban nincs redundancia, ezért nem tömöríthet ˝o az LZW algoritmus-sal. Ebben az esetben a tömörít ˝o eljárás még hosszabb kimenetet eredményezne, mint a bemenet (ez a helyzet például, ha egy el ˝oz˝oleg már tömörített fájlt akarunk átvinni a telefonvonalon). Tömörített üzemmódban a rendszer LZW algoritmust használ változó méret˝u szótárral. A szótár kezdeti méretét a kapcsolat létrejöttekor egyezteti az adó- és a vev ˝oberendezés. A V.42bis ajánlás minimum 512 bejegyzés méret˝u szótárat tartalmaz, de 2048 méret˝ut tart ideálisnak. Az összes bejegyzés nem használható fel szabadon, mert van 3 kitüntetett szerep˝u kódszó. Ezek illetve jelentésük a következ ˝o: Enter Transparent Mode (üzemmódváltás: ett ˝ol kezdve a transzparens mód érvényes), Flush Data (a szótárépítést el ˝or˝ol kezdjük), Increment Codeword Size (megduplázzuk a szótár méretét, s ezzel együtt eggyel növeljük a kódszavak méretét is). Az adatátvitel során bekövetkez ˝o hibák hatásának csök-kentésére az ajánlás meghatározza a maximális sztringméretet, amely szerepelhet a szótárban. Ezt 6 és 250 között az adó- és a vev ˝oberendezés határozza meg a kapcsolat felépítésekor (alapértelmezés: 6).

A Burrows–Wheeler-transzformáción alapul többek között a BZIP tömörít ˝o-program.

4.11. Feladatok

4.1. feladat. Nevezzünk egy f :X→Y^∗kódot egyértelm˝uen dekódolhatónak, ha az u=u₁···u_k és v=v₁···v_küzenetekre (itt u₁, . . . ,u_k,v₁, . . . ,v_k∈X)

f(u₁)f(u₂)···f(u_k) = f(v₁)f(v₂)···f(v_k)

esetén ui=viminden i-re. Tehát a 4.1. definícióval ellentétben csak azt követeljük meg, hogy bármely két különböz ˝o, azonos hosszúságú üzenet kódja is különböz-zön. Bizonyítsa be, hogy a két definíció ekvivalens!

4.2. feladat. Legyen azX={x1, . . . ,xn}forrásábécén adott valószín˝uség-eloszlás olyan, hogy minden egyes elem valószín˝usége 2⁻ⁱ alakú, ahol i egy pozitív egész szám. Bizonyítsa be, hogy ilyen esetekben a bináris Shannon–Fano-kód optimális!

Mutassa meg, hogy a bináris Huffman-kód átlagos kódszóhossza akkor és csak akkor egyezik meg az entrópiával, ha az eloszlás ilyen alakú!

4.3. feladat. Legyen az X forrásábécé ötelem˝u, a következ ˝o valószín˝uségekkel:

0.4; 0.35; 0.1; 0.1; 0.05. Mennyi az eloszlás entrópiája? Konstruálja meg a bináris Shannon–Fano-kódot erre az eloszlásra, illetve konstruáljon bináris prefix kódot az li=d−log p(xi)ekódszóhosszakkal. Mekkora az átlagos kódszóhossz?

4.4. feladat. Egy szabályos pénzérmét addig dobunk fel, amíg írást nem kapunk.

Jelölje az X valószín˝uségi változó a dobások számát. Mennyi az X entrópiája?

4.5. feladat. Tekintsük a

p= (p₁, . . . ,p_i, . . . ,p_j, . . . ,p_n) illetve

q= (p1, . . . ,p_i+p_j

2 , . . . ,p_i+p_j

2 , . . . ,pn)

eloszlásokat. Mutassa meg, hogy a p eloszlás entrópiája nem lehet nagyobb, mint a q eloszlás entrópiája! Mutassa meg, hogy a p eloszláshoz tartozó optimális (mi-nimális átlagos kódszóhosszúságú) kód átlagos kódszóhossza nem lehet nagyobb, mint a q eloszláshoz tartozó optimális kód átlagos kódszóhossza!

4.6. feladat. Bizonyítsa be, hogy ha X és Y független valószín˝uségi változók, ak-kor

H(X,Y) =H(X) +H(Y).

4.7. feladat (Információs divergencia). Definiáljuk a p= (p₁, . . . ,p_n) és a q= (q₁, . . . ,q_n)valószín˝uségi eloszlás közötti „információs távolságot” a

D(p|q) =

∑

n i=1

pilogp_i q_i

kifejezéssel. (A mennyiséget gyakran információs divergenciának, relatív entrópi-ának, vagy Kullback–Leibler-távolságnak nevezik.) Lássuk be, hogy bármely két eloszlásra D(p|q)≥0, és egyenl ˝oség pontosan akkor teljesül, ha p=q.

4.8. feladat. Bizonyítsa be, hogy H(p) =log n−D(p|u), ahol H(p) jelöli a p eloszlás entrópiáját, u pedig az egyenletes eloszlást az{1, . . . ,n}halmazon.

4.9. feladat. Bizonyítsa be a 4.2. tétel a) részét!

4.10. feladat. Bizonyítsa be a 4.2. tétel b) részét!

4.11. feladat (Shannon–Fano- és Huffman-kód). Legyen az X valószín˝uségi vál-tozó eloszlása ¹₃;¹₃;¹₄;₁₂¹

. Konstruáljon Huffman-kódot ehhez az eloszláshoz.

Mutassa meg, hogy két különböz ˝o optimális kód is van, azaz, hogy az(1; 2; 3; 3), és a(2; 2; 2; 2)kódszóhosszúságokkal adott mindkét kód optimális. Vonja le a követ-keztetést, hogy létezik olyan optimális kód, amelynek van a megfelel ˝o Shannon–

Fano-kódénál hosszabb kódszava is.

4.12. feladat (Huffman-kód kódszóhosszai). Tegyük fel, hogy a(p1, . . . ,pn) el-oszláshoz készítünk optimális bináris prefix kódot, ahol p₁>p₂>···>p_n>0.

Bizonyítsa be, hogy

a) Ha p₁>²₅, akkor a hozzá tartozó kódszó egy hosszúságú;

b) Ha p₁<¹₃ akkor a hozzá tartozó kódszó legalább kett ˝o hosszúságú.

4.13. feladat. Legyen X₁,X₂, . . .egy független, azonos eloszlású, bináris valószí-n˝uségiváltozó-sorozat, amelyre P{Xi=1}=10⁻⁶. Adja meg a sorozat egy olyan változó szóhosszúságú blokk-kódját, melynek bet˝unkénti átlagos kódszóhossza ki-sebb, mint ₁₀₀¹ . Legyen a blokkméret m=1024.

4.14. feladat (Futamhossz kódolás). Legyenek X₁, . . . ,X_n bináris valószín˝uségi változók. Jelölje R= (R1, . . . ,Rk)az egyes szimbólumok el ˝ofordulásainak futam-hosszait az n hosszon. Tehát például az 1110010001111 sorozathoz R= (3,2,1,3,4) tartozik. Hogyan viszonyul egymáshoz H(X₁, . . . ,X_n),H(R)és H(R,X_n)?

4.15. feladat (Bináris entrópiafüggvény tulajdonságai). Legyen a[0,1] interval-lumon értelmezett h függvény (bináris entrópiafüggvény) értéke

h(x) =−x log x−(1−x)log(1−x),

ha x∈(0,1), és h(0) =h(1) =0. Mutassuk meg, hogy h rendelkezik a következ ˝o tulajdonságokkal:

a) szimmetrikus az ¹₂ pontra, és h ¹₂

=1;

b) [0,1]minden pontjában folytonos;

c) 0,¹₂

-ben szigorúan monoton növekv ˝o;

d) (0,1)-ben szigorúan konkáv.

4.16. feladat. Adjuk meg a 36 darab a bet˝ub ˝ol álló karaktersorozat LZ78-kódját!

4.17. feladat. Legyen X egy bájt érték˝u valószín˝uségi változó úgy, hogy P{X=i}=p_i, i=0,1, . . . ,255,

és Y egy bájt érték˝u, egyenletes eloszlású valószín˝uségi változó. Ha X és Y függet-lenek, akkor számítsa ki az(X+Y) mod 256 entrópiáját!

4.18. feladat. A bajnoki dönt ˝o az A és B csapat között addig tart, amíg az egyik meg nem nyer két meccset. Jelölje X valószín˝uségi változó a dönt ˝o mérk ˝ozései-nek gy ˝ozteseit (tehát X lehetséges értékei AA,ABA,BAA,BB,BAB,ABB), és Y a lejátszott összes meccs számát, azaz Y értéke 2 vagy 3. Feltéve, hogy a két csapat egyformán er ˝os és a meccsek függetlenek, határozza meg H(X)és H(Y)értékét!

4.19. feladat. Tegyük fel, hogy egy p eloszláshoz tartozó Shannon–Fano-kód leg-hosszabb kódszava l_max^SF hosszúságú, és ugyanezen eloszlás Huffman-kódjának leg-hosszabb kódszava l_max^H hosszúságú. Mutasson olyan eloszlást, amelyre l_max^SF >

l_max^H +800.

4.20. feladat. Legyen a forrásábécé X={A,B,Z,Y}. Az adaptív Huffman-algo-ritmus használatával adja meg egy bináris kódját a BABY szónak! Minden lépés-ben adja meg a Huffman-fát a súlyokkal!

4.21. feladat (Maximális entrópia). Tekintsük a pozitív egész számok halmazára koncentrálódó, m várható érték˝u diszkrét eloszlásokat. Mutassa meg, hogy a geo-metriai eloszlásnak maximális az entrópiája.

4.22. feladat. Milyen kódolási következménye van a 4.21. feladatnak?

4.23. feladat. Alkalmazzuk a Burrows–Wheeler-transzformációt a KALEVALA szóra mint blokkra.

4.12. Megoldások

4.1. megoldás. A 4.1. definícióból triviálisan következik a feladat definíciójának teljesülése, vagyis az azonosság igazolásához a másik irányt kell belátnunk. Indi-rekt bizonyítást alkalmazunk. Tegyük fel, hogy az állítás nem igaz, vagyis létezik olyan kód, amely megfelel a feladat definíciójának, viszont nem tesz eleget a 4.1.

definíciónak. Ekkor léteznie kell két különböz ˝o u=u1, . . . ,ukés v=v1, . . . ,vm üze-netnek (u6=v, k6=m), amelyek kódszavai megegyeznek f(u) = f(u1)···f(uk) = f(v₁)···f(v_m) = f(v). Kódoljuk most a két üzenet mindkét lehetséges sorrend˝u konkatenáltját, vagyis uv-t és vu-t.

f(uv) = f(u₁)···f(u_k)f(v₁)···f(v_m) = f(v₁)···f(v_m)f(u₁)···f(u_k) = f(vu).

Bár uv és vu hossza megegyezik (k+m), kódszavaik mégis azonosak, ellent-mondva ezzel a feladat definíciójának, amelyb ˝ol kiindultunk. Indirekt feltevésünk hamisnak bizonyult, így a feladat definíciója valóban ekvivalens a 4.1. definícióval.

4.4. megoldás. Az X valószín˝uségi változó geometriai eloszlású ¹₂ paraméterrel, vagyis

P{X=k}= 1 2

1 2

k−1

=2^−k, k∈Z⁺. Az entrópia definíciója szerint

H(X) =−

∑

∞ k=1

P{X=k}log P{X=k}=−

∑

∞ k=1

2^−klog 2^−k=

∑

∞ k=1

k2^−k=2.

4.5. megoldás. Az entrópia definíciója szerint

Ennek felhasználásával és az f(x):=−x log x bevezetésével H(p)≤^? H(q) minden x≥0-ra, az állítás igaz, hiszen a p_iés p_jvalószín˝uségek pozitívak.

4.6. megoldás.

ahol kihasználtuk az X és Y változók függetlenségét, hiszen ekkor p(x,y) =p(x)p(y).

4.7. megoldás.

ahol kihasználtuk a log x≤ln 2¹ (x−1)egyenl ˝otlenséget.

4.9. megoldás. Az, hogy a H(X) entrópia nemnegatív, egyszer˝uen következik a definícióból. A fels ˝o korlát igazolásához pedig kombináljuk a 4.7. és a 4.8. felada-tok állításait. Ha az X valószín˝uségi változó eloszlása p, akkor

H(X) =H(p) =log n−D(p|u)≤log n, ahol kihasználtuk, hogy az információs divergencia nemnegatív.

4.10. megoldás. Alkalmazza a 4.7. feladat eredményét úgy, hogy p legyen az X,Y együttes eloszlása, q pedig az X és Y szorzateloszlása.

4.11. megoldás. A Huffman-fa el ˝oállításához az els ˝o lépésben összevonjuk az ¹₄ és az ₁₂¹ valószín˝uség˝u szimbólumokat, s ezzel egy új, ¹₃ valószín˝uség˝u csúcsot kapunk. A második lépésben három darab ¹₃ valószín˝uség˝u csúcs közül kell ket-t˝ot összevonnunk. Attól függ ˝oen, hogy ezek között szerepel-e az el ˝oz ˝o lépésben kapott csúcs vagy sem, két különböz ˝o fát kapunk eredményül:

1

Mindkét kód optimális, kódszóhosszuk 2. A második kódnak van 3 hosszú kód-szava is, míg a Shannon–Fano-kódnak nincs, amint azt mindjárt látni fogjuk. Eh-hez a kumulált valószín˝uségek, bináris alakjuk és az ebb ˝ol leolvasható kódszavak

a következ ˝ok:

w1=0 =0.000000002 =⇒ 00 w2=¹₃ =0.01010101. . .₂ =⇒ 01 w₃=²₃ =0.10101010. . .₂ =⇒ 10 w₄=¹¹₁₂=0.11101010. . .₂ =⇒ 11 4.12. megoldás.

a) Indirekt tegyük fel, hogy a p1-hez tartozó kódszó egynél hosszabb. Ez csak úgy lehet, ha a Huffman-fa konstruálásánál a p₁ csúcsot nem az utolsó

a) Indirekt tegyük fel, hogy a p1-hez tartozó kódszó egynél hosszabb. Ez csak úgy lehet, ha a Huffman-fa konstruálásánál a p₁ csúcsot nem az utolsó

In document Hibajavító kódolás (Pldal 181-0)