Algoritmuselmélet 7. el ˝oadás

(1)

Algoritmuselmélet 7. el ˝ oadás

Katona Gyula Y.

Budapesti M ˝uszaki és Gazdaságtudományi Egyetem Számítástudományi Tsz.

I. B. 137/b

kiskat@cs.bme.hu

2002 Március 11.

(2)

ALGORITMUSELMÉLET 7. EL ˝OADÁS 1

Múltkori animációk

Java animáció: Hash-elés Java animáció: Huffman-fa

(3)

A Lempel–Ziv–Welch-módszer

A. Lempel és J. Ziv, 1970; T. Welch 1984

(4)

A Lempel–Ziv–Welch-módszer

Használja: GIF, v.42bis, compress; ZIP, ARJ, LHA

(5)

A Lempel–Ziv–Welch-módszer

Nem bet ˝unként kódól, hanem a szöveg bizonyos szavaiból szótárat épít. =⇒ S

(6)

A Lempel–Ziv–Welch-módszer

• az egybet ˝us szavak, azaz Σ elemei mind benne vannak S-ben;

(7)

A Lempel–Ziv–Welch-módszer

• ha egy szó benne van a szótárban, akkor annak minden kezd ˝odarabja is benne van;

(8)

A Lempel–Ziv–Welch-módszer

• a szótárban tárolt szavaknak fix hosszúságú kódjuk van; az x ∈ S szó kódját c(x) jelöli.

(9)

A Lempel–Ziv–Welch-módszer

• a szótárban tárolt szavaknak fix hosszúságú kódjuk van; az x ∈ S szó kódját c(x) jelöli.

Gyakorlatban a kódok hossza ∼12-15 bit.

(10)

LZW kódolás

• az összenyomni kívánt szöveget S-beli szavak egymásutánjára bontjuk

(11)

LZW kódolás

• a szavakat a szótárbeli kódokkal helyettesítjük

(12)

LZW kódolás

• Az eredeti szöveg olvasásakor egyid ˝oben épül, b ˝ovül az S szótár

(13)

LZW kódolás

• nincs optimalizálás, de a gyakorlatban jól m ˝uködik

(14)

LZW kódolás

A szótár egyik szokásos tárolási módja a szófa adatszerkezet.

(15)

LZW kódolás

Ha az olvasás során egy x ∈ S szót találunk, aminek a következ ˝o Y bet ˝uvel való folytatása már nincs S-ben, akkor c(x)-et kiírjuk a kódolt szövegbe.

(16)

LZW kódolás

Az xY szót felvesszük az S szótárba. A szó c(xY ) kódja a legkisebb még eddig az S-ben nem szerepl ˝o kódérték lesz.

(17)

LZW kódolás

Az xY szót felvesszük az S szótárba. A szó c(xY ) kódja a legkisebb még eddig az S-ben nem szerepl ˝o kódérték lesz.

Ezután az Y bet ˝uvel kezd ˝od ˝oen folytatjuk a bemeneti szöveg olvasását.

(18)

Legyen z egy szó típusú változó, K egy bet ˝u típusú változó. A z változó

értéke kezdetben az összenyomni szánt állomány els ˝o bet ˝uje. Végig teljesül, hogy z ∈ S.

(19)

(0) Olvassuk a bemen ˝o állomány következ ˝o bet ˝ujét K-ba.

(20)

(1) Ha az el ˝oz ˝o olvasási kísérlet sikertelen volt (vége a bemenetnek), akkor írjuk ki c(z)-t, és álljunk meg.

(21)

(2) Ha a zK szó is S-ben van, akkor z ← zK, és menjünk vissza (0)-ra.

(22)

(3) Különben (azaz ha zK 6∈ S) írjuk ki c(z)-t, tegyük a zK szót S-be. Legyen z ← K, majd menjünk vissza (0)-ra.

(23)

A c(x) kódok rögzített hosszúságúak. Ha például ez a hosszúság 12 bit, akkor az S szótárba összesen 4096 szó kerülhet. =⇒

(24)

A c(x) kódok rögzített hosszúságúak. Ha például ez a hosszúság 12 bit, akkor az S szótárba összesen 4096 szó kerülhet. =⇒

Ha a szótár betelt, nem b ˝ovítünk tovább, úgy folytatjuk.

(25)

Példa LZW-re

Legyen Σ = {a, b, c} és c(a) = 1, c(b) = 2, c(c) = 3.

ababcbababaaaaaaa

Szótár

a → 1 b → 2 c → 3

(26)

Példa LZW-re

ababcbababaaaaaaa 1

0000

Szótár

a → 1 b → 2 c → 3

⇒ ab → 4

(27)

Példa LZW-re

ababcbababaaaaaaa 1 2

0000 0001

Szótár

a → 1 b → 2 c → 3 ab → 4

⇒ ba → 5

(28)

Példa LZW-re

ababcbababaaaaaaa 1 2 4

0000 0001 0011

Szótár

a → 1 b → 2 c → 3 ab → 4 ba → 5

⇒ abc → 6

(29)

Példa LZW-re

ababcbababaaaaaaa 1 2 4 3

0000 0001 0011 0010

Szótár

a → 1 b → 2 c → 3 ab → 4 ba → 5 abc → 6

⇒ cb → 7

(30)

Példa LZW-re

ababcbababaaaaaaa 1 2 4 3 5

0000 0001 0011 0010 0100

Szótár

a → 1 b → 2 c → 3 ab → 4 ba → 5 abc → 6 cb → 7

⇒ bab → 8

(31)

Példa LZW-re

ababcbababaaaaaaa 1 2 4 3 5 8

0000 0001 0011 0010 0100 1000

Szótár

a → 1 b → 2 c → 3 ab → 4 ba → 5 abc → 6 cb → 7 bab → 8

⇒ baba → 9

(32)

Példa LZW-re

ababcbababaaaaaaa 1 2 4 3 5 8 1

0000 0001 0011 0010 0100 1000 0000

Szótár

a → 1 b → 2 c → 3 ab → 4 ba → 5 abc → 6 cb → 7 bab → 8 baba → 9

⇒ aa → 10

(33)

Példa LZW-re

ababcbababaaaaaaa 1 2 4 3 5 8 1 10

0000 0001 0011 0010 0100 1000 0000 1001

Szótár

a → 1 b → 2 c → 3 ab → 4 ba → 5 abc → 6 cb → 7 bab → 8 baba → 9 aa → 10

⇒ aaa → 11

(34)

Példa LZW-re

ababcbababaaaaaaa 1 2 4 3 5 8 1 10 11

0000 0001 0011 0010 0100 1000 0000 1001 1010

Szótár

a → 1 b → 2 c → 3 ab → 4 ba → 5 abc → 6 cb → 7 bab → 8 baba → 9 aa → 10 aaa → 11

⇒ aaaa → 12

(35)

Példa LZW-re

ababcbababaaaaaaa 1 2 4 3 5 8 1 10 11 1 0000 0001 0011 0010 0100 1000 0000 1001 1010 0000

Szótár

a → 1 b → 2 c → 3 ab → 4 ba → 5 abc → 6 cb → 7 bab → 8 baba → 9 aa → 10 aaa → 11 aaaa → 12

(36)

Példa LZW-re

ababcbababaaaaaaa 1 2 4 3 5 8 1 10 11 1

0000 0001 0011 0010 0100 1000 0000 1001 1010 0000

Szótár

a → 1 b → 2 c → 3 ab → 4 ba → 5 abc → 6 cb → 7 bab → 8 baba → 9 aa → 10 aaa → 11 aaaa → 12

(37)

Dekódolás

(38)

Dekódolás

Elvégezhet ˝o pusztán az egybet ˝us szavak kódjainak, valamint a kódok képzési szabályának ismeretében, nem kell tárolni S-et.

(39)

Dekódolás

Pl. Ha a kódolt szöveg: 1 2 4 3 5 8 1 10 11 1 és tudjuk, hogy c(a) = 1, c(b) = 2, c(c) = 3 =⇒

(40)

Dekódolás

Ez els ˝o két jel bet ˝u kódja =⇒ ab

√

(41)

Dekódolás

√

ab nem volt a kezdeti S-ben, de az eleje igen; =⇒ a kódoló algoritmus ezt c(ab) = 4 értékkel S-be tette =⇒ abab =⇒

(42)

Dekódolás

√

ba volt a következ ˝o szó, ami S-be került =⇒ c(ba) = 5 . . . Ha itt tartunk

(43)

Dekódolás

√

1 2 4 3 5 8 1 10 11 1 ababcba

a→ 1 b→ 2 c→ 3 ab→ 4 ba→ 5 abc→ 6 cb→ 7

(44)

Dekódolás

√

1 2 4 3 5 8 1 10 11 1 ababcba

a→ 1 b→ 2 c→ 3 ab→ 4 ba→ 5 abc→ 6 cb→ 7

=⇒

a 8-as kódú szó ba∗ alakú,

(45)

Dekódolás

√

1 2 4 3 5 8 1 10 11 1 ababcba

a→ 1 b→ 2 c→ 3 ab→ 4 ba→ 5 abc→ 6 cb→ 7

=⇒

következ ˝o bet ˝u biztos b

(46)

Dekódolás

√

1 2 4 3 5 8 1 10 11 1 ababcba

a→ 1 b→ 2 c→ 3 ab→ 4 ba→ 5 abc→ 6 cb→ 7

=⇒

következ ˝o bet ˝u biztos b c(bab) = 8

(47)

Dekódolás

√

1 2 4 3 5 8 1 10 11 1 ababcba

a→ 1 b→ 2 c→ 3 ab→ 4 ba→ 5 abc→ 6 cb→ 7

=⇒

ababcbabab

(48)

Dekódolás

√

1 2 4 3 5 8 1 10 11 1 ababcba

a→ 1 b→ 2 c→ 3 ab→ 4 ba→ 5 abc→ 6 cb→ 7

=⇒

ababcbabab

Java animáció: LZW-kódolás

(49)

Dekódolás

√

1 2 4 3 5 8 1 10 11 1 ababcba

a→ 1 b→ 2 c→ 3 ab→ 4 ba→ 5 abc→ 6 cb→ 7

=⇒

ababcbabab

Java animáció: LZW-kódolás Laczay Bálint féle GIF animáció

(50)

Gráfalgoritmusok

• irányított gráfok: G = (V, E)

(51)

Gráfalgoritmusok

• irányított él, irányított út, irányított kör

(52)

Gráfalgoritmusok

• élsúlyok: c(e) — lehetnek negatívak is

(53)

Gráfalgoritmusok

• élsúlyok: c(e) — lehetnek negatívak is

J

H G E

K D

F

I C

B

A L

3

4

8

4 9 6

9 0

17 8 9

3

6

2

7

3

8

6

11

5

(54)

Adjacencia-mátrix

Definíció. A G = (V, E) gráf adjacencia-mátrixa (vagy szomszédossági mátrixa) a következ ˝o – a V elemeivel indexelt – n-szer n-es mátrix:

A[i, j] =

0 ha (i, j) 6∈ E, 1 ha (i, j) ∈ E.

(55)

Adjacencia-mátrix

A[i, j] =

0 ha (i, j) 6∈ E, 1 ha (i, j) ∈ E.

Irányítatlan gráfok esetén a szomszédossági mátrix szimmetrikus lesz (azaz A[i, j] = A[j, i] teljesül minden i, j csúcspárra).

(56)

Adjacencia-mátrix

A[i, j] =

0 ha (i, j) 6∈ E, 1 ha (i, j) ∈ E.

Irányítatlan gráfok esetén a szomszédossági mátrix szimmetrikus lesz (azaz A[i, j] = A[j, i] teljesül minden i, j csúcspárra).

v₄ 5

1

−1 v₃ 3

v₁ v₅

5 v₂

A =







0 1 0 1 0 0 0 0 0 1 0 1 0 0 0 0 0 1 0 1 0 0 1 0 0







(57)

Súlyozott adjacencia-mátrix

Ha költségek is vannak =⇒

C[i, j] =







0 ha i = j,

c(i, j) ha i 6= j és (i, j) éle G-nek,

∗ különben.

(58)

Súlyozott adjacencia-mátrix

C[i, j] =







0 ha i = j,

∗ különben.

v₄ 5

1

−1 v₃ 3

v₁ v₅

5 v₂

C =







0 5 ∗ 1 ∗

∗ 0 ∗ ∗ −1

∗ 1 0 ∗ ∗

∗ ∗ 1 0 5

∗ ∗ 3 ∗ 0







(59)

Súlyozott adjacencia-mátrix

C[i, j] =







0 ha i = j,

∗ különben.

v₄ 5

1

−1 v₃ 3

v₁ v₅

5 v₂

C =







0 5 ∗ 1 ∗

∗ 0 ∗ ∗ −1

∗ 1 0 ∗ ∗

∗ ∗ 1 0 5

∗ ∗ 3 ∗ 0







Hátránya =⇒ a mérete (n² tömbelem) teljesen független az élek számától.

(60)

Éllistás megadás

G = (V, E) gráf minden csúcsához egy lista tartozik.

(61)

Éllistás megadás

Az i ∈ V csúcs listájában tároljuk az i-b ˝ol kimen ˝o éleket, és ha kell, ezek súlyát is.

(62)

Éllistás megadás

Az i listáján egy élnek a lista egy eleme (cellája) felel meg.

(63)

Éllistás megadás

- -

jc(i,j)

r r r r

- - -

?

1

i

n ^- ^r ^r ^r

1-b ˝ol kimen ˝o élek cellái

egy tipikus cella

-

?

(64)

Éllistás megadás

- -

jc(i,j)

r r r r

- - -

?

1

i

n ^- ^r ^r ^r

egy tipikus cella

-

?

Az (i, j) élnek megfelel ˝o cella tartalmazza a j sorszámot, a c(i, j) súlyt (ha van), egy mutatót a következ ˝o cellára, és esetleg még egyet az el ˝oz ˝ore is.

(65)

Éllistás megadás

- -

jc(i,j)

r r r r

- - -

?

1

i

n ^- ^r ^r ^r

egy tipikus cella

-

?

Az (i, j) élnek megfelel ˝o cella tartalmazza a j sorszámot, a c(i, j) súlyt (ha van), egy mutatót a következ ˝o cellára, és esetleg még egyet az el ˝oz ˝ore is.

Tárigény: n + e cella, Irányítatlan gráfoknál:

n + 2e cella

(66)

A legrövidebb utak problémája

Legyen adott egy G = (V, E) irányított gráf a c(f), f ∈ E élsúlyokkal.

Feladat. Mekkora a legrövidebb út egy adott pontból egy másik adott pontba?

(67)

A legrövidebb utak problémája

Feladat. Mekkora a legrövidebb út egy adott pontból az összes többibe?

(68)

A legrövidebb utak problémája

Feladat. Mekkora a legrövidebb út bármely két pont között?

(69)

A legrövidebb utak problémája

A G gráf egy u-t v-vel összeköt ˝o (nem feltétlenül egyszer ˝u) u v irányított útjának a hossza az úton szerepl ˝o élek súlyainak összege.

(70)

A legrövidebb utak problémája

Legrövidebb u v út =⇒ egy olyan u v út, melynek a hossza minimális a G-beli u v utak között.

(71)

A legrövidebb utak problémája

u és v csúcsok (G-beli) d(u, v) távolsága:

— 0, ha u = v;

(72)

A legrövidebb utak problémája

— 0, ha u = v;

— ∞, ha nincs u v út

(73)

A legrövidebb utak problémája

— 0, ha u = v;

— egyébként pedig a legrövidebb u v út hossza.

(74)

A legrövidebb utak problémája

— 0, ha u = v;

— egyébként pedig a legrövidebb u v út hossza.

Vigyázat, itt u és v nem felcserélhet ˝o: ha az egyik csúcs valamilyen távol van a másiktól, akkor nem biztos, hogy a másik is ugyanolyan távol van az

egyikt ˝ol!

(75)

Dijkstra módszere

Feladat. A legrövidebb utak problémája (egy forrásból):

Adott egy G = (V, E) irányított gráf, a c : E → R⁺ nemnegatív érték ˝u súlyfüggvény, és egy s ∈ V csúcs (a forrás). Határozzuk meg minden v ∈ V -re a d(s, v) távolságot.

D[ ] =⇒

• Egy a G csúcsaival indexelt tömb

(76)

Dijkstra módszere

D[ ] =⇒

• az eljárás során addig megismert legrövidebb s v utak hossza

(77)

Dijkstra módszere

D[ ] =⇒

• Fels ˝o közelítése a keresett d(s, v) távolságnak

(78)

Dijkstra módszere

D[ ] =⇒

• Fels ˝o közelítése a keresett d(s, v) távolságnak

• A közelítést lépésr ˝ol lépésre finomítjuk, végül d(s, v)-t érjük el.

(79)

Tegyük fel, hogy a G gráf az alábbi alakú C adjacencia-mátrixával adott:

C[v, w] =







0 ha v = w,

c(v, w) ha v 6= w és (v, w) éle G-nek,

∞ különben.

Kezdetben D[v] := C[s, v] minden v ∈ V csúcsra.

(80)

C[v, w] =







0 ha v = w,

∞ különben.

Válasszuk ki ezután az s csúcs szomszédai közül a hozzá legközelebbit, vagyis egy olyan x ∈ V \ {s} csúcsot, melyre D[x] minimális

(81)

C[v, w] =







0 ha v = w,

∞ különben.

Biztos, hogy az egyetlen (s, x) élb ˝ol álló út egy legrövidebb s x út, (az élsúlyok nemnegatívak!).

(82)

C[v, w] =







0 ha v = w,

∞ különben.

A KÉSZ halmaz azokat a csúcsokat tartalmazza, amelyeknek s-t ˝ol való távolságát már tudjuk.

(83)

C[v, w] =







0 ha v = w,

∞ különben.

A KÉSZ halmaz azokat a csúcsokat tartalmazza, amelyeknek s-t ˝ol való távolságát már tudjuk.

=⇒ x-et betehetjük (s mellé) a KÉSZ halmazba.

(84)

Ezek után módosítsuk a többi csúcs D[w] értékét, ha az eddig ismertnél rövidebb úton el lehet érni oda x-en keresztül, azaz ha

D[x] + C[x, w] < D[w].

s

x

w

C [x, w ]

(85)

D[x] + C[x, w] < D[w].

s

x

w

C [x, w ]

Újra válasszunk ki a v ∈ V \ KÉSZ csúcsok közül egy olyat, amelyre D[v]

minimális.

(86)

D[x] + C[x, w] < D[w].

s

x

w

C [x, w ]

minimális.

Ezen csúcs D[ ]-értéke már az s-t ˝ol való távolságát tartalmazza.

(87)

D[x] + C[x, w] < D[w].

s

x

w

C [x, w ]

minimális.

Ezen csúcs D[ ]-értéke már az s-t ˝ol való távolságát tartalmazza.

Majd megint a D[ ]-értékeket módosítjuk, és így tovább, míg minden csúcs be nem kerül a KÉSZ halmazba.

(88)

Dijkstra algoritmusa adjacencia-mátrixszal

(1) KÉSZ := {s}

for minden v ∈ V csúcsra do

D[v] := C[s, v] (∗ a d(s, v) távolság els ˝o közelítése ∗)

(89)

Dijkstra algoritmusa adjacencia-mátrixszal

(1) KÉSZ := {s}

D[v] := C[s, v] (∗ a d(s, v) távolság els ˝o közelítése ∗) (2) for i := 1 to n − 1 do begin

Válasszunk olyan x ∈ V \ KÉSZ csúcsot, melyre D[x] minimális.

Tegyük x-et a KÉSZ-be.

(90)

Dijkstra algoritmusa adjacencia-mátrixszal

(1) KÉSZ := {s}

(3) for minden w ∈ V \ KÉSZ csúcsra do

D[w] := min{D[w], D[x] + C[x, w]} (∗ d(s, w) új közelítése ∗) end

(91)

Dijkstra algoritmusa adjacencia-mátrixszal

(1) KÉSZ := {s}

(3) for minden w ∈ V \ KÉSZ csúcsra do

D[w] := min{D[w], D[x] + C[x, w]} (∗ d(s, w) új közelítése ∗) end

Definíció. különleges út: egy s z irányított út különleges, ha a z végpontot kivéve minden pontja a KÉSZ halmazban van. A különleges úttal elérhet ˝o

pontok éppen a KÉSZ-b ˝ol egyetlen éllel elérhet ˝o pontok.

(92)

Tétel. A (2) ciklus minden iterációs lépése után érvényesek a következ ˝ok:

(a) KÉSZ pontjaira D[v] a legrövidebb s v utak hossza.

(93)

(b) Ha v ∈ KÉSZ, akkor van olyan d(s, v) hosszúságú (más szóval

legrövidebb) s v út is, amelynek minden pontja a KÉSZ halmazban van.

(94)

(c) Küls ˝o (vagyis w ∈ V \ KÉSZ) pontokra D[w] a legrövidebb különleges s w utak hossza.

(95)

Bizonyítás: (a) Indukcióval

(96)

Bizonyítás: (a) Indukcióval (2) el ˝ott

√

(97)

√

Tegyük fel, hogy igaz a j-edik iteráció után.

Belátjuk, hogy igaz a j + 1-edik iteráció után is.

(98)

√

Tegyük fel, hogy igaz a j-edik iteráció után.

Belátjuk, hogy igaz a j + 1-edik iteráció után is.

Tegyük fel, hogy az algoritmus a j + 1. iterációs lépésben az x csúcsot választja a KÉSZ-be.

(99)

x s

y

(100)

x s

y

Indirekt: mi van, ha D[x] nem a d(s, x) távolságot jelöli, azaz van ennél rövidebb s x út?

(101)

x s

y

Ezen út „eleje" különleges =⇒ D[y] ≤ d(x, s) < D[x]

(102)

x s

y

(b) Elég x-re ⇐= KÉSZ korábbi pontjaira az indukciós feltevésb ˝ol

(103)

x s

y

Láttuk, hogy d(s, x) = D[x], ez egy különleges s x út hossza volt a j + 1.

iteráció el ˝ott (itt a (c)-re vonatkozó indukciós feltevést használtuk)

(104)

x s

y

Láttuk, hogy d(s, x) = D[x], ez egy különleges s x út hossza volt a j + 1.

iteráció el ˝ott (itt a (c)-re vonatkozó indukciós feltevést használtuk) annak végeztével az út minden pontja KÉSZ-beli lesz.

(105)

x

w

s

(106)

x

w s

(c) A j + 1. iteráció el ˝ott

D[w] = min

v∈KÉSZ\{x}

{d(s, v) + C[v, w]}.

(107)

x

w s

D[w] = min

v∈KÉSZ\{x}

{d(s, v) + C[v, w]}.

Utána D[w] = min

v∈KÉSZ

{d(s, v) + C[v, w]}.

(108)

x

w s

D[w] = min

v∈KÉSZ\{x}

{d(s, v) + C[v, w]}.

Utána D[w] = min

v∈KÉSZ

{d(s, v) + C[v, w]}.

=⇒ Elég megnézni, hogy D[w] vagy d(s, x) + C[x, w] nagyobb