Szoci´alis h´al´ok

Szoci´ alis h´ al´ ok

Szalai P´eter

April 17, 2015

Mir˝ ol lesz sz´ o?

1 Megfigyel´esek Kis vil´ag Power-law

Klaszterezhet˝os´eg

2 Modellek C´elok Erd˝os-R´enyi Watts-Strogatz Barab´asi modell Copy-modell

3 Spektr´al gr´af part´ıcion´al´as Matek

SVD Feladat

Szalai P´eter April 17, 2015 2 / 36

Section 1

Megfigyel´ esek

Subsection 1 Kis vil´ag

Szalai P´eter April 17, 2015 4 / 36

Kis vil´ ag jelens´ eg

A kis´erlet:

Milgram 1969

Nebraska →Boston

Eredm´eny:

20%-nak siker¨ult Atlagos l´´ ep´essz´am: 6.5 Ugyanez facebookon:

2008: 5.28 2011: 4.74

2

1 3 4 5 6

A B

Figure: Six degrees of separation

Kis vil´ ag jelens´ eg

A kis´erlet:

Milgram 1969

Nebraska →Boston Eredm´eny:

20%-nak siker¨ult Atlagos l´´ ep´essz´am: 6.5 Ugyanez facebookon:

2008: 5.28 2011: 4.74

2

1 3 4 5 6

A B

Figure: Six degrees of separation

Szalai P´eter April 17, 2015 5 / 36

Kis vil´ ag jelens´ eg

A kis´erlet:

Milgram 1969

Nebraska →Boston Eredm´eny:

20%-nak siker¨ult Atlagos l´´ ep´essz´am: 6.5 Ugyanez facebookon:

2008: 5.28 2011: 4.74

2

1 3 4 5 6

A B

Figure: Six degrees of separation

Subsection 2 Power-law

Szalai P´eter April 17, 2015 6 / 36

Power-law eloszl´ as

Power-law eloszl´as

Az X valv´altoz´o eloszl´asapower-law eloszl´as, ha:

Pr(X =x) =Cx^−α

Figure: Six degrees of separation

Power-law eloszl´ as

Power-law eloszl´as

Az X valv´altoz´o eloszl´asapower-law eloszl´as, ha:

Pr(X =x) =Cx^−α

Figure: Six degrees of separation

Szalai P´eter April 17, 2015 7 / 36

Power-law eloszl´ as

Power-law eloszl´as

Az X valv´altoz´o eloszl´asapower-law eloszl´as, ha:

p(x) =Pr(X =x) =Cx^−α Vegy¨uk a logaritmus´at:

log(p(x)) =log(C)−αlog(x) =⇒ log(y) =−αlog(x) +C⁰ ami log-log sk´al´an:

y⁰ =−αx⁰+C⁰

Power-law eloszl´ as

Power-law eloszl´as

Az X valv´altoz´o eloszl´asapower-law eloszl´as, ha:

Pr(X =x) =Cx^−α Empirikus adatban a leggyakoribb eloszl´as.

” ¨Or¨okifj´u”,f(cx) =g(c)f(x) egyetlen megold´asa.

El˝osz¨or Naturebiol´ogiai vonatkoz´as P´eld´ak:

Vagyon eloszl´as (Pareto 80-20) Hashtagek n´epszer˝us´eg eloszl´asa Szavak el˝ofordul´asa

Ismerets´egi gr´afok foksz´am eloszl´as!!!

Szalai P´eter April 17, 2015 9 / 36

Subsection 3 Klaszterezhet˝os´eg

Klaszterezhet˝ os´ eg

Csoportul´asok

Csoportok k¨ozotti kapcsolatok = Egy´enek k¨oz¨otti kapcsolatok Sk´alafuggetlen tulajdons´ag

Klaszterez´es probl´em´aja K´es˝obb

Szalai P´eter April 17, 2015 11 / 36

Klaszterezhet˝ os´ eg

Figure: Facebook klaszterezve

Section 2 Modellek

Szalai P´eter April 17, 2015 13 / 36

Subsection 1 C´elok

H´ al´ ozatmodellek

Mi´ert?

Jelens´egek meg´ert´ese (Mi t¨ort´enik facebookon?) Szimul´aci´o

M´er´esek Valid´al´as:

Foksz´am eloszl´asa power-law?

Kis vil´ag tulajdons´ag teljes¨ul?

Klaszterezhet˝os´eg?

N´eh´any h´al´ozatmodell:

Erd˝os-R´enyi Watts-Strogatz Barab´asi-Albert Broder

Szalai P´eter April 17, 2015 15 / 36

Erd˝ os-R´ enyi modell

G(n,p) = (V,E), aholV = [1, . . .n] ´esPr((i,j)∈E)) =p M´as megfogalmaz´as:

G(N,M) = (V,E),ahol |V|=N ´es|E|=M. Kapcsolat a k´et modell k¨oz¨ott:

M = N

2

p

Erd˝ os-R´ enyi modell

G(n,p) = (V,E), aholV = [1, . . .n] ´esPr((i,j)∈E)) =p M´as megfogalmaz´as:

G(N,M) = (V,E),ahol |V|=N ´es|E|=M. Kapcsolat a k´et modell k¨oz¨ott:

M = N

2

p

Szalai P´eter April 17, 2015 17 / 36

Erd˝ os vizualiz´ aci´ o

Figure: Erd˝o gr´af azonosN,M eset´en

ER gr´ af tulajdons´ agai

N´eh´any tulajdons´ag:

Atlag foksz´´ am ^2|E|_n = ²(ⁿ₂)^p

n = (n−1)p

Foksz´am-eloszl´as: Pr(d(v) =k) = ⁿ⁻¹_k

p^k(1−p)^n−1−k Poisson Pr(d(v) =k) = ^d(v)_k^k_!^e−z

Osszef¨¨ ugg˝os´eg:

np<1 legnagyobb ¨osszef¨ugg˝o komponensO(log(n)) np= 1 legnagyobb ¨osszef¨ugg˝o komponensO(n²₃) np>1 legnagyobb ¨osszef¨ugg˝o komponensO(n)

´es a m´asodik O(log(n)) Atm´´ er˝o: _log(p(n−1)^log(n)

Pr(G) =p^|E(G)|(1−p)(ⁿ²)^−|E(G)|

Szalai P´eter April 17, 2015 19 / 36

Watts-Strogatz

Kifejezetten a kis vil´ag tulajdons´ag modellez´es´ere talalt´ak ki.

G(n,k,p)

1 K¨or¨on elhelyez¨unkn pontot.

2 Ak t´avols´agra l´ev˝oket ¨osszek¨otj¨uk.

3 Minden ´elet p val´osz´ın˝us´eggel ´atk¨ot¨unk v´eletlen helyre.

Figure: n=8,k=2

Watts-Strogatz

Kifejezetten a kis vil´ag tulajdons´ag modellez´es´ere talalt´ak ki.

G(n,k,p)

1 K¨or¨on elhelyez¨unkn pontot.

2 Ak t´avols´agra l´ev˝oket ¨osszek¨otj¨uk.

3 Minden ´elet p val´osz´ın˝us´eggel ´atk¨ot¨unk v´eletlen helyre.

Figure: n=8,k=2

Szalai P´eter April 17, 2015 20 / 36

Watts-Strogatz

Kifejezetten a kis vil´ag tulajdons´ag modellez´es´ere talalt´ak ki.

G(n,k,p)

1 K¨or¨on elhelyez¨unkn pontot.

2 Ak t´avols´agra l´ev˝oket ¨osszek¨otj¨uk.

3 Minden ´elet p val´osz´ın˝us´eggel ´atk¨ot¨unk v´eletlen helyre.

Tulajdons´agok:

G_WS(n,k,p) k¨ozel azonos a Cn+ 2Cⁿ

2+· · ·+kCⁿ

k +G_ER(n,p) gr´affal.

Poisson + konstans foksz´ameloszl´as.e R´eszgr´afok ritk´ak a f¨uggetlens´eg miatt.

Grid modell (^{P [d(u,v)−r]}

v;v6=u[d(u,v)^−r]).Minden decentraliz´alt algoritmus Ω(n^r−2r−1) l´ep´est haszn´al.

Barab´ asi-Albert modell

1 Kiindulunk egyG0 gr´afb´olm0 ´ellel.

2 Felvesz¨unk egy ´uj pontot.

3 Bek¨otj¨uk mhelyre.

4 Bek¨ot´es val´osz´ın˝us´ege: p(v) = ^{P d(v,t)}

w∈Vd(w,t). Tulajdons´agok:

Foksz´ameloszl´as: hatv´any.

Kis vil´ag tulajdons´ag: teljes¨ul Klaszterezhet˝os´eg: nem teljes¨ul.

Szalai P´eter April 17, 2015 22 / 36

Broder

M´asol´asos modell

1 Kiindulunk egyG₀ gr´afb´olm₀ ´ellel.

2 Felvesz¨unk egy ´uj pontot.

3 V´alsztunk egy m´ar megl´ev˝o pontot.

4 Ha d ´elet kell beh´uzni akkor α val´osz´ın˝us´eggel m´asolunk egy ´elet ´es (1−α)-val egyenletesen v´alasztunk egy cs´ucsot.

Tulajdons´agok:

Foksz´ameloszl´as: hatv´any.

Kis vil´ag tulajdons´ag: teljes¨ul Klaszterezhet˝os´eg: teljes¨ul.

Section 3

Spektr´ al gr´ af part´ıcion´ al´ as

Szalai P´eter April 17, 2015 24 / 36

N´ egyzetes hiba (MSE) M´ atrixra

kA−Bk_?

(A−B)² nem egy sz´am =⇒ nem j´o. Megold´as:

Frob´enius norma:

kAk=X

i,j

a²_ij

MSE: kA−Bk²_F =P

i,j(aij −bij)²

N´ egyzetes hiba (MSE) M´ atrixra

kA−Bk_?

(A−B)² nem egy sz´am =⇒ nem j´o.

Megold´as:

Frob´enius norma:

kAk=X

i,j

a²_ij

MSE: kA−Bk²_F =P

i,j(aij −bij)²

Szalai P´eter April 17, 2015 25 / 36

N´ egyzetes hiba (MSE) M´ atrixra

kA−Bk_?

(A−B)² nem egy sz´am =⇒ nem j´o.

Megold´as:

Frob´enius norma:

kAk=X

i,j

a²_ij

MSE: kA−Bk²_F =P

i,j(aij −bij)²

SVD - Singular value decomposition

Tetsz˝olegesA m×n-es m´atrixhoz l´etezik Q ∈R^m×n,D ∈R^n×n´es P ∈R^n×n m´atrixok, hogy

A=Q×D×P, ahol:

Q ´esP ortonorm´alt.

D pedig diagon´alis.

Ekkor:

a_ij =X

k

q_ikd_kp_jk Tov´abb´a: kAk_F =P

i,ja²_ij =P

id_i²

Szalai P´eter April 17, 2015 26 / 36

SVD - Singular value decomposition

Legjobb k-rang´u k¨ozel´ıt´ese egy m´atrixnak:

Vegy¨uk ak legnagyobb szingul´aris ´ert´eket.

A t¨obbit t¨or¨olj¨uk (0-ra cser´elj¨uk) ´es a hozz´a tartoz´o vektorokat is.

Mi´ert szingul´aris?

AA^Tp_i =P^TD^TQ^TQDPp_i =P^TD²P(0, . . . ,1, . . . ,0)^T =d_i²v_i

d_i-k a saj´at´ert´ekek gy¨okei.

P oszlopai az AA^T saj´atvektorai.

Mire j´ o az SVD?

Mult ´ora v´ege.

Aj´anl´o rendszerek (Robi) Spektr´al felbont´as

Szalai P´eter April 17, 2015 28 / 36

Subsection 3 Feladat

Spektr´ al klaszterez´ es hasonl´ os´ agi gr´ afokra

Legyen G(V,E) egy gr´af ´esXG a gr´afot reprezent´al´o m´atrix. Preferenci´ak gr´af klaszterez´esn´el:

Hasonl´ok egy klaszterbe ker¨uljenek.

A k¨ul¨onb¨oz˝o klaszterekbe ker¨ul˝ok ne hasonl´ıtsanak.

Teh´at a c´elunk:

1 Maximaliz´alni az csoporton bel¨uli ¨ossz s´ulyt.

2 Minimaliz´alni a csoportok k¨oz¨ottit.

Legyen a k´et klaszterG_A ´esG_B ´esA,B hozz´ajuk tartoz´o ponthalmaz.

cut(A,B) = X

i∈A,j∈B

x_ij

Szalai P´eter April 17, 2015 30 / 36

Spektr´ al klaszterez´ es hasonl´ os´ agi gr´ afokra

Legyen G(V,E) egy gr´af ´esX_G a gr´afot reprezent´al´o m´atrix.

Preferenci´ak gr´af klaszterez´esn´el:

Hasonl´ok egy klaszterbe ker¨uljenek.

A k¨ul¨onb¨oz˝o klaszterekbe ker¨ul˝ok ne hasonl´ıtsanak.

Teh´at a c´elunk:

1 Maximaliz´alni az csoporton bel¨uli ¨ossz s´ulyt.

2 Minimaliz´alni a csoportok k¨oz¨ottit.

Legyen a k´et klaszterG_A ´esG_B ´esA,B hozz´ajuk tartoz´o ponthalmaz.

cut(A,B) = X

i∈A,j∈B

x_ij

min cut(A,B)

Nem el´eg. Lehet, hogy elfajul´o.

Spektr´ al klaszterez´ es hasonl´ os´ agi gr´ afokra

Legyen G(V,E) egy gr´af ´esX_G a gr´afot reprezent´al´o m´atrix.

Preferenci´ak gr´af klaszterez´esn´el:

Hasonl´ok egy klaszterbe ker¨uljenek.

A k¨ul¨onb¨oz˝o klaszterekbe ker¨ul˝ok ne hasonl´ıtsanak.

Teh´at a c´elunk:

1 Maximaliz´alni az csoporton bel¨uli ¨ossz s´ulyt.

2 Minimaliz´alni a csoportok k¨oz¨ottit.

Legyen a k´et klaszterG_A ´esG_B ´esA,B hozz´ajuk tartoz´o ponthalmaz.

cut(A,B) = X

i∈A,j∈B

x_ij

min cut(A,B) Nem el´eg. Lehet, hogy elfajul´o.

Szalai P´eter April 17, 2015 31 / 36

Spektr´ al klaszterez´ es hasonl´ os´ agi gr´ afokra

Megold´as

min

cut(A,B)

vol(A) +cut(A,B) vol(B)

,

ahol vol(A) azA-b´ol indul´o ¨ossz ´els´uly.

Laplace m´atrix Legyen D(i,i) =P

jx_ij, foksz´am m´atrix. Ekkor L=D−X, a Laplacem´atrix.

Sz´ amol´ as

Legyen f egyn dimenzi´os vektor(cs´ucsok sz´ama). Ekkor:

f^TLf =f^TDf −f^TXf =X

i

d_if_i²−X

i,j

f_if_jw_ij =

1 2



 X

i



 X

j

x_ij



f_i²−2X

ij

f_if_jx_ij +X

j

X

i

x_ij

! f_j²



=

1 2

P

ijx_ij(f_i −f_j)²

Szalai P´eter April 17, 2015 33 / 36

Mi´ ert j´ o ez?

1 2

P

ijxij(fi −fj)²

Jelent´esef ∈ {−1,1}ⁿ eset´en?

minp



 X

i,j

x_ij(p_i−p_j)²



=minp(p^TLp)

p = (1 1 . . .1)^T a minimumot adja.

Legyen plusz felt´etel P

ip_i = 0, jelent´ese, hogy|A|=|B|.

Gyakorlatban

Normaliz´aljukL-t:

L⁰ =D^0.5(D−A)D^0.5 A felbont´as m´asodik saj´atvektora a j´o klasszifik´al´o.

M´as megold´as

Klikk perkol´aci´o (m´asodik ´ora).

NP-neh´ez probl´ema.

Szalai P´eter April 17, 2015 35 / 36

Mir˝ ol volt sz´ o?

1 Megfigyel´esek Kis vil´ag Power-law

Klaszterezhet˝os´eg

2 Modellek C´elok Erd˝os-R´enyi Watts-Strogatz Barab´asi modell Copy-modell

3 Spektr´al gr´af part´ıcion´al´as Matek

SVD Feladat