Most értelmezzük a csoportábrázolások egymással való kapcsolatainak fogalmát.
1.3.1. Definíció. Legyen γ1 (illetve γ2) ábrázolása a G csoportnak az X1 (illetve X2) halmazban. Azt mondjuk, hogy a σ : X1 → X2 függvény összeköti a γ1 és γ2 ábrázolá-sokat, ha minden s∈G esetén
γ2(s)◦σ=σ◦γ1(s).
Azt mondjuk, hogy a γ1 és γ2 ábrázolások ekvivalensek, ha létezik olyan σ :X1 →X2
bijekció, amely öszeköti a a γ1 és γ2 ábrázolásokat.
– Legyen γ1 (illetve γ2) topologikus ábrázolása a G csoportnak az X1 (illetve X2) topologikus térben. Azt mondjuk, hogy a γ1 ésγ2 topologikus ábrázolásoktopologikusan ekvivalensek, ha létezik olyan σ :X1 →X2 homeomorfizmus, amely öszeköti a a γ1 és γ2 ábrázolásokat.
– Legyen V1 (illetve V2) unitér ábrázolása a G csoportnak a H1 (illetve H2) Hilbert-térben. Ekkor
C(V1;V2) :={u∈L(H1;H2) | (∀s∈G) :V2(s)◦u=u◦V1(s)},
tehát C(V1;V2) a V1 és V2 ábrázolásokat összekötő folytonos lineáris operátorok halmaza.
Azt mondjuk, hogy a V1 és V2 unitér ábrázolások unitér ekvivalensek, ha C(V1;V2) tartalmaz unitér operátort, vagyis ha létezik olyan u : H1 → H2 unitér operátor, hogy minden G∋s-re V2(s)◦u=u◦V1(s). Azt mondjuk, hogy a V1 és V2 unitér ábrázolások diszjunktak (vagy ortogonálisak), ha C(V1;V2) ={0}.
Nyilvánvaló, hogy haV1unitér ábrázolása aGcsoportnak aH1ésV2unitér ábrázolása G-nek a H2 Hilbert-térben, akkor C(V1;V2) ⊆ L(H1;H2) olyan lineáris altér, amely zárt az operátornorma szerint.
1.3.2. Definíció. Ha γ ábrázolása a G csoportnak az X halmazban, akkor egy H ⊆ X halmazt γ-invariánsnak nevezünk, ha minden s ∈G esetén γ(s)hHi ⊆H.
Ha γ ábrázolása a G csoportnak az X halmazban és H az X-nek γ-invariáns részhalmaza, akkor minden s ∈ G esetén γ(s)hHi ⊆ H, továbbá (γ(s))−1hHi = γ(s−1)hHi ⊆H, tehát γ(s)hHi=H, amiből következik, hogy a
γ|H :G→S(H); s7→γ(s)|H
leképezés ábrázolása aGcsoportnak aH halmazban: ezt nevezzük aγ ábrázolásH által meghatározott részábrázolásának. Nyilvánvaló, továbbá hogy:
– ha γ topologikus ábrázolása a G csoportnak az X topologikus térben, és H ⊆ X tetszőleges γ-invariáns halmaz, akkor a γ|H részábrázolás topologikus ábrázolása a G csoportnak a H topologikus altérben;
– ha V lineáris ábrázolása a G csoportnak az E vektortérben, és H ⊆ E V-invariáns lineáris altér, akkor a V|H részábrázolás lineáris ábrázolása a G csoportnak a H vektortérben;
– ha V unitér ábrázolása a G csoportnak a H Hilbert-térben, és H ⊆ H V-invariáns zárt lineáris altér, akkor a V|H részábrázolás unitér ábrázolása a G csoportnak a H Hilbert-térben;
– ha V unitér ábrázolása a G csoportnak a H Hilbert-térben, és H ⊆ H V-invariáns halmaz, akkor H⊥ zárt V-invariáns lineáris altér, tehát a V|H⊥ részábrázolás unitér ábrázolása a G csoportnak aH⊥ Hilbert-térben.
1.3.3. Definíció. Legyen V unitér ábrázolása a G csoportnak a H Hilbert-térben. Azt mondjuk, hogy
– V algebrailag irreducibilis, ha H 6= {0} és C(V;V) =C.idH, vagyis csak azok a H → H folytonos lineáris operátorok kötik össze V-t önmagával, amelyek az identikus operátor számszorosai;
– V geometriailag irreducibilis, ha H 6= {0} és minden F ⊆ H zárt V-invariáns lineáris altérre F ={0} vagyF =H .
A következő állítás bizonyításához megjegyezzük, ha H Hilbert-tér, F ⊆ H zárt lineáris altér,PF azF-re vetítő ortogonális projektor ésu:H →H tetszőleges függvény, akkor
uhFi ⊆F ⇔ u◦PF =PF ◦u◦PF.
Valóban, ζ ∈ F esetén PF(ζ) = ζ, tehát, ha u ◦PF = PF ◦u ◦ PF, akkor u(ζ) = (u ◦ PF)(ζ) = (PF ◦ u ◦ PF)(ζ) ∈ Im(PF) = F, így uhFi ⊆ F. Megfordítva, ha ζ ∈ H , akkor PF(ζ) ∈ F, tehát ha uhFi ⊆ F, akkor u(PF(ζ)) ∈ F, így u(PF(ζ)) = PF(u(PF(ζ))), amiből következik, hogy u◦ PF = PF ◦u◦PF. Ebből az is látható, hogy ha u:H →H folytonos lineáris operátor, akkor
(uhFi ⊆F)∧(u∗hFi ⊆F) ⇔ u◦PF =PF ◦u
teljesül, mert a PF önadjungáltságát felhasználva, operátoradjungálással kapjuk, hogy u∗hFi ⊆F ⇔ u∗◦PF =PF ◦u∗◦PF ⇔ PF ◦u=PF ◦u◦PF,
tehát
(uhFi ⊆F)∧(u∗hFi ⊆F) ⇔ u◦PF =PF ◦u◦PF =PF ◦u ⇔ PF ◦u=u◦PF. 1.3.4. Állítás. Ha V unitér ábrázolása a G csoportnak a H Hilbert-térben, akkor V algebrai és geometriai irreducibilitása ekvivalensek.
Bizonyítás. Tegyük fel, hogy V algebrailag irreducibilis, és legyen F ⊆ H zárt V -invariáns lineáris altér. Jelölje PF az F-re vetítő ortogonális projektort. Az F halmaz V-invarianciája szerint mindens∈G eseténV(s)hFi ⊆F és V(s)∗ =V(s)−1 =V(s−1), tehát V(s)∗hFi = V(s−1)hFi ⊆ F, ami azt jelenti, hogy V(s) ◦ PF = PF ◦ V(s), azaz PF ∈ C(V;V) = C.idH. Ezért létezik olyan z ∈ C, hogy PF = z.idH. Ekkor PF ◦PF =PF és H 6= {0} miatt z2 = z, következésképpen z = 0 (így F = {0}), vagy z = 1 (ígyF =H). Ez azt jelenti, hogy V geometriailag irreducibilis.
Megfordítva, tegyük fel, hogyV geometriailag irreducibilis. HaP ∈C(V;V)önadjungált idempotens elem, azaz ortogonális projektor a H Hilbert-térben, akkor az Im(P) halmaz zárt V-invariáns lineáris altér H -ban, így a hipotézis alapján Im(P) = {0}
(így P = 0), vagy Im(P) = H (így P = idH). Ez azt jelenti, hogy a C(V;V) operátoralgebra csak triviális projektorokat tartalmaz, vagyis P(C(V;V)) = {0, idH}. Ugyanakkor, C(V;V) megegyezik az Im(V) operátorhalmaz kommutánsával az L(H ) operátoralgebrában, és Im(V) az adjungálásra nézve zárt halmaz, hiszen minden s ∈G esetén V(s)∗ = V(s)−1 = V(s−1) ∈ Im(V). Tudjuk, hogy az L(H) operátoralgebra Rickart-C∗-algebra, így C(V;V) is Rickart-C∗-algebra ([19, 23.3.]). Másfelől, Rickart-C∗-algebrában a projektorok halmazának lineáris burkaC∗-normában sűrű ([19, 23.3.3.]), így C(V;V) = span(P(C(V;V))) = span({0, idH}) = C.idH, tehát V algebrailag irreducibilis.
Az előző állítás alapján a továbbiakban nem teszünk különbséget az unitér csoport-ábrázolások algebrai és geometriai irreducibilitása között, és egyszerűenirreducibilitásról beszélünk. Ne felejtsük el, hogy az unitér csoportábrázolások irreducibilitásának fogalmába beleértjük azt, hogy az ábrázolás nem nulla dimenziós; ezzel zárjuk ki az érdektelen triviális eseteket!
A következő állítás megmutatja, hogy egy csoport irreducibilis unitér ábrázolásai között az unitér ekvivalencia és a nemdiszjunktság ekvivalens tulajdonságok.
1.3.5. Állítás. Legyenek V1 és V2 a G csoportnak irreducibilis unitér ábrázolásai. A V1 és V2 ábrázolások pontosan akkor unitér ekvivalensek, ha nem diszjunktak (vagyis C(V1;V2)6={0}).
Bizonyítás. Ha V1 és V2 unitér ekvivalensek és u ∈ C(V1;V2) unitér összekötő operátor, akkor u 6= 0, mert irreducibilis unitér ábrázolások (a definíció szerint) nem nulla dimenziósak.
Megfordítva, legyen w ∈ C(V1;V2) nem nulla operátor, és jelölje H1 a V1 és H2 a V2
ábrázolás terét; megmutatjuk, hogy V1 ésV2 unitér ekvivalensek.
Világos, hogy w∈C(V1;V2) miattw∗ ∈C(V2;V1), következésképpen w∗◦w∈C(V1;V1) és w◦w∗ ∈ C(V2;V2). Ebből, a V1 és V2 algebrai irreducibilitása folytán kapjuk olyan α, β ∈ C számok létezését, hogy w∗ ◦w = α.idH1 és w◦ w∗ = β.idH2. Most az első egyenlőséget balról w-vel komponálvaα.w =w◦(w∗◦w) = (w◦w∗)◦w=β.w adódik, így w 6= 0 miatt α = β. Ugyanakkor, w 6= 0 miatt van olyan ζ ∈ H1, hogy w(ζ) 6= 0, és ekkor αkζk2 = ((w∗ ◦w)(ζ)|ζ) = kw(ζ)k2, amiből következik, hogy α ∈ R+. Ezért u:=α−1/2.w ∈C(V1;V2)olyan lineáris operátorH1 ésH2 között, amelyreu∗◦u=idH1
és u◦u∗ =idH2, vagyis u unitér összekötő operátorV1 ésV2 között.
1.3.6. Állítás. Kommutatív csoport minden irreducibilis unitér ábrázolása egy dimen-ziós.
Bizonyítás. Legyen V irreducibilis unitér ábrázolása a G csoportnak a H Hilbert-térben. Ha s ∈ G, akkor a G kommutativitása miatt minden G ∋ t-re V(t)◦V(s) = V(ts) = V(st) = V(s)◦V(t), tehát V(s) ∈ C(V;V) = C.idH. Ebből következik, hogy
L(H )⊆C(V;V), ígyL(H ) =C.idH, tehátH legfeljebb egy dimenziós.
LegyenV egy dimenziós unitér ábrázolása aGcsoportnak aH Hilbert-térben. Ekkor minden G ∋ s-hez egyértelműen létezik olyan χ(s) ∈ U := {z ∈ C||z| = 1}, amelyre V(s) = χ(s).idH. Nyilvánvaló, hogy az így bevezethető χ : G → U függvény csoport-morfimus. Az is könnyen látható, hogy ha V ésV′ egy dimenziós unitér ábrázolásai aG csoportnak, továbbáχésχ′ a hozzájuk tartozóG→Ufüggvények, akkorV ésV′ unitér ekvivalenciája pontosan azt jelenti, hogy χ=χ′.
1.3.7. Definíció. AGcsoportunitér karakteréneknevezünk mindenG→U csoport-morfizmust.
Ha G csoport, akkor a G → U azonosan 1 függvény unitér karaktere G-nek;
ezt nevezzük a G csoport triviális unitér karakterének, és általában az 1G vagy 1 szimbólummal jelöljük. Hamarosan látni fogjuk, hogy léteznek olyan csoportok, amelyeknek minden unitér karaktere triviális. Jóval később (a 6.7. pontban) megmutat-juk, hogy minden kommutatív lokálisan kompakt csoportnak olyan sok folytonos unitér karaktere van, hogy a folytonos unitér karakterek halmaza szétválasztó.