A műszaki információ mérése

Tekintettel arra, hogy a mérést információelméleti szempontból úgy kell értelmezni, mint olyan tevékenységet, amely a mérés előtt meglévő ismerethiány (bizonytalanság) megszüntetésére irányul, természetes, hogy nézetünk szerint a műszaki információ fogalmába beletartozik a mérés útján szerzett információ is.

Ez a szemlélet a mérési tevékenység céljával tökéletes összhangban van, hiszen a mérés a hiányzó ismereteink pótlását szolgálja. Ezért nem kell meglepődni, ha a későbbiekben a méréssel szerezhető információmennyiséget a hírközlésben szokásos módon „entrópiának” nevezzük.

Az információ műszaki értelemben – látjuk a következőkben – pontosan ezt jelenti: Információ entrópia = a bizonytalanság (ismerethiány) megszűntetésének mértéke.

Méréstechnikus szemével nézve a forrás tehát a mérendő fizikai-technikai mennyiséget kibocsátó rendszer (gépi berendezés, stb.), a vevő a mérést végző személy, vagy az irányítástechnikában maga a szabályozott rendszer, pontosabban a különbségképző tag, hiszen a visszacsatolás minden szabályozott mechatronikai rendszerben mérés.

Az átviteli csatorna maga a mérőlánc, amelybe a kódoló és dekódoló is beletartozik. Ha jól meggondoljuk, nincs ebben semmi erőltetettség, hiszen például a vivőfrekvenciás mérőerősítők a legszembetűnőbben szemléltetik

(fázisban lévő) generátorjel segítségével lehet a hasznos, és információt hordozó moduláló jelet dekódolással leválasztani.

Az is természetes, hogy a „vevő‖ állapota (ismerethalmaza) a mérés eredményének függvényében megváltozik.

(Másként minek fektetnénk pénzt és munkát a mérésbe, információszerzésbe?)

Mielőtt a mérés entrópiájára rátérnénk, szükséges néhány ismeret rövid összefoglalása, hiszen ahhoz, hogy a méréssel szerezhető információmennyiség „mérhető‖ legyen, meg kell ismernünk az információ alapegységét és mértékegységét is.

A modern információelmélet kialakulását a valószínűség számítás fejlődése alapozta meg. A valószínűség matematikai megfogalmazása régóta foglalkoztatta a gondolkodókat. Úgy tudjuk, hogy a valószínűség első tudományos igényű tárgyalása Pascal levelében olvasható, amelyet 1654. júl. 29-én Fermat-hoz írt. Bernoulli is foglalkozott a témával, és a következő megközelítést adta: „A valószínűség olyan bizonyossági fok, amely úgy viszonyul a teljes bizonyossághoz, mint rész az egészhez.‖ Laplace-tól származik az a formula, amelyre napjainkban is hivatkoznak: A valószínűség a „kedvező‖ események osztva az „összes lehetséges‖ eseménnyel, amennyiben minden esemény azonos valószínűséggel következhet be. Láttuk ugyanakkor a 4. fejezet - Mérés és valószínűség számítás fejezetben, hogy a modern valószínűségszámítás már axiómák segítségével definiál.

Többek mellett Gauss, Poisson, Markov, Kotelnyikov, Hincsin, Feinstein és Fano is foglalkozott a legfontosabb véletlen folyamatok és valószínűségi eloszlások kutatásával.

Kolmogorovtól származik az a közismert egyenlőtlenség, amely az események bekövetkezésének valószínűségét a biztos (P=1) és a lehetetlen (P=0) események közé helyezte, és ezzel „számszerű‖

megfogalmazást tett lehetővé. Ez a gondolat „ihlette‖ a hírtartalom, vagy információmennyiség fogalmának megalkotóit. Már csupán olyan matematikai összefüggést kellett találni, amely jól visszatükrözi azt a felfogást, hogy a biztos eseményt sugárzó „hírforrás‖ (előre ismert hírtartalommal, információval) entrópiája (hírtartalma) zérus legyen, viszont, ha a hírforrás teljes bizonytalanságban hagy, azaz bármilyen hírt azonos valószínűséggel kibocsáthat, akkor az entrópiája maximális legyen. A matematikai összefüggést először Hartley javasolta 1928-ban, majd Shannon fejlesztette tovább.

H. Nyquist (1920) és R. Hartley (1928), a Bell Labs munkatársai publikáltak elsőként olyan elméleteket, amelyek később az információ „méréséhez” vezettek.

A Hartley iránti tisztelet miatt a tízes alapú logaritmus segítségével kiszámított információt „hartley (h)‖-ben mérik. A „bit‖-be való átszámítás a logaritmus alapok közötti áttérés segítségével lehetséges, 1 h ≈ 3,32 bit.

Az információ mérésére szolgáló mennyiség és mértékegysége nem köthető abszolút természeti állandóhoz , hanem logikai úton lett meghatározva. A Hartley, majd Shannon által javasolt „információ entrópia‖ (mint mennyiség) és a Tukey-féle „bit”, mint mértékegység első sorban arra való, hogy általuk a műszaki rendszerek, átviteli csatornák, tárolók, stb. műszaki kapacitásának egymás közötti objektív összehasonlítása lehetővé váljon. Az entrópia elnevezés azért került az információelmélet szótárába, mert a számításának Hartley és Shannon által javasolt módja erősen emlékeztet a termodinamikai entrópia meghatározásának módjára.

Gépészek és mechatronikusok számára ismeretes, hogy a termodinamikai entrópia gondolata R. Clausiustól származik (1822-1888), aki ezzel jellemezte a termodinamikában az anyagi rendszerek molekuláris rendezetlenségét, illetve a termodinamikai állapot valószínűségének a mértékét. Ebből következtetni lehet a maguktól végbemenő folyamatok irányára: Mindennapos tapasztalat, hogy a természetben az „egyre valószínűbb‖ állapotok következnek be. Például annak az állapotnak a valószínűsége, amelynél egy zárt teret úgy töltenek ki gázmolekulák, hogy azok kizárólag a tér egy meghatározott részében helyezkednek el, kisebb, mint annak a valószínűsége, hogy a molekulák a rendelkezésre álló teret egyenletesen kitöltik. Így tehát, ha P1 és P2 azokat a valószínűségeket jelzik, amelyekkel adott termodinamikus rendszer különböző állapotban való tartózkodását lehet leírni, akkor a képlet az entrópia megváltozását tükrözi („k‖ a Boltzmann-állandó) valamilyen folyamat során.

(5.19)

Ilyen meggondolásból a termodinamikai entrópia a „rendezetlenség‖ mértéke, amely annál nagyobb, minél nagyobb az adott állapot valószínűsége.

A fentiekkel analóg módon hír (vagy hírforrás) entrópiája, azaz információmennyisége annál nagyobb, minél nagyobb a bizonytalanság, amelyet a hír közlése révén el tudunk oszlatni. Másként fogalmazva, annak a hírnek nagyobb az entrópiája, amelynek a bekövetkezési valószínűsége kisebb. Az információ tartalom mérésére szolgáló mennyiség definíciója megszületését tehát a termodinamikai rendezetlenség és az információelméleti bizonytalanság közötti hasonlóság ihlette.

Shannon, 1948-ban közölt munkájában, csak a műszaki értelemben vett információk (elsősorban digitális villamos jelek által hordozott hírtartalom) mérésére – összehasonlítás céljából - dolgozott ki módszert.

Az információmennyiségre alkalmazott „entrópia‖ elnevezés tehát logikai és formai okokra vezethető vissza. Az információelmélet és a valószínűségszámítás szorosan összefüggnek. A biztos esemény (itt: hír) a fogadó/vevő számára nem rendelkezik információ tartalommal (csak műszaki értelemben!), míg a lehetetlen esemény információ tartalma végtelen nagy lenne. Ezt a matematika nyelvén a valószínűség reciprokával lehetne a legjobban kifejezni.

Ugyanakkor azonban gond, hogy a biztos esemény információ tartalma ez esetben nem zérus, hanem egy lenne.

Ezért a hír bekövetkezésének valószínűségét nem csak reciprokként, hanem a reciprok logaritmusaként vesszük.

Az „S‖ (source) hírforrás „P‖ valószínűséggel kibocsátott, egyetlen „h‖ hírének információ tartalma, más elnevezéssel hírértéke, vagy entrópiája az alábbi formula segítségével állapítható meg:

(5.20)

Így azután az elméleti megfontolást a képlet már jobban tükrözi, és a termodinamikai entrópia képletével való formai hasonlóság szembetűnő.

Az információ alapmennyisége az „információ entrópia” (ez nem SI alapmennyiség) és alapegysége a „bit”.

Egy „S‖ hírforrás egyetlen „hi‖ hírének, valamint a hírforrás teljes jelkészletének entrópiáját a következőképpen lehet meghatározni:

(5.21)

(ahol ld = log2 : logarithmus dualis (latin), a kettes alapú logaritmus)

Érdekesség, hogy az információ napjainkban játszott óriási szerepe ellenére, sokáig nem szerepelt az információ entrópia az SI egységek között. Ennek oka feltehetően az, hogy az információ jelenleg használt mértékegységének (bit) átszámítása anyag és/vagy energia ekvivalensbe, a kapott érték rendkívül kicsiny volta miatt, egyelőre még nehezen interpretálható. A „bit‖ ma már SI származtatott egység és jelenlegi energia ekvivalense 9,569940(16) × 10⁻²⁴ J/K. (A Boltzmann állandó értéke 2006-ban kB = 1,380 6504(24)·10⁻²³ J/K volt.)

Az információ mértékegységének megértéséhez és az előzőekben ismertetett összefüggések gyakorlati illusztrálásának céljából mutatunk be egy fontos számítást, mert ugyan a napi gyakorlatban ismételten használjuk információelméleti mértékegységet a „bit‖-et, de nem biztos, hogy minden esetben világos az, hogy ez a mértékegység valójában mit takar?

Legyen egy hírforrás bináris, azaz csak két féle információt képes kibocsátani, ezek legyenek a 0, vagy 1 szintek. Ebből következően, ha rögzítjük az egyik szint valószínűségét, akkor a másik szint kiadódik: P(1)=1-P(0) és fordítva. A két jel információtartalma láthatóan nem független egymástól. Az alábbi táblázat első sorában az „1‖ szint valószínűségét adtuk meg 9 értékkel P(1). A második sorban ennek a jelnek az

információtartalmát, míg a harmadikban a „0‖ jel információtartalmát tüntettük fel. Jól látszik, hogy csak a két jel valószínűsége komplementer, de az információtartalmuk már nem.

A bináris hírforrás átlagos információtartalma az előző képlet szerint összegként adódik:

(5.22)

Jól látható a táblázatból, hogy ha valamelyik esemény (0 és 1) bekövetkezésének valószínűsége előre tudottan nagyobb, mint 50 %, azaz P>0.5, akkor csökken a bizonytalanság a várható eseménnyel kapcsolatban, így csökken a hír entrópiája is. Így tehát ha P(1)=0.2, akkor P(0)=0.8, azaz 80%-ban előre bizonyosak vagyunk, hogy a „0‖ lesz a kimenet (esemény). Ezért az erről „szóló hír‖ entrópiája csupán 0.72 bit. A forrás információtartalma akkor lesz maximális, ha semmilyen előzetes ismeretünk nincsen arról, hogy melyik jelszint előfordulása valószínűbb. Ugyanakkor a táblázat első oszlopában látszik, hogy amennyiben az 1 jel egyáltalán nem fordulhat elő, azaz P(1)=0, akkor a 0 jel valószínűsége 100 %-os, azaz P(0)=1. A hírtartalom mindkét jelre vonatkozóan nulla – amit az eddigi fejtegetések alapján már sejtettünk is.

Maximális lesz a hír entrópiája, azaz 1 bit, ha mindkét esemény bekövetkezési valószínűsége azonos.

Az értéktáblázat alapján készített diagram látható a következő ábrán.

5.13. ábra - A bináris hírforrás entrópiája a valószínűség függvényében

A maximális hír entrópia természetesen nem csak értéktáblázattal mutatható ki. A függvényvizsgálat szabályi szerint kereshetjük az átlagos hírtartalom szélsőértékét, és első lépésben a differenciálási szabályok miatt áttérünk természetes logaritmusra:

(5.23)

Az utolsó sor egyszerűbben is írható:

(5.24)

A függvénynek szélső értéke van, ha

(5.25)

(5.26)

Befejezésként ellenőrizzük, hogy maximum, vagy minimum helyről van szó? A második derivált P1=0.5 értékre negatív lesz, tehát maximumot találtunk.

(5.27)

Nagyon fontos az is, hogy a hír és az információ fogalmai ne keveredjenek! A „hír‖ kifejezés hétköznapi használata miatt gyakran téves képzetek keletkezhetnek.

Műszaki értelemben a hír megléte még nem feltétlenül jelenti azt, hogy annak van információtartalma is. (Némi szarkazmussal, persze ez a megállapítás tágabb értelemben is igaz lehet.)

Először tehát néhány fontos információelméleti fogalom rövidített, tömör leírása következik:

A jel időben és/vagy térben lezajló fizikai, vagy kémiai folyamat, információhordozó.

A műszaki „hír” időben és/vagy térben korlátozott jel.

A hírkészlet az összes lehetséges hír.

Az információ a bizonytalanság mértéke, amelyet a hír megszűntet.