A kvantitatív hatásvizsgálatok kiindulópontja

Mint korábban említettük, a hatásvizsgálatok alapkérdése – legyen az kvantitatív vagy kvalitatív hatásvizsgálat – két állapot, a „mi történt” és a „mi történt volna” állapot ösz-szehasonlítására irányul. Ezek közül csak az egyiket, a fejlesztés (program/beavatko-zás) ténylegesen bekövetkezett hatását tudjuk pontosan megmérni, a másikat – a „Mi történt volna, ha nem történt volna beavatkozás?” kérdésre választ adót – nem. Kvan-titatív hatásvizsgálatok esetén becslést adunk arra, hogy mi történt volna a

beavatko-zás hiányában. A kvantitatív hatásvizsgálatokat ezért szoktuk hatásbecslésnek is ne-vezni. A hatásbecslés során a mért (tényleges) és a becsült értékeket hasonlítjuk össze, és ezek különbségéből következtetünk a fejlesztés (program/beavatkozás) hatásának mértékére és irányára. A hatásbecslés mindig csak az átlagos hatásra (a leginkább való-színű kimenetre) vonatkozik. A hatásbecslések eredményeképpen tehát azt nem tud-juk megmondani, hogy egy-egy résztvevőre hogyan hatott a beavatkozás, „csupán” azt, hogy a résztvevők összességére, vagy bizonyos alcsoportjaira nagy valószínűséggel hogyan hatott átlagosan.

Összegezve tehát egy fejlesztési program/beavatkozás résztvevőinek pusztán a fej-lesztést követően mért eredményeiből nem tudjuk megbecsülni, hogy milyen hatásai vol-tak rájuk a fejlesztésnek, a hatások becsléséhez legalább két mérési értékre van szükség:

1) a fejlesztési programban/beavatkozásban részt vevők fejlesztés után elért, köz-vetlenül mérhető eredményeire;

2) továbbá arra, hogy milyen eredményt értek volna el a fejlesztési program- ban/beavatkozásban részt vevők akkor, ha nem vettek volna részt a program-ban. Ez közvetlenül nem mérhető, csak becsülni lehet.

Kézenfekvő lenne, ha a hatásbecslésekhez a következő két mód valamelyikével közelítenénk:

1) Vagy a résztvevők fejlesztés (program/beavatkozás) előtti és utáni eredményeit hasonlítanánk össze egymással, és a kettő közötti különbség adná a program hatását. Ebben az esetben azt feltételezzük, hogy a fejlesztés (program/beavat-kozás) nélkül semmilyen változás nem történt volna a résztvevők életében, az összes releváns változás a fejlesztés (program/beavatkozás) hatása.

2) Vagy a fejlesztésben (programban/beavatkozásban) részt vevők, és az abban részt nem vevők megfelelő eredményeit hasonlítanánk össze. Ebben az eset-ben a „Mi történt volna a fejlesztéseset-ben (programban/beavatkozásban) részt vevőkkel akkor, ha nem vettek volna részt benne?” kérdésre azt az induló hi-potetikus választ adjuk, hogy valószínűleg ugyanaz, mint ami azokkal történt, akik nem vettek részt a fejlesztésben (programban/beavatkozásban).

Mindkét esetben nagyon súlyos feltételezéssel kellene élnünk, ugyanakkor igen-csak kétséges, hogy ezek a feltételezések önmaguktól („igen-csak úgy”) megállják a helyüket.

Az első esetben vajon feltételezhetjük-e, hogy a fejlesztés (program/beavatkozás) bevezetése előtti és utáni értékek különbségét kizárólag a fejlesztés (program/beavat-kozás) okozta, illetve, hogy a fejlesztésben (programban/beavatkozásban) részt vevők életében az összes releváns változás a fejlesztés (program/beavatkozás) hatása? Nyil-vánvalóan nem – hacsak nem egy olyan befagyasztott társadalmat képzelünk magunk elé, ahol az egyetlen változást maga a fejlesztési program/beavatkozás eredményezi.

Hasonlóképpen a második esetben vajon feltételezhetjük-e, hogy azokkal, akik nem vettek részt a fejlesztésben (programban/beavatkozásban), ugyanaz történt vol-na, ami azokkal történt, akik részt vettek benne? Ezzel a feltételezéssel csakis akkor élhetünk, ha meg vagyunk győződve arról, hogy:

• a fejlesztésben (programban/beavatkozásban) részt vevők kiválasztását nem befolyásolta egyetlen olyan tényező sem, ami kihat az eredményre;

• a fejlesztésben (programban/beavatkozásban) részt nem vevőkre pontosan úgy hatott volna a fejlesztés (program/beavatkozás), amennyiben részt vettek volna benne, mint ahogy a fejlesztésben (programban/beavatkozásban) részt vevők-re hatott;

• a fejlesztésben (programban/beavatkozásban) részt vevőket és részt nem vevő-ket – a részvételen kívül – minden más tekintetben ugyanolyan egyéb hatások érték a vizsgált időszakban.

Tekintettel arra, hogy pontosan soha nem tudhatjuk, hogy milyen tényezők hat-nak egy fejlesztés (program/beavatkozás) kimenetére, ezeknek a feltételezéseknek a teljesülésében soha nem lehetünk teljesen biztosak. Ezt még akkor sem tudnánk ga-rantálni, ha egy fejlesztés (program/beavatkozás) minden résztvevőjének lenne egy olyan, vele együtt élő egypetéjű ikerpárja, aki abban az egyetlen dologban különbözik az ikertestvérétől, hogy ő nem vett részt az adott fejlesztésben (programban/beavat-kozásban). A fejlesztési program/beavatkozás indulásakor ugyanis önmagában a fej-lesztés ténye még egy különbséget indukál a korábban tökéletesen egyforma egypeté-jű ikrek között: mindkettő tudja, hogy az ikertestvére részt vesz, illetve nem vesz részt az adott fejlesztési programban/beavatkozásban – s önmagában ez a tudat számos olyan változást eredményezhet, ami befolyásolhatja a mért eredményeiket. A fejlesz-tés közben pedig érhetik olyan hatások is őket, amelyek lényegesen befolyásolják azt, hogy rájuk hogyan hatna a fejlesztés. Viszont erőteljesen valószínűsíthetjük a feltétel meglétét, ha a fejlesztési programban/beavatkozásban részt vevők, illetve részt nem vevők kiválasztása kizárólag a véletlenen múlik.

A legtöbb esetben az oktatáspolitikai fejlesztések (programok/beavatkozások) hatásának becslése során számos feltételezéssel kell élni, és a feltételezésekhez igazo-dó legadekvátabb módszertant kell alkalmazni. Az adekvát módszertan megtalálásá-hoz és végrehajtásámegtalálásá-hoz összetett módszertani szakértelemre van szükség.

ÖSSZEGZŐ MEGÁLLAPÍTÁSOK

6

A kvantitatív hatásvizsgálatok (hatásbecslések) olyan összehasonlítások, ame­

lyek során két kérdésre együtt kell választ kapnunk: (1) Milyen (meghatározott) mérési mutatói lettek volna a résztvevőknek akkor, ha nem lett volna fejlesztés (program/beavatkozás)? (2) Ehhez képest, a fejlesztés (program/beavatkozás) hatására ténylegesen milyen mérési mutatói lettek nekik?

6

Azt, hogy mi történt egy fejlesztés (program/beavatkozás) résztvevőivel, álta­

lában pontosan tudjuk mérni, azt viszont, hogy mi történt volna velük, ha nem vettek volna részt a fejlesztésben (programban/beavatkozásban), csak becsülni tudjuk.

6

A becslés során nagyon könnyű hibát véteni. A jó becslés nagy szakértelmet igénylő, bonyolult feladat.

In document szándékolt vizsgálat hatás (Pldal 26-29)