KÉRI HENRIK
A M E N N Y I S É G I M Ó D S Z E R E K A L K A L M A Z Á S Á N A K E G Y E S K É R D É S E I A P E D A G Ó G I A I K U T A T Á S B A N
Korunkban a természettudományok fejlődése erősen hat a társadalomtudományokra.
Amikor a természettudományi kutatás sikereinek okát keresik, a módszerekre irányul a figyelem, ezek között is a matematika kelti fel az érdeklődést. A pszichológia, a szociológia, a közgazdaságtudomány már hosszabb ideje alkalmaz matematikai, statisz- tikai módszereket, mindhárom területen jelentős eredményeket hoztak. ,A tudás kvanti- fikálása minden tudomány magától értetődő célja" — írja a Nobel-díjas közgazdász, Gunnar Myrdal. A pedagógiában ez ma még nem hat kézenfekvő igazságnak. A kvantitatív módszerek alkalmazása nálunk még nem is hozott elég meggyőző eredményt.
A matematikai-statisztikai módszerek társadalomtudományi alkalmazását többfelől támadják. A'matematikusok e módszerek alkalmazóinak szemére vetik eljárásaik pontat- lanságát, alapvető feltételek elhanyagolását, az egyébként egzakt módszerek nagyvonalú kezelését. „Ha a matematikus rákényszerül - iqa Norbert Wiener — hogy kevésbé precíz tudományok területén tanácsot adjon, az a legcélszerűbb, hogy arról győzi meg az érdekelteket, hogy ne várjanak túl sokat a matematikától. Meg kell tanulniok, hogy értelmi szempontból nem előnyös (sőt az értelem ellen elkövetett bűn), ha három számjeggyel írnak le egy számot, amelyből csak az elsőt ismerik pontosan."1 E kevésbé precíz tudományok közé tartozik a pedagógia is, ahol a kvantitatív módszerek kapcsán éppen a Wiener által említett hibát gyakran elkövetik. Itelszon nálunk is jól ismert könyvéről2 ezt írja Fridman: „Többek között a monográfia nem korrekt módon fejtett ki néhány olyan kérdést, mely a statisztikai módszerek alkalmazásával kapcsolatos. Sajnos, ezt a könyvet sokan kritika nélkül fogadták, és több később megjelent közleményben kirajzolódott a statisztikai módszerek helytelen tendenciája a pedagógiai kutatásokban."3
Hartford egy pedagógiai mérésekkel foglalkozó folyóirat három évfolyamának gazdag termését vizsgálja át, s veszi szemügyre a tipikus hibákat, különösen a mérés szintjének nem megfelelő statisztikai próbák alkalmazását.4 Ugyanez a folyóirat a minőségi elemzé- sek híveinek oldaláról bírálja a kvantitatív közleményeket, főleg azokat, amelyek a problémák adekvát megfogalmazása helyett közhelyeket kvantifikálnak.5
1 Norbert Wiener: Matematikus vagyok. Bp. 1968.
1 L. B. Itelszon: Matematikai és kibernetikai módszerek a pedagógiában. Bp. 1967.
3 L. M. Fridman: A statisztikai módszerek korrekt alkalmazásáról a pszichológiai-pedagógiai kutatásokban. Szovetszkaja Pedagogika. 1971. 3. sz. 6 4 - 7 4 . - OPKM dokumentáció.
4 F. Hartford: Attending to Statistical Assumptions. Science Education, 1975. 2 8 3 - 2 8 6 .
5 Science Education, 1975.423.
Hasonló bírálatot hallunk ki A köznevelés fejlesztését szolgáló pedagógiai kutatások terve (1973-1990) című tervezetből, a kutatási módszerek színvonalának jellemzé- séből: „ . . . egy sajátos, esetenként nyílt, más esetben burkolt ellentét a matematikai módszerek hívei, nem egy esetben abszolutizálói és a módszerek kombinálásának hívei, tehát a pedagógia tárgyával adekvát módszerek alkalmazóinak hívei között."6 Ez az állásfoglalás természetesen nem jelentheti a matematikai módszerek elutasítását. Baj volna, ha ezek után a minőségi módszerek abszolutizálásával olyan kérdéseket próbálnánk megoldani, amelyek elsősorban kvantitatív módszerekkel közelíthetők meg. Gondolok itt oktatásgazdaságiam, különböző (pl. tanterv, tankönyv, oktatási módszer) hatékonysági, beválási vizsgálatokra, teszt elemzési, prognosztikai vizsgálatokra. „Ha egy fiziológiai probléma lényegében matematikai természetű — írja Norbert Weiner—, tíz fiziológus, ha nem járatos a matematikában, pontosan ugyanolyan messzire juthat el, mint egyetlen fiziológus, aki járatlan a matematikában, és egy lépéssel sem tovább."7 Ez a pedagógiára is áll: ha egy pedagógiai probléma lényegében matematikai természetű, a legfinomabb minőségi elemzés a problémát nem oldhatja meg. Hozzátehetjük azonban azt is, hogy a legraffináltabb matematikai módszer is csak numerikus megoldást hoz, s ez a fogalmak előzetes logikai elemzése és az eredmények összehasonlító értelmezése nélkül nem sokat ér.
Mennyiségi módszerek, matematikai-statisztikai eljárások alkalmazása előtt a követ- kező lépéseket ajánlatos megtenni:
1. A probléma megfogalmazása; a probléma olyan jellegű, hogy megoldásához a statisztikai következtetés módszerei nyújtanak segítséget. A kutatási hipotézis felállítása.
2. A fogalomrendszer tisztázása, a fogalmak egyértelmű definiálása.
3. A mérendő nagyságok, kölcsönös kapcsolatok megállapítása,-a mérési (névleges, sorrendi, intervallum vagy abszolút) skála meghatározása.
4. A mérési mód, a mintavétel módszereinek meghatározása.
A vizsgálat további menetét ezek az előzetes döntések határozzák meg. Belőlük fakadnak a választható vizsgálati módszerek (paraméteres vagy nemparaméteres eljárá- sok), továbbá az alkalmazható statisztikai próbák, ezek viszont az értékelés módját alapozzák meg.
A kvantitatív módszereket alkalmazó közlemények ma még csak részben követik ezt az utat. „Természetesen szem előtt kell tartani - írja Fridman hogy a matematikai módszerek a pedagógiában és a pszichológiában viszonylag új kutatási módszerek és az új módszerek elsajátításának folyamatában meg kell fizetni a tandíjat."8 Ezt a tandíjat sokféle formában fizetjük: a szerző jelentéktelen problémán próbálja ki a — sokszor erejét meghaladó — matematikai apparátust; a folyóiratok kaput nyitnak a jószándékú próbál- kozásnak, mely újat sejttet; a számítógépes feldolgozás buktatóit szerkesztőségi kontrollal alig lehet tetten érni; a statisztikai apparátus elbuijánzik és eltakarja a lényeget.
A mennyiségi módszerekkel járó kérdések egy részét egy pedagógiai folyóiratunkból vett idézet kapcsán szeretném vizsgálni. A szerző nevét és a megjelenés helyét nem jelölöm, ezeknek az adatoknak a továbbiak szempontjából nincs jelentőségük. Az idé-
6 A köznevelés- fejlesztését szolgáló kutatások terve. 1 9 7 3 - 1 9 9 0 . Magyar Pedagógia, 1974. 3 - 1 6 .
7 Norbert Weiner: Válogatott tanulmányok. Bp. 1974.
8 Fridman i. h.
zet: „ . . . az elmúlt évben mérést végeztünk... , amely egyértelműen bizonyítja, hogy a tévés osztály már félév után szignifikánsan jobb problémamegoldó készséggel rendelkezik, mint a kontroliosztály.'" (A szerző itt egy korábbi, szerényebb célkitűzéssel induló kutatás eredményét általánosítja.)
A cikk kiinduló hipotézisét így fogalmazhatjuk meg: a tévés oktatás a tanulók problémamegoldó készségét a hagyományos oktatásnál jobban fejleszti. Lehet-e ilyen hipotézist megfogalmazni? Elvileg igen. A további lépések előtt azonban célszerű lett volna utánanézni, hogy e téren ezideig mi történt. így Wilbur Schramm száz hasonló témájú tanulmányt vizsgált át, s nyolcvannégy tanulmány szerzője nem talált a tanulók teljesítményében különbséget, ha a televíziós, illetve a hagyományos oktatásban vettek részt.9 Aki tehát a fenti hipotézisből indul ki, s a hipotézis vizsgálatában a mesterség szabályai szerint jár el, nagy valószínűséggel arra számíthat, hogy a hipotézist a végén el kell vetnie. Feltéve persze, hogy a televíziós oktatásban újabban nem következett-e be gyökeres változás, vagy nem vizsgáljuk hatását olyan szempont szerint, ahogy ezt eddig nem tették. Ez az új szempont lehetne például a tanulók problémamegoldó készségének fejlesztése. A korábban említett közlemények általában csak a tanulók teljesítménye közti különbséget vizsgálták. Mivel az összes (televíziós és hagyományos okatatásban résztvevő) tanulók teljesítményét megvizsgálni nem tudjuk, reprezentatív mintát veszünk, s a mintából kapott eredmények alapján próbáljuk hipotézisünket valószínűsíteni.
Egyetlen kísérleti osztály és egyetlen kontrollosztály azonban nem reprezentatív minta, a statisztikai következtetés módszerei rájuk nem alkalmazhatók. Minden megálla- pításunk csak a kísérleti osztályra és a kontrollosztályra vonatkoztatható, eredményeink e körön túl nem terjeszthetők. A mintavételnek jól kidolgozott módszerei vannak, s ha ezeket követjük, a mintavétel módjától és a minta nagyságától függően igen csökkent- hetjük annak a valószínűségét, hogy a minta változói (a vizsgálat tárgyává tett jellemzők) lényegesen eltéijenek az alapsokaság megfelelő változóitól. Az eltérés valószínű mértékét ugyancsak meghatározhatjuk. A következő lépést csak akkor tehetjük meg, ha nem pusztán két osztályt hasonlítunk össze, hanem pl. a magyar rendeskorú másodikos gimnáziumi tanulókból (ez volna az alapsokaság) reprezentatív mintát veszünk.
Ezután kerülhetne sor a fogalomrendszer logikai elemzésére. Ezt itt lényegében egy fogalomra korlátozhatjuk, ez pedig a „problémamegoldó készség", amelyet fejleszteni akarunk. Ez azt jelenti, hogy feltételezünk olyan emberi képességmodellt, amelynek jól körülhatárolható komponense a problémamegoldó képesség. Erre a körülhatárolásra már csak azért is szükség van, hogy valid mérési eszközt használjunk, vagy ha nincs, ilyet konstruáljunk. A valid mérési eszköz azt jelenti, hogy ez az eszköz a problémamegoldó képességet méri s nem valami mást. Azt is feltételezzük, hogy ez a képesség fejleszthető.
A fejlesztés természetesen tartós változást jelent, amely ha egyszer bekövetkezett, a fejlesztéshez használt eszközöktől függetlenül is fennáll. A tartós változást csak a fejlesztésre használt eszközöktől független mérőeszközökkel lehet megállapítani. A kört azzal is szűkíthetjük, hogy pl. külön kémiai problémamegoldó képességet definiálunk (az eredeti közlemény is kémiai tárgyú), de itt is a fejlesztéshez használt kémiai anyagtól független kémiai tartalmú mérőeszközt kellene konstruálni. Ez a szűkítés fogalmilag
' Ld. Dávid Fox: The research Process in Education. London, 1969.
nehezen indokolható, s külön kémiai problémamegoldó képességet aligha lehetne defi- niálni.
Továbbá feltételeznénk, hogy a fejlesztés mérhető, illetve mérhető szintjei vannak.
Ezeknek a szinteknek a meghatározása igen lényeges, ettől függ ugyanis az alkalmazható mérési skála szintje, a skálától pedig a felhasználható statisztikai próba. A matematikai statisztikusok, illetve a matematikai statisztikát alkalmazó társadalomtudományi kutatók között a legtöbb vitára a mérés szintje ad okot. A pszichológiában és a pedagógiában alkalmazott mérések nagy többsége csak a névleges és a sorrendi skála szintjén végezhető el, s ez minden bizonnyal a problémamegoldó képességre is vonatkozik: a tanulókat ezen változó alapján sorrendbe, rangsorba rendezhetjük, de nem állíthatjuk azt, hogy a sorban a szomszédos tanulók között a problémamegoldó képesség különbsége a skálán végig egyforma nagyságú. A sorrendi skálából sem számtani átlagot, sem szorzást, sem az ezekhez kapcsolódó statisztikai próbákat nem számíthatjuk. Pontosabban: a számokat összegezhetjük, átlagolhatjuk, ha adataikat a leíró statisztika módszereivel dolgozzuk fel.
Megállapításaink azonban csak a vizsgált csoportra vontakoznak, azon túl nem terjeszt- hetők. A statisztikai következtetéshez sem e műveletek, sem e műveletekhez kapcsolódó próbák nem végezhetők el.
A skála szintjén kívül még egy másik fontos követelmény, hogy a megfigyelt változó az alapsokaságban (és a mintában is) normális eloszlást kövessen. A pedagógiai vizsgálatoknál ezt többnyire feltételezik, de a mérési skála szintje miatt ennek ellenőrzése bizonytalan. A matematikai statisztikusok ezért az ilyen vizsgálatokhoz az eloszlástól független és a sorrendi skála szintjére is érvényes nemparaméteres eljárásokat ajánlják. E próbáknak
„erőssége" azonban sokkal kisebb, mint a paraméteres próbáké. Vagyis: nemparaméteres próbánál csak jelentősen nagyobb minta alapján valószínűsíthetjük hipotézisünket.
Azonos elemszámú mintánál a paraméteres próba már a hipotézis elfogadása mellett szól, a nemparaméteres próba ehhez esetleg még nem ad elegendő alapot. A két eljárás erőssége közti különbség is a mérés szintjére vezethető vissza.
Hogy két test tömege eltér-e egymástól, könnyen eldönthető, ha a két testet érzékeny mérleg serpenyőjébe rakjuk; ha kezünkkel, emelgetéssel kell a kérdésben dönteni, erre csak akkor vállalkoz- hatunk, ha a testek tömege között jelentős különbség van.
A paraméteres eljárások próbái általában könnyebben kezelhetők, ezért a szerzők igen gyakran elvileg a mérés szintjét meghaladó paraméteres eljárásokhoz folyamodnak.
Számos kísérlet történt, hogy ezt az eljárást elvileg is igazolják.
Idézetünknek egy kulcsszava: szignifikáns. Ezzel más közleményben is gyakran találkozunk, a matematikai statisztikában definiált értelmezéstől eltérően. A mi esetünk- ben az alábbiak szerint kellene eljárni.
Hipotézisünk szerint a tévés oktatás a tanulók problémamegoldó képességét jobban fejleszti, mint a hagyományos oktatás. A matematikai statisztika nem erősíti meg közvetlenül e hipotézist, hanem a nullhipotézist fogalmazza meg: a tévés oktatás és a hagyományos oktatás problémamegoldó képesség fejlesztésében nem különbözik egymás- tól.
Ezután megtervezzük a kísérletet, vigyázva arra, hogy egyéb tényezők (pl. a tanulók előzetes felkészültsége, képességbeli különbségek, motiváltság) a kísérlet eredményét ne
hamisítsák meg. Több megoldás közül választhatunk: különböző reprezentatív csopor- tokon felváltva vizsgáljuk a két módszer képességfejlesztő hatását, vagy a tanulók adottságaik szerint párosítjuk és a módszerek hatékonyságát páronként ellenőrizzük stb.
Aligha találunk vagy konstruálhatunk olyan tesztet, amely a fejlesztést intervallum skálán mérni tudja. Ha viszont a problémamegoldó képességet definiálni tudjuk, nyilván az is megállapítható, hogy ez a képesség fejleszthető-e, illetve erősebben vagy gyengébben fejlődik-e (pl. különböző oktatási módszerek hatására).
Nullhipotézisünk ellenőrzésére nemparaméteres próbát (pl. x2 -próbát, McNemar- próbát) használhatunk. Ezután — önkényesen — megállapítjuk a szignifikáhciaszintet aszerint, hogy szigorú (pl. a = 0,01) vagy kevésbé szigorú (pl. a = 0,05) próbának akaijuk-e alávetni a nullhipotézist. Az a = 0,05 szignifikanciaszint a következőt.jelenti: ha a próba szerinti biztos esemény (p = 1) nullhipotézisünkben 0,05-öt (= 5%-ot) vagy még azt sem éri el, a nullhipotézist elvetjük, mely szerint a két módszer képességfejlesztő hatása között nincs különbség, s elfogadjuk a kiinduló hipotézist, hogy ugyanis a két módszer között — az általunk előre megállapított szinten — szignifikáns különbség van, méghozzá a tévés oktatás javára: kiinduló hipotézisünket így fogalmaztuk meg. Ha adataink az ellenkező irányba mutatnának (a hagyományos oktatás nagyobb hatékony- ságának irányában), kiinduló hipotézisünket ugyancsak el kellene vetnünk, s nem tekinthetnénk igazoltnak, hogy a problémamegoldó képesség fejlesztésében a hagyo- mányos oktatás a hatékonyabb; ez legfeljebb tárgya lehetne egy újabb kérdésfeltevésnek és vizsgálatnak. — A szignifikáns jelzőt a matematikai statisztika az itt leírt értelmezésben használja.
Ezzel eljutottunk kiinduló idézetünk e g y f o n t o s kitételéhez: „ . . . mérést végez- tünk, . . . amely egyértelműen bizonyítja...". Az eddigiekből kitetszik, hogy mate- matikai statisztikai módszerrel semmit sem bizonyítunk, legfeljebb többé-kevésbé való- színűsítünk; ezt is csak közvetett módszerrel, a nullhipotézis elvetése árán. Eredményün- ket így fogalmazhatjuk meg: kevés (a <0,05), illetve igen kevés (a < 0 , 0 1 ) szól azon feltételezésünk ellen, hogy a tévés oktatás fejlesztő hatása a problémamegoldó képességre nagyobb, mint a hagyományos oktatási módszereké.
Lehetséges, hogy az a = 0,05 szignifikanciaszinten mért szignifikáns eltérés az a = 0,01 szinten mérve nem szignifikáns? Igen, lehetséges: az első esetben a nullhipo- tézist elvetjük, a második esetben ezt nem tehetjük. Sohasem állithatjuk, hogy hipotézi- sünk biztosan igaz, illetve biztosan nem igaz.'Előfordulhat, hogy hipotézisünk helyes, s például helytelen mintavétel következtében helytelennek minősítjük és elvetjük (elsőfajú hiba), vagy pedig elfogadjuk, amikor valójában hamis (másodfajú hiba). A szignifikancia- szint előzetes megállapításával amellett is döntöttünk, hogy a kétfajta hiba közül számunkra melyik az elfogadhatóbb. Akár .a szigorú, akár az enyhe szignifikanciaszint mellett határoz a kutató, mindkét esetben kockázatot vállal. A korrekt munka azt kívánja, hogy a kockázatvállalás mértékben, illetve annak irányában előre döntsön.
A statisztikai módszerek alkalmazása semmiképpen sem jelent takarózást matematikai formulákkal, hanem a kutató aktív állásfoglalását követeli meg. Rutinszerűen legfeljebb akkor alkalmazza a 0,01 vagy 0,05 (vagy valamilyen más) szignifikanciaszintet, ha a minta alapján általános jelenségeket ír le. Ha azonban megállapításaival gyakorlati döntéseket alapoz meg vagy további kutatásokat készít elő, tudatosan és indokolással döntsön az enyhébb vagy szigorúbb szignifikanciaszint mellett. Az eredmények felhasználását a
további kutatómunkában megkönnyíti, ha a szignifikanciaszinten felül a számértékeket is közli; ez más kutatóknak lehetőséget ad esetleg más szignifikanciaszint alkalmazására, ha a kérdés más szempontú tárgyalása válik szükségessé.
Végigtekintve az érintett kérdéseken (mintavétel, mérési szint, szignifikanciaszint, statisztikai próba) kijelenthetjük, hogy idézetünk (s a mögötte álló vizsgálat) nem tesz eleget a statisztikai következtetés feltételeinek. Eredményei tehát nem általánosíthatók, hanem csak a vizsgált csoportokra érvényesek. Az ilyen vizsgálatnak szintén megvan a haszna, de eredményeit érvényességi körükön túl nem alkalmazhatjuk. A nevelés- tudomány számára hasznos eredményekhez akkor jutunk, ha a statisztikai következtetés szigorú feltételeit megtartjuk. A kvantitatív módszereket alkalmazó közlemények egymás- nak ellentmondó eredményei többnyire a helytelen mintavételből és a módszerek jogtalan kiteijesztéséből fakadnak. „A még nem matematizált tudományok továbbfejlődésének záloga a matematikai módszerek alkalmazása" — íija Norbert Wiener10. A nevelés- tudományon áll, hogy ezt a lehetőséget kiaknázatlanul ne hagyja.
1 0 Norbert Wiener: Matematikus'vagyok. Bp. 1968.
