A tesztek belső konzisztenciája (Cronbach-) megfelelőnek bizonyult mind az egyéni, mind a számítógép-alapú adatfelvétel során. Előbbi esetben a reliabilitásmutatók értékei 0,71 és 0,89 között mozogtak, utóbbi esetben pedig 0,74 és 0,94 között. Általában az online adatfelvétel mutatói magasabbnak bizonyultak, mint a szemtől szemben egyénileg történt adatfelvétel eredményei alapján számolt mutatók értékei (3.7. táblázat).
3.7. táblázat. Az egyéni és a számítógép-alapú adatfelvétel eredményeinek megbízhatósági mutatói
Teszt Itemek
száma
Cronbach-
Egyéni adatfelvétel
Számítógépes adatfelvétel
Beszédhanghallás 60 0,887 0,938
Relációszókincs 1 24 0,796 0,844
Relációszókincs 2 24 0,706 0,824
Relációszókincs 3 24 0,749 0,809
Relációszókincs 4 24 0,768 0,851
Tapasztalati
összefüggés-megértés 32 0,743 0,831
Tapasztalati következtetés 32 0,885 0,904
Elemi számolás 13 0,812 0,739
Mind a hagyományos, mind a számítógép-alapú adatfelvételben a legmagasabb mutatóval a beszédhanghallás teszt rendelkezett, ahol a személyes adatfelvételen alapuló eleve magas megbízhatósági mutató (Cronbach-=0,89) magasabbra emelkedett (Cronbach-=0,94). A javulást a standardizált beszédhangingereknek tulajdoníthatjuk. Az egyéni adatfelvétel során viszonylag alacsony megbízhatósági értéket mértünk a relációszókincs, a tapasztalati következtetés és a tapasztalati összefüggés-megértés teszteken, amelyek közül az első kettő jelentős, a harmadik pedig némi javulást mutatott a számítógépes változatban.
Az elemi számolási készség teszt esetében ezzel szemben a megbízhatósági mutató jelentős romlását figyelhetjük meg, miután a hagyományos verzió több feladatát is ki kellett
hagynunk a számítógépes változatból. Ennek ellenére a rövidített teszt egyéni felvétele is viszonylag magas megbízhatóságot mutatott (0,81), azaz az alacsony elemszám nem ad magyarázatot a számítógépes változat alacsonyabb megbízhatóságára.
Miután a beszédhanghallás tesztet ugyanazon minta mindkét adatfelvételi módban megoldotta, ezért az egycsoportos időben eltolt megerősítő faktoranalízist alkalmaztunk a mérési invariancia tesztelése során. Első lépésben külön-külön teszteltük konfirmációs faktoranalízis (CFA) alkalmazásával az egy-, a két-, a három- és a négydimenziós elméleti modelleket (3.8. táblázat), melyeket az adatok kategoriális jellege miatt egy speciális 2 -próbával hasonlítottunk össze (WLSMV közelítő eljárás mellett alkalmazandó speciális DIFFTEST segítségével; Muthén és Muthén, 2010).
3.8. táblázat. A beszédhanghallás (BHH) teszt elméleti modelljeinek illeszkedésmutatói (számítógép-alapon)
Modell χ2 df p CFI TLI RMSEA
Itemszinten
1 dimenziós (Részteszt 1, 2, 3, 4) 21980,6 1127 0,001 0,901 0,897 0,034 2 dimenziós (Részteszt 1,2 – 3,4) 18170,3 1126 0,001 0,936 0,934 0,027 3 dimenziós (Részteszt 1 – 2 – 3,4) 16830,7 1124 0,001 0,948 0,946 0,025 4 dimenziós (Részteszt 1 – 2 – 3 –4) 16650,2 1121 0,001 0,956 0,954 0,024
Részteszt szintjén
BHH (dim 1 – dim 2 – dim 3 – dim 4) 60,205 2 0,001 0,996 0,988 0,054
Az eredmények értelmében a kétdimenziós modell szignifikánsan jobban illeszkedett az adatokhoz, mint az egydimenziós (2=45,5; df=1; p<0,001), a háromdimenziós szignifikánsan jobban illeszkedett, mint a kétdimenziós (2=55,4; df=2; p<0,001) és a négy dimenziós modell illeszkedése szignifikánsan erősebb volt, mint a háromdimenziósé (2=19,0; df=3; p<0,001), ezért a médiumtól függetlenül (a négydimenziós modell illeszkedésmutatói FF alapon:
RMSEA=0,016, CFI=0,946, TLI=0,944; ΔCFI_FF_CB=0,01) item és részteszt szinten is jól illeszkedő négydimenziós modellel dolgoztunk a további elemzésekben. Az egy- és a négydimenziós modell felépítését mutatja a 3.13. ábra.
A teszt mérési invarianciájának tesztelése során a metrikus invariancia modell a konfigurális modellhez képest gyengébben illeszkedett, ugyanakkor a részleges metrikus invariancia modell nem mutatott romlást a modellilleszkedés vonatkozásában. A részleges szigorú metrikus modell ismételten gyengébb illeszkedésűnek bizonyult, azonban ennek teljesülése nem feltétele a teszteken nyújtott teljesítmények összevetésének.
A relációszókincs, elemi számolás és tapasztalati következtetés teszteknél mind a metrikus, mind a Lagrange-multiplikátor teszt alapján felállított részleges metrikus invariancia modell szignifikánsan gyengébben illeszkedett (3.9. táblázat), mint a konfigurális modell. Nem beszélhetünk mérési invarianciáról e tesztek kapcsán.
3.13. ábra
A beszédhanghallás teszt egy és négydimenziós elméleti faktorstruktúrája
A két tesztelési módból adódó különbségeknek számos oka lehet. Annak ellenére, hogy szigorúan véve a mérési invarianciaelemzések eredménye alapján csak a beszédhanghallás teszten nyújtott teljesítmények fejezhetőek ki egy skálán, azaz hasonlíthatóak össze, a tesztek tartalmának, a feladatok típusának, és a vizsgált személyek jellemzőinek hatásai elemzése céljából a többi teszten nyújtott teljesítményeket is górcső alá vettük. Empirikusan bizonyított validitása miatt kiemelten a beszédhanghallás teszt eredményeire fókuszáltunk. Az eltérő módokon felvett tesztek lehetővé tették a személyes és számítógépes változatok páronkénti összehasonlítását.
Elemeztük a tesztelés megváltozott módjának hatását a diákok teljesítményre (3.10.
táblázat). Miután a DIFER kritériumorientált tesztekből áll, ezért az első osztályos tanulók többsége már elérte az iskolakezdéshez szükséges fejlettségi szintet. Az eredmények alapján nyolc esetből hét esetben a számítógép-alapú teszteken gyengébb eredményt értek el a tanulók, mint a hagyományos, személyes adatfelvételen alapuló teszteken.
A beszédhanghallás teszt igen magas eredményeiben jelentős mértékű esés volt megfigyelhető (91,4 százalékról 82,6 százalékos teljesítményre). A relációszókincs teszt négy változatában mindkét irányú változásnak tanúi lehettünk: jelentős teljesítménycsökkenés két esetben, kismértékű növekedés a másik kettőben. Az elemi számolás esetében nem észleltünk számottevő változást (3.10. táblázat).
3.9. táblázat. A tesztek mérési invarianciáját jellemző modellek illeszkedésmutatói
Teszt Modell df CFI TLI RMSEA 2 * df * p
Beszédhang- hallás
(1) 29050,7 2628 0,908 0,906 0,017 - - -
(2) 29500,2 2663 0,905 0,904 0,017 60 35 <0,05 (2.1) 29350,9 2661 0,909 0,908 0,017 440,8 33 >0,05 (3) 32310,4 2700 0,824 0,824 0,024 287 72 <0,05
Relációszókinc (1) 3890,9 97 0,971 0,961 0,051 - - -
(2) 4900,5 108 0,962 0,954 0,055 890,2 11 <0,01 (2.1) 3960,0 105 0,971 0,964 0,049 270,4 8 <0,01 (3) 10270,1 119 0,910 0,900 0,081 4630,9 22 <0,01
Elemi számolás (1) 460,2 17 0,996 0,997 0,038 - - -
(2) 2430,4 22 0,984 0,978 0,093 1280,2 5 <0,01 (2.1) 1570,0 20 0,990 0,985 0,076 700,8 3 <0,01 (3) 2680,9 27 0,983 0,981 0,087 1690,6 10 <0,01
Tapasztalati következtetés (1) 1850,8 136 0,980 0,973 0,030 - - -
(2) 2930,1 146 0,942 0,927 0,049 750,9 10 <0,01 (2.1) 2640,4 142 0,951 0,938 0,046 560,4 6 <0,01 (3) 3480,1 166 0,928 0,921 0,051 34 14 <0,01 Modell: (1) Konfigurális invariancia, (2) Metrikus invariancia, (2.1) Részleges metrikus invariancia, (3) Szigorú metrikus invariancia. 2 és df értékeket az MPlus DIFFTEST eljárásával számoltuk.
3.10. táblázat. Az egyéni és számítógépes adatfelvétel eredményei közötti különbségek
Teszt
Egyéni adatfelvétel (%)
Számítógép-alapú
adatfelvétel (%) d t p
Átlag Szórás Átlag Szórás
Beszédhanghallás 91,35 9,88 82,61 16,80 0,59 -8,79 0,001 Relációszókincs 1 80,86 15,44 78,03 17,86 0,17 -3,32 0,01 Relációszókincs 2 83,88 12,06 73,06 18,23 0,72 -13,62 0,001 Relációszókincs 3 84,07 13,39 72,86 18,16 0,71 -13,98 0,001 Relációszókincs 4 84,84 13,62 81,55 17,59 0,21 -3,86 0,001 Tap. összefügg.-m. 70,69 14,34 63,59 20,87 0,39 -5,72 0,001 Tapasztalati köv. 69,64 20,66 55,93 23,64 0,58 -8,61 0,001 Elemi számolás 87,35 18,46 88,90 14,84 -0,09 1,52 n.s.
A különbségnek két magyarázata is lehet. Egyrészt a tesztet felvevő pedagógusok gyakran magasabb pontszámokat adnak a gyerekeknek, mint a számítógép automatikusan (és objektíven) kiszámolt pontszámai, vagy a tanulóknak nehézséget jelentett a számítógép
kezelése, ami rontott teljesítményükön. Miután sem a következő részben ismertetett, azonos korosztály bevonásával végzett kutatásban, sem az elemi számolás (magas pontszám mindkét verzióban) esetén nem találtunk utóbbira utaló jelet, ezért a számítógép kezelési nehézség nem lehet kielégítő magyarázat a teljesítménykülönbségekre. Valószínűbb, hogy a teszteket felvevő pedagógusok elnézőbbek voltak a gyerekek válaszaival szemben.
A közvetítő eszköz teljesítménybefolyásoló hatásainak alaposabb feltérképezése érdekében megvizsgáltuk, hogy detektálható volt-e valamilyen irányú szabályszerűség a különböző képesség-fejlettségi szinteken lévő diákok esetében. A beszédhanghallás teszt kutatási elrendezése lehetőséget adott az eredmények tanulónkénti összehasonlítására. A tanulók eredményeit egymás függvényében a 3.14. ábra szemlélteti. A vízszintes tengely a személyes módban, a függőleges tengely pedig a számítógépes módban elért eredményeket mutatja.
3.14. ábra
A tanulók hagyományos illetve számítógépes módban nyújtott teljesítményei a beszédhanghallás teszten
A tanulók hagyományos és számítógépes környezetben mutatott teljesítménye között szignifikáns, de viszonylag alacsony volt a korrelációs együttható (r=0,35 p<0,001). Sok esetben a tanulók hagyományos tesztelési módban elért teljesítménye 100 százalékos, vagy 90 százalék fölötti volt, míg ugyanezen diákok számítógépes környezetben nyújtott teljesítménye messze elmaradt ettől a szinttől. Ez arra utal, hogy az adatfelvételt végző pedagógusok feltételezhetően hajlamosak voltak akkor is elfogadni a tanulók válaszát, amikor a gyerekek nem a helyes választ adták meg, vagy a kérdés feltevésekor egyéb eszközökkel segítettek a diákoknak: például az instrukciók felolvasásának módjával, a helyes és a helytelen válaszlehetőség artikulálásával (szemben a semleges előre rögzített hanggal), arckifejezéssel, egyéb mozdulatokkal, testbeszéddel. A tapasztalt jelenség másik oldalról történő megközelítése, hogy az emberi tesztvezető megítélése a pontosabb, és a számítógép – többek
0 10 20 30 40 50 60 70 80 90 100
0 10 20 30 40 50 60 70 80 90 100
Számítógép-alapú %
Egyéni adatfelvétel %
között a számítógépes képességeik miatt – alulbecsüli teljesítményüket ellentmond a korábbi kutatási eredményeknek.
Az itemszintű különbségekre irányuló elemzések eredményeit mutatja a beszédhanghallás teszt kapcsán a 3.15. ábra. Az item abszcissza koordinátája a hagyományos adatfelvétel alapján számolt nehézségi indexe, ordináta koordinátája a számítógép-alapú adatfelvételen nyújtott teljesítmény alapján számolt indexe. Azok a feladatok, amelyek könnyebbnek bizonyultak az egyéni adatfelvétel során az ábrán a folytonos egyenessel jelzett vonal fölött helyezkednek el.
3.15. ábra
Az IRT modellel számított itemparaméterek összehasonlítása a beszédhanghallás teszt egyéni és számítógépes adatfelvételi módjában
A legnagyobb eltérések az álszavakra építő (4. részteszt) feladatok esetén voltak detektálhatóak. Ugyanez az effektus volt megfigyelhető az olyan szavak esetében, ahol a kontextus hiányát részben helyettesíthette a tanító jószándékú viselkedése, míg a teljes mondatokban szereplő szavaknál a személyes tesztelés hatása kevésbé volt nyilvánvaló. (Csak az utóbbi esetben volt szignifikáns a korreláció az itemnehézségi paraméterek között: r=0,55, p<0,01.) Ezek az eredmények szintén azt a hipotézist igazolják, hogy bizonyos esetekben a tesztfelvevő elveszíti objektivitását, főként, ha az ingert kiemeljük a szokásos szövegkörnyezetéből.
A 3.16. ábra mutatja a tapasztalati összefüggés-megértés és a tapasztalati következtetés teszt itemnehézségi mutatóinak változását. A vonal alatt elhelyezkedő itemek könnyebbek voltak a hagyományos tesztfelvétel esetén, mindkét tesztben ezek az itemek voltak többségben.
-4 -3 -2 -1 0 1 2 3 4
-4 -3 -2 -1 0 1 2 3 4
Számítógép-alapú
Egyéni adatfelvétel
Részteszt 1 Részteszt 2 Részteszt 3 Részteszt 4
Az itemnehézségi mutatók korrelációja magasnak bizonyult mindkét esetben (tapasztalati összefüggés-megértés r=0,75, p<0,01; tapasztalati következtetés r=0,76, p<0,01.)
3.16. ábra
A tapasztalati összefüggés-megértés és a tapasztalati következtetés teszt itemeinek viselkedésváltozása a hagyományos és számítógép-alapú adatfelvétel során
3.2.4. A papíralapú, kisiskolás diákok részére kidolgozott induktív gondolkodás teszt online