A nagymintás vizsgálatban alkalmazott teszt reliabilitás vizsgálata során három feladat esetében alacsony elkülönítés mutatókat találtunk, ugyanakkor az értékek egyike sem közelíti a 0-at: F_Sor_21_A14=0,126; F_An_16_A014=0,196; F_Oszt_06_A01=0,179. A feladatnevekből látható, hogy minden résztesztre jutott egy olyan item, amelyik az elkülönítés mutató alapján nem illeszkedik a teszthez megfelelően. A sorozat és az analógia feladatok mindkét esetben az adott részteszt végén szerepeltek, lehet, hogy a gyerekek „belefáradtak” az adott feladattípusba, ezért csökkent a feladatra irányuló koncentrációjuk. A rendelkezésünkre álló információk alapján nehéz a pontos okot azonosítani. A kevésbé jól működő halmazfeladat esetében arról a feladatról van szó, amiben arra kérjük a gyerekeket, hogy a nyolc képet ismét rendezzék két halmazba, de most valamilyen más tulajdonság alapján.
Elképzelhető, hogy a feladatban megjelenő újabb kognitív művelet – azaz annak is figyelembevétele, hogy milyen választ adtak meg az előző feladatban – a feladatmegoldás szempontjából egy olyan új minőséget jelentett, ami nyilvánvalóan a többi feladatban nem jelent meg, és ennek köszönhetően nem illeszkedik a többi itemhez. A sorozat és az osztályozás feladat eltávolítása is jelentősen, két tizeddel javítja az adott részteszt megbízhatóságát, így ezektől az itemektől megváltunk, a további elemzésekből kihagytuk őket. Az analógia feladat elkülönítés mutatója volt a három közül a legmagasabb, eltávolítása sem a teljes, sem az analógia részteszt megbízhatóságán nem javít, ezért ezt a feladatot a további elemzésekben is felhasználtuk. A végleges teszt megbízhatósága magas, valamint az itemek számát is figyelembe véve a résztesztek szintjén is jó (26. táblázat).
26. táblázat. A 1. évfolyamos induktív gondolkodás teljes tesztjének és résztesztjeinek reliabilitás mutatói (Cronbach-α)
A táblázatban feltüntettük az osztályozás részteszt megbízhatóságát abban az esetben is, amikor nem a feladatokat, hanem a ’drag and drop’ célterületeket értékeljük dichotóm változóként. A próbamérésekkel összhangban itt is magasabb az érték, ugyanakkor a már említett fenntartásaink miatt, valamint a későbbi, a tesztek különböző évfolyamokon történő
Teszt megnevezése Itemek száma Cronbach-α N
Figurális sorozatok 12 0,81 5988
Figurális analógiák 13 0,79 5980
Osztályozás 7 0,77 5972
[Osztályozás] [12] [0,88] [5972]
Teljes induktív teszt 32 0,89 5972
[Teljes induktív teszt] [37] [0,90] [5972]
100 feladatszintű összeskálázása érdekében a 7 itemes verziót részesítjük előnyben. A feladatok részletes statisztikai mutatóit a 8. számú melléklet tartalmazza. Az elkülönítés mutatók megfelelőnek tekinthetőek: a 34 feladatból 28 item esetében éri el vagy haladja meg a 3,5 értéket, és csak a már említett feladat (F_An_16_A014) értéke esik 2,0 alá (40. ábra).
A tesztkitöltés során megjelenő lemorzsolódás ebben a korosztályban valamivel magasabb, mint a 4. évfolyamon, de itt sem számottevő. A 6013 tanulóból összesen 41 fő (a minta 0,7 %-a) nem ért végig a teszten (26. táblázat). A tesztidő 21,3 perc (szórás=9,1 perc). Itt meg kell jegyezni, hogy az induktív teszt egy ülésben került felvételre a számítógépesegér-használat teszttel, tehát ebben az időben mind a két teszt felvétele beleértendő, ezt is figyelembe véve a tesztelés ideje elfogadható, kevesebb mint egy tanóra alatt lebonyolítható.
A valószínűségi tesztelmélet módszerével lefuttatatott elemzés során kapott EAP/PV reliabilitás mutató értéke jó, 0,87. A teszt személy-item térképére tekintve megállapítható, hogy a teszt leginkább az átlagos képességű tanulók képességszintjeihez illeszkedik, kevés item szerepel mind a magas, mind az alacsony képességszinteken (41. ábra).
40. ábra
Az itemek elkülönítés mutatóinak eloszlási gyakorisága 4. évfolyamon
A teszt belső struktúráját első lépésben a teljes teszt és a résztesztek közötti korrelációk mentén vizsgáljuk (27. táblázat). Hasonlóan a 4. évfolyamos mintához, az együtthatók értékei a teljes teszt és résztesztek között itt is magasak. A figurális sorok és analógiák korreláció értéke közel áll egymáshoz, mindkét részteszt erősen korrelál a teljes teszt eredményével (r=0,87). Az osztályozás bár kisebb mértékben, de még így is szoros együttjárást mutat (r=0,70).
27. táblázat. Az 1. évfolyamos résztesztek és a teljes teszt közötti korrelációs együtthatók Figurális
sorozatok
Figurális
analógiák Osztályozás [Osztályozás]
Figurális analógiák 0,64
Osztályozás – 7 item 0,43 0,45
[Osztályozás – 12 item] 0,41 0,42 0,94
Teljes induktív teszt 0,87 0,87 0,70 0,66
Megj.: Minden korreláció szignifikáns p<0,01 szinten.
0 2 4 6 8 10 12 14 16
0,0-0,1 0,1-0,2 0,2-0,3 0,3-0,4 0,4-0,5 0,5-0,6
Gyakoriság (db)
Az elkülönítés mutatók értékei
101
Az 1. osztályos induktív teszt személy-item térképe (minden x 9,5 gyermeket reprezentál) A táblázatban feltüntettük az osztályozás 12 itemes tesztverzióját is. Az adatok megerősítik azon feltevésünket, hogy a validitás tekintetében szerencsésebb, ha a feladatszintű pontozást alkalmazzuk. A 12 itemes verziónak magasabb a reliabilitása, ami alapján magasabb korrelációt várhatnánk, ugyanakkor mégsem ez a helyzet. A 12 itemes tesztverziónak négy tizeddel alacsonyabb a korrelációs együtthatója, mint a 7 itemes verziónak. Ez azt jelenti, hogy a feladatszintű kiértékelés során kapott teljesítmény közelebb áll ahhoz a konstruktumhoz, amit a jelen mérőeszközünkkel induktív gondolkodásként definiálunk. Ezt a feltételezést erősíti meg az is, hogy a 7 itemes verzió a figurális sorozatokkal és az analógiákkal is szorosabb összefüggést mutat, mint a 12 itemes. A résztesztek között a
102 negyedik évfolyamos eredményekhez hasonlóan a figurális sorok és analógiák között a legszorosabb az együttjárás. A már említett osztályozás, valamint a figurális sorok és analógiák közötti összefüggések közepes erősségűek. Ez nem meglepő, hiszen az osztályozás feladatok nagymértékben különböznek a figurális soroktól és analógiáktól mind megjelenésükben, mind a megoldás módját tekintve is. Ennek tükrében ezek a korrelációs értékek meggyőzően utalnak arra, hogy az osztályozás képessége lényeges szerepet tölt be az induktív gondolkodás működésében.
Az első évfolyamos adatokkal végzett megerősítő faktorelemzés során három modellt hasonlítottunk össze. Összehasonlítási alapként itt is az egydimenziós modell szolgált, ahol minden itemet egy látens változóra illesztünk. Emellett a sorozatok és az analógiák közötti magas korrelációs együttható miatt meghatároztunk egy kétdimenziós modellt is, ahol a figurális sorok és analógiák jelentik az egyik, míg az osztályozás részteszt a másik dimenziót.
A harmadik – az elméleti elvárásunknak leginkább megfelelő – modellben mindhárom részteszt egy külön dimenziót képvisel. Az eredményeket a 28. táblázat összegzi.
28. táblázat. Az 1. évfolyamos induktív teszt megerősítő faktorelemzésének eredményei
Modell χ2 df p CFI TLI RMSEA (95% CI)
3 dimenzió 6122,03 461 0,01 0,932 0,927 0,045 (0,044–0,046)
2 dimenzió 8219,07 463 0,01 0,907 0,900 0,053 (0,052–0,054)
1 dimenzió 14608,62 464 0,01 0,830 0,818 0, 071 (0,070–0,072)
Megjegyzés: df = degrees of freedom; CFI = Comparative Fit Index; TLI = Tucker–Lewis Index;
RMSEA = Root Mean Square Error of Approximation; χ2 and df are estimated by WLSMV.
29. táblázat. A megerősítő faktorelemzés különböző modelljeinek összehasonlítása 1.
évfolyamon
Modell χ2 df p
3 dimenzió – 2 dimenzió 672,96 2 0,01
3 dimenzió – 1 dimenzió 2227,43 3 0,01
2 dimenzió – 1 dimenzió 1302,67 1 0,01
Az egydimenziós modell illeszkedésmutatói nem érik el az elfogadható szintet, a kétdimenziós modellben a mutatók jelentősen javulnak, és már el is érik az elfogadhatóság kritériumát. Ugyanakkor az adatokat a legjobban a háromdimenziós modell írja le: az illeszkedés itt a legerősebb, és szignifikánsan különbözik a két- és az egydimenziós modelltől is, azaz a három részkonstruktum empirikusan is elkülöníthetőek egymástól, az induktív gondolkodás különböző megnyilvánulási formáit képviselik (29. táblázat).
A háromdimenziós modellt a 42. ábra mutatja be, az itemszintű faktorsúlyokat a 11. számú mellékletben közöljük. A faktorsúlyok általában magasak, a legtöbb érték 0,5 és 0,8 között mozog, ami az itemek megfelelő illeszkedését jelenti az egyedi látens dimenziókra. A legalacsonyabb értékek is nagyon közel vannak az elfogadott 0,4-es határhoz:
F_An_16_A014=0,394; F_An_14_A014=0,393.
A 42. ábrán szereplő látens dimenziókhoz tartozó faktorsúlyok azt mutatják, hogy ebben a korosztályban is a figurális analógiák játsszák a legmeghatározóbb szerepet az induktív gondolkodásban. Szintén magas a faktorsúlya a figurális sorozatoknak, értéke közel áll a
103 negyedik évfolyamon tapasztaltakéhoz. A korrelációk alapján várható volt, hogy az osztályozás részteszt szerepe kevésbé lesz meghatározó, de a faktorsúly értéke nem alacsony, ami szintén jelzi, hogy bár az osztályozás feladatmegoldás szempontjából minőségileg különböző, ugyanakkor az induktív gondolkodáshoz látens szinten szorosan kapcsolódó pszichológiai konstruktum.
42. ábra
Az 1. évfolyamos induktív teszt hierarchikus faktorelemzése. A téglalapok által reprezentált itemek faktorsúlyait a 11. számú melléklet tartalmazza. F_sor: figurális sorozatok; F_An:
figurális analógiák; F_oszt: figurális osztályozás; IND: induktív gondolkodás
A teszten elért teljesítmények vonatkozásában az átlagok és a szórások alapján azt láthatjuk, hogy a három részteszt közel azonos nehézségű volt a diákoknak, a negyedik évfolyamos méréshez hasonlóan a figurális sorok valamivel kevesebb nehézséget okoztak (30.
táblázat). Összességében azonban nem volt könnyű a teszt, az átlagos teljesítmény 41,17
%pont. A szórások az átlagokhoz képest minden esetben magasak, különösen az osztályozás esetében, ami szintén egyrészről jelzi a teszt differenciáló erejét, valamint rávilágít a tanulók közötti óriási különbségekre is.
30. táblázat. A teljes és a részteszteken elért átlagos teljesítmények és szórások 1. évfolyamon
Teszt megnevezése Itemek
száma
Átlag (szórás)
(%) N
Figurális sorozatok 12 43,13 (26,51) 5988
Figurális analógiák 13 39,15 (24,35) 5980
Osztályozás 7 41,55 (31,64) 5972
Teljes induktív teszt 32 41,17 (22,15) 5972
0,64 0,90 0,86
F_Oszt Oszt 01
Oszt 07 An 01
An 13 Sor 12 Sor 01
F_Sor
F_An IND
104 A részletesebb kép érdekében ismét érdemes szemügyre vennünk a teljesítmények eloszlásait is. Minden eloszlás szignifikánsan eltér a normál eloszlástól, balra aszimmetrikusak, és a normál eloszláshoz képest lapultabbak (31. táblázat). A teljes teszt eloszlásában megjelenik egy két móduszra jellemző mintázat (43. ábra). A jelenség mélyebb megértését segítheti, ha megvizsgáljuk a résztesztek eloszlásait is. A negyedik évfolyamos résztesztekhez hasonlóan ez esetben is a teljesítményintervallumok helyett az elérhető pontszámoknak megfelelő százalékos teljesítményt tüntettük fel az x tengelyen. A figurális sorozatok és analógiák esetében látható, hogy a görbék jobb oldali szakaszai nem egyenletesek, mindkettőre jellemző az a két móduszú mintázat, amit a teljes teszt esetében is megfigyelhettünk (44. és 45. ábra).
31. táblázat. A teljes és a résztesztek eloszlásainak statisztikai mutatói 1. évfolyamon
Teszt megnevezése skewness A sorozatok eloszlása ehhez közelebb áll, az analógiák esetében viszont megfigyelhető egy plató a jobban teljesítők eloszlásában: 50 és 80 %-os teljesítménykategóriákban szinte megegyező arányban fordulnak elő a tanulók. A legrendhagyóbb eloszlása az osztályozás résztesztnek van: itt a bal oldalon eltűnik a meredek növekedés, helyette nagy arányban szerepelnek a 0% pontot elérő tanulók. Ezt követően a 13 és 63 %pont közötti kategóriákban hasonló nagyságrendű arányban fordulnak elő a diákok, de relatíve nagy arányban vannak azok is, akik maximum vagy ahhoz közeli teljesítményt nyújtottak (46. ábra).
0
105 Valójában mindhárom részteszt hozzájárul a teljes teszt két móduszú eloszlásához, minden részképességben megjelenik egyfajta polarizációja a mintának. Az eloszlásokat, valamint a személy-item térképet (41. ábra) együtt értelmezve megállapíthatjuk, hogy a teszt kevésbé differenciálja az alacsony képességszintű tanulókat. Ez a jelenség az osztályozás feladatokban mutatkozik meg a legerőteljesebben. Egy további lehetséges értelmezés, hogy a teszt így érzékenyebben mutatja meg a tanulók gondolkodásának minőségi különbségeit, és az eloszlásokban jelentkező ingadozások, a több módusz megjelenése ezekre a minőségi változásokra utalhat. A mintában a különböző teljesítménykategóriákat elérő csoportok létrejötte mögött meghúzódó okok feltárására, a csoportok valamely háttérváltozó mentén történő azonosítására teszünk további kísérleteket a háttérváltozók elemzése során.