problémamegoldó képességük fejlettségi szintjére hetedik évfolyamon
A hét év távlatában végzett elemzések mellett ugyanezen diákok kizárólagosan hetedik évfolyamos eredményeire támaszkodva is elvégeztük ezeket az elemzéseket a célból, hogy elemezni tudjuk, milyen mértékben változik az egyes területek prediktív, meghatározó ereje a diákok problémamegoldó képessége fejlettségi szintje vonatkozásában az évek előrehaladtával.
A felállított modellbe a diákok induktív gondolkodás, matematika, olvasás-szövegértés és angol teszteken mutatott, a longitudinális program keretein belül kidolgozott mérőeszközök segítségével történt adatfelvételek eredményeit vontuk be (5.14. ábra). A mérőeszközök felépítése mögötti keretrendszer eltért az OKM tesztekétől. Míg az OKM tesztek egyértelműen a tudás gondolkodási és alkalmazási dimenzióját mérik, addig a longitudinális vizsgálatba bevont matematika tesztben nagyobb arányban szerepeltek iskolai tudást mérő itemek. Az angol nyelv feltételezett prediktív hatását a szakirodalomra alapoztuk (Csapó és Nikolov, 2009).
0,063 0,126
0,320
DPK DIFER
IG
MAT
A modellilleszkedés (CFI=1,00, TLI=1,00 és RMSEA=0,00) jó volt. A diákok szövegértés teszten nyújtott teljesítménye – a vártaknak megfelelően – nem bírt prediktív erővel a problémamegoldó képességteszten nyújtott teljesítményükre, ami alátámasztja a korábbi OKM szövegértés teszt eredményei kapcsán tapasztaltakat. Ezúttal a matematika teszten nyújtott teljesítményük csak kis mértékben, míg az első generációs induktív gondolkodás teszten nyújtott teljesítményük nagyobb mértékben jelezte előre harmadik generációs problémamegoldó képességteszten nyújott teljesítményüket, ami alátámasztotta korábbi vonatkozó eredményeinket. A matematika előrejelző fontossága az első évfolyamos teszteredményhez képest jelentős mértékben csökkent. Ennek oka lehet, hogy első évfolyamon még a diákok induktív gondolkodásának fejlettségi szintje nagyobb mértékben befolyásolta a matematika teszten elért teljesítményüket, mint hetedik évfolyamon. Az angol nyelvtudás foka, igaz kis mértékben, de hozzájárult a vizsgált konstuktumok által előrejelzett DP képességszint 26%-os megmagyarázott varianciájához.
5.14. ábra
A hetedik évfolyamos olvasás, induktív gondolkodás, matematika és angol teszteredmények előrejelző ereje a diákok problémamegoldó képességteszten nyújtott teljesítményre –
útelemzés
A disszertáció ezen részében bemutatott utolsó SEM modellben egyesítettük, egy közös modellben foglaltuk össze azokat a változókat, amelyek a korábbi modellek alapján előrejelző erővel bírtak a diákok DPK fejlettségi szintje kapcsán. A megfelelő illeszkedésmutatókkal rendelkező modellben (CFI=0,996, TLI=0,977, RMSEA=0,045) a DIFER teszt, az iskolai jegyek (matematika és iskolai jegyek átlaga), az olvasás tesztek és a diszciplináris tudást vizsgáló matematika teszt eredménye nem mutatott szignifikáns előrejelző erőt a diákok DP képességének fejlettség szintjére (sem a modellbe bevont jelentős prediktív erővel bíró területek fejlettségi szintjére). Ezért az 5.15. ábrán szemléltetett modellben e változók nem kerültek megjelenítésre. Továbbra is az OKM matematika tesztje és a diákok induktív gondolkodásának fejlettségi szintje jelezte leginkább előre a DPK teszten nyújtott teljesítményt, melyek a nemmel és az angol idegen nyelvtudás szintjével együtt a DPK teszt varianciájának 30%-át magyarázták meg. A diákok induktív gondolkodásának fejlettségi szintje jelentős előrejelző hatást gyakorolt az OKM matematika tesztén elért teljesítményre, ami alátámasztja a teszt korábban említett
n.s.
0,291 0,147
0,118
DPK OLV
IG
ANGOL MAT
felépítését. A modell kiemeli az angol nyelvtudás és az induktív gondolkodás fejlettségi szintje közötti erős összefüggést, ami alátámasztja a szakirodalomban olvasottakat (Csapó és Nikolov, 2009).
5.15. ábra
A hetedik évfolyamos diákok nemének, induktív gondolkodásuk fejlettségi szintjének, OKM matematika tesztjén elért eredményének és angol tudásszintjének előrejelző ereje a DPK teszten nyújtott teljesítményre – útelemzés (a modellben szereplő együtthatók p<0,01 szinten
szignifikánsak; IG: induktív gondolkodás; DPK: dinamikus problémamegoldó képesség;
OKMm: az Országos kompetenciamérés matematika eredménye)
A longitudinális és OKM adatokra támaszkodó elemzések is alátámasztották az induktív gondolkodás meghatározó és prediktív erővel bíró szerepét problémamegoldó képességünk fejlettségi szintjét illetően. A hét év távlatában elvégzett elemzések kiemelték a DIFER teszt és az első évfolyamos diákok számolási készségének előrejelző hatását a hetedik évfolyamos problémamegoldó képességteszten nyújtott teljesítményükre. E képességterületek első évfolyamos teljesítményei alapján 20-25%-ban magyarázható a diákok hetedik évfolyamos problémamegoldás képességteszten nyújtott teljesítménye, ami alátámasztja az erős szelekció következtében tapasztalt jelenségeket (Csapó, Molnár és Kinyó, 2009). Ugyanakkor a hatodik évfolyamos teszteredményeket integrálva a modellbe, az első évfolyamon mért területek előrejelző ereje eltűnt és egyértelműen az OKM matematika tesztjén és a longitudinális program induktív gondolkodás fejlettségét mérő tesztjén elért eredmények előrejelző ereje került előtérbe, amit a diákok neme és angol nyelvtudása követett. Utóbbi erős összefüggést mutatott a diákok induktív gondolkodásának fejlettségi szintjével (r=0,60, p<0,01). Az iskolai jegyek és a diszciplináris tudásra építő tesztek egyáltalán nem jelezték előre a diákok DP képességfejlettségi szintjét. A harmadik generációs teszttel történt adatfelvétel jelentős eredménye, hogy a mérés során sikerült teljes mértékben kiküszöbölni a diákok olvasási képességének fejlettségi szintjének teljesítménybefolyásoló hatását, ami a hagyományos tesztkörnyezetben végzett képességszintvizsgálatokban jelentős hatással bírt, jelentős mértékben befolyásolta a diákok más, komplex képességterületen nyújtott teljesítményét.
0,234 0,062
0,592
0,560 0,103 0,103
0,130 0,215
0,288
IG DPK
OKMm ANGOL MAT
Nem
A dinamikus problémamegoldó környezetben alkalmazott felfedező stratégiák hatékonysága és azok változása: logfájlelemzések
A disszertáció korábbi részeiben tapasztalhattuk, hogy a technológiaalapú mérés-értékelés új lehetőségeket és kihívásokat is hozott a pedagógiai empirikus kutatásokba. Számos tanulmány összegzi a számítógép-alapú mérés-értékelés fontosságát és előnyeit a hagyományos papíralapú technikákhoz képest (Csapó, Ainley, Bennett, Latour és Law, 2012). Alapvetően három fő tényező támogatja és motiválja a technológiaalapú tesztelésre való átállást: a hagyományos, papíralapon is mért területek kapcsán tapasztalt megnövekedett mérési pontosság (pl. Csapó, Molnár és Nagy, 2014); olyan területek mérési lehetősége, amelyre hagyományos eszközökkel nem kerülhetett sor (pl.: komplex, dinamikus problémamegoldás, l.
Greiff, Wüstenberg és Funke, 2012; Greiff és mtsai, 2013); végül a közvetlenül megfigyelt adatokon kívül a metaadatok rögzítése, majd a logfilék elemzésének lehetősége (l. pl.: Tóth, Rölke, Greiff és Wüstenberg, 2014).
A pedagógiai adatbányászás (educational data mining, EDM), a logfájlok elemzése, hozzájárulhat ahhoz, hogy mélyebben és alaposabban megértsük és megmagyarázzuk a vizsgált jelenségek működését. Az EDM segítségével olyan kutatási kérdések megválaszolása is lehetséges, melyekre korábban, a hagyományos technikákkal nem volt lehetőség. A disszertáció e részében a DPK kutatások logfájlaira alapozva elemezzük azokat a hatékony és kevésbé hatékony problémamegoldó stratégiákat, melyeket a diákok a DPK teszt megoldása közben alkalmaztak.
A DPK teszt problémái olyan minimálisan komplex rendszerek, ahol a diákoknak azáltal, hogy manipulálhatják a bemeneti változók értékeit, amelyek, oksági kapcsolatban állnak a kimeneti változókkal, fel kell fedezniük a bementi és kimeneti változók közötti összefüggéseket (Wüstenberg és mtsai, 2014). Ezek a kapcsolatok a legtöbb esetben nem nyilvánvalóak, ugyanakkor a rendszer szisztematikus kontrollálásával, megfelelő felfedező és problémamegoldó stratégia alkalmazásával detektálhatóak, feltérképezhetőek.
A diákok által alkalmazott stratégiák, lépéskombinációk sokfélék, miután minden egyes bementi változónak öt értéke lehetséges és nem korlátoztuk a lépések számát (csak az időt, ami alatt a lépéskombinációkat alkalmazhatták). Ezért első lépésként szükség volt a logolt adatok átalakítására, kezelhetővé, elemezhetővé, értelmezhetővé tételére, rendszerbe foglalására.
Az egyes lépések kódolása mellett az összes, elméletileg helyes stratégiára alapozva felépítettünk egy olyan matematikai modellt, aminek segítségével elemezhetővé, áttekinthetővé váltak az alkalmazott lépéskombinációk, stratégiák. A szakirodalomból ismert úgynevezett változók kontrollja (control of variables, CVS; Greiff, Wüstenberg, Csapó, Demetriou, Hautamäki, Graesser és Martin, 2014) vagy egyszerre egy dolog változtatása (very vary-one-thing-at-a-time, VOTAT; Tschirgi, 1980; Funke, 2014) stratégián belül e modell segítségével számos további stratégia definiálását valósítottuk meg. Időelemzések segítségével teszteltük az alkalmazott stratégiák tudatosságát, elemeztük a diákok által alkalmazott stratégiák teszten belüli változását, látens profil elemzések segítségével definiáltuk a különböző típusú problémamegoldókat, valamint összevetettük a különböző felfedező stratégiák kapcsolatát a tudás elsajátítás képességét mérő itemeken nyújtott teljesítményekkel, valamint az általános problémamegoldó képességgel. Végül elemeztük, hogy a probléma megoldásával töltött idő és kattintások száma hogyan függ össze a teljesítményekkel.
Összefoglalóan az itt bemutatott elemzések egyrészt bemutatják ezt az új elméleti, az elemzéseket lehetővé tevő modellt, másrészt empirikus adatok segítségével hozzájárulnak a dinamikus problémamegoldó környezetben alkalmazott és alkalmazható stratégiák megértéséhez. A logfájlelemzések kitágították a teszt problémáinak megoldása során alkalmazott fázisok körét. Míg a diákok válaszai alapján a modellrajzolás és a rendszer működtetése (modellalkalmazás) fázisokat tudtuk elkülöníteni, addig a logfájlok segítségével a modellrajzolás fázisát megelőző felfedező fázis is számszerűsíthetővé vált. Ezen új első fázisban a diákok szabadon manipulálhatták a bemeneti változók értékét, hogy megfigyelhessék azok hatását a kimeneti változók értékére. A bemeneti és a kimeneti változók közötti kapcsolat vagy a rendszer sajátdinamikája a bementi változók megfelelő, szisztematikus változtatásával, helyes problémamegoldó stratégia alkalmazásával fedezhető fel. E felfedező, új tudás elsajátításának hatékonyságát mérő fázissal párhuzamosan a diákoknak a felismert összefüggéseket fel kellett rajzolniuk, vizualizálniuk kellett egy modellben, majd a problémamegoldás harmadik fázisában a korábban megismerteknek megfelelően működtetniük a rendszert bizonyos előre meghatározott célok elérése érdekében (tudás alkalmazása fázis).
A szakirodalomban elérhető elemzések a DPK teszt problémáinak második és a harmadik megoldási fázisában nyújtott teljesítményeken alapulnak, és azt kötik közvetlenül a tudás elsajátítása és tudás alkalmazása faktorokhoz (Greiff és mtsai, 2013; Wüstenberg, Greiff, Molnár és Funke, 2014). A logfájlelemzések segítségével azonban közvetlenül feltérképezhetőek az első fázisban alkalmazott stratégiák.