Előadások
Az iskolai hozzáadott érték mérése – módszertani megjegyzések Horn Dániel
MTA KRTK
Kulcsszavak: iskolai hozzáadott érték; tanulói eredményesség; iskolai eredményesség Az előadás az elméletileg lehetséges hozzáadott típusú indikátorok alapverzióit mutatja be, és nemzetközi példákat is hoz ezekre. Magyar adatokon mutatom be, hogy valóban más eredményeket kapnának-e az iskolák, ha nem keresztmetszeti, hanem több időpontban mért, tanulói szinten összekötött adatokon becsült, hozzáadott érték típusú eredményességi mutatókat kapnának kézhez. Az előadás két fontos dologra hívja fel a figyelmet: egyrészt arra, hogy a keresztmetszeti adatokon nyugvó statisztikák nagy valószínűséggel torzított képet fognak nyújtani egy adott iskola valós eredményességéről. E torzítás mértékének a csökkentésére lehetőség van hozzáadott érték típusú indikátorok figyelembevételével. Azonban a másik fontos állítás az, hogy a hozzáadott érték típusú mutatók sem tökéletesek. Egyrészt nem oldják meg, csak csökkentik a mérésből fakadó bizonytalanságot, másrészt nem létezik egy tökéletes hozzáadottérték-mutató, hanem sokféle, különböző feltevéseken alapuló ilyen mutató létezik, melyek adott esetben más és más eredményeket mutatnak egy adott iskolára nézve. A hozzáadott érték típusú modellek előnyeiről és hátrányairól például Ladd és Walsh (2002), illetve Kane és Staiger (2002), a felhasznált termelési függvényről Todd és Wolpin (2003), valamint Dolton (2002) munkáit érdemes tanulmányozni. Az előadás fő konklúziója, hogy gyakorlatban mindegyik modell használható, sőt eredményeiben is hasonlóak egymáshoz, ám a becslések lényegesen különbözhetnek az egyes iskolára vonatkoztatva. Még a legegyszerűbb hozzáadott érték típusú modellek is jelentősen megváltoztatnák az egyes iskolák eredményességi mutatóit, ha azonban kicsit bonyolultabb, ám az iskolai munka értékelése szempontjából korrektebb mutatókat alkalmaznánk, az eredmények több esetben drasztikusan eltérnének. Mindezek mellett – bár a hozzáadott érték típusú mutatók közti azonos éven belüli korreláció sem tökéletes –, ha két különböző évet hasonlítunk össze, akkor az eltérés már jelentős. Így érdemes egyrészt többféle módszerrel, másrészt több évre kiszámolni az iskolák eredményességét, így talán egy lépéssel közelebb kerülünk az iskolák valós eredményességének becsléséhez.
Növeli-e a magyar iskolarendszer a tanulók közötti különbségeket? Mit mond a pedagógiai hozzáadott érték számítása?
Nahalka István ELTE PPK
Kulcsszavak: pedagógiai hozzáadott érték, mérési hiba; esélyegyenlőtlenség;
hátránykompenzáció, diszkrimináció
Az előadás célja kettős: bemutatja a pedagógiai hozzáadott érték (PHÉ) Országos kompetenciamérési (OKM) adatokat felhasználó számításának legegyszerűbb módját, illetve mintegy alkalmazásként a fogalom felhasználásával a hazai iskolarendszerben az esélyegyenlőtlenségek növekedésének problémáját elemzi. Az ismertetendő kutatás kérdései: Van-e neveléstudományi relevanciája az egyszerű teszteredmény-különbségen alapuló PHÉ-számításnak? Kidolgozhatók-e módszerek az átlaghoz való regresszió hatásának kiküszöbölésére az erre a jelenségre érzékeny számítások esetén? Az egyszerű különbségen alapuló PHÉ-számítást, valamint az átlaghoz való regresszió hatását kiküszöbölő számításokat az OKM teszteredményekre alkalmazva milyen a „jó”
és a „gyenge” tanulók közötti különbségek alakulása? A kidolgozott módszer alkalmazásával milyen tendenciák érvényesülnek az eltérő szociális helyzetű tanulók tesztekkel mérhető sikerességében 6. és 10. évfolyam között? A PHÉ értelmezése és meghatározása számtalan eltérő módon történhet (Goldhaber és Theobald, 2013; Wei és mtsai, 2012; Tekwe és mtsai, 2004). A legegyszerűbb, ha egy pedagógiai folyamat eredményességének jellemzésére a pedagógiai folyamatot követően és a legelején megírt, összehasonlítható eredményű (tehát IRT-modellek keretében kifejlesztett) tesztek pontszámainak különbségét számoljuk. Más módszerek ettől elsősorban abban térnek el, hogy tekintetbe veszik a tanulók sajátosságait, illetve helyzetét jellemző változókat is, sok esetben magas szintű statisztikai modellek (pl. hierarchikus lineáris modellek) alkalmazásával. Az előadás pedagógiai érveléssel támasztja alá a választott módszer indokoltságát. A pontszám különbségén alapuló PHÉ-számítás – ahogyan minden más hasonló módszer – nehézsége a nagy hibával jellemezhető mérési adatok esetén, amilyenek az OKM-adatok is, hogy elsősorban a korrelációs jellegű számításoknál a kapott eredmények szinte értékelhetetlenek az átlaghoz való regresszió jelenségének fellépése miatt. A probléma megoldásának kulcsa a mért adatok közötti korrelációk és más adatok felhasználásával a valódi, true score jellegű változók korrelációinak becslése. E feladat egy elméleti számításokon alapuló, valamint egy szimulációs módszerrel való megoldását mutatjuk be, egyben egy példát is adva a PHÉ számítási módjának alkalmazására. A kutatás során kidolgozott módszerek alkalmazásával és az OKM 2014-es adatainak felhasználásával a következő eredményeket kaptuk: A magyar iskolarendszerben a 6. és a 10. évfolyam között a jó és a gyenge eredményeket elérő tanulók közötti különbségek nem nőnek, némileg még csökkennek is. Azonban a szociális helyzetüket tekintve eltérő státuszú tanulók közötti különbségek – a hátrányos helyzetű tanulók kárára – szignifikánsan nőnek. Az eredmények azt jelzik, hogy a magyar iskolarendszer nem általában képtelen a hátránykompenzációra, hanem diszkriminatív működésének keretei között a szociális helyzettel összefüggő különbségeket növeli.
Egyházi iskolák: hozzáadnak vagy elvesznek?
Bacskai Katinka Debreceni Egyetem
Kulcsszavak: egyházi iskolák; pedagógiai hozzáadott érték; Országos kompetenciamérés Az iskolafenntartók és az iskolai eredményesség különbségeinek vizsgálata egyre népszerűbb kutatási téma. Európában a szektorközi összehasonlításnak nagy lendületet adott az első PISA-kutatás, ami 2000-ben kimutatta a különböző szektorok közötti különbségeket. Ez aztán számos vitát indított el, több kutatás vizsgálta, hogy mi az oka a különbségeknek. Az egyik legelterjedtebb nézet szerint az egyházi iskolák diákjai azért teljesítenek jobban, mert már eleve válogatott közegből kerülnek ki. Magasabb státuszú diákok járnak az egyházi iskolákba és így jobb iskolai eredményeket is produkálnak (Füller, 2010; Weiß és Preuschoff, 2004, 2006; Weiß, 2011, 2012). Más kutatók, elsősorban Dronkers és szerzőtársai, akik igyekeznek a diákok társadalmi hátterét adatszinten is nyomon követni, azt gondolják, hogy a nem állami szektor eredményessége akkor is érvényesül, ha azonos hátterű diákok esetében vizsgálják azt, és a siker hátterében a szektor jellemzőiből fakadó különbségekben találják meg, elsősorban az iskolai klíma egyes tényezőiben (Dronkers-Róbert, 2005; Corten és Dronkers, 2006). Tudjuk ugyanakkor, hogy a PISA eredményességi mutatóival számoló kutatások nem tudják pontosan azonosítani a fenntartót, csak a PISA (és egyébként az OECD által általában használt) három fenntartói szektorát ismerik: állami, állam által támogatott magán, független magán, kivéve, ha saját adatokat is gyűjtöttek mellé, mint Standfest 2000-ben (Standfest, Köller és Schneepflung, 2005). A kutatás során vizsgáltuk, hogy valóban szegregálnak-e az egyházi iskolák, illetve, hogy a pedagógiai hozzáadott érték (PHÉ) mely szektorban magasabb alap- és középfokon. Előadásunkban a 2015-ös Országos kompetenciamérés (OKM) adatainak elemzésével vizsgáljuk ezeket a kérdéseket. Azonban az OKM eredményei lehetővé teszik, hogy a különböző fenntartók eredményeit összehasonlítsuk, és az egyes diákok fejlődését is nyomon kövessük.
Egyfelől vizsgáljuk az iskolák társadalmi és eredményességi homogenitását (RHO), valamint az iskolák társadalmi hátterük alapján elvárt teljesítményüktől való eltérésüket. Eredményeink azt mutatják, hogy egyfelől társadalmilag homogénebbek az egyházi iskolák, viszont a szektoron belül az eredmények jobban szóródnak iskolák között, tehát az iskolaválasztás jelentősége kisebb. Illetve kimutattuk, hogy az összképet tekintve az egyházi iskolák hozzáadott értéke negatív, vannak olyan iskolatípusok (pl. a szakiskolák), illetve olyan, többségében hátrányos helyzetű diákokat oktató intézmények, amelyek pozitív PHÉ-kel bírnak.
A hátrányos helyzetű tanulókat oktató iskolák eredményessége Fehérvári Anikó
ELTE PPK
Kulcsszavak: hátrányos helyzet; iskolai eredményesség; hozzáadott érték
Az előadás a társadalmi egyenlőtlenségek iskolai megjelenésével foglalkozó elméletekhez kapcsolódik (Coleman, 1966; Bourdieu, 1978; Ferge, 1972). Az előadás a szociálisan hátrányos helyzetű tanulók mellett foglalkozik a cigányság iskoláztatásával is, mivel az alacsony társadalmi státuszú csoportok jelentős része a cigányságból kerül ki. Ezen a területen elsősorban Varga, Havas és Liskó, Havas és Zolnay, valamint Kertesi és Kézdy kutatásaira hivatkozunk. Az előadás azt a kérdést vizsgálja, hogy miként alakul a hátrányos helyzetű tanulók, illetve a cigány/roma tanulók iskolai eredményessége. A vizsgálat alapjául egy 2006–2008-as, valamint egy 2014-ben zajlott idősoros – kvantitatív és kvalitatív eszközöket egyaránt alkalmazó – kutatások szolgálnak, a célcsoportjuk és a mintájuk is azonos. Mindkét kutatásban 147 iskola iskolavezetői és pedagógusai vettek részt (három, integrációt elősegítő pályázat megvalósítói). A tanulói eredményesség vizsgálatához az iskolavezető által megadott lemorzsolódási és továbbhaladási adatok mellett az Országos kompetenciamérés (OKM) tanulói adatbázisát is felhasználtuk. Az OKM adatbázisai 2008 óta teszik lehetővé a tanulók iskolai útjának nyomon követését, így ez alkalmat adott arra, hogy az Integrált Pedagógiai Rendszert alkalmazó iskolákban tanulók későbbi útját is megfigyelhessük. Az OKM adataiból háromféle eredményességi mutatót vizsgáltunk iskolai szinten: átlagos képességpontszám, hozzáadott érték (a számítás figyelembe veszi a tanuló előzetes teszteredményeit és az iskola tanulói összetételét) és a képességszintek alapján gyengén teljesítők aránya. Az előadás bemutatja, hogy a hátrányos helyzetű és cigány/roma tanulók eredményességét milyen iskolai szintű mutatók mentén mérhetjük, az OKM három mutatója milyen különbségeket, illetve együttjárást mutat, valamint milyen iskolai, szervezeti jellemzők befolyásolják az eredményességet. A szervezeti tényezők esetében, többek között, vizsgáltuk az iskola tárgyi, személyi feltételeit, külső kapcsolatrendszerét, szolgáltatásait. Az előadás rámutat arra, hogy számos szervezeti jellemző befolyásolja az iskolai eredményességet, regressziós modellek azt mutatják, hogy közülük a legfontosabbak az iskola szolgáltatásai, személyi feltételei és külső kapcsolatrendszere. A kutatás eredményei hozzájárulhatnak az eredményesebb iskolafejlesztések megvalósításához, növelve az iskola helyi beágyazottságát, külső kapcsolatrendszerét, hálózatait.
Az iskolai pedagógiai hozzáadott érték egy lehetséges számítása és kutatási célú alkalmazása
Széll Krisztián ELTE PPK
Kulcsszavak: iskolai hozzáadott érték; Országos kompetenciamérés; reziliens és veszélyeztetett iskolák
Az iskolák eredményességét a kvantitatív jellegű kutatásokban általában standardizált tanulói teszteredményekkel mérik. A megalapozott mérések – mint amilyen az Országos kompetenciamérés (OKM) is – fontos és megbízható dimenzióit tárják fel az eredményességnek (Horn, 2015; Nahalka, 2015), és alapjául szolgálnak a pedagógiai hozzáadott érték (PHÉ) típusú modelleknek is. Az iskolai PHÉ koncepciójának alapvető kérdése, miként lehet a tanulók előrehaladását, fejlődését úgy mérni, hogy az az iskola valódi teljesítményét mutassa. Az iskolák hozzáadott értékének definiálása, kiszámítása többféleképpen történhet (pl. Hanushek és Rivkin, 2012; Horn, 2015; Kim és Lalancette, 2013; OECD, 2008; Saunders, 1999; Wei és mtsai, 2012), ami sok esetben a PHÉ felhasználásának céljától (pl. értékelés, oktatáskutatás, iskolafejlesztés) is függ. Az előadás célja, hogy bemutassa az iskolai PHÉ egy lehetséges számítási módját és annak kutatási célú alkalmazását. Az előadás alapvető kutatási kérdése, hogy az iskola átlagos társadalmi, szociális összetétele miként befolyásolja az iskola átlagos teljesítményét, továbbá, milyen szervezeti tényezők mentén különböztethetők meg az alacsony társadalmi-gazdasági státuszú jó, illetve kevésbé jó eredményeket elérő iskolák. Az elemzés két, a társadalmi összetétel alapján egyaránt az alsó negyedbe tartozó iskolacsoportra fókuszál: az átlagon felüli PHÉ-t elérni képes (reziliens), illetve az átlag alatti, alacsony PHÉ-t elérő (veszélyeztetett) iskolák csoportjára. Az előadás első része az általunk kidolgozott iskolai PHÉ számításának módszertanát ismerteti. Az iskolai PHÉ-t a legkisebb négyzetek módszerén (OLS) alapuló, lineáris regressziós modellek segítségével számoltuk az OKM szövegértési és matematikai teszteredményeinek felhasználásával. Az egyes modellek az iskolák átlagos tanulói összetétele, valamint az oda járó diákok korábbi matematikai és szövegértési teljesítményeinek iskolai szintű átlaga alapján becslik meg az iskolák átlagos teljesítményét. Mivel az OKM telephelyi kérdőívéből számos plusz információ (pl. infrastruktúra, továbbképzési és értékelési gyakorlat, roma/cigány tanulók becsült aránya, szülők és iskola kapcsolata, tanulási légkör, motiváltság) nyerhető ki, így az előadás második részében olyan szervezeti tényezőket vizsgálunk, amelyek befolyásolhatják az eredményességet a vizsgált iskolacsoportokban. Eredményeink szerint a reziliens iskolák kedvezőbb és egységesebb képet mutatnak, mint a veszélyeztetett iskolák. Az iskolacsoportok olyan tényezők mentén különíthetők el egyértelműbben, amelyek az iskolákban uralkodó légkör minőségét határozzák meg. A bemutatott PHÉ-számítás lehetőséget teremt az iskolák eredményességének vizsgálatára, kutatási célú alkalmazásával olyan intézményi és pedagógusjellemzők tárhatók fel, amelyek elkülöníthetik a szociális szempontból kedvezőtlen tanulói összetételű sikeres és sikertelen iskolákat.