7. Konstruktion des Vignettentests zur Erfassung professioneller Kompetenz

7.1. Vignettentest

Innerhalb der Forschungsdiskussion der empirischen Bildungsforschung sind Begrifflichkeiten wie Reliabilität, Objektivität und Validität zentral. Selbst- oder Fremdeinschätzungen erscheinen leicht durchführbar, allerdings erfreuen sie sich begrenzten Zuspruchs. Selbsterteilte Auskünfte, die in Form von Selbst- bzw. Fremdeinschätzungen vorliegen, sind problematisch. Diese Instrumente sind zwar leicht einsetzbar, aber nur geringfügig geeignet, um Wissen bzw. Kompetenz objektiv erfassen zu können.482 Für die Erforschung des Wissens und Könnens angehender Lehrkräfte erweisen sich Tests bzw. Aufgabenformate, die Wissen im Rahmen

481 Beim Begriff Expertennorm handelt es sich um einen festen Begriff. Aus diesem Grund wird im Weiteren auf die weibliche Form verzichtet. Selbstverständlich werden unter diesem Begriff auch die beteiligten Expertinnen zusammengefasst.

482 Vgl. Sebastian Goreth u. a.: Die Entwicklung einer technikdidaktischen Expertennorm als Referenzkriterium zur Auswertung von Unterrichtsvignetten.

https://www.researchgate.net/publication/308033158_Die_Entwicklung_einer_technikdidaktischen_Expertenn orm_als_Referenzkriterium_zur_Auswertung_von_Unterrichtsvignetten/link/57da845408ae72d72ea33821/dow nload, S. 33-61, hier S. 40, aufgerufen am 17. 02. 2017.

135

konkreter Unterrichtssituationen prüfen,483 als geeignet, denn „Aufgabenformate, die Wissen

anhand bestimmter Unterrichtssituationen ertesten, sind geeignet, die Distanz zum tatsächlichen Unterrichtshandeln abzubauen.“484 Für diesen Zweck eignen sich Vignetten, die

in authentischen Unterrichtssituationen Informationen über den pädagogischen Kontext bereitstellen und dadurch die Gefahr reduzieren, sogenanntes träges Wissen abzufragen.485 Es ist nicht der empirische Nachweis entscheidend, „(…) sondern die Wahrnehmung von Repräsentativität, Realität, Komplexität und (sprachlicher) Verständlichkeit (…)“486, die

zusammengefasst als die Authentizität der Unterrichtssituation definiert werden kann. Vignettentests finden dann ihren Einsatz, wenn es darum geht professionelle Wissensinhalte angehender Lehrkräfte zu erforschen.487 Video- bzw. textgestützte Vignetten werden von den Probanden*innen analysiert und im Hinblick auf ein fachdidaktisches Problem bewertet. Dadurch soll eine objektive Erfassung des Unterrichtsgeschehens ermöglicht werden. In den meisten Fällen werden die Probanden*innen gebeten, eine Situation fortzuführen oder die dargestellte Situation zu beurteilen.488 Für die Fortführung bzw. Beurteilung der Situation sind

spezifische Kompetenzen nötig, wie z. B. ein ausreichendes Maß an fachdidaktischem Wissen und Können.489 Für die empirische Bildungsforschung sind Vignetten interessant, da mit diesen

die Komplexität von Unterricht abgebildet werden kann und die dargestellten Probleme mit den zu erforschenden Kompetenzen erfasst und bewältigt werden können. 490 Die Kompetenzerfassung erfolgt anhand externer Kriterien. Vignetten folgen einem Konstruktionsschema: Sie bestehen aus einem Stamm, in dem die Unterrichtssituation präsentiert wird, und einer Fragestellung, die durch ein offenes oder geschlossenes Antwortformat ergänzt wird. 491 Der Vignettenstamm wird mit wichtigen Kontextinformationen, d. h. Klassenstufe, Verortung der Stunde, Lernstand, verwendeten Begrifflichkeiten, Strategien, Arbeitsformen sowie mit den von der Lehrkraft intendierten

483 Vgl. Oliver Tepner/Sabrina Dollny: Entwicklung eines Testverfahrens zur Analyse fachdidaktischen Wissens. In: Dirk Krüger/Ilka Parchmann/Horst Schecker (Hrsg.): Methoden in der naturwissenschaftsdidaktischen Forschung. Berlin 2014, S. 311-323.

484 Siehe ebd., S. 312. 485 Ebd.

486 Vgl. Manfred Seidenfuß: Forschungsfeld Geschichtslehrkräfte. Eine Einführung. In: Zeitschrift für Geschichtsdidaktik 13 (2014), S. 5-14, hier S. 5 f.

487 Ebd.

488 Vgl. Tepner/Dollny (Anm. 483), S. 312.

489 Vgl. Julia Ollesch/Tobias Dörfler/Markus Vogel: Die inhaltliche Validierung von Unterrichtsvignetten durch eine mehrstufige Expertenbefragung. In: Juliane Rutsch u. a. (Hrsg.): Effektive Kompetenzdiagnose in der Lehrerbildung. Professionalisierungsprozesse angehender Lehrkräfte untersuchen. Wiesbaden 2018. S. 129-152, hier S. 130.

490 Vgl. Seidenfuß/Heuer/Resch (Anm. 114), S. 389. 491 Vgl. Ollesch/Dörfler/Vogel ( Anm. 487), S. 130

136

Zielen/Kompetenzen ergänzt, die für die Lösung und angemessene Einschätzung der vorgeschlagenen Handlungsalternativen (Items) relevant sind.

In den meisten Fällen werden in Testformaten Text- oder Videovignetten eingesetzt. Beide Formen besitzen spezifische Vorteile. Während verfilmte Vignetten deutlich die Komplexität und die Situiertheit von Unterricht abbilden, besitzen textgebundenen Vignetten den Vorteil, längere Unterrichtssituationen wiedergeben zu können, die durch ihre Fokussierung nicht dazu verführen, das Wesentliche aus den Augen zu verlieren. Es besteht bei beiden Formaten keine Gefahr, dass sich die Probanden*innen durch sprachliche oder technische Impulse vom didaktischen Problemgehalt ablenken lassen. Die gewählte Präsentationsform (Text-, Videovignette, Comic oder Mischform) kann unter Umständen die Wahrnehmung der Probanden*innen beeinflussen.492 Während es in den naturwissenschaftlich orientierten Untersuchungen die Video- und Animationsformate waren, die durch die Probanden*innen als authentischer wahrgenommen wurden, waren es im Mathematikunterricht Comics und Textvignetten, die als authentischer als die Videos beurteilt wurden.493

Bei der Entwicklung verfilmter Vignetten darf nicht vergessen werden, dass detaillierte Drehbücher und Regieanweisungen benötigt werden. Aus theoretischen und ökonomischen Gründen werden aktuell die meisten Vignetten in Textform präsentiert.494

Die Bewertung von Unterrichtssituationen in Vignettentests in Form der exemplarischen Handlungsalternativen (Items) kann in offenen oder geschlossenen Antwortformaten erfolgen. Auch hier bieten beide Verfahren Vor- und Nachteile. Bisher wurde in den meisten Studien der Kompetenzforschung das offene Antwortformat verwendet.495

Für die Erfassung fachdidaktischen Wissens ist ein offenes Antwortformat sinnvoll, da die Probanden*innen nicht durch zu eng geführte Vorgaben eingeschränkt werden. Die Auswertung offener Antworten ist allerdings deutlich schwerer und erfolgt durch ein aufwendiges Codiermanual. Große Stichproben sind nur schwer und mit einem hohen zeitlichen Aufwand zu erfassen.496 Bezug nehmend auf Problemlösefähigkeit und kritisches

492 Siehe hierzu Marita Friesen/Stefan Kuntze: Teacher students analyse texts, comics and video-based classroom vignettes regarding the use of representation – does format matter? In: Csaba Csikos/Attila Rausch/Judit Szitanyi (Hrsg.): Proceedings of the 40th conference of the international group of the psychology of mathematics education. Szeged 2016, S. 259-266.

493 Vgl. Seidenfuß/Heuer/Resch (Anm. 114), S. 401-402.

494 Vgl. Josef Riese/Peter Reinhold: Die professionelle Kompetenz angehender Physiklehrkräfte in verschiedenen Ausbildungsformen. Empirische Hinweise für eine Verbesserung des Lehramtsstudiums. In: Zeitschrift für Erziehungswissenschaft 11 (2012), H. 1, S. 111-143, hier S. 120.

495 Vgl. Ollesch/Dörfler/Vogel (Anm. 489), S. 132

496 Vgl. Sabrina Witner/Oliver Tepner: Entwicklung geschlossener Testaufgaben zur Erhebung des fachdidaktischen Wissens von Chemielehrkräften. In: Chemica et ceterae artes rerum naturae didacticae 37 (2011), S. 113-137, hier S. 117 ff.

137

Denken ermöglichen Vignettentests mit offenen Antwortformaten allerdings präzisere Aussagen.497

Vignettentests, die im Gegensatz dazu über ein geschlossenes Antwortformat verfügen, vereinfachen die Auswertung und bieten eine höhere Standardisierung, da die Interpretation von offenen Antwortmöglichkeiten entfällt. Durch die Wahl eines geschlossenen Formats erschließen sich die Befragten Handlungsalternativen, die ihnen sonst eventuell unbekannt waren, ihnen aber durchaus plausibel erscheinen.498

Um die Handlungsalternativen einstufen zu können, bieten sich Ratingskalen an. Bei Rankingaufgaben müssen die Probanden*innen Handlungsmöglichkeiten hinsichtlich ihrer fachdidaktischen Anforderungssituation bewerten. Eine eindeutige Unterscheidung in richtig oder falsch ist nicht erforderlich.499 Die Entscheidungen der befragten Probanden für ein Ranking der angebotenen Handlungsalternativen beruhen auf einer Informationswahrnehmung und deren Verarbeitung. Geschlossene Antwortformate liefern ökonomische Gründe, sowohl im Hinblick auf den zeitlichen Aspekt beim Ausfüllen der Vignetten als auch beim Auswerten der Antworten.500 Vignetten können dadurch dem Kriterium der ökologischen Validität entsprechen, da das handlungsrelevante Wissen und Können bzw. das Alltagsgeschehen in diesem Format berücksichtigt werden.501

Während andere Testverfahren bei der Erhebung professionellen Wissens mit geschlossenen Antwortmöglichkeiten ohne eine spezifische Einbettung der Items in eine entsprechende Rahmenhandlung arbeiten, wird durch „(…) den Einsatz von Unterrichtsvignetten die Kontextgebundenheit beruflichen Handelns von Lehrkräften berücksichtigt (…).“502 Der Einsatz eines Testformates mit geschlossenem Antwortformat stellt in dieser Hinsicht in der Geschichtsdidaktik etwas Neues dar.

Um das Qualitätsmerkmal Authentizität der Unterrichtssituation einzulösen, wurden ausgewählte Unterrichtssituationen im Vorfeld durch Experten*innen eingeschätzt.

497 Vgl. Erwin Beck u. a.: Adaptive Lehrerkompetenz. Analyse und Struktur, Veränderbarkeit und Wirkung handlungssteuernden Lehrerwissens. Münster 2008, S. 92 f.

498 Vgl. Manuel Köster: Methoden empirischer Sozialforschung aus geschichtsdidaktischer Perspektive. Einleitung und Systematisierung. In: Holger Thünemann/Meik Zülsdorf-Kersting (Hrsg.). Methoden geschichtsdidaktischer Unterrichtsforschung. Schwalbach/Ts. 2016. S. 9-62, hier S. 10.

499 Vgl. Tepner/Dollny (Anm. 483), S. 313. 500 Vgl. Ollesch/Dörfler/Vogel (Anm. 487), S. 132. 501 Vgl. ebd.

138

7.2. Architektur des Vignettentests zum Heidelberger

Im Dokument Feedback und Diagnose beim historischen Lehren und Lernen - Entwicklung eines Vignettentests zur Erfassung professioneller Kompetenz bei angehenden Lehrkräften (Seite 137-141)