Prüfung der Testfairness ausgewählter Large-Scale-Assessments für zentrale Schülersubpopulationen
Das Projekt befasste sich mit der systematischen Prüfung der Testfairness von Lesetestaufgaben aus den großen Schulleistungsuntersuchungen für Schülergruppen, die sich anhand der Merkmale (a) Geschlecht, (b) soziale Lage, (c) Migrationsstatus und (d) Schulformbesuch unterscheiden. Ein besonderer Fokus lag außerdem auf dem Vergleich unterschiedlicher Methoden, die in diesem Kontext verwendet werden können.
Gefördert von
Projektbeschreibung
Zentrales Ziel des von dem BMBF geförderten Projektes stellte die Re-Analyse der in Large-Scale Assessements verwendeten Tests mit Blick auf die Fairness gegenüber zentralen Schülersubgruppen dar. Betrachtet wurden dabei sowohl die in IGLU 2001, IGLU 2006 und IGLU 2011 als auch die in PISA 2000 und PISA 2009 eingesetzten Kompetenztests. Diese Auswahl erlaubte eine schülergruppendifferenzielle Betrachtung der Lesekompetenz einerseits von Kindern im Schuljahr vor dem wichtigen Übergang von der Grundschule auf die weiterführende Schule und andererseits die Betrachtung der Altersgruppe der Lernenden am Ende der Pflichtschulzeit. Zur Prüfung der Fairness gegenüber verschiedenen Teilpopulationen wurden die Schülerinnen und Schüler anhand von den fünf folgenden Merkmale unterschieden: (a) Geschlecht, (b) sozioökonomischer Status, Migrationshintergrund der Familie in Bezug auf (c) Geburtsland und (d) die sprachlichen Voraussetzungen und (e) die Schulformzugehörigkeit. Zusätzlich waren auch bisher fehlende Analysen zu Interaktionen zwischen Merkmalen geplant.
Ergebnisse
Zentrale Ergebnisse sind, dass hypothesenkonform bei Aufgaben mit offenem Antwortformat für Kinder sozial schwächerer Lage, Kinder mit Migrationshintergrund, Jungen und Kinder aus Schulformen ohne Abituroption eine spezifische Schwäche gefunden wurde. Dieses Befundmuster wurde durch ergänzende Analysen zur Rolle der Motivation vertiefend untersucht. Diese verdeutlichten, dass Kinder mit niedriger Lesemotivation spezifische Schwächen bei offenen Antwortformaten aufweisen. Für die Itemmerkmale eines geforderten anspruchsvollen Leseprozesses und der Textgattung Informativer Text konnten im Rahmen des Projekts bisher hingegen keine, beziehungsweise nur vereinzelt Effekte für das relative Abschneiden von Schülergruppen identifiziert werden.
Wissenschaftliche Leitung
Operative Projektleitung und stellvertretende Projektleitung
- Dr. Franziska Schwabe
Veröffentlichung der Ergebnisse
Vorträge
- Schwabe, F., & McElvany, N. (accepted). DIF for Native and non-Native Speaking Students in Reading Tests with Mixed Item Formats. Paper to be presented at the Annual Meeting of the American Educational Research Association (AERA), 27. April - 1. May in San Francisco, California.
- Schwabe, F., McElvany, N., El-Khechen, W., & Gebauer, M. M. (2012). Testfairness für Schülerinnen und Schüler mit Migrationshintergrund - Analysen eines Wortschatztests. Vortrag auf der 77. Tagung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF), 10. - 12. September 2012 in Bielefeld.
- Schwabe, F., Gebauer, M. M., El-Khechen, W., Ünlü, A., & McElvany, N. (2012). Fairness of Language Tests for Students from Various Linguistic Backgrounds. Paper presented at the Annual Meeting of the American Educational Research Association (AERA), 13.-17. April in Vancouver, Canada.
Publikationen
- Schwabe, F. & Gebauer, M. M. (2013). (Test-)Fairness - eine Herausforderung an standardisierte Leistungsdiagnostik. In: N. McElvany, M. M. Gebauer, W. Bos & H. G. Holtappels (Hrsg.), Sprachliche, kulturelle und soziale Heterogenität in der Schule als Herausforderung und Chance der Schulentwicklung. IFS-Jahrbuch der Schulentwicklung, Bd. 17 (S. 217-236). Weinheim: Juventa