Wittwer, Jörg
What influences the agreement among student ratings of science instruction?
Zeitschriftenaufsatz

In multilevel research on classroom instruction, individual student ratings are often aggregated to the class level in order to obtain a representative indicator of the classroom construct under study. Whether students within a class provide ratings consistent enough to justify aggregation, however, has not been the object of much research. Drawing on data from N=9524 students from 391 classes who participated in the national extension to the PISA 2006 study in Germany, the interrater reliability and interrater agreement of student ratings of science instruction were examined. Results showed that students within a class tended to accurately and reliably rate various aspects of their science lessons. However, agreement among ratings was influenced by class size, learning time, school track, and science performance. In multiple regression analyses, science performance turned out to be of particular importance in accounting for differences in the homogeneity of ratings. The findings suggest that agreement among students' perceptions of instruction should be a central consideration for researchers using aggregated measures to examine classroom teaching.
In der Unterrichtsforschung werden Einschätzungen des Unterrichts durch Schülerinnen und Schüler häufig auf der Ebene der Klasse aggregiert, um möglichst repräsentative Angaben zum Unterricht zu erhalten. Dabei wird aber selten überprüft, inwieweit Schülerinnen und Schüler einer Klasse in ihren Einschätzungen tatsächlich übereinstimmen. In diesem Beitrag wurden die Reliabilität und die Übereinstimmung der Angaben von N=9524 Schülerinnen und Schüler aus 391 Klassen zu ihrem naturwissenschaftlichen Unterricht untersucht. Es zeigte sich, dass Schülerinnen und Schüler einer Klasse in der Lage waren, ihren Unterricht relativ reliabel und konsistent zu beurteilen. Allerdings wurde das Ausmaß ihrer Übereinstimmung durch Klassengröße, Unterrichtszeit, Schulart und naturwissenschaftliche Kompetenz in systematischer Weise beeinflusst. Die Kompetenz erwies sich dabei als besonders wichtig für die Höhe der Übereinstimmung. Die Ergebnisse legen nahe, dass die Unterrichtsforschung den interindividuellen Unterschieden in der Wahrnehmung von Unterricht innerhalb einer Klasse mehr Beachtung schenken sollte.

Enthalten in:
Zeitschrift für Erziehungswissenschaft; 2008/Sonderheft 10 (2008)


Serie / Reihe: Zeitschrift für Erziehungswissenschaft

Personen: Wittwer, Jörg

Schlagwörter: Empirische Untersuchung Schüler Naturwissenschaftlicher Unterricht Beurteilung

Wittwer, Jörg:
What influences the agreement among student ratings of science instruction? / Jörg Wittwer, 2008. - S.205-220 : Tab. - (Zeitschrift für Erziehungswissenschaft) Vertiefende Analysen zu PISA 2006

Zugangsnummer: U-0250136
Zeitschriftenaufsatz