Claus H. Carstensen, Manfred Prenzel und Jürgen Baumert

Trendanalysen in PISA: Wie haben sich die Kompetenzen in Deutschland zwischen PISA 2000 und PISA 2006 entwickelt?
in: ZfE, Sonderheft 10-08, S. 11-34

Zusammenfassung
Die Veröffentlichungen von Ergebnissen der letzten PISA-Erhebung geben Anlass, Möglichkeiten und Grenzen von Trendanalysen in internationalen Vergleichsstudien mit komplexen Testdesigns zu untersuchen. Der Beitrag schließt an Trendanalysen an, die in Deutschland bei PISA 2006 durchgeführt wurden. In einem ersten Schritt werden Voraussetzungen für Trendanalysen bei Studien wie PISA benannt, um dann anhand der Daten aus den drei Erhebungen in Deutschland zu prüfen, ob sie erfüllt sind. Im Zentrum des Beitrags steht die Diskussion eines Modells für Trendanalysen innerhalb eines Staates, das auch dann angewendet werden kann, wenn bestimmte Voraussetzungen für Trendanalysen mit den internationalen Kompetenzindikatoren nicht gegeben sind. Die Ergebnisse einer Anwendung dieses Modells auf die deutschen Daten für alle drei Kompetenzbereiche (Lesen, Mathematik, Naturwissenschaften) werden vorgestellt und interpretiert. Dabei werden die Einschränkungen bezüglich einer international vergleichenden Interpretation hervorgehoben. Im Ausblick werden weiterführende Möglichkeiten diskutiert, in einer Studie wie PISA mit denselben Kompetenzindikatoren sowohl querschnittliche Vergleiche als auch tragfähige Trendanalysen durchführen zu können.

Cordula Artelt, Barbara Drechsel, Wilfried Bos und Tobias C. Stubbe

Lesekompetenz in PISA und PIRLS/IGLU - ein Vergleich
in: ZfE, Sonderheft 10-08, S. 35-52

Abstract:
Reading Literacy in PISA and PIRLS: A Comparison
PISA and PIRLS are two international comparative studies which are the focus of intense discussion in Germany. PISA and PIRLS deal with the reading literacy of students at the end of secondary and primary schooling, respectively. With the aim of finding out if and how the studies can be compared with each other and what their consequences for educational policy are, the differences and similarities in their design and content will be presented after a brief summary of the main results. After demonstrating the reasons which argue against a direct comparison of the results of both studies, the implications of the underlying concepts of reading literacy in both studies will be addressed in detail. An analysis of the 13 countries which participated in both surveys of both studies then follows. On the one hand, this points to clear parallels between the changes that took place between both surveys. On the other hand, it becomes clear that good results at the end of primary school are no guarantee for a high level of reading literacy at the end of compulsory secondary schooling. Finally, some common interpretations of Germany' s results in PIRLS and its bad results in PISA will be critically discussed.

Keywords: Reading literacy, International Large Seale Assessments, Elementary School, Secondary School

Katrin Schöps, Martin Senkbeil, Kerstin Schütte

Umweltbezogene Einstellungen von Jugendlichen in Deutschland - Ergebnisse aus PISA 2006
in: ZfE, Sonderheft 10-08, S. 53-78

Zusammenfassung
Diese Studie untersucht anhand von Daten aus PISA 2006 das selbstberichtete Umweltwissen, die Wahrnehmung von Umweltproblemen und die Einstellung zu Umweltmaßnahmen von 15-jährigen Jugendlichen in Deutschland. Dabei liegt der Schwerpunkt auf der relativen Bedeutung der sozialen Herkunft, bestimmter Schul- und Unterrichtsfaktoren sowie selbstinitiierter Freizeitaktivitäten für die Ausprägung dieser umweltbezogenen Merkmale. Die Ergebnisse zeigen, dass Jugendliche unterer Sozialschichten gegenüber Jugendlichen aus oberen Sozialschichten deutliche Defizite im Umweltwissen und eine negativere Einstellung zu Umweltmaßnahmen aufweisen. Korrespondierende Befunde ergeben sich für untere und höhere Schularten. In der Freizeit ausgeübte naturwissenschaftsbezogene Medienaktivitäten sind der stärkste Prädiktor für die Einstellung zu Umweltmaßnahmen; für das Umweltwissen spielen schulbezogene Merkmale die größte Rolle. Schulartspezifische Analysen zeigen, dass die Schule für das Umweltwissen von Jugendlichen der Hauptschule und der IGS die wichtigste Rolle spielt. Diese Schülerinnen und Schüler eignen sich anteilig weniger Informationen über Freizeitaktivitäten selbst an als z.B. Gymnasiasten; folglich hat die Schule als Informations- und Lerninstanz über Umweltthemen für diese Jugendlichen eine Schlüsselfunktion.

Schlüsselwörter: Umwelteinstellungen, Umweltwissen, PISA 2006, Deutschland

Abstract:
Environmental Attitudes of Adolescents in Germany: Findings From PISA 2006
Data from PISA 2006 were used to investigate the selfreported environmental knowledge of fifteen year old students, their perception of environmental problems and their attitude towards environmental measures. In this context, the study placed particular emphasis on the importance of social background variables, school variables, teaching practices and leisure activities. Students from socially disadvantaged backgrounds had marked deficits in their environmental knowledge and a less positive attitude towards environmental measures than students from socially more advantaged backgrounds. Corresponding results can be reported for lower and higher school types. However, media activities with a science focus were the strongest predictors for the students' attitude towards environmental measures; for their environmental knowledge, school factors played the most important role. School type-specific analyses revealed that school was the main source of information for the environmental knowledge of students from Hauptschulen (lower-track schools) and Integrierte Gesamtschulen (comprehensive schools). These students acquire less information during leisure time activities than - for example- students that are attending a Gymnasium (higher-track school). Therefore, for these students, school plays a key role in the acquisition of environmental knowledge.

Keywords: Attitude towards the environment, environmental knowledge, PISA 2006, Germany
 

Päivi Taskinen, Regine Asseburg, Oliver Walter

Wer möchte später einen naturwissenschaftsbezogenen oder technischen Beruf ergreifen? Kompetenzen, Selbstkonzept und Motivationen als Prädiktoren der Berufserwartungen in PISA 2006
in: ZfE, Sonderheft 10-08, S. 79-106

Zusammenfassung:
Im Rahmen von PISA 2006 wurden Jugendliche danach gefragt, welchen Beruf sie im Alter von 30 Jahren ihrer Meinung nach ausüben werden. Die Antworten können wichtige Informationen zu zwei Fragen liefern. Zum einen kann gezeigt werden, wie hoch der Anteil von Jugendlichen ist, die sich vorstellen können, einem auf dem Arbeitsmarkt stark nachgefragten MINT-Beruf (Mathematik, Informatik, Naturwissenschaften und Technik) nachzugehen. Zum anderen können Zusammenhänge untersucht werden, die einen Hinweis darauf liefern können, welche in PISA untersuchten Schülermerkmale (Kompetenzen, Fähigkeitsselbstkonzept in Naturwissenschaften, instrumentelle Lernmotivation, Interesse an Naturwissenschaften) für die Erwartung wichtig sind, einem solchen Beruf nachzugehen. Die Berufsangaben von ca. 7000 Neuntklässlerinnen und Neuntklässlern standen für die Analysen zur Verfügung. Jugendliche mit der Erwartung, später einem MINT-Beruf nachzugehen, weisen durchschnittlich günstigere Ausprägungen in den untersuchten Schülermerkmalen auf als andere Jugendliche. In den Zusammenhangsanalysen haben die Schülermerkmale jedoch nur teilweise Erklärungskraft für die Berufserwartung. Dabei spielt die instrumentelle Motivation eine wichtigere Rolle als die anderen untersuchten Schülermerkmale. Mädchen können sich deutlich seltener vorstellen, im Erwachsenenalter einem technischen Beruf nachzugehen, als Jungen, auch wenn sie über gleich hohe Kompetenzen und Motivationen sowie über ein genauso stark ausgeprägtes Fähigkeitsselbstkonzept in den Naturwissenschaften verfügen.

Schlüsselwörter: PISA, Berufswahl, MINT-Beruf, Naturwissenschaften und Technik, Kompetenz, Motivation

Abstract:
Who Aspires to a Scientific or Technical Occupation? Student Literacy, Self-Concept, and Motivations as Predictors of Occupational Expectations in PISA 2006
Within the context of the 2006 Programme for International Student Assessment students were asked what kind of job they expected to have at age 30. The answers can help address two issues. First, the proportion of students who expect to have a job in the fields of Mathematics, Informatics (Computer Science), Natural Sciences or Technologies will be examined. These occupations are represented by the acronym MINT; in Germany, MINT occupations suffer from a shortage of employees. Second, science-related student characteristics and motivations (scientific and mathematical literacy, self-concept in science, instrumental motivation and interest in studying science) will be investigated with regard to the role they play in students' expectation of having a MINT job at the age of 30. Analyses are based on a sample of about 7000 grade 9 students. Students who expect to have a MINT job reported higher levels of student engagement than students who do not expect to have a MINT job. However, students' science-related characteristics explain their job expectations to a moderate extent only. Among these, instrumental motivation was found to have the strongest association with MINT job expectation. Separate analyses of boys and girls illustrate that lower proportions of girls than boys expect to have a technical or engineering job at the age of 30 despite equal levels of literacy and motivation and a positive self-concept in science.

Keywords: PISA, career expectation, MINT job, Science and technology, literacy, motivation

Martin Senkbeil und Jörg Wittwer

Antezedenzien und Konsequenzen informellen Lernens am Beispiel der Mediennutzung von Jugendlichen
in: ZfE, Sonderheft 10-08, S. 107-128

Zusammenfassung:
Während die Bedeutung informeller Lernprozesse für den Kompetenzerwerb unbestritten ist, liegen bislang wenige empirische Untersuchungen hierzu vor. Deshalb werden in diesem Artikel die Bedingungen und Konsequenzen informeller Lernprozesse am Beispiel der freizeitbezogenen Medienaktivitäten von Jugendlichen in den Blick genommen. Auf der Grundlage der PISA 2006-Stichprobe aus Deutschland wurde untersucht, in welcher Weise die Art der Mediennutzung durch die soziale Herkunft beeinflusst ist und sich differentiell auf die schulische Kompetenz auswirkt. Die Ergebnisse zeigten, dass sich Jugendliche in der Art ihrer Mediennutzung voneinander unterschieden, was zu einem erheblichen Anteil durch familiäre Struktur- und Prozessmerkmale zu erklären war. Zudem schienen Jugendliche, die vor allem anspruchsvollen Medienaktivitäten nachgingen, infolge informeller Lernprozesse höhere Kompetenzen in den Bereichen Naturwissenschaften und Lesen aufzuweisen. Die Befunde verdeutlichen die Wichtigkeit informeller Lernprozesse für die schulische Kompetenz und lassen vermuten, dass soziale Ungleichheiten bei der Kompetenzentwicklung aufgrund einer unterschiedlichen Nutzung von Medien und damit einhergehenden informellen Lerngelegenheiten reproduziert oder gar vergrößert werden.

Schlüsselwörter: Informelles Lernen, Mediennutzung, Schulische Kompetenzen, Soziale Disparitäten

Abstract:
Antecedents and Consequences of Informal Learning: The Example of Adolescents’ Media Use
Although it is recognized that informal learning plays an important role in academic achievement, little is known about the antecedents and consequences of informal learning activities. In this article, we take a step towards filling this gap and investigate students' media use as a practice of informal learning. On the basis of the German sample of PISA 2006, the extent to which students' media use is related to their socioeconomic background and how this affects their academic achievement was examined. Results showed that students greatly differed in their media use and that this was partly attributable to aspects of family structure and processes. In addition, students who spent more time using cognitively challenging media seemed to possess higher scientific and reading competencies. Overall, the findings suggest that social inequalities can provide distinctive opportunities for informal learning processes which, in turn, can be closely related to differences in academic achievement.

Keywords: academic achievement, informal learning, media usage, social inequalities

Timo Ehmke

Welche Bedeutung haben lernförderliche Prozesse und naturwissenschaftsbezogene Einstellungen im Elternhaus für die Erklärung ,sozialer Disparitäten in der naturwissenschaftlichen Kompetenz?
in: ZfE, Sonderheft 10-08, S. 129-148

Zusammenfassung:
Diese Studie analysiert, inwieweit lernförderliche und naturwissenschaftsbezogene Einstellungen und Prozesse im Elternhaus soziale Disparitäten in der naturwissenschaftlichen Kompetenz erklären. Konkret wird drei Forschungsfragen nachgegangen: (1) Welche Profile bildungsrelevanter Prozesse und Einstellungen im Elternhaus lassen sich identifizieren? (2) Hängen bildungsrelevante Prozesse und Einstellungen im Elternhaus von der sozialen Lage ab? (3) Welche Bedeutung haben unterschiedliche Profile bildungsrelevanter Prozesse und Einstellungen im Elternhaus für den Aufbau naturwissenschaftlicher Kompetenzen? Als Datenbasis dient eine repräsentative Stichprobe von N=9577 Neuntklässlern in Deutschland aus PISA 2006. Mit Hilfe einer Latent-Class-Analysis (LCA) werden vier Familientypen identifiziert, die sich in ihrem Profil bildungsrelevanter Prozesse und naturwissenschaftsbezogener Einstellungen voneinander abgrenzen. Innerhalb der unterschiedlichen Sozialschichten (EGP-Klassen) variieren die prozentualen Anteile der vier Familientypen zwischen 9 und 40 Prozent. Die Verteilungen sprechen damit eher gegen die Annahme von homogenen schichtspezifischen Einstellungen und Verhaltensweisen. Regressionsanalysen belegen sowohl für die bildungsbezogenen Familientypen und als auch für die Sozialschichtzugehörigkeit spezifische Vorhersageeffekte auf die naturwissenschaftliche Kompetenz der Neuntklässler. Unterschiede in der Unterstützungspraxis von Familien lassen sich somit auch unabhängig von der Sozialschicht feststellen und stellen eine Form horizontaler Disparitäten in der naturwissenschaftlichen Kompetenz von Jugendlichen dar.

Schlüsselwörter: Soziale Disparitäten, Elternhaus, Scientific Literacy, Latent-Class-Analysis

Abstract:
How do Processes Conducive to Learning and Science-Related Attitudes in the Home Contribute to Explaining Social Disparities in Scientific Literacy?
The present study analyses the extent to which families' educational processes and parents' attitudes towards science explain social disparities in scientific competency. Three research questions were addressed: (1) Which profiles can be identified for families' educational processes and parents' attitudes towards science? (2) Do families' educational processes and attitudes towards science depend on social class? (3) How important are families' different profiles for children's development of scientific competency? Data is based on a representative sample of N=9577 German students in the 9th grade taken from PISA 2006. A Latent-Class-Analysis identified four types of families which differ in their profiles of educational processes and parents' attitudes towards science. The distribution of each of the four family types across the different social classes (EGP classes) varies from 9 to 40 percent. This argues against the assumption that homogenous attitudes and patterns of behaviour are specific to social classes. Regression analyses on the students' scientific competency showed specific effects for the family types as well as for the social classes. When controlling for social background of the students, the specific effects of the family types remain. The specific effects of families' educational processes and parents' attitudes towards science on students' scientific competency can be found largely independent of social class and they thus display a kind of horizontal disparity in the scientific competency of students.

Keywords: social inequalities, family, scientific literacy, latent-class-analysis

Oliver Walter

Herkunftsassoziierte Disparitäten im Lesen, der Mathematik und den Naturwissenschaften: ein Vergleich zwischen PISA 2000, PISA 2003 und PISA 2006
in: ZfE, Sonderheft 10-08, S. 149-169

Zusammenfassung:
Dieser Beitrag hat zum Ziel, die Disparitäten in der Lese-, der mathematischen und der naturwissenschaftlichen Kompetenz zwischen Jugendlichen ohne und solchen mit Migrationshintergrund im Zeitverlauf empirisch zu untersuchen. Zu diesem Zweck werden die Daten der deutschen Stichproben von PISA-I 2000, PISA-I 2003 und PISA-I 2006 sowohl im Hinblick auf die Einwanderergeneration als auch auf den ethnischen Hintergrund der Jugendlichen analysiert. Die Befunde zeigen trotz leicht veränderter Testkonzeptionen für die Mathematik und die Naturwissenschaften übereinstimmend für alle drei Domänen, dass die Disparitäten zugunsten von Jugendlichen aus der ehemaligen Sowjetunion über die drei Messzeitpunkte stark abnehmen, während sie sich zuungunsten von Jugendlichen italienischer Abstammung vergrößern. Für Jugendliche türkischer, polnischer und exjugoslawischer Herkunft fanden sich leichte Verbesserungen in einigen Kompetenzbereichen. Weitergehende Analysen belegen, dass sich die Disparitäten zum größten Teil auf die soziale Herkunft und den Sprachgebrauch in der Familie statistisch zurückführen lassen.

Schlüsselwörter: Schülerinnen und Schüler mit Migrationshintergrund, Disparitäten im schulischen Erfolg über die Zeit, PISA, Migration, ethnischer Hintergrund, Türken, Russen, Polen, Jugoslawen, Italiener

Abstract:
Social Disparities in Reading, Mathematics, and Scientific Literacy: A Comparison of Data From PISA 2000, PISA 2003, and PISA 2006
This paper aims to empirically examine the disparities between the reading, mathematical and scientific competencies of native and immigrant students over six years. For this purpose, the data from the German samples of PISA-I 2000, PISA-I 2003 and PISA-I 2006 will be analysed with regard to the migrant generation and the ethnical background of the students. Despite the slightly changed test conception for mathematics and science, the results consistently show that for all three domains the disparities drastically decrease in favour of students from the former Soviet Union over the three surveys, while those between students of Italian and students of German origin increase. Slight improvements could be found in some competency areas for students of Turkish, Polish and former Yugoslavian origin. Further analyses show that the disparities can largely be statistically traced back to the social background and the language use in the family home.

Keywords: immigrant students, disparities in school success over time, PISA, migration, ethnical background, Turks, Russians, Poles, Yugoslavs, Italians.

Oliver Walter

Ethno-linguale Kompositionseffekte in neunten Klassen: Befunde aus der Klassenstichprobe von PISA 2006
in: ZfE, Sonderheft 10-08, S. 169-184

Zusammenfassung:
Im Beitrag wird empirisch untersucht, ob der Anteil von Jugendlichen mit Migrationshintergrund in Schulklassen einen eigenständigen negativen Effekt auf die Lese-, die naturwissenschaftliche und die mathematische Kompetenz hat. Die Datenbasis bildet eine Teilstichprobe von 6.776 Jugendlichen aus der Klassenstichprobe von PISA 2006. Während für die Lese- und die naturwissenschaftliche Kompetenz unter Kontrolle einer Reihe von Individual- und Kompositionsmerkmalen kein eigenständiger negativer Effekt festzustellen war, fand sich für die mathematische Kompetenz ein im Mittel geringfügiger negativer Effekt von 0.3 PISA-Punkten pro Prozentpunkt Migrantenanteil. Dieser Effekt steigt in Klassen mit einem Anteil von über 70 Prozent Migranten auf etwa 30 Punkte an. Dies entspricht einem Kompetenzrückstand von etwa einem Schuljahr. Für die Annahme, dass der Effekt des Migrantenanteils vor allem durch die Herkunftssprache der Jugendlichen zustande kommt, fanden sich nur schwache Belege.

Schlüsselwörter: Schülerinnen und Schüler mit Migrationshintergrund, Disparitäten im schulischen Erfolg, PISA, Kompositionseffekte, Lesekompetenz, mathematische Kompetenz, naturwissenschaftliche Kompetenz

Abstract:
Ethno-Lingual Composition Effects in Grade 9 Classrooms: Findings From the PISA 2006 Class Sample
This paper empirically examines whether the proportion of immigrant students within school classes has an independently negative effect on reading, science and mathematical competencies. The data is based on a sub-sample of 6,776 students from the grade sample of PISA 2006. While no independently negative effect for reading and science competency was found controlling for a number of individual and compositional covariates, on average, a significant slightly negative effect of 0.3 PISA points per percentage point of the proportion of immigrant students was found for mathematical competency. This effect increases in classes which have more than 70 percent immigrant students to approximately 30 points. This corresponds to a competency deficit of about one year of schooling. Very little evidence was found for the assumption that the effect of the number of immigrant students is primarily caused by the native language of the students.

Keywords: immigrant students, disparities in school success, PISA, composition effects, reading competency, mathematical competency, science competency.

Oliver Walter und Päivi Taskinen

Naturwissenschaftsbezogene Motivationen und Kompetenzen von Schülerinnen und Schülern mit Migrationshintergrund in Deutschland: der Einfluss der Generation, der Herkunft und des Elternhauses
in: ZfE, Sonderheft 10-08, S. 185-204

Zusammenfassung:
Ziel dieses Beitrages ist die empirische Untersuchung von naturwissenschaftsbezogenen Motivationen und Kompetenzen zwischen Jugendlichen ohne und solchen mit Migrationshintergrund und ihren möglichen Bedingungen. Dazu wird eine Differenzierung der jugendlichen Migranten nach Einwanderergeneration und Herkunft der Eltern vorgenommen. In allen Herkunftsgruppen fanden sich im Mittel signifikant geringere Kompetenzen im Vergleich zu Jugendlichen ohne Migrationshintergrund. Es konnte gezeigt werden, dass das in der Literatur beschriebene geringere Kompetenzniveau der Zweiten im Vergleich zur Ersten Generation auf die unterschiedliche ethnische Zusammensetzung der Generationen zurückzuführen ist. Signifikante Mittelwertsunterschiede wurden ebenfalls in der intrinsischen und der extrinsischen Motiviertheit zwischen den unterschiedenen Gruppen gefunden. Diese Unterschiede liefern jedoch nur schwache Belege für die Hypothese des "immigrant optimism" in Deutschland. Die Analysen zeigten aber, dass sich sowohl die Kompetenz- als auch die Motivationsunterschiede durch ein um elterliche Werthaltungen erweitertes Struktur- und Prozessmodell statistisch erklären lassen.

Schlüsselwörter: Schülerinnen und Schüler mit Migrationshintergrund, naturwissenschaftliche Kompetenz, Motivation, PISA, Elternhaus, Jugendliche türkischer Herkunft, Jugendliche aus der ehemaligen Sowjetunion

Abstract:
Science-Related Motivations and Scientific Literacy of Immigrant Students in Germany: The Impact of Generation, Ethnicity, and the Parental Home
This paper aims to empirically examine the science-related motivation and competencies of students with and students without a migration background, and their possible conditions. For this purpose, immigrant students are differentiated according to the migrant generation and the origin of their parents. On average, significantly lower competencies were found in all ethnical groups compared to students without a migration background. Furthermore, it was shown that the lower competency level of second compared to first generation migrants which is described in the literature can be traced back to the different ethnical composition of the generations. Significant differences were also found between the means for the intrinsic and extrinsic motivation of the different groups. However, these differences only provide weak evidence for the hypothesis of "immigrant optimism" in Germany. Nevertheless, the analyses showed that both the differences in competency and those in motivation could be statistically explained by a model of family structures and processes which was expanded to include parental value systems.

Keywords: immigrant students, science competency, science-related motivation, PISA, parental home, students of Turkish origin, students from the former Soviet Union.

Jörg Wittwer

What Influences the Agreement Among Student Ratings of Science Instruction?
in: ZfE, Sonderheft 10-08, S. 205-220

Abstract:
In multilevel research on classroom instruction, individual student ratings are often aggregated to the class level in order to obtain a representative indicator of the classroom construct under study. Whether students within a class provide ratings consistent enough to justify aggregation, however, has not been the object of much research. Drawing on data from N=9524 students from 391 classes who participated in the national extension to the PISA 2006 study in Germany, the interrater reliability and interrater agreement of student ratings of science instruction were examined. Results showed that students within a class tended to accurately and reliably rate various aspects of their science lessons. However, agreement among ratings was influenced by class size, learning time, school track, and science performance. In multiple regression analyses, science performance turned out to be of particular importance in accounting for differences in the homogeneity of ratings. The findings suggest that agreement among students' perceptions of instruction should be a central consideration for researchers using aggregated measures to examine classroom teaching.

Keywords: classroom teaching, interrater reliability, interrater agreement, student ratings

Zusammenfassung:
Was beeinflusst die Übereinstimmung in den Einschätzungen von Schülerinnen und Schülern hinsichtlich ihres naturwissenschaftlichen Unterrichts?
In der Unterrichtsforschung werden Einschätzungen des Unterrichts durch Schülerinnen und Schüler häufig auf der Ebene der Klasse aggregiert, um möglichst repräsentative Angaben zum Unterricht zu erhalten. Dabei wird aber selten überprüft, inwieweit Schülerinnen und Schüler einer Klasse in ihren Einschätzungen tatsächlich übereinstimmen. In diesem Beitrag wurden die Reliabilität und die Übereinstimmung der Angaben von N=9524 Schülerinnen und Schüler aus 391 Klassen zu ihrem naturwissenschaftlichen Unterricht untersucht. Es zeigte sich, dass Schülerinnen und Schüler einer Klasse in der Lage waren, ihren Unterricht relativ reliabel und konsistent zu beurteilen. Allerdings wurde das Ausmaß ihrer Übereinstimmung durch Klassengröße, Unterrichtszeit, Schulart und naturwissenschaftliche Kompetenz in systematischer Weise beeinflusst. Die Kompetenz erwies sich dabei als besonders wichtig für die Höhe der Übereinstimmung. Die Ergebnisse legen nahe, dass die Unterrichtsforschung den interindividuellen Unterschieden in der Wahrnehmung von Unterricht innerhalb einer Klasse mehr Beachtung schenken sollte.

Schlüsselwörter: Interrater-Reliabilität, Interrater-Übereinstimmung, Schulunterricht, Unterrichtsbeurteilungen

Eckhard Klieme und Brigitte Steinen

Schulentwicklung im Längsschnitt. Ein Forschungsprogramm und erste explorative Analysen
in: ZfE, Sonderheft 10-08, S. 221-238

Zusammenfassung:
Die empirische Schulforschung in Deutschland hat in den vergangenen Jahren Anschluss an die internationale school effectiveness Forschung gefunden. Zwei wesentliche Erkenntnisse der internationalen Forschung wurden jedoch in Deutschland bislang nicht ausreichend aufgearbeitet: (a) Schulstudien unterliegen - selbst bei optimaler Planung, Instrumentierung, Durchführung und Auswertung - methodischen Problemen, die sozialwissenschaftlichen Erhebungen inhärent sind, z. B. Stichprobenfehler und Kohorteneffekte, welche die Stabilität und Konsistenz von Schuleffekten und die Invarianz von Erklärungsmodellen beeinträchtigen können. Über das Ausmaß der Stabilität und Konsistenz schulischer Lernergebnisse liegen für Deutschland keine Befunde vor. (b) Querschnittsuntersuchungen an Schulen erlauben keine Aussagen darüber, unter welchen Bedingungen sich Schulen in bestimmte Richtungen verändern. Erst mit quantitativ-längsschnittlichen Untersuchungen können Voraussetzungen erfolgreicher Entwicklung an Einzelschulen benannt werden. Sowohl zur Klärung methodischer Probleme als auch zur Analyse von Bedingungen erfolgreicher Schulentwicklung werden Panel-Studien benötigt, die Schulen wiederholt im Abstand von mehreren Jahren untersuchen. Vorgestellt werden erste, explorative empirische Befunde, die aus einer Analyse von PISA-E-Daten der Jahre 2000 und 2003 stammen.

Abstract:
School Development From a Longitudinal Perspective: A Research Program and First Exploratory Analyses
In recent years, empirical school research in Germany has caught up with international school effectiveness research. However, two central findings from international research have so far not been taken into account in Germany: (a) School studies are subject to methodological problems that are inherent to social science studies even if they are optimally planned, instrumented, conducted and assessed. These problems may, for instance, pertain to sampling errors and cohort effects that may impede the stability and consistency of school effects and the invariance of explanatory models. No findings exist yet regarding the degree of stability and consistency of learning outcomes in Germany. (b) Cross-sectional school studies do not permit any statements as to how schools change under certain conditions. Only quantitative-longitudinal designs allow for determining the conditions of improvement at the school level. Panel studies that assess schools over a time span of several years, i.e. with schools as units of observation, are required both for solving methodological problems as well as for analysing successful school development. We introduce first, explorative empirical findings gained from the analysis of PISA-E data from the years 2000 and 2003.

Keywords: school effectiveness, school improvement, methodological issues

► Startseite/Homepage             © Zeitschrift für Erziehungswissenschaft, Stand: 02.12.2008