Entwicklung und psychometrische Qualität eines Instrumentes zur Messung von Planungskompetenzen angehender Lehrkräfte im Fach Sachunterricht Translated title: Development and psychological quality of a diagnostic tool to measure competences in the planning of lessons of prospective teachers in the field of general education

Abstract

Zusammenfassung. Im vorliegenden Beitrag wird die theoriegeleitete Entwicklung und Erprobung eines Instrumentes zur standardisierten Erfassung von Planungskompetenzen angehender Lehrkräfte im Fach Sachunterricht dokumentiert, auf dessen Grundlage das in Nordrhein-Westfalen 2015 als Teil des Masterstudiums implementierte Praxissemester hinsichtlich der damit intendierten Ausbildung von Planungsfähigkeiten evaluiert werden soll. Ausgehend von einem Rahmenmodell, das die Instrumententwicklung in vier zentrale Bereiche untergliedert, wird zunächst das theoretische Konstrukt sachunterrichtlicher Planungskompetenz in Form eines Kompetenzmodells konzeptualisiert. Auf Grundlage eines performanznahen Kompetenzverständnisses erfolgt die Operationalisierung in Form von Qualitätsstandards, durch die das Können der Probanden aus der schriftlichen Bearbeitung von Vignetten inhaltsanalytisch rekonstruiert werden kann. Ein Kodiermanual sichert die Objektivität und formuliert Regeln für die Vergabe von Punkten, durch die mithilfe des dichotomen Raschmodells die individuellen Kompetenzausprägungen geschätzt werden können. Zur Analyse der psychometrischen Qualität des entwickelten Instrumentes wurde eine Pilotierungsstudie mit 106 Studenten durchgeführt. Ein Vergleich konkurrierender Messmodelle mit Methoden der Item-Response-Theorie weist auf Vorteile einer eindimensionalen Modellierung der fokussierten Kompetenz hin. Die Ergebnisse einer durchgeführten Rasch-Analyse sowie die Betrachtung klassischer Kennwerte belegen zudem die Modellkonformität der entwickelten Qualitätsstandards als Items des Testinstrumentes und zeigen, dass die Messung sachunterrichtlicher Planungskompetenz durch das entwickelte Instrument grundsätzlich objektiv, reliabel und valide realisiert werden kann. Der praktische Nutzen des entwickelten Instrumentes für die angestrebte Wirksamkeitsanalyse des Praxissemesters, Möglichkeiten zur Weiterentwicklung sowie Limitationen werden abschließend zusammenfassend diskutiert.

Development and psychological quality of a diagnostic tool to measure competences in the planning of lessons of prospective teachers in the field of general education

Abstract. This paper documents the theory-based development and testing of an instrument for the standardised recording of planning competences of prospective teachers in the subject of general education, on the basis of which the practical semester implemented in North Rhine-Westphalia in 2015 as part of the Master's programme will be evaluated with regard to the intended training of planning skills. Based on a framework model, which subdivides the instrument development into four central areas, the theoretical construct of lesson planning competence is first conceptualised in the form of a competence model. On the basis of an understanding of competence close to performance, operationalisation takes place in the form of quality standards, through which the skills of the test persons can be analytically reconstructed from the written processing of vignettes. An appropriate coding manual ensures the necessary objectivity and formulates rules for the awarding of points. A pilot study with 106 students was conducted to analyse the psyschometric quality of the instrument developed. A comparison of competing measurement models with methods of item response theory points to the advantages of one-dimensional modelling of focused competence. The results of a conducted Rasch analysis as well as the consideration of classical quality criteria also prove the model conformity of the developed quality standards as items of the test instrument and show that the measurement of the focused competence by the developed instrument can basically be realized objectively, reliably and validly. The practical use of the developed instrument for the intended effectiveness analysis of the practical semester, possibilities for further development as well as limitations are summarized and discussed.