Beurteilertraining

[engl. rater training], [DIA, FSE], Maßnahme zur sytematischen Verbesserung der Einschätzgüte bei einer Beurteilung oder Beobachtung. Ein Beurteilertraining sollte zur Sicherstellung der Beurteilerübereinstimmungvor einer Beobachtung durchgeführt werden. Zunächst werden die Beurteiler an repräsentativem Übungsmaterial geschult. Hierbei wird die Beurteilungsaufgabe von den Beurteilern zu Beginn einzeln durchgeführt. Anschließend werden identifizierte Beurteilungsprobleme gemeinsam diskutiert und ggf. Modifikationen im Beurteilungsverhalten konsensuell vereinbart. Am Ende dieser Trainingsphase werden Maße der Beurteilerübereinstimmung auf Basis von unabhängigen Beurteilungen an Trainingsmaterial ermittelt. Indizieren diese Maße eine zufriedenstellende Beurteilerübereinstimmung, so kann die Beurteilungsaufgabe am Untersuchungsmaterial ausgeführt werden. Zur Bestimmung der Maße der Beurteilerübereinstimmung ist es notwendig, dass jeder Fall von mind. zwei Beurteilern eingeschätzt wird. Nach Sicherstellung der Beurteilerübereinstimmung kann die Beurteilung dann jew. durch einen der geschulten Beurteiler erfolgen. Im Falle unzufriedenstellender Übereinstimmung wird das Beurteilertraining solange fortgesetzt und sukzessive geprüft, bis eine hinreichende Beurteilerübereinstimmung gewährleistet werden kann.

Zur Verbesserung der Beurteilerübereinstimmung können folg. Maßnahmen eingesetzt werden: (1) Feedback der Urteile anderer Rater; (2) Befragung der Rater, was sie als schwierig empfunden haben; (3) Diskussion von Fällen, bei denen extrem ungleiche Urteile abgegeben wurden bzw. bei denen Konsens bestand; (4) Angleichung des Informations- und Wissenshintergrunds von Ratern; (5) Explikation und Angleichung der impliziten Konstrukte (z. B. «Was bedeutet Mitarbeit im Unterricht?»: Werden Wortmeldungen oder konzentriertes Arbeiten stärker gewichtet?); (6) Untergliederung des Merkmals in Subkomponenten (z. B. statt Mitarbeit werden die Subkomponenten Wortmeldungen und konzentriertes Arbeiten beurteilt; (7) Identifikation von Objektmerkmalen, die kritisch für die Homogenität der Urteile sind (z. B. Hyperaktivität von Schülern); (8) Allgemeine Antworttendenzen (Beobachtungsfehler, response-set) identifizieren und korrigieren; (9) Vereinfachung der beteiligten Informationsverarbeitungsprozesse (z. B. Vereinfachung durch verhaltensverankerte Skalen); (10) Veränderung der Skalenbeschreibung; (11) in Ausnahmefällen: Ausschluss von Beurteilern oder schwierig zu beurteilenden Objekten. In wiss. Beobachtungsstudien kann die Beurteilerübereinstimmung darüber hinaus optimiert werden, indem nicht ein, sondern mehrere Beurteiler jedes Objekt einschätzen (Verwendung von Mittelwerten oder konsensuellen Werten) oder die Merkmalsvarianz in der Stichprobe erhöht wird.