Beurteilerübereinstimmung

 

[engl. interrater agreement], [DIA, FSE], Ausmaß, in dem unabhängige Beurteiler Objekte hinsichtlich der Ausprägung eines definierten Merkmals identisch einschätzen. Methoden zur Bestimmung der Beurteilerübereinstimmung werden eingesetzt, um die Messqualität von Merkmalseinschätzungen durch Experten oder andere unabhängige Beurteiler zu überprüfen (Gütekriterien, Messtheorie). Die Beurteilungen sollen möglichst unabhängig von der indiv. Perspektive des jew. Beurteilers sein, da das diagn. Ergebnis i. Allg. ausschließlich als Indikator der Merkmalsausprägung der eingeschätzten Person interpretiert wird. Im Idealfall sollten die Beurteiler austauschbar sein, andernfalls ist die Interpretation des Beurteilungsergebnisses nicht zulässig ohne die Besonderheiten des Beurteilers mit zu berücksichtigen. Die Beurteilung von Schülern durch Lehrer oder die Diagnosestellung für Pat. durch einen Arzt sind typische Situationen, in denen diese Forderungen als grundlegende Voraussetzung für valide (Validität) und faire (Testfairness) Einschätzungen erfüllt sein sollten. Die Wahl des adäquaten Maßes zur Quantifizierung der Beurteilerübereinstimmung ist wesentlich durch die Skalierung des Erhebungsinstrumentes festgelegt. Zumeist werden folg. Skalierungen verwendet: (1) dichotome Skala (z. B. «Liegt ein best. Merkmal vor oder nicht?» Ja- vs. Nein-Urteil), (2) mehrstufige nominalskalierte Skala (z. B. «Welche von mehreren Alternativen trifft zu?») oder (3) Ratingskala (z. B. in welcher Intensität ist ein Merkmal ausgeprägt, z. B. «–2 = trifft überhaupt nicht zu» bis «+2 = trifft ganz genau zu»). Die wichtigsten Maße der Beurteilerübereinstimmung sind in der beigefügten Tab. dargestellt. Mangelnde Beurteilerübereinstimmung kann durch eine Vielzahl systematischer Beobachtungsfehler bedingt sein. Diese können v. a. daraus resultieren, dass die Kategorien eines Erhebungsinstrumentes von den Beurteilern unterschiedlich verstanden und verwendet werden oder weil Wahrnehmungs- oder Interpretationsfehler der Beurteiler die Informationen verfälschen. Beobachtung, Beurteilertraining.

Skalierung / AntwortformatBeispiel für ErhebungsformateÜbereinstimmungsmaße / AnalysemethodenHomogenität der Randverteilungen / zentrale Tendenz
Dichotome SkalenDiagnose eines EinzelmerkmalsCohens k
Odds Ratio; Yules Y
McNemar-Test
Mehrstufige NominalskalenPolytome KategoriensystemeCohens k
Weihted Cohens kw
Stuart-Maxwell-Test
OrdinalskalaRatingskalenWeighted Cohens kw
Kendalls W
Rangvarianzanalyse
Item-Response-Theorie
Ab IntervallskalaRatingskalenIntraklassenkorrelation GeneralisierbarkeitskoeffizientenVarianzanalyse
Beurteilerübereinstimmung: Maße und Methoden
Die Tabelle steht Ihnen nur mit der Premium-Version zur Verfügung..

Referenzen und vertiefende Literatur

Die Literaturverweise stehen Ihnen nur mit der Premium-Version zur Verfügung.

Datenschutzeinstellungen

Wir verwenden Cookies und Analysetools, um die Sicherheit und den Betrieb sowie die Benutzerfreundlichkeit unserer Website sicherzustellen und zu verbessern. Weitere informationen finden Sie unter Datenschutz. Da wir Ihr Recht auf Datenschutz respektieren, können Sie unter „Einstellungen” selbst entscheiden, welche Cookie-Kategorien Sie zulassen möchten. Bitte beachten Sie, dass Ihnen durch das Blockieren einiger Cookies möglicherweise nicht mehr alle Funktionalitäten der Website vollumfänglich zur Verfügung stehen.