Beurteilerreliabität

[MHUP]

Hallo Leute,

ich hätte eine Frage zu folgendem Problem: Der Datensatz sieht so aus, dass eine Anzahl von N Leuten M verschiedene Objekte auf der gleichen intervallskalierten Skala beurteilt hat. Nun würde ich gerne mittels Reliabilitäts- oder auch Übereinstimmungsmaßen berechnen, wie sehr sich die Urteile von N Urteilern für ein Objekt ähneln bzw. wie sehr sie übereinstimmen. Die meisten Verfahren berechnen die Übereinstimmung verschiedener Beurteiler für mehrere Objekte bzw. Merkmale. Das hier gängige Verfahren, die Intra-Klassen-Korrelation benötigt z.B. auch mindestens 2 beurteilte Dimensionen. Wir bräuchten die Übereinstimmung aber für jedes Objekt separat. Ein weiteres Problem ist, dass die zu beurteilenden Objekte teilweise sehr ähnlich eingeschätzt worden sein (was auch richtig ist) und somit Verfahren, die mit Rangreihen arbeiten, nicht geeignet sind. Was jemand Rat?

Danke!

[drfg2008]

Bortz/Lienert/Boehnke [1] beschreiben in Kapitel 9 eine Reihe von Verfahren zur Urteilerübereinstimmung.

In der Kurzfassung [2] beschreibt Bortz den Konkordanz-Koeffizienten von Kendall (Kendall W), der allerdings auch eine Rangfolge vorsieht.

Als vorsichtige Idee: Weshalb nicht die intervallskalierten Daten je Beurteiler erst einer Rangbildung unterziehen. Insofern keine Rangbindungen entstehen, wären die Voraussetzungen für Kendall dann gegeben. Bei wenigen Rangbindungen per Zufall den Rang entscheiden. Oder die Daten 'vergröbern' und andere Übereinstimmungsmaße benutzen, wie etwa Urteilskonkordanz bei binären Daten (Bortz [1] Kap. 9.1.2 bei m Beurteiler).

Gruß

[1] http://www.amazon.de/Verteilungsfreie-M ... 529&sr=8-1

[2] http://www.amazon.de/Kurzgefasste-Stati ... 529&sr=8-2