ICC Interrater Reliabilität - unterschiedliche Beurteiler

[cschuppke]

Hallo!

Habe im zuge einer Vorstudie zu meiner Diplomarbeit in einer Onlinestudie Bilder beurteilen lassen und möchte jetzt die Beurteilerreliabilität mittels ICC erfassen.

Mein Problem ist folgendes: da insgesamt 212 Bilder in 6 Kriterien zu beurteilen waren, hat nicht jeder meiner Rater alle bilder vorgelegt bekommen sondern immer nur 16 zufällig ausgewählte.

Daraus resultiert, dass

1. nicht alle Bilder von denselben Ratern beurteilt wurden
2. jedes Bild zwar mindestens 10 mal beurteilt wurde (männliche Rater), von weiblichen Ratern jedes mindestens 15 mal, aber manche auch bis zu 24 mal.

Ich weiß schon, dass ich damit nach Wirtz & Casper, 2002 nur die One Way Radnom ICC nehmen kann, aber zum näheren Umgang mit unterschiedlichen Ratern finde ich leider nichts.

Auch wie ich mit den unterschiedlich großen Stichproben (unterscheidliche anzahl von Ratern pro Bild) umgehen soll, weiß ich nicht.

Grundsätzlich werden ohnehin die Ratermittelwerte weiter analysiert aber ich würde gerne vorher wissen, wie gut die Rater übereinstimmen.

Falls jemand Hilfe weiß oder Literatur kennt, wo ein ähnliches Problem beschrieben wird, ich wäre sehr dankbar!

LG
cschuppke