Interraterreliabilität

[Ella]

Hallo,

ich muss für eine Projektarbeit mit SPSS die Interraterreliabilität eines Fragebogens, der von zwei unterschiedlichen Personen geratet wurde, berechnen.

Ich habe die beiden Datensätze bereits gematcht und wollte die Interraterrelibilität nun über Kreuztabellen mit Kappa berechnen:

z.B. für eine Variable:

DATASET ACTIVATE DatenSet1.
CROSSTABS
/TABLES=R_SS1G_1_B BY R_SS1G_1
/FORMAT=AVALUE TABLES
/STATISTICS=KAPPA
/CELLS=COUNT
/COUNT ROUND CELL.

Jetzt habe ich folgendes Problem:

Die einzelnen Variablen wurden auf einer Skala von -2 bis 2 geratet. Es kam aber auch schonmal vor, dass z.B. im ersten Durchgang für Variable R_SS1G_1 alle Zahlen mal geratet wurden (also -2,-1,0,1 und 2) und im zweiten Durchgang (also R_SS1G_1_B) nur -2,-1,1 und 2 und die Zahl 0 also nicht.
Aus mir unerklärlichen Gründen schmeißt SPSS in der Kreuztabelle für die Variable R_SS1G_1_B die Spalte für die Häufigkeit des Ratings der Zahl 0 raus, weshalb es für diese Variable also nur noch 4 Spalten gibt. Für die Variable R_SS1G_1 jedoch 5 Zeilen, da hier ja alle Zahlen mal geratet wurden.
Daraufhin wird von SPSS natürlich die Fehlermeldung angezeigt, dass Kappa nicht berechnet werden kann, da die Anzahl der Spalten und Zeilen nicht übereinstimmt.

Wie kann ich SPSS den Befehl geben, dass er auch die Spalten/Zeilen für die Variablen drinnen lässt, wenn Zahlen nicht geratet wurden? Oder gibt es vielleicht eine andere Möglichkeit, wie ich die Interraterreliabilität ohne dieses Problem berechnen kann?

Vielen Dank schonmal und liebe Grüße

Ella

[Generalist]

Kappa (übrigens ein miserables Reliabilitätsmaß) ist nicht berechenbar,
wenn eine Kategorie von einem der Beurteiler nicht benutzt wurde.
Erzeuge eine Zeile, in der dieser Rater die ausgelassene Kategorie
benutzt.

[Ella]

Welches Reliabilitätsmaß würdest du mir denn empfehlen?

Wenn ich aber eine weitere Zeile erzeuge, in der der Rater die ausgelassene Kategorie benutzt, geht diese doch auch in die Interraterreliabilität mit ein, sodass diese dann für das eigentliche Rating nicht mehr stimmt, oder?

[Generalist]

Es wäre ungewöhnlich, dass es an dieser einzelnen künstlich generierten Angabe hängt, ob die Reliabilität gut oder schlecht ist.

Krippendorffs alpha wäre eine mittlerweile verbreitete Alternative.