Probleme bei der Interraterreliabilitätsberechnung
ich habe schriftliche texte, welche ich auf 19 merkmale hin untersuchen muss (jeder text wird von 2 ratern analysiert).
Die Rater lesen den Text und sobald sie eines der 19 Merkmale vorfinden streichen sie es im Text an.
Idealfall wäre wenn beide Rater an den selben Stellen dieselben Merkmale kodieren würden.
Wie kann ich die Interraterreliabilität berechnen, mit dem Kappa-Koeffizienten am besten? Und vorallem wie kann ich dies in eine SPSS Datenmaske übertragen?
Merkmal___Rater1____Rater2
15__________0________1
2___________1________1
14__________1________1
11__________0________1
9___________1________0
5___________1________1
15__________0________1
.
.
.
Etwa so? Also jedes Mal wenn jemand ein Merkmal kodiert dies eingeben und dann eingeben ob es beide kodieren (1 und 1) oder (1 und 0) ?
Danke für anregende Bemerkungen!
interraterreliabilität
-
Generalist
- Beiträge: 1733
- Registriert: 11.03.2010, 22:28
Was ist denn da das jeweils zu bewertende Objekt? Sätze? Worte? Absätze?
Im Moment kann nach Deinem Vorgehen da nur stehen (Rater 1 versus Rater 2):
1/0, 1/1 und 0/1. Für einen Kappa-Koeffizienten brauchst Du aber auch die Kombination 0/0.
Ich schätze mal, das könnte so aussehen:
Merkmal - Rater1 - Rater2 - Anzahl
01 - 0 - 0 - 158
01 - 1 - 0 - 8
01 - 0 - 1 - 11
01 - 1 - 1 - 36
02 - 0 - 0 - 108
02 - 1 - 0 - 4
02 - 0 - 1 - 15
02 - 1 - 1 - 86
...
Auswerten dann mit Hilfe von "Fälle gewichten". Statt erst durchzuzählen und das so wie oben einzugeben, kannst Du natürlich auch für jedes bewertete Objekt eine Datenzeile anlegen. Nur eben die Kombi 0/0 nicht vergessen.
Im Moment kann nach Deinem Vorgehen da nur stehen (Rater 1 versus Rater 2):
1/0, 1/1 und 0/1. Für einen Kappa-Koeffizienten brauchst Du aber auch die Kombination 0/0.
Ich schätze mal, das könnte so aussehen:
Merkmal - Rater1 - Rater2 - Anzahl
01 - 0 - 0 - 158
01 - 1 - 0 - 8
01 - 0 - 1 - 11
01 - 1 - 1 - 36
02 - 0 - 0 - 108
02 - 1 - 0 - 4
02 - 0 - 1 - 15
02 - 1 - 1 - 86
...
Auswerten dann mit Hilfe von "Fälle gewichten". Statt erst durchzuzählen und das so wie oben einzugeben, kannst Du natürlich auch für jedes bewertete Objekt eine Datenzeile anlegen. Nur eben die Kombi 0/0 nicht vergessen.
-
chiara1185
- Beiträge: 5
- Registriert: 15.11.2010, 11:49
die zu bewertenden objekt sind Teilsätze..
Die Situation 1/0 oder auch 0/1 (jeweils ein Rater hat bei diesem Satz das Merkmal kodiert) und 1/1 (beide Rater haben dort das entsprechende Merkmal kodiert) kommt ja vor.
Die Kombination 0/0 kann jedoch nicht vorkommen, da es nicht so ist, dass es eine richtige Kodierlösung gibt. Man kann also auch nicht generell sagen, wo ein Merkmal hätte kodiert werden sollen aber es beide nicht gemerkt haben (0/0)..
Es sähe also so aus:
Merkmal - Rater1 - Rater2
1-1-1-110
1-1-0-23
1-0-1-20
2-1-1-35
2-1-0-67
2-0-1-101
was könnte man dann in diesem Fall rechnen, wenn der Kappa-Koeffizient hier nicht zu berechnen ist?
Die Situation 1/0 oder auch 0/1 (jeweils ein Rater hat bei diesem Satz das Merkmal kodiert) und 1/1 (beide Rater haben dort das entsprechende Merkmal kodiert) kommt ja vor.
Die Kombination 0/0 kann jedoch nicht vorkommen, da es nicht so ist, dass es eine richtige Kodierlösung gibt. Man kann also auch nicht generell sagen, wo ein Merkmal hätte kodiert werden sollen aber es beide nicht gemerkt haben (0/0)..
Es sähe also so aus:
Merkmal - Rater1 - Rater2
1-1-1-110
1-1-0-23
1-0-1-20
2-1-1-35
2-1-0-67
2-0-1-101
was könnte man dann in diesem Fall rechnen, wenn der Kappa-Koeffizient hier nicht zu berechnen ist?
