Interraterreliabilität für Fremdbeurteilungsfragebogen

[sylvi c.]

hallo zusammen,

ich brauche dringend hilfe.

ich habe 200 fälle und möchte anhand von 10 fällen die interraterreliabilität zwischen zwei ratern mit cohens kappa bei spss bestimmen. jedoch habe ich im forum gelesen, dass das kappa jeweils nur für eine variable berechnet werden kann. ich möchte aber für mein ganzes fremdbeurteilungsinstrument kappa bestimmen.
der fragebogen besteht aus nominalen variablen (ja/nein), sowie kategorialen variablen (stimmt eher, stimmt genau, stimmt eher nicht, stimmt gar nicht) und metrischen variablen (anzahl von monaten etc).

wenn ich mir nur die kategorialen variablen rausgreife, (die auch wirklich im engeren Sinn geratet sind) müsste ich auch mehrere variablen zwischen den ratern vergleichen, was mit spss wohl nicht möglich ist

kann mir irgendjemand helfen?

ich habe auch schon sämtliche statistikbücher durchforstet

[Interrater]

Hi!
Ich schreibe gerade meine Abschlussarbeit. Vor dem selben Problem bin ich auch. Nur, bin ich schon einen Schritt weiter.
Cohens Kappa ist nur beschränkt anwendbar - was du ja bereits selber gemerkt hast - und auch nicht so genau wie Krippendorffs alpha. Hayes hat ein Macro entwickelt, mit dessen Hilfe man quasi die Daten irgendwie von SPSS berechnen lassen kann. Ich habe sogar soweit eine SPSS-Maske mit meinen Daten - 2 Rater (ich + nochwer) und geschätzte 40 Variablen eingegeben.
Problem ist beim Ausfüllen der Maske verstehe ich nicht, was ich in die Spalten der Beobachter eingeben muss. Klingt jetzt verwirrend, aber ich versuche es mal hier aufzuführen.
In die Spalten kommen zunächst die "Observer" (~Beurteiler), danach die Variablen (VAs), in die Zeilen die Fälle (VPN) (deine 10 % der Versuchspersonen - welche ja für beide Observer gleich sind!)

.................obs1 obs2 VA1obs1 VA1obs2 VA2obs1 VA2obs2 usw.
VPN1 .................................................................................................
VPN2 .................................................................................................
VPN3 ..................................................................................................
usw.

Mein Problem ist bei den "?" ... den Rest - in meinem Fall nominalDaten - konnte ich eingeben ... aber was setz ich bei den Fragezeichen ein???

...............obs1 obs2 VA1obs1 VA1obs2 VA2obs1 VA2obs2 usw.
VPN1 ....... ?.........?.............1...............0................0............1...........
VPN2 ....... ?.........?.............1...............1................0............0...........
VPN3 ....... ?.........?.............0...............0................0............1...........

Vielleicht können wir uns da gegenseitig weiterhelfen???
Ich kopiere mal die Links, die ich bisher habe:

http://app.gwv-fachverlage.de/ds/resour ... 4_2471.pdf

http://www.afhayes.com/spss-sas-and-mpl ... -code.html -> hier musst du bis "kalpha" runterscrollen!!!

http://monakrewel.de/wp-content/uploads ... tzung5.pdf

Liebe Grüße + Auch ich würde mich bzgl. dieser Sache über Antworten freuen!!!

[Interrater]

sgswgysy