interraterreliabilität

[glöckchen]

Hallo!
Ich bin leider furchtbar unwissende Statistik-ANfängerin und muss mich gerade mit interrater-raliabilität beschäftigen.
Dazu habe ich folgende Frage:

Wenn ich die Korrelation berechne, bekomme ich einen hohen Wert (r = .9) und ein signifikantes Ergebnis p<0.01.
Heißt das signifikante Ergebnis nicht aber, dass es Unterschiede zwischen den Ratern gibt?

Irgendwie bin ich dadurch sehr verwirrt. Vielleicht kann mir hier jemand helfen?

[Noonen]

hallo

wie hast du denn die interraterrel. berechnet?
die korrelation ist signifikant, wenn p<.01 ist (d.h., die irrtumswahrscheinlichkeit ist äusserst gering). ob es unterschiede bei den ratern gibt, ist damit aber meiner meinung nach noch nicht bestimmt. du weisst jetzt erst, dass sie sich in etwa gleich "bewegen", sie können dies aber durchaus unterschiedlich machen!

gruss
patrick

[glöckchen]

Hallo Patrick,

also ich hab die Übereinstimmung mittels Pearson und Spearman berechnet. Beide sind sehr hoch.
Zusätzlich habe ich die prozentuale Übereinstimmung berechnet. Die zeigt auch dass die Rater sehr hoch übereinstimmen...

[glöckchen]

... d.h. dass ihre Werte nicht weit auseinander liegen

[Noonen]

Was meinst Du mit prozentualer Übereinstimmung? Wie hast Du das berechnet?

Interreaterrel. können auch mit ICC berechnet werden (bei Reliabilität auszuwählen).

Gruss
Patrick

[glöckchen]

Hallo!

Nach Wirtz & Caspar (2002) berechnet man die PÜ (prozentuale Übereinstimmung) folgendermaßen:
(Anzahl der von allen Ratern gleich beurteilten Personen/Anzahl der insgesamt beurteilten Personen) x 100%

Die PÜ ist in der Psychologie für Individualdiagnosen sehr wichtig und muss über 90% liegen. Deswegen habe ich sie berechnet.
Es zeigt sich also, dass das Instrument eine hohe Interrater-Reliabilität hat.
Soweit, so gut.

Nur wie gesagt der Signifikanztest hat mich verwundert.