Gewichteter Kappa-Koeffizient in PASW

Beitrag von **Knorpi** » 18.09.2009, 15:10

Hallo zusammen,

okay, noch ein Versuch: ich habe zur Feststellung der Übereinstimmung zwischen zwei Ratern den Kappa-Koeffizienten berechnet. Der ist mir mit 0,433 aber etwas zu niedrig, und da etwa in der Mitte der Skala ein Sprung zwischen relevanten und nicht relevanten Unterscheidungen stattfindet, würde ich gerne einen gewichteten Koeffizienten berechnen. Leider habe ich die Funktion nicht gefunden. Gibt es sie doch, und wenn ja, wo, und wenn nein, kann ich irgendwie "drumherum" arbeiten?

Gruß,
Knorpi

Beitrag von **Knorpi** » 08.10.2009, 16:32

Weder Google noch das Benutzerhandbuch zu SPSS/PASW haben dazu was zu sagen, weiß denn irgendjemand, ob das Programm dazu in der Lage ist? Oder wie gesagt, wenn man die Daten so vorbereiten kann, dass das Ergebnis entsprechend ist... Leider kann ich nur einzelne Variablen gewichten, nicht ihr Verhältnis zueinander.

Beitrag von **Silversurfer** » 09.10.2009, 15:49

Hallo,

soviel ich weiß, sind gewichtete Kappa-Koeffizienten standardmäßig nicht in SPSS/PASW enthalten. Mein Vorschlag wäre einen ganz normalen Kappa-Koeffizienten für die beiden Ratervariablen zu berechnen, aber dafür nur die Werte auf der Skala zu verwenden, die als relevant zu betrachten sind. Das kann man recht leicht über Daten -> Fälle auswählen -> "Falls Bedingung zutrifft" machen. In diesem Fenster definierst du als Voraussetzung den Grenzwert, der zwischen relevanten und irrelevanten Werten deiner beiden Ratervariablen trennt. Alle Werte die über oder unter diesem Wert sind, werden eingeschlossen, je nachdem, was du als relevant betrachtest. Fälle die diese Voraussetzung nicht erfüllen, gehen nicht mehr in die Auswertung mit ein. Damit betrachtest du jedoch nur noch eine Übereinstimmung auf einem bestimmten Ausschnitt deiner Skala, was später erwähnt werden sollte.

Viel Erfolg!

Beitrag von **Knorpi** » 09.10.2009, 22:48

Grundsätzlich eine gute Idee, danke, aber leider zu ungenau. Ich habe als mögliche Werte "sehr gut", "gut", "mäßig" und "schlecht". Könnte ich die Übereinstimmung zwischen "sehr gut" und "gut" bzw. "mäßig" und "schlecht" stärker gewichten als die jeweils anderen, wäre das perfekt und auch im Sinne des Erfinders, da logisch nachvollziehbar.

Nehme ich einzelne Variablen raus und gleiche nur noch "gut" gegen "mäßig" oder "schlecht" ab, ist das eher ziemlich schlechter Stil, da ein großer Anteil der Antworten einfach rausfallen würde. Ich habe schon überlegt, "sehr gut" und "gut" zu einer einzigen Variable zusammenzufassen, genauso wie die anderen beiden, im Sinne einer ausgeprägten Wichtung bei Erhaltung aller Daten, aber auch das ist mir für ein sauberes Ergebnis schon zu heftig.

Dann muss ich mal weitersehen. Es gibt noch andere Programme, die genau das ausrechnen können, vielleicht finde ich noch jemanden, der etwas Passendes installiert hat.

Ich bin aber mehr und mehr enttäuscht von SPSS. Dafür, dass das an vielen Unis der Standard ist, kann es erstaunlich wenig.

Beitrag von **Silversurfer** » 11.10.2009, 13:12

Grundsätzlich ist ein Kappa von 0,433 noch annehmbar. Da du aber mit einer vierstufigen Skala (sehr gut, gut, mäßig und schlecht) auch keinen Skalenmittelpunkt hast, stellt sich mir die Frage, wo denn in deiner Skala "etwa die Mitte" sein soll, um zwischen relevant und irrelevant zu unterscheiden und deine Gewichtungseinteilung vorzunehmen.

Vielleicht ist auch deine Beurteilerübereinstimmung einfach deswegen nicht so hoch, wie du es dir wünschst, weil vorher nicht klar definiert wurde, was z.B. unter "gut" oder "mäßig" zu verstehen ist oder weil kein ausreichendes Training der Beurteiler gemacht wurde? Könnte man ja auch als Erklärung erwähnen und kritisch diskutieren anstatt Gewichtungen vorzunehmen. Von den willkürlichen Faktoren für die Gewichtung möchte ich hier gar nicht sprechen...

Alternativ kannst du neben dem guten alten Kappa übrigens auch Kendalls Tau oder Spearmans Rho berechnen, da du ja zumindest eine Rangskalierung deiner Messwerte annehmen darfst. Das klassische Kappa wird in erster Linie bei Nominalskalen eingesetzt.

Beitrag von **Knorpi** » 12.10.2009, 08:39

Silversurfer hat geschrieben:Grundsätzlich ist ein Kappa von 0,433 noch annehmbar. Da du aber mit einer vierstufigen Skala (sehr gut, gut, mäßig und schlecht) auch keinen Skalenmittelpunkt hast, stellt sich mir die Frage, wo denn in deiner Skala "etwa die Mitte" sein soll, um zwischen relevant und irrelevant zu unterscheiden und deine Gewichtungseinteilung vorzunehmen.

Hallo,

die Mitte ist zwischen "gut" und "mäßig". Natürlich ist eine Gewichtung in so einem Fall immer willkürlich, aber die Übereinstimmung zwischen "gut" und "sehr gut" stärker zu gewichten als zwischen "gut" und "schlecht" ist meines Erachtens vertretbar und wird auch hin und wieder so gehandhabt.

Vielleicht ist auch deine Beurteilerübereinstimmung einfach deswegen nicht so hoch, wie du es dir wünschst, weil vorher nicht klar definiert wurde, was z.B. unter "gut" oder "mäßig" zu verstehen ist oder weil kein ausreichendes Training der Beurteiler gemacht wurde? Könnte man ja auch als Erklärung erwähnen und kritisch diskutieren anstatt Gewichtungen vorzunehmen.

Das ist ganz sicher ein Punkt, und diese spezielle Frage ist auch nicht die einzige, bei der solche Probleme auftreten. Aber ich kann ja auch beides machen: erklären, warum das Ergebnis so ist, wie es ist, und eine Wichtung vornehmen.

Alternativ kannst du neben dem guten alten Kappa übrigens auch Kendalls Tau oder Spearmans Rho berechnen, da du ja zumindest eine Rangskalierung deiner Messwerte annehmen darfst. Das klassische Kappa wird in erster Linie bei Nominalskalen eingesetzt.

Okay, danke. Bei dieser Studie war von Anfang an geplant gewesen, hier das Kappa zu berechnen, und da meine "Betreuer" sich nicht zum Betreuen herablassen, habe ich genau diesen Punkt noch nicht hinterfragt. Ob das im Ergebnis einen Unterschied macht, kann ich aber erst sagen, wenn ich SPSS hier auf einem anderen Rechner installiert habe. Die erste zeitlich begrenzte Lizenz habe ich schon verbraten.