Kappa

[Konkordanz]

Hallo Forum,

folgende Frage: Ich habe in einem Fragebogen eine offene Frage gestellt, für die ich nachträglich Kategorien erzeugt habe. Anschließend wurden die Fälle von zwei verschiedenen Personen in die Kategorien eingeordnet. Um zu prüfen, ob die beiden Bewerter relativ gut übereinstimmen bzw. ob die Kategorien sinnvoll sind, habe ich ein Kappa berechnet. Es zeigt mir einen relativ guten Wert. Die Frage ist nun: Will ich die offene Frage bzw. die entstandenen Kategorien nun auswerten, muss ich ja entscheiden, ob ich die Arbeit von Bewerter A oder von Bewerter B nehme. Der Kappa-Wert zeigt mir zwar, dass sie relativ gut übereinstimmen, aber natürlich sind die Einordnungen nicht 1:1 deckungsgleich. Gibt es hierfür eine Empfehlung?

Danke!

[dutchie]

hallo

man hätte drei bewerter nehmen müssen, um eine mehrheitsentscheidung
herzustellen, bei zweien würde ich würfeln, ansonsten ist mir nichts
anderes bekannt...
wieviel kategorien waren das denn?, wenn man irgendwie festellen könnte dass der eine
besser ratet als der andere, dann diesen nehmen...

gruß
dutchie

[Konkordanz]

Hallo und danke für deine Antwort.

Es handelt sich um unterschiedlich viele Kategorien; bis zu 10 Stück. Ich bin jetzt auch so vorgegangen, wie du es geschrieben hast...ich habe meinen Lieblingsbewerter genommen und als dritter Bewerter nochmal drüber geschaut. Danke!