Statistik-Tutorial Forum

SPSS- und Statistik-Forum

Anzeigen:
banner amazon

banner werben 1

Interrater-Reliabilität für einzelne Items, kategorial

Interrater-Reliabilität für einzelne Items, kategorial

Beitragvon Ann1.0 » 07.02.2019, 08:49

Hallo Alle,
schon einmal vielen Dank für eure Hilfe.
Ich habe folgende Frage: Ich lasse ca. 100 Items von 5 Beobachtern in jeweils eine von sechs Kategorien einteilen. Das Skalenniveau ist also Nominalskala. Danach möchte ich für jedes Item entscheiden zu welcher Kategorie es am wahrscheinlichsten passt. Wie gut es passt würde ich gerne mit einem statistischen Kennwert angeben. Items, die nicht gut in eine Kategorie passen sollen dann nämlich aussortiert werden.

Eine Tabelle könnte folgendermaßen aussehen:

________Person 1__Person 2__Person 3__Person 4__Person 5__Beurteilerübereinstimmung____Kategorie
Item 1______1_______6________1________1________2______________??_________________1? oder keine?
Item 2______3_______4________3________3________3______________??_________________3
Item 3______5_______2________2________5________4______________??_________________2 oder 5 -> keine
Item 4______1_______1________1________1________1____________100%??_______________1
...

In dem Fall würde ich Item 2 und 4 auf jeden Fall aufnehmen. Item 3 wird auf jeden Fall rausgeschmissen. Bei Item 1 weiß ich es nicht genau (vielleicht gibt es einen Normwert dafür?).
Das Ziel soll letztendlich die Zuordnung von Items zu übergeordneten Faktoren für einen Fragebogen sein.
Ann1.0
 
Beiträge: 3
Registriert: 28.01.2019, 18:31

Re: Interrater-Reliabilität für einzelne Items, kategorial

Beitragvon dutchie » 07.02.2019, 13:32

hallo Ann1.0

nominal heißt, das der unterschied zwischen 1 und 5
grauso groß ist wie zwischen 1 und 2, richtig?
glaube da aber irgendiwe nicht dran :?
dann wären die Faktoren des fragbogens unkorreliert!

man kann eventuell das informationsmaß h als
maß der Varianz heranziehen, bei item1 wäre h =0
bin mir aber nicht sicher ob dass bei k=6 und n=5 sinn macht
oder du zählst einfach wie oft gleicheit vorliegt

item1 hätte dann 3
item 2 hätte 4
item3 2
item 4 5
item 5 mit 1 2 3 4 5 hätte dann 1

ob ein item teil des fragebogens wird kann doch nicht nur aufgrund des
ratings erfolgen! wichtig ist auch zu wie schwer das item ist?

so weit so gut
dutchie
dutchie
 
Beiträge: 984
Registriert: 01.02.2018, 09:45

Re: Interrater-Reliabilität für einzelne Items, kategorial

Beitragvon Ann1.0 » 07.02.2019, 14:38

Hey Dutchie,
danke für deinen Antwortversuch - ich versuche mal eine Antwort :)

dutchie hat geschrieben:nominal heißt, das der unterschied zwischen 1 und 5 grauso groß ist wie zwischen 1 und 2, richtig?
glaube da aber irgendiwe nicht dran :?
dann wären die Faktoren des fragbogens unkorreliert!

Jein. Es sind einfach verschiedene Kategorien, das heißt der Abstand zwischen ihnen ist nicht definiert. Das bedeutet aber nicht unbedingt, dass die Faktoren unkorreliert sind. Tatsächlich gehe ich davon aus, dass sie alle etwas miteinander korrelieren, da sie gemeinsam in meinem Fall pychopathologische Symptome erfassen. Aber Faktor 1 und 2 stehen sich nicht näher als Faktor 2 und 5.

dutchie hat geschrieben:ob ein item teil des fragebogens wird kann doch nicht nur aufgrund des ratings erfolgen! wichtig ist auch zu wie schwer das item ist?

Das stimmt. Hier versuche ich allerdings theoriegeleitet Items eines Fragebogens für die Erstellung eines neuen Fragebogens zu verwenden. Das Rating ist ein Expertenrating. Die Experten entscheiden also welches Item wahrscheinlich welches Konstrukt (Faktor) erfasst. Oder auch ob das Items keines der 5 Konstrukte erfasst. Nachdem das Rating erfolgt ist und ich die Items einem Faktor zugeordnet habe, werde ich dann eine Konfirmatorische Faktorenanalyse (KFA) machen. Dadurch kann ich schauen wie gut das Modell passt, oder ob ein Item gar nicht auf dem Faktor lädt.

dutchie hat geschrieben:man kann eventuell das informationsmaß h als maß der Varianz heranziehen, bei item1 wäre h =0
bin mir aber nicht sicher ob dass bei k=6 und n=5 sinn macht

Da verstehe ich nicht so ganz wie du das meinst. Das Informationsmaß h kenne ich nicht. Gibt es dafür Konventionen?

dutchie hat geschrieben:oder du zählst einfach wie oft gleicheit vorliegt

Genau, das hatte ich auch schon überlegt. Oder halt in Prozent angegeben: Item 1: 60%, Item 2: 80%, Item 3: 40%, Item 4: 100%
Allerdings würde ich gerne einen statistischen Kennwert mit Konventionen angeben, nachdem es sich eindeutig entscheiden lässt.
Vielleicht könnte man auch für jedes einzelne Item Krippendorffs Alpha zum Beispiel berechnen?
Ann1.0
 
Beiträge: 3
Registriert: 28.01.2019, 18:31

Re: Interrater-Reliabilität für einzelne Items, kategorial

Beitragvon dutchie » 08.02.2019, 14:27

hallo Ann 1.0

also ich kenne kein Maß mit solchen Konventionen.
mit Konventionen
meinst du etwas das dir die entscheidung abnimmt?
wenn die Factoren korrelieren, kann man dann trotzden unabhängig
davon eindeutig zuordnen oder besteht dann verwechslungsgefahr
zwischen den Factoren Kategorie? schwierig ! aber du wirst ja sehen was rauskommt..
denk dir die items doch einfach geordnet nach übereinstimmung
entscheide dann ohne konvention oder kriterium einfach von oben nach unten...
und mach dann irgendwo einen cut, kommt darauf an wie das aussieht!
oder schau eventuell nach sowas wie ein scree plot, oder mach einen...
eindeutig entscheiden läßt sich das nicht, meiner meinung nach, da die factoren
ja, zumal in der psychpatho, korreliert sind..

gruß
dutchie
dutchie
 
Beiträge: 984
Registriert: 01.02.2018, 09:45

Re: Interrater-Reliabilität für einzelne Items, kategorial

Beitragvon Ann1.0 » 08.02.2019, 16:35

Hey Dutchie,
danke dir erstmal soweit.
dutchie hat geschrieben:meinst du etwas das dir die entscheidung abnimmt?

Genau, ich suche nach Konventionen, mit denen ich meine Entscheidung begründen kann, damit sie nicht subjektiv entschieden erscheint.
dutchie hat geschrieben:oder besteht dann verwechslungsgefahr zwischen den Factoren Kategorie?

Ja, es besteht die Gefahr, dass manche Experten ein Item einer Kategorie zuordnen und andere Experten einer anderen Kategorie. Weil es halt nicht eindeutig ist. Deshalb soll die Interrater-Reliabilität berechnet werden.
dutchie hat geschrieben:denk dir die items doch einfach geordnet nach übereinstimmung

Das ist eine gute Idee.

Danke dir schonmal für deine Hilfe, vielleicht hat ja noch jemand anders einen Rat :)
Ann1.0
 
Beiträge: 3
Registriert: 28.01.2019, 18:31

pfeilStatistik- und SPSS-Bücher
Top-Auswahl, als Buch oder E-Book
Jetzt bei Amazon bestellen!Anzeige
Anzeigen:Statistik und SPSS: BücherStatistik für DummiesSPSS für Dummies

Zurück zu Statistik Forum