Itemschwierigkeit -> welche Items?

[Kasdeja]

Hallo,

ich bin ganz neu hier im Forum und muss zur Zeit eine Hausarbeit schreiben.
Wir haben an der Uni eine Online-Befragung durchgeführt zum Thema "Studienbedingungen und Belastungserleben" und haben nun die einzelnen Konstrukte innerhalb der Seminarteilnehmer aufgeteilt und werten die Daten mit SPSS aus.
Ich befasse mich jetzt mit den Dimensionen "Studienorganisation & Räumlichkeiten".
Bin jetzt gerade dabei, die Itemschwierigkeit zu ermitteln.

Ich schreibe mal schnell meine Items ab:

Studienorganisation: Zufriedenheit mit verschiedenen Aspekten rund ums Studium
1) Wie zufrieden bist du mit folgenden Aspekten deines Studiums?
1.1) Wahlmöglichkeiten bei der Seminarbelegung
1.2) Schwierigkeitsgrad der Prüfungen
1.3) Anzahl der Prüfungsleistungen
5-stufiges Antwortformat überhaupt nicht zufrieden - voll und ganz zufrieden

2) Wie sehr stimmst du den folgenden Aussagen zu?
2.1) Die Noten werden ohne Verzögerung in den Online-Notenspiegel eingetragen
2.2) Ich werde häufig zu Lehrveranstaltungen, die ich belegen möchte, zugelassen
2.3) Das Anmeldesystem ist verständlich und übersichtlich
2.4) In meinem Studium kann ich mich gemäß meiner persönlichen Interessen spezialisieren
5-stufiges Antwortformat trifft überhaupt nicht zu - trifft voll und ganz zu

3) Wie zufrieden bist du mit den folgenden räumlichen Bedingungen?
3.1) Temperatur- und Frischluftregulation in den Lehrräumen
3.2) Fortbewegungsmöglichkeiten (z.B. Aufzüge, Treppenhäuser)
5-stufiges Antwortformat überhaupt nicht zufrieden - voll und ganz zufrieden.


Jetzt bin ich mir unsicher, wie oft ich hier Cronbachs Alpha berechnen muss. Kann bzw. muss ich sagen, dass die ersten sieben Items (Punkt 1 und 2) zu "dem" Konstrukt "Studienorganisation" und die letzten beiden (Punkt 3) zum Konstrukt "Räumlichkeiten" zählen und ich somit zwei mal Cronbachs Alpha berechnen soll? Oder ob alles zum Überkonstrukt "Studienbedingungen" zählt und somit nur eine Berechnung notwendig ist oder ob hingegen drei Berechnungen "Zufriedenheiten á 3 Items" (Punkt 1), "Zustimmungen á 4 Items" (Punkt 2), "Räumlichkeiten á 2 Items (Punkt 3) nötig ist? Woher weiß ich also, welche Items zu welcher Dimension gehören?


Hoffe, jemand kann mir weiterhelfen.

Liebe Grüße

[drfg2008]

siehe Lienert Raatz:
http://www.amazon.de/exec/obidos/ASIN/3 ... ikforum-21

Nur kurz: Zuerst eine Faktorenanalyse berechnen (Rotation: orthogonal, Varimax, Equamax)

Über die so entstandenen 'Faktoren' die geeigneten Items (die auf einen Faktor laden sollten) eine Reliabilitätsanalyse berechnen (Cronbach, incl. "C. if item deleted").

Das wäre eine Möglichkeit (von vielen).

Eine weitere Vorgehensweise: nach Inhalt, also 1.1-1.x 2.1 - 2.x etc. jeweils getrennt berechnen.

Vermutlich wird das auf's selbe hinauslaufen.

[Kasdeja]

Okay. Vielen dank
Das heisst, bei der inhaltlichen aufteilung haette ich dann drei cronbachs alpha werte richtig?
Also einmal die skala mit den drei, dann die mit den vier und dann die mit den zwei items ja?

[drfg2008]

könnte man so machen, wobei ein Cronbach bei 2 Items eher weniger Sinn macht.

Nicht vergesssen, die Items dann zu eliminieren, die das Cronbach alpha reduzieren würden (siehe "if item deleted").

(wobei das dann mit der Eingangsfrage der "Itemschwierigkeit" nichts zu tun hat)

[Kasdeja]

Ok super, vielen dank!
Kannst du mir noch kurz erläutern, warum es nicht möglich ist, die ersten 7 Items (Punkte 1 und 2) zusammenzufassen und somit als gemeinsames Konstrukt "Studienorganisation" cronbachs Alpha zu berechnen? Ist das wegen dem nicht einheitlichen Antwortformat?

[drfg2008]

doch, das könnte man dann zusammenfassen, wenn es technisch zulässig ist (siehe Beitrag 1).

Nochmal

(1) Mit Cronbach ("if item deleted") die Items zusammenfassen, das heißt, diejenigen Items entfernen, deren Entfernung das Cronbach erhöhen würde ("Item Picking" oder so ähnlich nennt man das).

(2) Das Konstrukt sollte einen einzigen Faktor ergeben (Varimax oder Equamax).

Und das Ganze sollte natürlich auch noch einen Sinn ergeben, also nicht nur mathematisch im Sinne der klassischen Testtheorie korrekt sein.

Eine genaue und gute Darstellung findet sich bei Lienert & Raatz. Das sind die Klassiker.

"Schwierigkeit" ist übrigens etwas ganz anderes. Siehe "Schwierigkeit" und "Trennschärfe" (gut dargestellt bei L&R)

[Kasdeja]

Hmm da les ich da nochmal nach, bin gerade total verwirrt

Ich habe jetzt z. B. bei der zweiten Skala (Punkt 2) einen Reabilitätskoeffizienten von 0,410 erhalten. Die korrigierte Item-Skala-Korrelation des einen Items ist nur 0,186, Cronbachs Alpha wenn Item weggelassen ist aber 0,381.
Was mach ich jetzt in so enem Fall? Item kicken oder drin lassen? Weil es ja schon sehr niedrig ist? Schreib ich dann einfach hin, dass es ein sehr leichtes Item ist?

[drfg2008]

Cronbach alpha wäre mit einem Wert von 0,4x viel zu gering. Erwartet werden Werte (pi mal Daumen) um 0,7 aufwärts

Entweder die Items passen wirklich nicht zusammen, oder es besteht ein Codier- oder Programmierfehler.

Eventuell gibt es auch einfachere Darstellungen als die von Lienert & Raatz, kenne ich aber leider nicht.

[Kasdeja]

Hmm ich habe die Items jetzt einzeln genommen und bekomme dennoch so niedrige Werte...komisch...

[Kasdeja]

Also irgendwas stimmt hier nicht...ich habe durchgängig nur Trennschärfe-Werte von weniger als 0,2....
Aber ich habe ja zum Teil nur zwei bis drei Items pro Skala...ist es da nicht normal, dass da so geringe Werte rauskommen?
Oder liegt es daran, dass mein Antwortformat von 1-5 und nicht von 0-4 geht?

Womit kann das noch zu tun haben? Hilfe

[drfg2008]

das sind verschiedene Begriffe:

Reliabilität: Cronbach
Trennschärfe: Korrelation des Items auf den Gesamtscore (ohne Item)
Schwierigkeit: Mittelwert der Lösungen (als Beispiel)

[Kasdeja]

Ich habe die Faktorenanalyse gemacht und habe drei Faktoren erhalten.
Wenn ich nun jedoch wieder die Reliabilitätsanalyse mache, erhalte ich bei einem Wert wieder nur eine ,238 (obwohl dieser Wert in der Faktorenanalyse einen Faktorladung von ,606 erhalten hat), ein anderer Wert sogar nur ,190 (bei diesem Wert waren die Werte in der Faktorenanalyse jedoch auch nur ,280; ,252; ,124 – ließen sich also schwer eindeutig zuordnen. Der Wert würde auch, bei Itemweglassen einen Wert von ,552, also höher als Cronbachs Alpha, erreichen). Ein dritter Wert ist mit ,272 auch nicht höher. Cronbachs Alpha ist ,546.

Reduziere ich die Faktorenanalyse auf zwei Faktoren (sodass ich „Studienorganisation“ und „Räumlichkeiten“ als Faktoren hätte, was mir von der inhaltlichen Aufsplittung logischer erscheint), bekomme ich Cronbachs Alpha von ,583; die Wert der korrigierten Item-Skala-Korrelation sind ,207; ,209; ,266; ,258; ,306; ,420; ,462.

Für welches Verfahren muss ich mich nun entscheiden? Die Faktorenanalyse hat die drei Faktoren vorgeschlagen. Sollte ich mich hieran halten und die erwähnten niedrigen Werte auflisten und ggf. erklären? Was ist die Konsequenz aus diesen niedrigen Werten?

[Kasdeja]

Ist es überhaupt erlaubt, eine Faktoranalyse bei unterschiedlichen Skalen vorzunehmen? Also ich habe jetzt ja Items verwendet, die zum Teil ein Antwortformat von "voll und ganz zufrieden" bis "voll und ganz unzufrieden" UND "trifft voll und ganz zu" bis "trifft überhaupt nicht zu".
Darf ich dann Items dieser unterschiedlichen Skalan zur Faktorenanalyse gemeinsam heranziehen?