t-Test bei Änderung der Gesamtzahl korrekter Antworten?

[Coolmogorov]

Hallo,

ich werte eine Studie aus, kurz gefasst: Es gibt die Möglichkeit, richtig (1) oder falsch (0) zu antworten, es wurden Mitglieder derselben Gruppe zweimal befragt und jetzt soll geguckt werden, ob der Anteil richtiger Antworten signifikant zunimmt bei der 2. Befragung.
D.h. : abhängige Stichproben.

Da ich ferner auch Fragen in meiner Untersuchung habe, wo es drei Abstufungen gibt (falsch, im Ansatz richtig, richtig), habe ich zur Untersuchung von Unterschieden in der zentralen Tendenz einen Vorzeichentest gemacht, d.h. ob sich mehr Leute verbessern als verschlechtern, denn diese Merkmale sind ja dann nur ordinalskaliert. (Ich kann nicht sagen, dass jemand, der richtig antwortet, "doppelt so gut" ist wie jemand, der im Ansatz richtig antwortet).

Nun frage ich mich aber... richtig/falsch wäre ja binomialverteilt, entweder 0 oder 1, zwei mögliche Merkmalsausprägungen, und 1 tritt mit
einer (unbekannten) Wahrscheinlichkeit p auf.
Theoretisch könnte ich jetzt die Anzahl richtiger Antworten durch den Stichprobenumfang teilen und würde z.B. 0,75 rauskriegen, also 3/4 der Leute haben richtig geantwortet, 1/4 falsch. Angenommen im Posttest
würde ich 0,8 rauskriegen. Das würde mir sagen, dass die Anzahl richtiger Antworten in der 2. Befragung größer ist (größere Wahrscheinlichkeit für eine richtige Antwort).

Wäre es sinnvoll, die beiden Stichproben mit einem t-Test zu vergleichen?!

Intuitiv würde ich sagen: Nein. Denn der t-Test setzt ja voraus, dass man normalverteilte metrische Daten untersucht, oder? Und die einzelnen Merkmalsausprägung sind ja immer nur entweder 0 oder 1 und da kann ja von normalverteilt keine Rede sein oder?
Und der Mittelwert (Summe der Einsen durch Stichprobenumfang) ist ja eigentlich auch nur der Parameter p aus der Binomialverteilung meines Merkmals und nicht der Mittelwert einer Normalverteilung oder...

Also irgendwie bin ich grad total verwirrt. Kann man bei einem
binomialverteilten Merkmal irgendwie nen t-Test anwenden oder ist das
Quark?

Und dann noch ne Frage... wenn ich bei einer Frage mehrere Antwortitems habe und zähle die Anzahl richtiger Antworten, also habe bei Befragung 1 z.B. die Werte 2,3,0,2,5,4,4, ... für die Anzahl korrekter Antworten... könnte ich dann hier von einer Normalverteilung ausgehen und für die beiden Verteilungen einen t-Test machen?

ich würde mich über erhellende Antworten sehr freuen Danke!

[drfg2008]

jetzt soll geguckt werden, ob der Anteil richtiger Antworten signifikant zunimmt bei der 2. Befragung.

McNemar Test.

[Daniela Keller]

Hallo Coolmogorov,

Normalverteilung kann man mit einem Normalverteilungsplot oder Quantilplot überprüfen.

Gruß
Daniela

[Coolmogorov]

Danke für eure Antworten!

jetzt soll geguckt werden, ob der Anteil richtiger Antworten signifikant zunimmt bei der 2. Befragung.

McNemar Test.

Ja, den habe ich auch schon gefunden. Allerdings berücksichtigt dieser Test nicht, wie viele Schüler ihre Antwort nicht verändern, sondern nur, ob von denjenigen, die ihre Meinung ändern, signifikant mehr zu einer richtigen Antwort wechseln. Wenn also z.B. von 300 Leuten nur 4 ihre Antwort ändern würden, und davon 3 zu einer richtigen, wäre das ein signifikanter Wechsel - allerdings bezogen auf die gesamte Gruppe nur ein sehr geringfügiger Effekt. Der Test würde also nur Information über diejenigen geben, die ihre Antwort verändern, unabhängig davon, wie viele ihre Meinung beibehalten.

D.h. das Ergebnis des McNemar-Tests würde mir doch sagen: Von denjenigen Befragten, die ihre Antwort änderten, taten dies signifikant mehr in eine bestimmte Richtung. Aber er würde mir nichts sagen darüber, wie groß der Einfluss auf die gesamte Gruppe ist. Oder?
Das wäre natürlich auch nicht ohne Information, aber ich interessiere mich ja eher dafür, wie groß der Effekt in der gesamten Gruppe ist, d.h. ob sich die zentrale Tendenz für alle Befragten signifikant unterscheidet.

Ich meine: Angenommen, ich würde 20 Leute befragen. Davon würden 8 Leute sich verbessern, 2 Leute verschlechtern, 10 gleich bleiben. Wäre wohl signifikant. Aber der Test würde dasselbe Ergebnis liefern, wenn sich von 1000 Leuten 8 verbessern und 2 verschlechtern und 990 nicht verändern... obwohl da ja bezogen auf die Grundgesamtheit ein viel schwächerer Einfluss stattfindet. (Einmal haben sich 40 % der Gruppe verbessert und einmal 0,8 %...)

Normalverteilung kann man mit einem Normalverteilungsplot oder Quantilplot überprüfen.

Ja, aber bei einem dichotomen Merkmal? Wie kann das normalverteilt sein? Ich würde ja nur die Häufigkeit überprüfen und nicht die Gesamtzahl richtiger Antworten...