T-Test und Varianzanalyse liefern unterschiedliches Ergebnis

[lievco]

Hallo,

ich habe zwei zweistufige Innersubjekt-Faktoren (Stimmung und Zeit) und eine abhängige metrische Variable.

Bei der Auswertung mit SPSS habe ich eine Varianzanalyse gerechnet, die mir für den Effekt Zeit ein Signifikanzniveau von ,274 gibt.

Den T-Test habe ich sechsmal gerechnet (also für alle möglichen Kombinationen: 1. (Zeit) kurz-lang, 2. (Stimmung) traurig-glücklich, 3. kurz, traurig - kurz, glücklich, 4. kurz, traurig - lang, traurig, 5. lang, traurig - lang, glücklich, 6. kurz, glücklich - lang, glücklich)
Und für kurz-lang liegt das Signifikanzniveau bei ,025!
Die Variablen kurz, lang, traurig, glücklich habe ich neue gebildet, indem ich über für die Variable kurz z.B. den Mittelwert über kurz-traurig und kurz-glücklich gebildet habe.

D.h. mein T-Test sagt ich habe einen Effekt von Zeit, und meine Varianzanalyse, ich habe keinen! Stimmt, das?

Wie kann das sein?

Ich habe alles natürlich noch einmal überprüft, ich glaube die Rechnung stimmt.
Bei allen anderen Berechnung, bei denen ich auch beide Tests angewendet habe, sind zwar die Werte für p nicht identisch, aber ob etwas signifikant wird oder nicht, stimmt immer überein. Nur in diesem einen Fall nicht.

Kann das so stimmen und wenn ja, wie lässt sich das erklären?
Und wenn da ein Fehler passiert sein muss, wo könnte er sein? Ich komme von selbst nicht drauf...

Vielen, vielen Dank!

[Generalist]

Den T-Test habe ich sechsmal gerechnet (...)
D.h. mein T-Test sagt ich habe einen Effekt von Zeit, und meine Varianzanalyse, ich habe keinen! Stimmt, das?
Wie kann das sein?

Multiple t-Tests ohne Korrektur des Signifikanzniveaus.
Nach Bonferroni (sehr strenge Korrektur) wäre Dein
kleinstes p nicht mehr 0,025 sondern 0,15.

[lievco]

Okay, danke!

Ich habe jetzt dazu nachgelesen und habe das Grundproblem so verstanden, dass der Fehler steigt, wenn man mehrere Tests mit den selben Daten rechnet.

Ich habe den Zusammenhang erst so verstanden, dass das Signifikanzniveau beim ersten Test wie gewünscht bei 5% ist, und damit auch die Wahrscheinlichkeit eines Fehlers. Rechnet man einen zweiten liegt sie schon bei 10%. Ich habe hier ja zweimal gerechnet, einmal auf Zeit, einmal auf Stimmung, folglich müsste sich p verdoppeln?

Der Zusammenhang zwischen .025 und .15 liegt aber im versechsfachen. Hängt es also damit zusammen, dass ich sechs tests gerechnet habe? Obwohl zwei "Hauptkombinationen" und vier "Unterkombinationen" dabei waren, die sich damit komplett überschneiden.
Oder muss man das iwie aufteilen und die zwei Sachen getrennt sehen? Also p verdoppeln für die Hauptkombinationen und vervierfachen für die Unterkombinationen?

Bei der Varianzanalyse kann ich eine Bonferroni-Korrektur anwählen, beim T-Test nicht. Wie rechne ich das also in SPSS?
Bzw. per Hand?

Ein schönes Wochenende,
Corinna

[Generalist]

Die Bonferroni-Korrektur lässt sich auch so ausführen,
dass man die Signifikanzschwelle korrigiert (bei 6 Tests
wäre dies 5%/6) und dann prüft, ob die p-Werte unterhalb
dieser Schwelle liegen. 0,025 läge oberhalb eines
Bonferroni-korrigierten Schwellenwertes 0,05/6.

Ob man nun Bonferroni-korrigieren sollte oder nicht, sei
dahingestellt; jedenfalls kann man die Ergebnisse von
6 einzelnen Tests nicht einfach so behandeln wie die
von1 (Global-)Test.