Ist diese Analyse stimmig/richtig?

[Sonya]

Hallo Ihr Lieben,

ich muss Montag eine Analyse präsentieren und hab sie auch schon gerechnet, würde mich aber freuen, wenn jemand drüber schauen könnte, weil ich mit SPSS und Statistik leider nicht sehr sicher bin.
Deshalb führe ich jetzt mal alles auf, was ich gemacht habe. Bin jedem sehr dankbar, der sich da durchkämpft.

Vorweg folgendes: wir haben ein wartegruppendesign. Da sich die Arbeitsgruppe im Moment noch nicht einig ist, ob Warte- und Direktgruppe zusammengeschmissen werden soll, habe ich beides gerechnet. Getrennt und zusammen.
Das Design sieht so aus:

DG: T0 -- Training -- T1
WG: T0 -- T1 -- Training -- T2

Getrennte Betrachtung:
- prä und post Training wurden Leistungsdaten erhoben. Zur Berechnung des Trainingseffekts habe ich je für die DG als auch für die WG einen T-Test für abhängige Stichproben gerechnet.
- dann wurde prä und post Training ein Fragebogen erhoben, von dem uns vier Skalen interessieren, also habe ich je für DG als auch WG einen T-Test für abhängige Stichproben mit allen vier Variablen gerechnet
- da die Wartegruppe wegen Dropouts sehr klein geworden ist (n=6) habe ich noch einen K-S-Test gerechnet, um die NV zu überprüfen, ob der T-Test überhaupt anwendbar ist.
- die DG ist auch nur n=10, sollte man das da auch machen?

Zusammengefasste Betrachtung
- zu der Überlegung, ob man die Gruppen zusammenfasst, habe ich zunächst einen T-Test für unabhängige Stichproben gerechnet, um zu schauen, ob sich die T0 der DG von der T1 der WG bzw. die T1 der DG von der T2 der WG unterscheidet.
da kein Unterschied rausgekommen ist, habe ich geschlussfolgert, dass man zusammenfassen kann, wenn man unbedingt will, auch wenn das nichtfinden eines Unterschieds nicht heißen muss, dass es keinen gibt.
- für den Prä-/Posttrainingsvergleich habe ich dann einen T-Test für gepaarte stichproben gerechnet
- und beide Schritte dann jeweils auch für die Fragebogenskalen

Kann man das so machen? Eine Statistikerin hat mir vorher was von Anova mit Messwiederholung gesagt, aber ist die nicht bei zwei Stichproben äquivalent zum T-Test?

Danke Euch und ein schönes Wochenende
Sonya

[KarinJ]

die anova mit messwiederholung ist nicht äquivalent zu t-tests, da mit ihr andere hypothesen untersucht werden als mit den t-tests. es kommt eben darauf an, was du wissen/ beantworten möchtest. allerdings sind für eine anova die fallzahlen etwas klein.

ansonsten ist es richtig, die 2 messpunkte mit einem verfahren für abhängige stichproben zu vergleichen und die gruppen mit einem verfahren für unabhängige.

bei so kleinen stichproben macht meines erachtens ein k-s-test keinen sinn. man müßte mal nachsehen, ob p-werte für diese kleine fallzahl tabelliert werden und ob die noch kleiner als .05 sind (z.b. anhang vom bortz). übrigens testet man für den t-test für unabhängige stichproben normalverteilung in jeder vergleichsgruppe separat und bei t-tests für abhängige stichproben muss man die differenz der messwerte testen.

t-tests für unabhängige stichproben kann man in diesem fallzahlenbereich gut ersetzen durch den randomisationstest von fisher. das ist ein nonparametrischer test und erfordert keine normalverteilung. man kann ihn rechnen mit dem programm rtgrp.exe von der university tulane (download).

die variablen von DG würde ich umbenennen: t0 in t1 und t2 in t1, damit die variablen so heissen wie bei WG. das erleichtert das verständnis.

beim test, ob man die gruppen zusammenfassen darf, sollte man ein strengeres signifikanzniveau ansetzen (z.b. nach bortz): mindestens .10, d.h. wenn ein test z.b. .055 oder .07 erbrächte, wäre er immer noch signifikant und man würde die gruppen daraufhin nicht zusammenfassen, weil sie signifikant unterschiedlich sind.

[Sonya]

Hallo Karin,

vielen Dank für deine Antwort. Ehrlich gesagt, habe ich nicht alles verstanden.

1. Wie unterscheiden sich denn die Hypothesen von Anova mit MW und T-Test?
2. In meinem SPSS Buch stand der K-S-Test extra für kleine Stichproben drin. aber das kann ich sonst auch noch mal in der Arbeitsgruppe diskutieren
3. Mit der Umbenennung der Variablen hast du recht, die werden auch unbenannt in A und B, weil t0 und t1 ja nicht für beide Gruppen stimmt.
4. für den Test, ob ich zusammenfassen darf, habe ich zweiseitig in p von z.B. von .484 also von .242 bzw. in allen Fällen > .1, die halten doch dann alle auch dem strengeren Kritierium stand, richtig?

gruß Sonya

[KarinJ]

zu 1) das kannst du in jedem buch zu inferenzstatistik nachlesen.
zu 2) eine kleine stichprobe wären unter 50 fälle, wobei es neben dieser obergrenze allerdings auch eine untergrenze gibt, wo statistische tests noch sinn machen
zu 4) ja, das wäre auf .10 nicht signifikant. das wäre allerdings auch ein punkt zum besprechen, da .10 ein beliebiger wert ist. bortz (2006) macht hier keine klaren empfehlungen (.10 bis .25).

[Sonya]

Hallo,

Danke, aber zu 1) das mit dem Pendant hab ich aus einem Skript, dort steht "...die einfaktorielle Varianzanalyse mit Messwiederholung. Dieses Verfahren ist das Pendant zum t-Test für abhängige Stichproben und wird
dann verwendet, wenn mehr als zwei Mittelwerte abhängiger Messungen miteinander verglichen werden sollen...

[KarinJ]

aber du willst keine einfaktorielle varianzanalyse nehmen, sondern eine varianzanalyse mit einem unabhängigen faktor (zwischensubjektfaktor) und einem messwiederholungsfaktor (innersubjektfaktor). stichworte haupteffekte, interaktionseffekte.

[Sonya]

ok, heißt das dann, dass ich mit dem T-Test nur sagen kann, dass die Gruppen prä/post unterscheiden und mit der Varianzanalyse kann ich schauen, ob das überhaupt am Training liegt (=Haupteffekt Messzeitpunkt) oder ob es an den Gruppen liegt (=Haupteffekt Gruppe) oder ob es von beidem abhängt (=IA)?
Und wenn ich die Gruppen zusammenfasse und dann nur eine habe, kann ich dann nur T-Test rechnen?

[KarinJ]

was man tatsächlich rechnen kann oder soll, weiß ich nicht, da keinerlei angaben zu den zu testenden hypothesen gemacht wurden. das richtige vorgehen wäre also: hypothesen aufstellen und sich überlegen, mit welchem test man diese testen kann.

die varianzanalyse gibt keine auskunft, ob es "an der gruppe bzw. training liegt", sondern sie prüft, ob sich die gruppen in der abhängigen variable bzw. die messzeitpunkte unterscheiden oder ob es einen kombinierten einfluss von gruppe und zeit gibt.

[Sonya]

Aber den Unterschied testet der T-Test doch auch... Versthe ich nicht.
Im Grunde ist die Hypothese, dass die Leistung nach dem Training besser ist.

[KarinJ]

dann rechne halt mal beides und vergleiche die ergebnisse. dann siehst du den unterschied am einfachsten.

p.s: du solltest dich mal mit deiner betreuung besprechen, zu was denn die wartegruppe gut gewesen sein soll. normalerweise nimmt man nicht nur eine trainingsgruppe und vergleicht vorher und nachher, denn es könnte sein, dass nicht das training, sondern allein das verstreichen der zeit zu einem unterschied der messzeitpunkte führt. das sieht man im vergleich mit einer gruppe, die 2x getestet wurde, aber kein training erhalten hat. ich denke mir, dass in einer varianzanalyse die beiden gruppen verglichen werden sollen, wobei der erste messzeitpunkt für beide t0 wäre und der zweite messpunkt wäre für beide t1.

[Sonya]

Hallo,

ich habe jetzt mal das allgemeine lineare Modell mit Messwiederholung gerechnet.
Für die zusammengefasste Gruppe findet sich ein Haupteffekt für den Faktor Messzeitpunkt, also dass sich die Messung signifikant unterscheiden --> das ist doch das, was ich auch mit dem T-Test für abhängige Stichproben herausgefunden habe.

Betrachte ich die Gruppen getrennt, bekomme ich ebenfalls einen signifikanten Haupteffekt Messzeitpunkt und keine signifikanten Wechselwirkungen.
Testung des nicht messwiederholten Haupteffekts "Gruppe" ist nicht signifikant.

Irgendwie weiß ich doch jetzt auch nicht mehr als beim T-Test...

[KarinJ]

es KANN gar keine signifikante wechselwirkung geben, wenn in der varianzanalyse nur ein einziger faktor ist. daher ist die aussage, es gäbe keine signifikanten wechselwirkungen quatsch.

die interaktion kann nur dann entstehen, wenn neben dem messwiederholungsfaktor die gruppe als unabhängiger faktor (zwischensubjektfaktor) angegeben wird. das hatte wohl die statistikerin mit ihrem rat gemeint und ich hatte es auch schon mal ausdrücklich geschrieben, nur messwiederholungsfaktor ist doch witzlos.

wenn du mit den t-tests alle deine hypothesen beantworten kannst, brauchst du dich nicht näher mit dem thema messwiederholungsanalyse zu befassen. ansonsten hab ich dazu nichts mehr zu sagen, da ich hilfe zur selbsthilfe geben möchte und mehr nicht.

[Sonya]

Hallo Karin,

ich habe doch sowohl das eine und das andere gerechnet und die Gruppe sehr wohl als zwischensubjekt faktor benutzt... und es gab trotzdem keine interaktion.

ich habe ja versucht mit deiner hilfe herauszufinden, was mir jetzt der T-Test und was mir die varianzanalyse sagt, aber trotz durchführung von beiden, weiß ich es leider nicht.
Ich glaube auch nicht, dass ich einen Thread eröffnet habe, um darum zu bitten, dass mir jemand meine Analyse macht. Ich habe es soweit gemacht, wie ich es konnte und hatte jetzt darüber hinaus eine konkrete Frage, nämlich den Unterschied der Ergebnisse in der Varianzanalyse und im T-Test. Naja. egal.

Danke soweit!

[KarinJ]

deine konkrete frage wurde konkret beantwortet:

stichworte haupteffekte, interaktionseffekte.

[Sonya]

Hallo,

das ist richtig, aber nachdem ich damit weiter gearbeitet habe, ergab sich die Frage, wenn es keine Interaktionen gibt, wie sich dann der Haupteffekt von dem unterscheidet, was ich auch im T-Test gefunden habe. Beide sagen mir doch einen Unterschied zwischen prä- und post-Messung.
Aber ich will deine Hilfsbereitschaft auch nicht weiter strapazieren.