Effektstärke berechnen

[ben1005]

Liebe Statistiker,

in einer Studie wurden in zwei Experimentalgruppen (jeweils n=25) und einer Kontrollgruppe (n=25) zu fünf Messzeitpunkten zwei abhängige Variablen erhoben. Als Ergebnisse sind angegeben: One-way ANOVA pre-posttest differences F = 3.18; df = 2,72; p < .05) und pre-posttest differences among groups F= 8.11; df = 2.72; p < .01). Zusätzlich gib es eine Abbildung, der man die jeweiligen Mittelwerte entnehmen kann:
Abhängige Variable 1:
MZP1:
Gruppe 1: 15.0, Gruppe 2: 15.0; Gruppe 3: 15.0
MZP2:
Gruppe 1: 15.0, Gruppe 2: 15.4; Gruppe 3: 16.1
MZP 3:
Gruppe 1: 15.1, Gruppe 2: 15.8; Gruppe 3: 17.6
MZP 4:
Gruppe 1: 14.8, Gruppe 2: 15.3; Gruppe 3: 18.0
MZP 5:
Gruppe 1: 14.6, Gruppe 2: 15.3; Gruppe 3: 20.0

Abhängige Variable 2:
MZP1:
Gruppe 1: 7.3, Gruppe 2: 7.3; Gruppe 3: 7.3
MZP2:
Gruppe 1: 0.4, Gruppe 2: 0.4; Gruppe 3: 7.2
MZP 3:
Gruppe 1: 0.3, Gruppe 2: 0.2; Gruppe 3: 7.8
MZP 4:
Gruppe 1: 0, Gruppe 2: 0; Gruppe 3: 0
MZP 5:
Gruppe 1: 5.0, Gruppe 2: 4.7; Gruppe 3: 13

Es gibt keine Angaben zu den jeweiligen Varianzen.

Diese Studie wurde in eine Metaanalyse aufgenommen und in dieser werden vier Effektstärken angegeben: 10.34, 3.71, 5.17 und 3.31. Ich kann nicht nachvollziehen, wie diese Effektstärken zu Stande gekommen sind, vor allem ohne die Varianzen zu kennen. Kann mir jemand sagen, ob ich hier etwas übersehe und eine Effekstärkeberechnung mit den angegeben Werten möglich ist?

Herzllichen Dank!

[dutchie]

Hallo Ben1005

Haben die drei Gruppen zu MZP1 identische Mittelwerte ?
und
zu MZP4 der zweiten Variablen alle Mittelwert m=0?

Ich glaub irgendwie nicht, dass die vier angegebnen Werte Effektstärken darstellen, die Werte erscheinen mir sehr groß.
Also ES = 10.34?
Vielleicht fragst du besser bei den Autoren der Studie nach, für die ist doch auch von interesse ob ihre Artiken verstanden werden.

Ansonsten könnte man eventuell über die Mittelwerte und den F-Werten auf die Fehlervarianz schließen und damit dann weiter rechenen.

gruß
dutchie

[ben1005]

Hallo dutchie,

vielen Dank.

Ja, Werte zu MZP1 sind identisch und MZP 4 3x0.

Die vier Werte sind definitv Effektstärken. Genau das hat mich stutzig gemacht.

Wie würde der Rückschluss von F und M auf die Fehlervarianz funktionieren?

Beste Grüße!

[aele90]

Hallo ben1005,

mir erscheinen die Werte auch zu groß, als dass sie Effektstärken zu den zitierten F-Werten sein könnten. Ist aber nur ein erster Augenschein.

Zu deiner Frage: Bei einer Varianzanalyse brauchst Du zur Berechnung der Effektstärken nicht unbedingt die Varianzen. Schau dir am besten einmal die Rechner auf der Homepage https://www.psychometrica.de/effektstae ... l#repeated (siehe 6.) an.

Hättest Du Quellenangaben zu den beiden Studien? Ich würde das gerne einmal tiefer nachvollziehen.

Danke Dir und Gruß!

[ben1005]

hi aele90,

vielen Dank!

Die studie ist Madsen, C. K., Moore, R. S., Wagner, M. J., & Yarbrough, C. (1975). A comparison of music as reinforcement for correct mathematical responses versus music as reinforcement for attentiveness. Journal of Music Therapy, 12(2), 84-95.

Mit der auf der Seite angeführten Berechnungsweise kann ich das Problem allerdings nicht lösen, da es sich hier ja um eine Varianzanalyse mit mehreren Messzeitpunkten und mehreren Gruppen handelt.

VG

[aele90]

Hallo ben,

leider habe ich keinen Zugriff auf den Artikel. Den von dir angesprochenen Review habe ich allerdings gefunden. Sind denn im Originalartikel die Werte der ANOVA-Tabelle angegeben (insbesondere die (mittleren) Quadratsummen), mit denen der F-Wert berechnet wurde? Aus denen sollte eine Berechnung möglich sein.

Grüße!

[ben1005]

Hallo Aele90,

leider nicht! Außer den oben angeführten Werten gibt es in dem Artikel: NICHTS

Beste Grüße

[dutchie]

Hallo Ihre Lieben

Vielleicht sind das keine Effektstärken (Effekt dividiert durch Varianz) sondern Effekte (Mittelwertsdifferenzen)...
Welchen Unterschied beschreiben denn die Effekte/Effektstärken...
Und, dass da zu drei MZP identische Mittelwerte stehen, das ist doch sehr verdächtig...

gruß
dutchie

[ben1005]

Hallo dutchie,

nein, das ist nicht der Fall. In der Metaanalyse sind EINDEUTIG Effektstärken angegeben und diese basieren auf den genannten Kennwerten aus der Primärstudie.

[dutchie]

hallo
warum sollen die sich nicht auch mal irren...
ES>10 glaub ich nicht

gruß

[ben1005]

Ich auch nicht. Aber ich würde das gerne belegen. Und dafür müsste ich wissen, ob mit den gegebenen Werten überhaupt eine Effektstärkeberechnung möglich ist.

[dutchie]

Hallo

man kann ja alle mögliche ES ineinander umrechen,
ich glaube man kann F in d, r oder f umrechen, Formel suchen....
Aber du kennst ja nicht mal den Typ deiner ES, Ist das ein f, ein eta2 oder???
eta2 ist ein Prozentzahl, der kann nicht größer als 1 werden.
vielleicht haben die aber auch die zwei Experimentalgruppen zusammengefaßt
und ein d ausgerechnet ??? das kann beliebig groß werden...

Wieso hab ich 4 ES aber nur zwei F-Tests ???

Vielleicht ist die erste Zahl die ES und die zweite 3.71 eine sd??

Wenn man da aber raten muss, was das Zeugs bedeutet, ist der Artikel als Ganzen als invalide zurückzuwiesen.
Normalerweise schreib man vor einer Zahl was sie bedeutet, also m=2.34 und nicht einfach 2.34

Und MZP4 m=0 das 3 mal, das gibts nicht.

gruß
dutchie

[ben1005]

Hallo,

die in der Metaanalyse angegeben Effektstärken sind Cohen's d (MExp-MKon/SDpool).
Warum 4 ES, aber nur 2 F-Tests? Es wurden mit zwei ANOVAs die Mittelwertsunterschiede zweier verschiedener abhängiger Variablen über jeweils 4 Messzeitpunkte geprüft, einmal einfaktoriell und einmal zweifaktoriell. Daher ist auch ein umrechnen von F in d nicht möglich. Warum es 4 ES sind, weiß ich nicht. Aber ich vermute, dass da etwas gewaltig schief gelaufen ist.

Beste Grüße

[dutchie]

Hallo

die in der Metaanalyse angegeben Effektstärken sind Cohen's d (MExp-MKon/SDpool).

das ist aber eine ziemlich späte Info.
diese d haben mit der ANOVA nichts zu tun.

[ben1005]

diese d haben mit der ANOVA nichts zu tun.

Die d drücken Mittelwertsunterschiede aus und die ANOVA ist ein Vergleich von Mittelwerten. Insofern erschließt sich mir die Aussage nicht so ganz.

Wie auch immer: Fakt ist, dass die Effektstärken, die in der Metaanalyse angegeben sind, irgendwie aus den Werten der ANOVA und den gegebenen Mittelwerten berechnet wurden, nachdem sonst keine Daten zur Verfügung stehen. Meine Frage bleibt immer noch die gleiche: Sieht irgendjemand eine Möglichkeit, aus dem Gegebenen auf die Varianzen zu schließen?