Varianzanalyse mit Messwiederholung - Interpretation

[mariii]

Hallo zusammen

Kann mir bitte wer helfen, es geht nur um eine kurze Frage, die aber für meine Diplomarbeit grad sehr wichtig ist...

Und zwar mach ich eine Varianzanalyse mit zwei Messzeitpunkten (jeweils unterschiedliche Erhebungsmethoden). Zusätzlich möcht ich noch das Geschlecht der Personen als Gruppenfaktor aufnehmen.

Wenn ich mit und ohne den Gruppenfaktor rechne, bekomme ich jedes Mal einen Effekt für den Messwiederholungsfaktor. Soll ich beide interoretieren??? oder reicht es, wenn ich den interpretiere mit dem Gruppenfaktor Geschlecht? gibt es da einen inhaltlichen Unterschied??

Bitte antworte mir ganz kurz, ne minikurze antwort würd auch reichen

Liebbe Grüße,Maria

[Ronin3125]

Hi Maria,

ob es einen inhaltlichen Unterschied macht, kannst vermutlich allein du beantworten, da du (im Gegensatz zu uns) weisst, was du da ausrechnest

Wenn ich dich richtig verstehe, gibt es mit und ohne den Einbezug der Variable Geschlecht signifikante Mittelwertsunterschiede zwischen dem ersten und dem zweiten Zeitpunkt. Wenn es keine Interaktion zwischen dem Messwiederholungsfaktor und dem Geschlecht gibt, heisst das ja zunächst mal, dass die Mittelwertsunterschiede zwischen dem ersten und zweiten Zeitpunkt sich nicht zwischen Männern und Frauen unterschieden (die einen Werte sich also über die Zeit nicht signifikant "stärker" verändert als die anderen). Aber was du inhaltich daraus machst, hängt von deiner konkreten Fragestellung ab.

Grüße
Oliver

[mariii]

Hallo Oliver,

danke, dass Du mir geantwortet hast!!! Und vor allem die frage fast ohne vorinfos und ganz allgemein beantworten konntest!

ich versuch gerade zu verstehen, was eigtl nur ich wissen kann :
Also ich muss etwas validieren- Und zwar hab ich zum ersten Zeitpunkt Variablen online erhoben, zum zweiten Messpunkt mit nem Verhaltensexperiment.
Und meine Aufgabe ist quasi, mit den Ergebnissen des Verhaltensexperiments die Online-Sache zu validieren.

(Kurze Zwischenfrage: Würdest du da eine zusätzliche Regression rechnen neben der Messwiederholungs-Va? Hab mal die Werte grob durchgerechnet und es kommen meist seeehr niedrige r (quadrat) raus... meist unter .20. Ne Regression ist dann fast nix oder? ) Ok, dass nur ne kure zwischenfrage...

Jetz mein momentanes Lieblingsthema
Wenn ich ohne das Geschlecht ne signifanz rauskrieg, heißt das quasi, dass die Mittelwertsunterschiede der Variable xy auf die unterschiedlichen Erhebungsmethoden zurückzufühzren sind.

So, und wenn ich nun das Geschlecht einbeziehe, kommt für diesen Faktor ein ähnliches Ergebnis raus. Das besagt doch dann eigtl das Gleiche wie gerade ohne Geschlecht. ??
Und die signifikanz bei der wechselwirkung heißt somit, dass die Unterschiede beim Geschlecht abhängig von der Erhebungsmethode sind. ?

Du hast mir geschrieben, dass die Mittelwertsunterschiede zwischne dem ersten und zweiten Zeitpunkt sich nicht zwischen männer und frauen unterscheiden, dass hab ich immer als den Zwischensubjekteffekt, also den Haupteffekt vom Geschlecht interpretiert. Ist das die Wechselwirkung?

Puuh, i hoff, i kapiers bald

[Ronin3125]

Und zwar hab ich zum ersten Zeitpunkt Variablen online erhoben, zum zweiten Messpunkt mit nem Verhaltensexperiment.
Und meine Aufgabe ist quasi, mit den Ergebnissen des Verhaltensexperiments die Online-Sache zu validieren.

(Kurze Zwischenfrage: Würdest du da eine zusätzliche Regression rechnen neben der Messwiederholungs-Va? Hab mal die Werte grob durchgerechnet und es kommen meist seeehr niedrige r (quadrat) raus... meist unter .20. Ne Regression ist dann fast nix oder? ) Ok, dass nur ne kure zwischenfrage...

Ähm, mal anders gefragt: wieso benutzt du zur Validierung eine Varianzanalyse mit Meßwiederholung? Bin vermutlich nicht von deinem Fach, aber nach meinem Verständnis sollte das Erhebungsinstrument bei einer Meßwiederholung zu jedem Zeitpunkt dasselbe sein.

Wenn ich ohne das Geschlecht ne signifanz rauskrieg, heißt das quasi, dass die Mittelwertsunterschiede der Variable xy auf die unterschiedlichen Erhebungsmethoden zurückzufühzren sind.

Nein. Nach der Logik des Testens heisst das, dass die Mittelwertsunterschiede NICHT auf das Geschlecht zurückzuführen sind (und das gilt auch nur, wenn die Interaktion Zeit*Geschlecht nicht signifikanz ist - sollte sie signifikant sein, beeinflusst das Geschlecht gemeinsam mit dem Messzeitpunkt dein Ergebnis).

So, und wenn ich nun das Geschlecht einbeziehe, kommt für diesen Faktor ein ähnliches Ergebnis raus. Das besagt doch dann eigtl das Gleiche wie gerade ohne Geschlecht. ??

s. o.

Und die signifikanz bei der wechselwirkung heißt somit, dass die Unterschiede beim Geschlecht abhängig von der Erhebungsmethode sind.
?

Naja, nach der von dir beschriebenen Logik ja. Faktisch halte ich es für sehr gewagt, für diese Fragestellung eine VA mit MW zu verwenden - die Wiederholung (!) einer Messung impliziert für mich der Gebrauch desselben Messinstruments (ich suche ja nach Unterschieden in der Person, nicht im Messinstrument).

Du hast mir geschrieben, dass die Mittelwertsunterschiede zwischne dem ersten und zweiten Zeitpunkt sich nicht zwischen männer und frauen unterscheiden, dass hab ich immer als den Zwischensubjekteffekt, also den Haupteffekt vom Geschlecht interpretiert. Ist das die Wechselwirkung?

Das ist der Interaktionseffekt. Geschlecht = Between subject effects. Messzeitpunkt bzw Messzeitpunkt*Geschlecht = within subject effects (das wird dir bei SPSS übrigens auch in der Formulierung ausgespuckt.

[mariii]

Hallo Ronin, danke!!! ich bin ich viellecht in ner Sackgasse?
Würdest du dann eine Regression rechnen????? Ich will quasi rausbringen, dass die Ergebnisse der abhängigen Variablen sich nicht zwischen der online-Umfrage und dem Verhaltensexperiment unterscheiden. Ist es dann trotzdem falsch, zwei verschiedene Messmethoden zu haben?

Ich studier Psychologie, soviel zu meinem Fach


Wenn ich ohne das Geschlecht ne signifanz rauskrieg, heißt das quasi, dass die Mittelwertsunterschiede der Variable xy auf die unterschiedlichen Erhebungsmethoden zurückzufühzren sind.


Nein. Nach der Logik des Testens heisst das, dass die Mittelwertsunterschiede NICHT auf das Geschlecht zurückzuführen sind (und das gilt auch nur, wenn die Interaktion Zeit*Geschlecht nicht signifikanz ist - sollte sie signifikant sein, beeinflusst das Geschlecht gemeinsam mit dem Messzeitpunkt dein Ergebnis).

Okay..... Hierbei habe ich gemeint, wenn ich ohne Einbezug eines Gruppenfaktors einen signifkanten Effekt rauskrieg (also die beiden werte der abhängigen Variable zu den unterschiedlichen Erhebungszeitpunkte miteinander vergleiche). Was sagt das dann aus? Da ist ja gar kein Geschlecht dabei, wie ist diese ***-logik des Testens?

Hab bis jetzt für jede abhängige Variable immer erst eine Va mit Messwh "pur" ohne Gruppenfaktor gerechnet und dann mit Gruppenfaktor

[mariii]

Ah, jetzt hab ich noch etwas verstanden, was die Sache eeeetwas klarer macht. Bei den beiden Erhebungsmethoden (zwei Zeitpunkte, jeweils andere Zivilcourage erfordernde Situationen) hab ich jeweils mit den gleichen Fragen die gleichen abhängigne Variablen erhoben. also ist sozusagen die "methode" gleich (jeweils bewertung von 1 bis 6, selbe Frage).

Nur hab ich immer noch Probleme mit der Interpretation

[Ronin3125]

Hallo Ronin, danke!!! ich bin ich viellecht in ner Sackgasse?
Würdest du dann eine Regression rechnen????? Ich will quasi rausbringen, dass die Ergebnisse der abhängigen Variablen sich nicht zwischen der online-Umfrage und dem Verhaltensexperiment unterscheiden. Ist es dann trotzdem falsch, zwei verschiedene Messmethoden zu haben?

Nach meinem Dafürhalten ja. Du kannst ja in der Statistik immer nur die Nullhypothese testen. Deswegen bist du darauf angewiesen, möglichst viele andere Faktoren, die dein Ergebnis erklären könnten, zu eliminieren. Nehmen wir mal an, du gehst vor, wie von dir beschrieben und findest einen signifikanten Unterschied, dann weisst du nicht, ob dieser Unterschied aus den unterschiedlichen Instrumenten kommt oder weil sich die Personen zwischenzeitlich "verändert" haben.

Wenn du wissen willst, ob zwei unterschiedlich gestaltete Verfahren das gleiche Konstrukt messen, kommst du um ein externes Kriterium nicht drum rum. Auf der Ebene der Statistik brauchst du zudem eine hohe Korrelation (notwendig, aber nicht hinreichend) und könntest auch über Faktoranalysen prüfen, ob die Items beider Verfahren sich auf die gleichen Faktoren reduzieren lassen. VA mit MW ist da meiner Meinung jedenfalls nix. Sorry

Wenn ich ohne das Geschlecht ne signifanz rauskrieg, heißt das quasi, dass die Mittelwertsunterschiede der Variable xy auf die unterschiedlichen Erhebungsmethoden zurückzufühzren sind.

Siehe oben - könnte ja auch sein, dass die Menschen sich verändert haben.

Okay..... Hierbei habe ich gemeint, wenn ich ohne Einbezug eines Gruppenfaktors einen signifkanten Effekt rauskrieg (also die beiden werte der abhängigen Variable zu den unterschiedlichen Erhebungszeitpunkte miteinander vergleiche). Was sagt das dann aus? Da ist ja gar kein Geschlecht dabei, wie ist diese ***-logik des Testens?

Schau mal, das ist doch mit SPSS relativ einfach. Wenn du eine VA mit MW wie von dir beschrieben rechnest, dann kriegst du ja die Ergebnisse für alle drei Kombinationsmöglichkeiten (Zeitpunkt, Geschlecht, Zeitpunkt x Geschlecht) ausgewiesen. Nehmen wir folgende Ergebnisse an:

"Zeitpunkt" signifikant = Es macht einen Unterschied, ob ich zum ersten oder zum zweiten Zeitpunkt messen
"Geschlecht" signifikant = Es macht einen Unterschied, ob die Person männlich oder weiblich ist

"Zeitpunkt x Geschlecht" nicht signifikant = über die Zeit hinweg ist es egal, ob die Person männlich oder weiblich ist. Beide Gruppen haben zum Zeitpunkt 2 einen etwa gleich höheren oder gleich niedrigen Testwert als zum Zeitpunkt 1 (im Diagramm dadurch zu erkennen, dass die Linien nahezu parallel laufen).

Ein klassisches Beispiel aus deinem Feld sind Verfahren zur Messung von Depression. Depressionsscores sind bei Frauen höher ausgeprägt als bei Männern (Geschlecht = signfikant). Misst man eine unbehandelte Depression über zwei Zeitpunkte, hat man zum zweiten Zeitpunkt häufig niedrigere Werte (wg. Spontanremission, Zeitpunkt der Messung = signifikant). Das Ausmass der Spontanremission ist bei Männern und Frauen jedoch gleich (Zeit x Geschlecht = n. s. ), d. h. beide sacken vom ersten zum zweiten Zeitpunkt um den gleichen absoluten Betrag ab.

[mariii]

Hallo Ronin,

die Interpretation mit dem Depressionsbeispiel und mit der Auflistung hab i jetzt kapiert, danke!!!

Dann sagt dieser Effekt ("Zeitpunkt" signifikant = Es macht einen Unterschied, ob ich zum ersten oder zum zweiten Zeitpunkt messe) bei der Untersuchung mit und ohne dem Gruppenfaktor dasselbe aus, oder?

Wobei das, was er aussagt, nicht wirklich gut ist. Weil es könnt somit an der Erhebungsmethode liegen oder das die Versuchspersonen in den 2 Wochen bis zwei Monaten dazwischen plötzlich gute Menschen geworden isnd und jetzt immer zivilcourage machen. Danke, dass ich dass jetzt verstehen konnt!! (auch wenni es persönlich blöd find, dass i keine aussagen treffen kann, weil was jetzt...)

Ja, mh, was mach ich denn jetzt... Also Korrelationen sind insgesamt ja immer so ne sache, gibts einfach keine kausalen aussagen... Faktorenanalye könnt auch schwieruig werden, weil ich eine Skala auis acht Fragen hab, wo jede frage eine eigene AV darstellt.
für die regression brauch ich ja vorhersagefaktoren. und da hab ich nur das Geschlecht im Angebot. Hab mal für die einzelen Stichproben so ne grobe Regression gerechnet, und dann wurd das geschelcht zwar beim esten messzeitpunkt oft signifikant, beim zweiten aber so gut wie gar nicht. dann kann ich das ja auch vergessen irgendie....

[Ronin3125]

Dann sagt dieser Effekt ("Zeitpunkt" signifikant = Es macht einen Unterschied, ob ich zum ersten oder zum zweiten Zeitpunkt messe) bei der Untersuchung mit und ohne dem Gruppenfaktor dasselbe aus, oder?

Genauso ist es. Wenn dein Gruppenfaktor nicht mit dem Messwiederholungsfaktor interagiert, hat er -methodisch gesehen- keinen "Erklärungsmehrwert" für deine AV und kann eigentlich entfallen.

[mariii]

Hallo guten Morgen
hab schon voll drauf gehofft, dass eine nachricht von Dir kommt )

Ok, dann ist der Gruppenfaktor unbedeutend, danke!

Ich muss heute eine lösungsvorschlag am mittag abschicken. Bis gestern war ich mir ja noch sicher, dass die messwh anova ne gute idee ist. jetzt zweifel ich das absolut an. kannst Du mir bitte noch kurz helfen, was ich dann rechnen soll??

Hab heut nacht noch einiges gelesen, weiß aber nicht, was das richtige ist...
ZU Korrelation: Könnt dann eine Auto- oder Kreuzkorrelation berechnen. Oder so "Tests nach Steiger", um die korrealtionen miteinander zu vergleichen. Was hältst du davon??

Regression: Für meine zwei Messungen hab ich mal Regressionen durchgerechnet. Da kommt nur bei der Hälfte der AVs raus, dass sie mit den UVs signifikant zamhängen/durch diese aufgeklärt werden. Ist eine Regression sinnvoll?

Messwiederholung: Nicht klar, ob Veränderung der Person oder Messmethodenänderung das Ergebnis ausmachen.

Ja hallo, so blöd.... was mach ich jetzt?