Manipulation Ckeck.... Neue Umfrage notwendig?

[MalveM]

Hallo Zusammen,
ich habe eine Frage, die mir hier vielleicht jemand beantworten kann

Also ich teste, ob positive und negative Formulierung einer Werbeanzeige (manipulation) Einfluss auf die Intention zum Spenden hat (DV).

Beim Test of Homogeneity of Variances (Sig.>0.5) wird bezüglich Intention diese Bedingung nicht erfüllt (INT--> Sig.=0.18)

Bei der ANOVA ist darüberhinaus kein signifikanter Unterschied zwischen den einzelnen Gruppen bezüglich intention.

Heisst das, dass die Manipulation nicht geklappt hat und ich nochmal an den Fragebogen ansich ran muss ?

Bei Wikipedia habe ich folgenden Auszug dazu gefunden, den ich jedoch auch nicht so ganz verstehe: "Manipulations are NOT intended to verify that the manipulated factor caused variation in the dependent variable. Random assignment, manipulation before measurement of the dependent variable, and statistical tests of effect of the manipulated variable on the dependent variable verify this. Thus, a failed manipulation check does not refute that the manipulation caused variation in the dependent variable."

Über Eure Hilfe wäre ich sehr dankbar!

Viele Grüße!

[Generalist]

Beim Test of Homogeneity of Variances (Sig.>0.5)

Du setzt ein alpha von 0,5 an?

wird bezüglich Intention diese Bedingung nicht erfüllt (INT--> Sig.=0.18)

Wenn Du das häufig angesetzte alpha von 0,05 oder besser 0,1 für die
Testung von Verteilungsvoraussetzungen verwendest, ist doch alles in
Ordnung.

Allerdings ist es auch eine Frage der Stichprobengröße. Bei sehr kleinen
Stichproben sind Tests zwangsläufig sehr unsensitiv.

Außerdem ist Varianzhomogenität eigentlich nur bei ungleich großen Gruppen
von Belang. Von den Stichprobengrößen hast Du leider nichts geschrieben.

Bei der ANOVA ist darüberhinaus kein signifikanter Unterschied zwischen den einzelnen Gruppen bezüglich intention.
Heisst das, dass die Manipulation nicht geklappt hat und ich nochmal an den Fragebogen ansich ran muss ?

Was sollte denn da nicht geklappt haben? Vielleicht stimmt einfach Deine
Hypothese nicht. Und außerdem bezieht sich Deine Frage doch auf die UV,
nicht auf den Fragebogen (AV), was soll also ein "an den Fragebogen ran"
(was immer damit auch genau gemeint ist) ändern?

[MalveM]

Hallo,
danke für die schnelle Rückmeldung! Bezüglich alpha hatte ich mich verschrieben.
Eckdaten meiner Stichprobe:
N=125 (male=60; female=65). Ich habe dann drei Manipulation Groups und eine Kontrollgruppe á 31-32 Teilnehmern.

Mit "nicht geklappt" meinte ich, dass keine großen Unterschiede zwischen den einzelnen Gruppen besteht zwischen ihrer Intention zu spenden nach dem Lesen des Werbetextes. Sorry, wenn ich mich da etwas komisch ausgedrückt habe... Vielleicht muss ich auch etwas konreter schreiben:

H1a: Positive message framing has a positive impact on intention.
H1b: Negative message framing has a positive impact on intention.
H1c: Social identity message framing has a positive impact on intention.

Diese verschiedenen framing Arten habe ich dann mt der Kontrollgruppe (n=319) verglichen, aber die ergebnisse auf einer 7 point likert scale mit der ich intention gemessen habe sind für alle vier gruppen sehr ähnlich. ich weiss ehrlich gesagt auch nicht, ab welcher "Größe des Unterschiedes" man von einer erfolgreichen Manipulation spricht

Viele Grüße

[Generalist]

Bedaure, ich erkenne das Problem nicht. Es wurde der 4-stufige Faktor
"Art des framing" hinsichtlich seiner Wirkung auf Intention untersucht, es
fand sich wider erwarten kein Effekt auf Intention. Wo ist nun die Statistik-
oder Methodenfrage? Ob das hypothetische Konstrukt "positives Framing"
oder "negatives Framing" angemessen operationalisiert wurde, lässt sich
von hier ja schlecht beantworten, und ein Manipulationscheck (zum Beispiel
Befragung der Teilnehmer oder neutraler Beobachter, wie sie die Framings denn
einordnen und beurteilen) hat nicht stattgefunden.

[MalveM]

Die Statistik Frage war, ab wann man eine gewisse Abweichung zur Kontrollgruppe als "wahren Unterschied" erkennt bzw. deutet.

[Generalist]

Deuten kann man auf Basis eines inferenzstatistischen Tests. Im Fall des
simultanen Vergleichs von 4 Gruppen wird eine einfaktorielle Varianzanalyse
und darin ein F-Test berechnet. Konventionellerweise wird ein Testergebnis
mit einer Signifikanz/einem p-Wert < 0,05 als "signifikant" beurteilt. Es wird
dann davon ausgegangen, dass Unterschiede in der Stichprobe nicht allein auf
den Zufall (Stichprobenfluktuation) zurückzuführen sind. Wird hingegen
der Stichproben-Unterschied nicht signifikant (also p > 0,05), so wird
die Null-Hypothese beibehalten, welche lautet, dass die Stichproben aus
Grundgesamtheiten stammen, deren Mittelwerte sich nicht unterscheiden.