Varianzanalyse mit Messwiederholung-hier angemessen?

[Fin]

Hallo liebe Statistikfreunde,

ich habe ein Problem bezüglich der Auswertung der Daten für meine Diplomarbeit.

Es geht um Folgendes:

In einem Experiment haben N=24 Probanden Phantombilder mit zwei verschiedenen Programmen (A oder B) von jeweils 4 verschiedenen Gesichtern unterschiedlicher Ethnien (Deutsch, Türkisch, schwarzer Südafrikaner, weißer Südafrikaner) erstellt- es gibt also insgesamt 96 solcher Phantombilder.

Im Anschluss haben wir in einem Folgeexperiment die Qualität der Phantombilder mit Hilfe einer Matching-Aufgabe untersucht:

12 neue Probanden haben versucht, die 96 Phantombilder den richtigen Gesichtern zuzuordnen- als Qualitätsindex betrachte ich die Anzahl der richtigen Zuordnungen über alle 12 Personen hinweg (also 0-12).

Gerne würde ich berechnen, ob die Qualität der Phantombilder sich in Abhängigkeit von dem verwendeten Rekonstruktionsprogramm und der Ethnie der Zielperson unterscheidet.

Hierfür habe ich eine 2 (Software A, B) x 4 Varianzanalyse (4 versch. Ethnien) mit Messwiederholung berechnet (da ja jeder Proband Gesichter aller 8 möglichen Kombinationen zugeordnet hat).

Nun kommen mir aber Zweifel ob dieses Vorgehen abgemessen ist, da ich ja nicht die Richtigkeit der Entscheidungen jedes einzelnen Probanden als abhängige Variable betrachte, sondern die Anzahl richtiger Entscheidungen für jedes Phantombild. Die Einheit der Analyse ist also das Phantombild und nicht der Proband. Ist dieses Vorgehen trotzdem gerechtfertigt?

Falls ja, muss ich beim Berichten der Ergebnisse etwas Besonderes beachten?

Ich hoffe, meine (leider etwas lang geratenen) Ausführungen an dieser stelle waren verständlich. Ich bin für jede Hilfe dankbar und Stelle, falls nötig, gerne weitere Informationen zur Verfügung!

Herzlichen Dank!
Fin

[drfg2008]

In einem Experiment haben N=24 Probanden Phantombilder mit zwei verschiedenen Programmen (A oder B) von jeweils 4 verschiedenen Gesichtern unterschiedlicher Ethnien (Deutsch, Türkisch, schwarzer Südafrikaner, weißer Südafrikaner) erstellt- es gibt also insgesamt 96 solcher Phantombilder.

Also ich komme hier auf folgende Kombinationen:

Programm: 2
Gesichter: 4
"Ethnie": 4

Das macht: 4x4x2 = 32 Kombis und nicht 96.

Nach der Wiki-Definition von Ethnie (die die Religion beinhaltet) komme ich allerdings auf folgende Mindestzahl (!) an Kombis (Quelle: Wiki):

Süd-Afrika (15):

Deutschland (78 )

Türkei -Etnien- (25)


Und dann gibt es noch 2 Geschlechter.

Da komme ich auf:

Deutschland 78
Südafrika 15
Türkei 27
Geschlecht 2
Programm 2

117.000 Kombinationen.

Eine "schwarze Ethnie" in Südafrika konnte ich nicht finden. Und was ist denn ein "deutsches Gesicht" (siehe oben) ? Statistisch betrachtet, würde ich dir ein orthogonal reduziertes Design empfehlen.

Nun kommen mir aber Zweifel ob dieses Vorgehen abgemessen ist

Ich glaube eine Messwiederholung ist angemessen.

[Fin]

Vielen Dank für die Antwort- leider beantwortet sie noch nicht meine Frage.

Also ich komme hier auf folgende Kombinationen:

Programm: 2
Gesichter: 4
"Ethnie": 4

Das macht: 4x4x2 = 32 Kombis und nicht 96.

Es sind nur 8 Kombinationen: 2 (Programme) x 4 (Gesicher unterschiedlicher Ethnien- oder Herkunft- wenn, das besser ist).
Auf jede dieser Kombinationen entfallen 12 verschiedene Phantombilder (=96).

Den Einwand, dass Ethnie hier vielleicht etwas vereinfacht definiert ist (wenn ich dich richtig verstanden habe), ist nachvollziehbar- es ist aber nicht anzunehmen, dass eine solche Aufschlüsselung bei meiner Untersuchung sinnvoll ist .

[drfg2008]

12 neue Probanden haben versucht, die 96 Phantombilder den richtigen Gesichtern zuzuordnen

Diesen Teil der Fragestellung übersetze ich so: Es hat durch eine Rating-Gruppe eine Zuordnung gegeben. Jetzt soll geprüft werden, ob die 12er Gruppe die gleiche Zuordnung trifft. Da gibt es verschiedene Übereinstimmungs- und Unabhängigkeitsmaße im Bereich der nichtparametrischen Methoden.

Hier dürfte eventuell der Chi-Quadrat (aus dem Tabellenmodul) interessant sein als Maß der Unabhängigkeit, insofern die Probanden pro Gruppe zusammengefasst werden. Stellt sich nur die Frage, was die Frage ist. Im selben Modul finden sich auch Übereinstimmungsmaße.

Gerne würde ich berechnen, ob die Qualität der Phantombilder sich in Abhängigkeit von dem verwendeten Rekonstruktionsprogramm und der Ethnie der Zielperson unterscheidet.

Wenn die AVs normalverteilt ist/sind und die UVs kategorial, dann kann ein ALM berechnet werden. Auch Wechselwirkungen lassen sich darstellen.


Als Literaturhinweis: http://www.amazon.de/Kurzgefasste-Stati ... 315&sr=8-3

http://www.amazon.de/gp/product/3642127 ... d_i=301128

[Fin]

Halt, ich glaube jetzt habe ich dein Problem verstanden!

Ich habe mich wohl missverständlich ausgedrückt:

Es ging bei der Matching-Aufgabe nicht darum, die Phantombilder irgendwelchen Ethnien zuzuordnen, sondern dem ursprünglichen Gesicht, das rekonstruiert werden sollte!! (Also wie bei einem Fahndungsaufruf der Polizei: "Wer kennt diesen Mann?")

Jeder Proband bekam 4 Stapel (nach "Ethnie" sortiert, ich bleibe jetzt mal dabei) mit jeweils 24 "Phantombildern" in die Hand gedrückt. Jedes Bild in einem Stapel sollte eine von 6 verschiedenen Zielpersonen darstellen. Fotos der 6 Zielpersonen lagen vor dem Probanden auf dem Tisch und es war nun seine Aufgabe, die Phantombilder entsprechend zuzuordnen.

Konnte ein Phantombild von allen 12 Probanden richtig zugeordnet werden, spricht das für die Qualität dieses Phantombilds, konnte es nur von wenigen richtig zugeordnet werden, spricht es eher gegen die Qualität des Phantombilds.

Ich habe nun also aufgrund dieser Matching-Aufgabe für jedes Phantombild einen "Qualitätsindex", der von 0-12 reicht. Meine Frage ist, ob sich der Qualitätsindex (sprich, die Häufigkeit der richtigen Zuordnung)- zwischen den Ethnien und den verwendeten Softwareprogrammen unterscheidet. Das Konzept der "Ethnie" in einem soziologischen Sinn ist mir hierbei völlig egal- es geht wirklich nur um das Äußere der Personen- es gibt zum Beispiel das psychologische Phänomen, dass es schwieriger ist, Menschen mit einer anderen Hautfarbe wiederzuerkennen als solche, die aus dem eigenen Kulturkreis stammen- das zur Erklärung.

Meine statistische Frage bezieht sich jetzt lediglich darauf, ob es vertretbar ist, diese Qualitätswerte als AV einer Messwiederholungs-ANOVA zu betrachten. Normalerweise dürfte ich ja nur über Stimuli hinweg Daten zusammenfassen (also zum Beispiel Person A hat 5 von 12 Phantombilder, die mit Programm A erstellt wurden und ein deutsches Zielgesicht zeigen, richtig zugeordnet). Ich habe allerdings über die Versuchspersonen hinweg (!) Daten zusammengefasst (also 5 von 12 Personen haben das Phantombild XY, das eine Deutsche Zielperson darstellt und mit Programm A erstellt wurde, richtig zugeordnet). Ich hoffe, es ist jetzt deutlicher geworden!

Auf jeden Fall vielen Dank für die Mühe.
Viele liebe Grüße,
Fin

[drfg2008]

Wenn ich das so richtig verstanden habe, ergibt sich folgendes stark verkürztes Schema:

http://spss-seminar.de/spss_tutorial/ethnie.zip


Allerdings ergeben sich noch Fragen bzgl. der Kombination mit den Programmen (dann ergeben sich bei vollständiger Kombination 2 x 96 Karten pro Person) - wenn ich das richtig verstanden habe.

Dann hast du, genau genommen, eine hypergeometrische Verteilung. Denn wenn erst einmal eine Karte gezogen wurde, ist die Ziehungswahrscheinlichkeit der übrigen eine andere. Wahrscheinlich kann man das aber vernachlässigen.

Meßwiederholung sehe ich eigentlich nicht, sondern eine univariate ANOVA über die aggregierten Daten (siehe zip-File). Von der Fokussierung auf die Probanden muss man sich wohl trennen, obwohl das gerade die interessante Frage zu sein scheint: die eigene "Ethnie" wird leichter erkannt. Wenn die Hintergrundvariablen der Pbn allerdings alle gleich sind, kann man sich das natürlich sparen.

Gruß

[Fin]

Ja, jetzt haben wir uns richtig verstanden. Vielen lieben Dank für deine Mühe!!!

Bezüglich der Programme:
Es sind 96 Phantombilder insgesamt, also 48 je Programm.
In jedem Stapel befinden sich 12 Bilder, die mit dem einen und 12, die mit dem anderen Programm erstellt wurden, bunt gemischt durcheinander.
Jeweils 2 Bilder, die mit demselben Programm erstellt wurden, zeigen das selbe Zielgesicht- insgesamt müssten also jedem Zielgesicht 4 Phantombilder zugeordnet werden.

Die Probanden, die die Bilder zugeordnet haben, waren alle Deutsche, daher sind hier keine Unterschiede zu erwarten. Sie wurden auch so instruiert, dass auf jedes der Zielgesichter unterschiedlich viele Phantombilder entfallen können (obwohl dies ja nicht stimmt, siehe oben), so dass jedes Phantombild weiterhin jedem Zielgesicht zugeordnet werden kann.

Du würdest also einfach eine zweifaktorielle ANOVA ohne Messwiederholung rechnen? Wenn ich das richtig verstanden habe, sind die Phantombilder dann sozusagen die "Subjects", Ethnie und Programm fungieren als between-subjects Faktoren und AV ist die Anzahl richtiger Zuordnungen aus der Matchingaufgabe?

Das klingt sinnvoll. Ich hoffe, mein Prof ist mit dieser Lösung einverstanden.

Viele liebe Grüße und ein schönes Wochenende!

[drfg2008]

Das ist ja ein richtiger Intelligenztest.

Ich habe jetzt mal die Korrektur auf meinen Server gestellt:

http://spss-seminar.de/spss_tutorial/phantombild.zip


Ist das so richtig?

Soweit ich das verstanden habe, gibt es aber noch ein Problem: Meinst du mit "Meßwiederholungen" die Tatsache, dass jeweils zweimal die gleichen Bilder pro Stapel und Programm vorkommen?

Das wäre falsch.

Du kannst zwar den gesamten Versuch doppelt anlegen, um eine Art "Kreuzvalidierung" vorzunehmen. Das ist aber nicht die Intention, wenn ich das richtig verstanden habe. Benutzt du die zweite Karte als "Meßwiederholung", gehst du einer ganz anderen Frage nach.

Es würden also je Stapel und Programm maximal 6 Karten reichen.

Damit hast du ein zweites Problem: das der Verteilung. Auch wenn du den Probanden mitteilst, dass sie die Karten hinlegen können, wo sie wollen. Sie werden dennoch schnell merken, dass es eine eindeutige Zuordnung gibt, und damit ist die Hypergeometrische Verteilung fällig. Und dann geht das ganze ALM nicht mehr. Das ist auf den ersten Blick offensichtlich.

Ich sehe da eine Möglichkeit: Du wählst ein reduziertes (orthogonales Design) und füllst weitere Karten hinzu, die nirgendwo passen und teilst den Probanden mit, dass sie auch Karten zur Seite legen können, wenn diese nicht passen. Dann wäre wenigstens einigermaßen die IID-Verteilung zu rechtfertigen

Das orthogonale Design besteht aus nur 32 (statt 96) Karten.

Code: Alles auswählen

*Orth. Design erzeugen.
ORTHOPLAN
  /FACTORS=F1 'Zielgesicht' (1 'Foto 1' 2 'Foto 2' 3 'Foto 3' 4 'Foto 4' 5 'Foto 5' 6 'Foto 6') 
    F2 'Programm' (1 'A' 2 'B') F3 'Ethnie' (1 'Stapel 1' 2 'Stapel 2' 3 'Stapel 3' 4 'Stapel 4') 
  /REPLACE.
_DATASET NAME Phantombild.
.

Es findet sich auch im zip-Ordner.

Du würdest also einfach eine zweifaktorielle ANOVA ohne Messwiederholung rechnen? Wenn ich das richtig verstanden habe, sind die Phantombilder dann sozusagen die "Subjects", Ethnie und Programm fungieren als between-subjects Faktoren und AV ist die Anzahl richtiger Zuordnungen aus der Matchingaufgabe?

Genau.

Gruß

[Fin]

Das ist ja ein richtiger Intelligenztest. Wink

Freut mich, wenn ich dich noch fordern kann .

Ja, genau, so wie auf der ersten Folie dargestellt, stimmt das Design.
Auf der zweiten Folie steht 24x4x2 Zeilen- es müssten aber 12x4x2 sein, also 96- ansonsten stimmt es.

Soweit ich das verstanden habe, gibt es aber noch ein Problem: Meinst du mit "Meßwiederholungen" die Tatsache, dass jeweils zweimal die gleichen Bilder pro Stapel und Programm vorkommen?

Nein, ich hatte mit Messwiederholung ursprünglich gemeint, dass alle 12 Probanden ja alle Phantombilder zuordnen müssen- also von Deutschen, Türkischen und Südafrikanischen Zielgesichtern, die mit beiden Programmen erstellt wurden. Jede Versuchsperson durchläuft also im Prinzip alle 8 Kombinationen. Allerdings möchte ich ja eigentlich nichts über die Fähigkeit der Versuchspersonen wissen, sondern über die Qualität der Phantombilder (bzw. darüber wie gut man mit den beiden Programmen Gesichter der verschiedenen Ethnien darstellen kann), da lag wahrscheinlich der Denkfehler.

Es würden also je Stapel und Programm maximal 6 Karten reichen.
Damit hast du ein zweites Problem: das der Verteilung. Auch wenn du den Probanden mitteilst, dass sie die Karten hinlegen können, wo sie wollen. Sie werden dennoch schnell merken, dass es eine eindeutige Zuordnung gibt, und damit ist die Hypergeometrische Verteilung fällig. Und dann geht das ganze ALM nicht mehr. Das ist auf den ersten Blick offensichtlich.

Das verstehe ich nun wiederum nicht...Es gibt ja auch eine eindeutige Zuordnung (und eine richtige "Lösung", wenn man so will). Ist es ein Problem, dass es eine gewisse "Ratewahrscheinlichkeit" gibt, das richtige Gesicht zu treffen?

Ich sehe da eine Möglichkeit: Du wählst ein reduziertes (orthogonales Design) und füllst weitere Karten hinzu, die nirgendwo passen und teilst den Probanden mit, dass sie auch Karten zur Seite legen können, wenn diese nicht passen. Dann wäre wenigstens einigermaßen die IID-Verteilung zu rechtfertigen

Das orthogonale Design besteht aus nur 32 (statt 96) Karten.

Das ist leider keine Option, da die Daten schon erhoben sind (und die Diplomarbeit auch in 3 Wochen abgegeben werden muss ). Sollte das Design für eine "herkömmliche" inferenzstatistische Auswertung zu problematisch sein, würde ich die Ergebnisse zur Not nur deskriptiv beschreiben. Es ist nur ein kleiner Teil des gesamten Versuchs, daher wäre das zu verkraften.

Vielen Dank nochmal und herzliche Grüße!

[drfg2008]

Ja, genau, so wie auf der ersten Folie dargestellt, stimmt das Design. Auf der zweiten Folie steht 24x4x2 Zeilen- es müssten aber 12x4x2 sein, also 96- ansonsten stimmt es.

ja, den Rest hatte ich einfach so stehen lassen, daher stimmt nur die erste Folie.

Wenn aber die Folie stimmt, dann hast du in jedem Teil-Stapel (jeweils für A und B) zweimal ein gleiches Gesicht. Damit hättest du den Versuch praktisch zweimal durchgeführt. Damit würde der Index aber nicht bis 12 gehen, sondern bis 24. So ganz habe ich das dann doch wohl nicht verstanden.

Daher mein Vorschlag, nur ein Gesicht je Stapel zu nehmen, also je Stapel und Programm 6 Karten.

Daten sollten aber immer erst erhoben werden, nachdem die Modelle geklärt sind. Eine inferenzstatistische Auswertung wäre sicherlich ein Plus. Das wäre schon noch möglich. Eine Dipl. Arbeit ist keine Diss. Hier können durchaus auch Probleme hinsichtlich fehlerhafter Modellspezifikation angesprochen werden.

Gruß

[Fin]

Damit würde der Index aber nicht bis 12 gehen, sondern bis 24. So ganz habe ich das dann doch wohl nicht verstanden.

Der Index bezieht sich ja nicht auf das Zielgesicht, sondern auf jedes einzelne Phantombild!
Die Tatsache, dass es von jedem Gesicht 2 (bzw. 4-2 pro Programm) Rekonstruktionen gibt, hätte ich jetzt eher als ein Plus für die Reliabilität gesehen (-es kann ja auch an den schlechten Fähigkeiten des Rekonstrukteurs liegen, wenn ein Bild nicht zuzuordnen war, nicht am Zielgesicht/Programm etc., so gibt es hier zumindest so etwas wie einen Ausgleich-oder?)

Daten sollten aber immer erst erhoben werden, nachdem die Modelle geklärt sind. Eine inferenzstatistische Auswertung wäre sicherlich ein Plus.

Das stimmt natürlich. Dieser Teil der Studie war ein bisschen "quick & dirty" und wird von der Folge-Diplomandin nochmal ausführlicher, mit größer angelegten Experimenten bearbeitet. Eine inferenzstatistische Auswertung war mit dem Betreuer auch eigentlich gar nicht abgesprochen, hatte mir nur selbst überlegt, dass es ganz nett wäre. Leider kann ich das nun nicht mehr besprechen, da er bis zu meinem Abgabetermin im Ausland ist.