Liebe Alle
Es hat sich bei mir eine weitere Frage ergeben, die ich gerne in die Runde werfen möchte.
Kurze Zusammenfassung: Ich untersuche die Unterscheidung von Täuschung und Wahrheit in schriftlichen Aussagen.
In den Aussagen wurden Merkmale kodiert und diese trennen wahre von getäuschten Aussagen sehr gut (r(pb) = .789***).
Die Personen, die die Aussagen beurteilt haben (wahr oder getäuscht), lagen insgesamt nicht überzufällig oft richtig mit ihrem Urteil.
Nun würde mich interessieren, ob Personen, die überdurchschnittlich oft richtig lagen, die Kriterien im Text genutzt haben (dasselbe auch für überdurchschnittlich oft falsch). Diese Annahme würde dann unterstützt, wenn die Anzahl Kriterien mit der Anzahl Merkmale kovariieren würde.
Jede Person hat 4 Texte beurteilt. Also habe ich als überdurchschnittlich gut eine Trefferquote von mind. 75% definiert (überdurchschnittlich schlecht max. 25%).
Dann habe ich pro Aussage (insgesamt 16; 4 verschiedene Fragebogenversionen à 4 Aussagen) die durchschnittliche Häufigkeit an Wahr-Urteilen berechnet. Die Idee hier ist, dass Personen, die sich auf die Kriterien stützen, umso eher ein "Wahr"-Urteil abgeben, je weniger Kriterien vorhanden sind, weil die Kriterien auf Täuschung hinweisen.
Nun habe ich eine Spearmankorrelation (Kodierung wird als ordinalskaliert angenommen) gerechnet zwischen Anzahl Kriterien und Häufigkeit Wahr-Urteil der Personen mit guter Accuracy (und dasselbe mit schlechter Accuracy).
Die Ergebnisse fallen hochsignifikant und in die erwartete Richtung aus. Die Korrelations-Werte bewegen sich zwischen .520 und .809).
Jetzt stelle ich mir folgende Frage:
Wenn die Hinweise stark mit dem Wahrheitsgehalt der Aussage zusammenhängen und ich nun schaue, ob Personen, die überdurchschnittlich gut waren (also 3 oder 4 von 4 Aussagen richtig eingeordnet haben) auf diese Hinweise "zurückgreifen" (also ob hier ein signifikanter ZH zwischen Wahrheitsurteil und Hinweisen besteht; natürlich keine Aussage über eine Kausalität), ist es dann bei dieser Konstellation nicht zwangsläufig, dass der Zusammenhang zwischen Wahrheitsurteil und Merkmalen sehr hoch ausfällt?? Denn diese Personen haben ja oft richtig gelegen und dadurch kovariieren doch die Wahrurteile automatisch mit den Hinweisen??
Übersehe ich irgendetwas? Was denkt ihr dazu?
Merci und Gruss,
Grauli
Ergebnisse interpretierbar oder tautologisch?
-
Grauli
- Beiträge: 11
- Registriert: 29.09.2010, 08:56
-
jake2042
- Beiträge: 27
- Registriert: 21.05.2011, 14:54
Re: Ergebnisse interpretierbar oder tautologisch?
Hallo Grauli,
Deine Überlegung zum Schluss, ob es »bei dieser Konstellation nicht zwangsläufig [sei], dass der Zusammenhang zwischen Wahrheitsurteil und Merkmalen sehr hoch ausfällt«, weil »diese Personen [...] ja oft richtig gelegen« haben und es deshalb automatisch eine hohe Korrelation mit den Hinweisen gibt, ist – soweit ich das aus dem, was Du geschrieben hast, herauslesen kann – völlig richtig.
An sich denke ich, Du hättest, um herauszufinden, nach welchen Kriterien die Vp die Aussagen beurteilen, genau das in einer eigenen Fragenbatterie (die unabhängig von den Merkmalen selbst ist) abfragen sollen. Dabei kannst Du selbstredend nur diejenigen Kriterien feststellen, die Du auch abfragst.
Um diese Fragenbatterie zu entwerfen, müsstest Du erst einmal eine Idee davon bekommen, nach welchen verschiedenen Kriterien die Leute überhaupt Aussagen auf ihren Wahrheitsgehalt hin beurteilen. Dazu hätte es meiner Meinung nach genügt, wenn Du sehr wenige (wenn Du alleine arbeitest etwa fünf bis maximal zehn) Leute, die auch einfach willkürlich ausgesucht sein können, gebeten hättest, einmal aufzuschreiben, aus welchen Gründen sie welche der 16 Aussagen für wahr oder falsch halten. Dann schaltetst Du den Computer aus (wenn er an war) und Deinen Kopf ein, setzt Dich mit den schriftlichen Aussagen Deiner fünf bis zehn Pretest-Proband/inn/en, Papier und Bleistift an den Schreibtisch und versucht per Brainstorming aus diesen schriftlichen Zeugnissen die Kriterien zu eruieren, die die Leute tatsächlich gehabt haben. Daraus und den von Dir kodierten Merkmalen konstruierst Du dann eine Fragenbatterie, die Du über ein geeignetes Skalierungsverfahren daraufhin überprüfst, wie gut mit den einzelnen Statements die einzelnen Merkmale erfasst werden können und schmeißt Statements, die keines der Merkmale trennscharf erfassen, wieder raus.
Schließlich kannst Du die fertige Fragenbatterie den ursprünglichen Vp vorlegen, um herauszufinden welche Vp welche (abgefragten) Kriterien für die Beurteilung der Aussagen heranziehen, ob also Vp die besonders gut abgeschnitten haben auch überdurchnittlich viele Deiner Merkmale zur Beurteilung benutzen.
Viele Grüße
jake2042
Deine Überlegung zum Schluss, ob es »bei dieser Konstellation nicht zwangsläufig [sei], dass der Zusammenhang zwischen Wahrheitsurteil und Merkmalen sehr hoch ausfällt«, weil »diese Personen [...] ja oft richtig gelegen« haben und es deshalb automatisch eine hohe Korrelation mit den Hinweisen gibt, ist – soweit ich das aus dem, was Du geschrieben hast, herauslesen kann – völlig richtig.
An sich denke ich, Du hättest, um herauszufinden, nach welchen Kriterien die Vp die Aussagen beurteilen, genau das in einer eigenen Fragenbatterie (die unabhängig von den Merkmalen selbst ist) abfragen sollen. Dabei kannst Du selbstredend nur diejenigen Kriterien feststellen, die Du auch abfragst.
Um diese Fragenbatterie zu entwerfen, müsstest Du erst einmal eine Idee davon bekommen, nach welchen verschiedenen Kriterien die Leute überhaupt Aussagen auf ihren Wahrheitsgehalt hin beurteilen. Dazu hätte es meiner Meinung nach genügt, wenn Du sehr wenige (wenn Du alleine arbeitest etwa fünf bis maximal zehn) Leute, die auch einfach willkürlich ausgesucht sein können, gebeten hättest, einmal aufzuschreiben, aus welchen Gründen sie welche der 16 Aussagen für wahr oder falsch halten. Dann schaltetst Du den Computer aus (wenn er an war) und Deinen Kopf ein, setzt Dich mit den schriftlichen Aussagen Deiner fünf bis zehn Pretest-Proband/inn/en, Papier und Bleistift an den Schreibtisch und versucht per Brainstorming aus diesen schriftlichen Zeugnissen die Kriterien zu eruieren, die die Leute tatsächlich gehabt haben. Daraus und den von Dir kodierten Merkmalen konstruierst Du dann eine Fragenbatterie, die Du über ein geeignetes Skalierungsverfahren daraufhin überprüfst, wie gut mit den einzelnen Statements die einzelnen Merkmale erfasst werden können und schmeißt Statements, die keines der Merkmale trennscharf erfassen, wieder raus.
Schließlich kannst Du die fertige Fragenbatterie den ursprünglichen Vp vorlegen, um herauszufinden welche Vp welche (abgefragten) Kriterien für die Beurteilung der Aussagen heranziehen, ob also Vp die besonders gut abgeschnitten haben auch überdurchnittlich viele Deiner Merkmale zur Beurteilung benutzen.
Viele Grüße
jake2042
-
Grauli
- Beiträge: 11
- Registriert: 29.09.2010, 08:56
Hallo Jake2042
Vielen Dank für deine Antwort!
Deine Idee ist eine sehr spannende Herangehensweise an das Problem. Im Grunde genommen sind die beiden Vorgehensweisen ähnlich. Bei deinem Vorschlag manipuliert man die Kriterien, von denen man weiss, dass Personen sagen, sie würden sie bei ihrer Entscheidung berücksichtigen. Eine Schwerigkeit besteht ja darin, dass Personen nicht immer formulieren können, was sie nun tatsächlich berücksichtigen. Das Linsenmodell von Brunswik hat einen ähnlichen Hintergedanken. Wenn man von Kriterien weiss, dass sie ökologisch valide sind, kann man schauen, ob das Antwortverhalten mit dem vorliegen der Merkmale variiert und damit darauf zurückschliessen, ob die Personen die Merkmale berücksichtigen oder nicht.
Ich habe das Gefühl, dass bei meiner Studie das Problem darin besteht, dass pro Person nur 4 Aussagen bewertet wurden. Dadurch ist es gar nicht möglich, genügend Variabilität zu haben, dass jemand gut sein kann ohne dass dann ein möglicher Zirkelschluss naheliegt. Wie siehst du das?
Auf Vorschlag der Betreuung steht nun die Idee im Raum, eine Regression zu rechnen (allerdings bei den Resultaten mit dem Hinweis, dass eben nur begrenzte Aussagekraft). Das Kriterium wäre entweder dichotom (Mediansplit) oder kontinuierlich (Prozent Häufigkeiten). Die Prädiktoren eigentlich ordinalskaliert (weil gewichtete Häufigkeiten und deshalb nicht begründbar, dass Abstände gleichwertig sind). Gibt es dazu überhaupt ein Verfahren (v.a. wegen den ordinalskalierten Prädiktoren)? Habe bisher nirgedns was dazu gefunden...
Viele Grüsse
Grauli
Vielen Dank für deine Antwort!
Deine Idee ist eine sehr spannende Herangehensweise an das Problem. Im Grunde genommen sind die beiden Vorgehensweisen ähnlich. Bei deinem Vorschlag manipuliert man die Kriterien, von denen man weiss, dass Personen sagen, sie würden sie bei ihrer Entscheidung berücksichtigen. Eine Schwerigkeit besteht ja darin, dass Personen nicht immer formulieren können, was sie nun tatsächlich berücksichtigen. Das Linsenmodell von Brunswik hat einen ähnlichen Hintergedanken. Wenn man von Kriterien weiss, dass sie ökologisch valide sind, kann man schauen, ob das Antwortverhalten mit dem vorliegen der Merkmale variiert und damit darauf zurückschliessen, ob die Personen die Merkmale berücksichtigen oder nicht.
Ich habe das Gefühl, dass bei meiner Studie das Problem darin besteht, dass pro Person nur 4 Aussagen bewertet wurden. Dadurch ist es gar nicht möglich, genügend Variabilität zu haben, dass jemand gut sein kann ohne dass dann ein möglicher Zirkelschluss naheliegt. Wie siehst du das?
Auf Vorschlag der Betreuung steht nun die Idee im Raum, eine Regression zu rechnen (allerdings bei den Resultaten mit dem Hinweis, dass eben nur begrenzte Aussagekraft). Das Kriterium wäre entweder dichotom (Mediansplit) oder kontinuierlich (Prozent Häufigkeiten). Die Prädiktoren eigentlich ordinalskaliert (weil gewichtete Häufigkeiten und deshalb nicht begründbar, dass Abstände gleichwertig sind). Gibt es dazu überhaupt ein Verfahren (v.a. wegen den ordinalskalierten Prädiktoren)? Habe bisher nirgedns was dazu gefunden...
Viele Grüsse
Grauli
