Ranking für Bewertungen berechnen mit Spearman-Rho?

[cobtob]

Hallo,

Ich habe eine Studie durchgeführt, in der es um Wahrnehmung von Kunst geht. Folgendes Setting:
100 Besucher wurden gebeten, anhand einer Adjektivliste Eigenschaften des Kunstwerkes zu beurteilen (zb. interessant, lebendig, bewegend, schön...). Es gibt 62 solcher Adjektive, die auf unipolaren 7-stufigen Skalen bewertet wurden.

Zusätzlich hat der Künstler an verschiedenen Tagen drei solcher Listen ausgefüllt.
Nun möchte ich ein Ranking berechnen - wie dicht sind die Urteile der Probanden an der Wahrnehmung (Intention) des Künstlers. Das Künstlerurteil ist sozusagen der Referenzwert. Je stärker das Urteil der Besucher mit dem des Künstlers korreliert, desto besser ist die Intention des Künstlers rübergekommen.

Da meine Skalen nicht wirklich intervallskaliert sind und auch ein Test auf Normalverteilung negativ ausfiel, habe ich Spearman-Rang-Korrelationskoeffizienten zwischen den einzelnen Bewertern und dem Mittelwert der 3 Urteile des Künstlers berechnet. (Ich hatte ursprünglich auch an T-Tests gedacht, nur setzt der wohl auch Intervallskalierung und Normalverteilung vorraus).

in SPSS: jeweils eine Spalte pro Bewerter (Besucher) und die Mittelwerte des Künstlers. In den Zeilen stehen die Bewertungen der einzelnen Adjektive.

Kann ich das so machen oder bin ich methodisch auf dem Holzweg?? I

Ich würde mich sehr über Anregungen und Kommentare freuen.

Danke,
Tobias

[Generalist]

Zum Koeffizienten: wenn Du für einen Korrelationskoeffizienten berechnest für beispielsweise die Wertepaare
1/3
2/4
3/5
4/6
5/7
dann erhälst Du eine perfekte Korrelation, aber offenbar liegen die Bewertungsprofile deutlich auseinander.

Generell wird nicht klar, wozu schlußendlich Du 100 (!?) Vergleiche anstellst.

[cobtob]

Hallo Generalist, danke für die Antwort.

Ich gehe von einem einfachen Kommunikationsmodell mit Sender und Empfänger (nach Shannon) aus - die Frage ist: Kommt hinten das raus, was vorne reingeht. Bei einer erfolgreichen Kommunikation sollte eigentlich das Berwertungsprofil des Künstlers als Sender möglichst ähnlich von den Probanden (als Empfänger) wiedergegeben werden.

Nun würde ich gerne ein Ranking berechnen, aus dem klar wird, wie dicht die Bewertung an der künstlerischen Intention liegt. Von da ausgehend würde ich untersuchen, ob es etwa unter den "ersten 20" irgendwelch Auffällige Gemeinsamkeiten gibt (zb. viele Künstler und Musiker).

Ich brauche also ein Verfahren, dass mir Ähnlichkeiten zwischen einer Bewertung und einer Referenz berechnet - und das über meine 62 Adjektive.

Gruß, T

[Generalist]

62 Adjektive sind sicherlich massiv redundant. Gewöhnlich finden Bewertungen auf wenigen psychologischen Dimensionen/Skalen statt. Eine explorative Faktorenanalyse könnte zur Reduktion der 62 Bewertungen auf wenige voneinander unabhängige Bewertungsdimensionen führen, sofern die Adjektivliste nicht sogar von vornherein mit solchen Dimensionen/Skalen "geliefert" wurde (d.h. aus Vorstudien klar ist, welche Beurteilungen getrost zusammengefasst werden sollten).

So oder so, was Du brauchst, ist ein Ähnlichkeitsmaß, das die Abstände zwischen Beurteilungsprofilen berücksichtigt. Ein simples Maß wäre die euklidische oder die quadrierte euklidische Distanz. Vielleicht kann man auch die Mahalanobis-Distanz verwenden, die würde die Redundanzen (Korrelationen zwischen den 62 Adjektiven) berücksichtigen.

[cobtob]

ich hab die Liste selbst zusammengestellt, teils aus der Literatur teilweise eigene Adjektive. und manche sind eindeutig recht redundant.
ich hatte auch schon mal ne erste clusteranalyse (hierarchisch mit pearson) gerechnet und die zeigte mir 12 ziemlich nachvollziehbare cluster. meinst du es wär sinnvoller die erst zusammenzufassen und dann mein Ähnlichkeitsmaß zu berechnen? würde ich dafür für die einzelnen variablen im Cluster die Mittelwerte berechnen und damit weiterarbeiten?

Von der Faktorenanalyse hat mir
mein Betreuer ziemlich eindeutig abgeraten - ich bin halt leider wirklich kein statistiker - hab vor 9 Jahren mal 2 Scheine gemacht und brauch das jetzt plötzlich alles für meine diss.

die Distanzmass-Analyse (unter Korrelationen) in SPSS hab ich eben gefunden. Aber wie gebe ich da meine Varialblen rein? So wie ich das beim Spearman versucht hatte (eine Spalte pro Bewerter und in den Zeilen die Variablen der einzelnen Adjektive)? Ich war mir da immer nicht so 100% sicher was ich da mit wem verrechne...

sehr vielen dank für die Hilfe!

[Generalist]

Da Deine Fälle als Spalten (formal für das Programm also als Variablen) vorliegen, könntest Du Variablen Clustern, als Distanzmaß euklidische oder quadriert euklidische Distanz auswählen, und Dir die Distanzmatrix als Statistik anfordern. Aus der Distanmatrix kannst Du die 1 Spalte dann rauskopieren, die Dich interessiert.

Was die Datensatz-Reduktion angeht, bin ich etwas ratlos. Ob die "Clusteranalyse" über die 62 Adjektive sinnvoll und korrekt ist, kann ich aus der Ferne nicht beurteilen. Jedenfalls würde man üblicherweise aus zusammengehörigen Items (Beurteilungsadjektiven) einen Gesamtwert bilden durch einfache Addition oder einfache Mittelwertsbildung (was de facto dasselbe ist, solange keine fehlenden Werte auftreten).

[cobtob]

super, danke. Dann werde ich das mal angehen.
Ich denke ich werde den Score dann erstmal auf basis aller 62 Adjektive berechnen, so mache ich mich nicht so abhängig von der Qualität meiner Clusteranalyse. Daran kann ich dann später in Ruhe weiterarbeiten.

eine andere Frage habe ich noch, vielleicht ist das ein Fall für einen neuen Thread:
Ich habe die Probanden vor und nach Besuch der Ausstellung gebeten, anhand von 10 bipolaren 7 stuf. Skalen zb. "ruhig----------erregt" die eigene Grundstimmung zu beurteilen. Die pre&post Bewertungen der einzelnen Skalen würde ich nun gerne miteinander vergleichen: hat die Kunst eine Wirkung auf die Befindlichkeit? Würde ich dafür ähnlich vorgehen wie bei meinen Adjektiven? Wär super, die irgendwie so zu verrechnen, dass ich sagen kann ob es signifikante Veränderungen gibt..
Auch wär ich sehr an ähnlichen Ansätzen aus der Literatur interessiert. Ich hab die Skalen im Wesentlichen selbst zusammengestellt, aber ich vermute dass es viele vergleichbare Ansätze zb. in der Psychologie gibt.


Du wohnst nicht zufällig in Hamburg? Ich habe das Gefühl, ich sollte mich mal in Ruhe mit jemanden zusammensetzen, der wirklich Ahnung von Statistik hat - ich mach mir sorgen, dass man mich am Ende in der Luft zerreißt. Oder gibt es irgendeine physikalische Anlaufstelle für derartige Hilfegesuche?

Danke

[Generalist]

Zu behaupten, Befindlichkeitsveränderungen seinen spezifisch von der dargebotenen Kunst verursacht, wäre extrem kühn. Man lasse Leute 1 Stunde irgendwo durchschlappen, wo's was zu sehen gibt, wahlweise einen Stadtpark, eine Kunstausstellung, ein Einlaufszentrum, oder den Zentralbahnhof. Die Bewertungen auf solchen Skalen werden sich natürlich immer verändern, allein schon durch den Fortgang der Zeit und durch die Anforderungen des Hinschauens und Herumlaufens.

[cobtob]

ja, und die Daten geben Dir recht. Ich hab das graphisch nebeneinander gesetzt und die zwei Kurven liegen mehr oder minder deckungsgleich übereinander.
Ich hatte das so ähnlich erwartet - wohl nicht ganz so extrem, ich war eigentlich schon davon ausgegangen, dass man da irgendwelch Effekte sieht. Schon schade, wenn Kunstgenuss so rein gar keine Wirkung auf die Befindlichkeit zeitigt (oder wenn mein Messinstrument nichts davon erfasst), ich nehme an, jeder Hollywood-Film hätte da mehr Wirkung.
Naja - aber um diese Nicht-Veränderung irgendwie in Zahlen auszudrücken - wie stell ich das am schlausten an??

[Generalist]

Median vorher und Median nachher beschreiben, wahlweise auch Mittelwerte vorher und nachher. Der robusteste Test für diese Art von Daten ist der Wilcoxon-Vorzeichen-Rangtest. Natürlich vorausgesetzt, die Messungen vorher und nachher sind einander eindeutig zuzuordnen.

[cobtob]

alles klar, bisher hatte ich Mittelwerte nebeneinander geschrieben, allerdings keinerlei-Signifikanztest berechnet. Der Wilcoxon-Vorzeichen-Rangtest (ist doch ziemlich äquivalent mit dem Mann-Whitney-U-Test, richtig?) gibt mir nen Haufen großer Zahlen (ich fürchte, da muss ich nochmal in die Bib und nachlesen - so sagen die mir erstmal gar nichts) und Signifikanzwerte - die sehen mir ziemlich vertraut aus

nochmal zum Anfang: ich habe eben euklidische Distanzen für die Beurteilungen der Adjektive berechnet - der entstandene Score sieht super aus (hab mir die vorderen und hinteren plätze mal graphisch angesehen). Du hattes ja auch die Mahalanobis-Distanz ins Spiel gebracht. Wo würde ich die Funktion in SPSS finden? Ich würd das gern nochmal vergleichen - allerdings halte ichs für sinnvoll, meine Verfahren so simpel wie möglich zu halten, ich fürchte ich muss am Ende ziemlich genau erklären können, was ich da berechnet habe. und warum so und nicht anders...

[Generalist]

Der Wilcoxon-Vorzeichen-Rangtest (ist doch ziemlich äquivalent mit dem Mann-Whitney-U-Test, richtig?)

Nein, kein bisschen. Äquivalent zum U-Test ist der Wilcoxon-Rangsummentest. Die passen aber nicht, weil es sich hier um Messwiederholungen handelt.

Du hattes ja auch die Mahalanobis-Distanz ins Spiel gebracht. Wo würde ich die Funktion in SPSS finden?

Da schon die Bedienung der SPSS-Hilfefunktion nicht zu gelingen scheint, wäre
dann doch besser anzuraten, von komplexen statistischen Verfahren abzusehen.

[cobtob]

entschuldige, ich wollte eigentlich nicht allzu blöde Fragen stellen. Werde mir das heute abend nochmal genau anschauen und gegebenenfalls dann nochmal nachfragen.

beste Grüße und herzlichsten Dank für Deine großartige Hilfe und Geduld,
Tobias