Auswertung einer Vollerhebung

Fragen und Diskussionen rund um die Statistik und deren Anwendung.
Antworten
travellight
Beiträge: 5
Registriert: 04.04.2018, 23:26

Auswertung einer Vollerhebung

Beitrag von travellight »

Hallo ihr Lieben!

In der Literatur finde ich leider nichts Hilfreiches zu Vollerhebungen, darum hoffe ich, dass ihr mir hier weiterhelfen könnt.

Folgendes Szenario:

Für meine Masterarbeit habe ich ein Projekt nach seiner Pilotphase evaluiert und dabei alle 31 ProjektteilnehmerInnen mittels Fragebogen befragt. Ich habe eine Rücklaufquote von 100%, also es handelt sich tatsächlich um eine Vollerhebung.
Bei dem Fragebogen handelt es sich hauptsächlich um ordinalskalierte Variablen (6-teilige Likert-Skalen mit Fragen zu Zufriedenheit, Qualitätsmerkmale, Probleme, etc.)

Nach der deskriptiven Statistik erscheint es mir noch sinnvoll, den Datensatz auf Zusammenhänge zu untersuchen.

Meine Fragen:

1. Soll ich Kendall's Tau b oder Spearman verwenden?
2. Welche Rolle spielt die Signifikanz?
3. Ab welchen Werten kann ich von einem Zusammenhang niedriger/mittlerer/hoher Stärke sprechen?

Vielen Dank schon vorab für jede Hilfe!

LG
dutchie
Beiträge: 2640
Registriert: 01.02.2018, 10:45

Re: Auswertung einer Vollerhebung

Beitrag von dutchie »

Hallo du Lieber/ du Liebe

Das sind ja ziemlich grundsätzliche Fragen.

1. Es ist strittig ob die Items ordinal sind , meiner Meinung nach sind sie es nicht.
2. Es ist strittig ob du eine Vollerhebung vorliegt, du hast zwar alle Personen erfasst, pro Person aber nur eine Verhaltenstichproben.
Würde die Person ein zweites mal gemessen. würde sie genauso Antworten ? Meiner Meinung nach nicht.
3. Strittig, üblich, und meiner Meinung nach fälschlich, ist die Orientierung an Cohen.
Du brauchst ein Maß der praktischen Signifikanz. Werte sind so groß wie sie sind, darüber bauch ich nicht zu "sprechen".
Das ist wie bei dem Witz: "Ich hab ein Oboen Konzert geschrieben, aber keiner konnte es aufführen. Ich hab es in Prosa geschrieben:" HaHa :shock:

Das alles musst du mit deinem Betreuer besprechen.

gruß
dutchie
aele90
Beiträge: 25
Registriert: 30.08.2017, 12:24

Re: Auswertung einer Vollerhebung

Beitrag von aele90 »

Hallo dutchie,

am Rande, weil ich gerade in einem anderen Kontext darüber gestolpert bin:
Du sagtest, dass Du die Orientierung an Cohen üblich, aber fälschlich findest. Warum fälschlich? An welchen Quellen orientierst Du dich?

Gruß
aele
dutchie
Beiträge: 2640
Registriert: 01.02.2018, 10:45

Re: Auswertung einer Vollerhebung

Beitrag von dutchie »

hallo

Der Forscher selber kann nur im Rahmen seiner Forschung und seiner Kriterien
und aus seinem Kontext heraus entscheiden, ob ein Effekt bedeutsam ist.
Und nicht irgend welche Tabelle, sondern inden er validiert was er tut.
r= .3 ist in der Allgemeine Psychologie wenig in der Sozialpsychologie viel.
Die Therapie hat einen Effekt von r=.5, das ist nach Cohen ein starker Effekt,
und alle Patienten sind noch in Behandlung.
Da braucht es auch keine Quellen, das muss man nur selber denken, und das ist das Problem.
Ich weiß nicht wie Cohen diese Tabellen aufgestellt hat, vielleicht sind sie das Resultat, irgendwelcher
Statistiken, Screenings von Forschung der letzten 10 Jahre.

So jetz sind wir mal gespannt was sol.itude dazu sagt.

gruß
dutchie
dutchie
Beiträge: 2640
Registriert: 01.02.2018, 10:45

Re: Auswertung einer Vollerhebung

Beitrag von dutchie »

hallo aele 90

Anders herum wird ein Schuh draus.
Wenn ich vor Datenerhebung, in der planungsphase, nur eine diffuse Vorstellung
von meinem Effekt habe, und gerademal zwischen klein/mittel/groß unterscheiden kann.
Dann kann ich in die Tabellen schauen, und fragen was heißt das in d, dann kann ich mir
eine standardabweichung meiner Methode raussuchen und das in m diff umrechnen, und sagen aha
das ist souundso viel unterschied, das sind in oder pro item ca so und so... und bekomme eine Vorstellung
welchen impact ich der UV geben muss. Oder wenn ich den Verauchplan wähle und zwischen t und Anova schwanke
dann die Effektstärken der Verfahren umrechne, vergleiche und in relation zu n setzt.
Dazu kann ich die Tabellen nutzen.

gruß
dutchie
travellight
Beiträge: 5
Registriert: 04.04.2018, 23:26

Re: Auswertung einer Vollerhebung

Beitrag von travellight »

Vielen lieben Dank für eure Kommentare!

vielleicht hol ich noch ein bisschen aus... (Quellen zu den Punkten unten liefere ich gerne morgen früh nach!)

Die Grundsatzdiskussion, ob ordinal- oder intervallskaliert ist mir durchaus bekannt, ich wäre auch eher auf der ordinalskalierten Seite. Kendall’s Tau ist meines Wissens ja auch eine Rangkorrelation, allerdings angeblich für kleine Stichproben günstiger als Spearman und nicht so sensibel gegenüber Ausreißern. Außerdem wäre (meinem Verständnis nach) die Interpretation leichter, weil Kendall‘s Tau-b als % interpretiert werden kann
Allerdings habe ich selbst gar keine praktische Erfahrung mit Kendall‘s tau und wollte mal sehen, wie ihr die beiden Verfahren im Vergleich seht ... ;)

Die Frage mit der Signifikanz beschäftigt mich deshalb, weil ich in einer der wenigen Quellen zu Vollerhebungen gelesen habe, dass man unter bestimmten Umständen bei Erhebungen der Grundgesamtheit die Signifikanz überhaupt vernachlässigen könnte und ich dadurch sehr verunsichert war. Da ich allerdings mit meinen Ergebissen über die Pilotphase des Projektes auf weitere Folgeprojekte schließen möchte, bin ich aber mittlerweile zu dem Schluss gekommen, dass ich sie berücksichtigen muss. Die oben genannten Argumente sind für mich in dem Zusammenhang auch sehr schlüssig!

Zum lieben Herrn Cohen...*Kopfzerbrechen* Mir wurde bis jetzt in allen Statistik-Lehrveranstaltungen nur vorgekaut 0.1/0.3/0.5 entspricht niedrig/mittel/hoch. Dann habe ich in Cohens Arbeiten reingelesen und dann ist mir erst annähernd klar geworden, was hier eigentlich dahintersteckt. Und je mehr ich lese, desto mehr Fragezeichen hab ich xO Aber es ermutigt mich sehr, mal von jemandem zu hören/lesen, dass ich es für mein Forschungsfeld selbst einschätzen muss - vor allem da es mit dem Bezug auf Referenzwerte auf Grund mangelnder Datenlage schwierig werden könnte.

LG
dutchie
Beiträge: 2640
Registriert: 01.02.2018, 10:45

Re: Auswertung einer Vollerhebung

Beitrag von dutchie »

Hallo travellight
travellight hat geschrieben:ich wäre auch eher auf der ordinalskalierten Seite.
meinst du nicht auf der intervallskalierten Seite?
Ich seh überhaupt keinen Grund deine Items (gut, ich kenn sie nicht genau) wie Zufriedenheit
als ordinal skaliert anzusehen. Aufgrund des numerischen Relativ ist Zufriedenheit intervallskalierbar,
und im rating gemessen auf 1 2 3 4 5 6 bezugssystem, und ist damit intervallskaliert gemessen mit Fehler allerdings,
mir scheint der Fehler ist für Manche Grund nur Ordinalniveau anzunehmen. Das ist aber auch nur ordinal mit Fehler.
Auf intervallniveau hab ich eine Chance den Fehler herauszurechnen, auf ordinalniveau nicht.
Damit hat sich die Frage nach Spearman oder Kendall eigentlich erledigt, aber das ist deine Entscheidung.
Mir ist der Kendall auch lieber, auch weil es eine Interpretation gibt, in % wie du sagst, aber wenn man dann so
mit Proversion und Inversion daherkomm (ich hoffe ich erinnere mich richtig), weiß nicht...
Warum machst du nicht beide! Und entscheidest wenn beide zum selben Resultat konnen in diese Richtung,
und wenn die beiden sich widersprechen konservativ in richtung Ho üblicherweise.

Ich würde auch Signifikanzen angeben, wegen Pilotphase unbedingt.

Mal spekulieren: Zur Zufriedenheit auf 1 2 3 4 5 6, (da fehlt die Mitte), wie findet der Befragte eine Antwort?
z.B..man entscheidet links - rechts, schließt die Extreme aus und pendelt dann zwischen 2 und 3 oder 4 und 5.
Das Extreme zieht an der 2, die Mitte an der 3, schwierig --Metakognition--jetzt ärgert man sich das keine mittlere
Antwort möglich auf man flüchten könnte, und man merkt auch an diesem Punkt alle möglichen Antwortverzerrungen.
Wenn die Entscheidung bei einem Abstand 1 schwerfällt, kann das bedeuten das der ebenmerkliche Unterschied größer ist als 1.
Dann machen Unterschiede kleiner als 1 keinen Sinn, weil nicht wahrnehmbar...??? oder hab ich grad ordinalniveau bewiesen :shock: ? :lol: ?

Ach, es bleibt schwierig...Aber deswegen macht man ja..

gruß und danke, dass du so ausführlich reagiert hast.
dutchie
travellight
Beiträge: 5
Registriert: 04.04.2018, 23:26

Re: Auswertung einer Vollerhebung

Beitrag von travellight »

Ich finde es mal sehr erfreulich und beruhigend, dass es auch andere Menschen gibt, denen die Entscheidung nach ordinal/intervallskaliert auch nach Durchdenken verschiedener Argumentationen schwer fällt :lol:
Und ich finde es grade total toll, das Thema mal wirklich mit jemandem zu diskutieren (wurde an der Uni sonst immer recht knapp abgespeist...)

Ich sage mal so, ausgehend von dem was ich an der Uni bis jetzt so gelernt habe, bin/war ich doch tatsächlich mehr auf der ordinalskalierten Seite der Diskussion, da sich meine Forschungsrichtung (Unterrichts- und Schulforschung) stark an den Sozialwissenschaften orientiert. Und da sagen alle im Chor: "Das ist klar eine Likert-Skala, die ist immer ordinalskaliert". Grund ist erstens, dass man davon ausgehen kann, dass der Proband zwar die Reihung der Antwortmöglichkeiten auf einer Skala "richtig" interpretiert ("sehr zufrieden" ist "mehr" als "zufrieden") aber man nicht davon ausgehen kann, dass der Proband den >Abstand< zwischen "sehr zufrieden" und "zufrieden" gleich groß interpretiert wie zwischen "zufrieden" und "teils/teils". Und diese Interpretationen kann wiederum die kognitive Linguistik sehr schlüssig argumentieren. Und rein semantisch sind auf der Skala ja noch unendlich viele weitere Abstufungen möglich, die der Proband allerdings nicht auswählen kann, weil ich sie ihm nicht anbiete.
Ob man am Fragebogen dann "sehr - eher - teils/teils - eher nicht - gar nicht" oder "1-2-3-4-5" stehen hat, wird - was ich bis jetzt gelesen habe - in den Sozialwissenschaften vernachlässigt, da es für den Probanden aufs Gleiche hinausläuft.

Rückblickend wurde leider seeehr disziplin-treu unterrichtet, also ich habe bis jetzt nie erfahren, wie z.B. Psychologen für eine Intervallskala argumentieren, darum freue ich mich riesig über deine Gedankengänge @dutchie :mrgreen:

Im Endeffekt läuft es wohl drauf hinaus, dass ich mich für eine Variante entscheiden und diese schlüssig argumentieren muss.

Habe jetzt auch mal Kendall und Spearman gerechnet - und siehe da - sehr ähnliche Ergebnisse :D

Vielen Dank auf alle Fälle, das hat schon mal alles viel mehr Licht in die Sache gebracht!

LG
dutchie
Beiträge: 2640
Registriert: 01.02.2018, 10:45

Re: Auswertung einer Vollerhebung

Beitrag von dutchie »

hallo travellight
travellight hat geschrieben:Ob man am Fragebogen dann "sehr - eher - teils/teils - eher nicht - gar nicht" oder "1-2-3-4-5" stehen hat, wird - was ich bis jetzt gelesen habe - in den Sozialwissenschaften vernachlässigt, da es für den Probanden aufs Gleiche hinausläuft.
ne ne ne, das ist schon wichtig, es ist auch ein Unterschied zwischen 12345 123456 1234567, probier das mal an dir selber aus, oder an deiner Freundin
(deinem freund , frau oder halt wer gerade da ist) und frag dann danach, bei welcher Skala es leichter war eine Antwort zu geben.

mal zum googln: äquidistante Skalen nach Rohrmann

Richtig ist: man will die VP quasi in die äquidistanz zwingen durch die Zahlenvorgabe 1 2 3 4 5.
Man kann im aber auch einfach ein Kontiquum abieten, eine analog skala ohne Unterteilung,
da bleibt einem nichts anderes übrig als mit den lineal nach zu messen. was ist das jetzt intervall mit fehler,
odinal ohne fehler, ordinal mit fehler...? im Zweifel hab ich etwas in cm gemessen...
Richtig ist auch : man will nicht auf ordinalniveau rumdödeln, und sieht vielleicht mehr Abstände als da sind.
Bei Psychologen ist alles erst mal intervall, das versucht man dann zu validieren...
Man muss dann unterscheiden: zwischen dem Merkmal im empirischen Relativ, den Messvorgang an sich,
dem Verhältnis Messwert wahrer Wert, der Skala, und den Aussagen die man will, unterscheiden.
Zum lesen:
Gigerenzer, Messung und Modellbildung in der Psychologie UTB

und noch was, wegen der Stichprobengröße, teste doch sequentiell, hol dir 20 Vp - testen - noch mal 10 - testen -...
musst nur darauf achten wenn du die Methoden veränderst, oder sich die Situationen ändern, wegen Konstant halten....
Anzeige:Statistik und SPSS: Die besten Bücher
Als Buch oder E-Book - Jetzt bestellen
spss datenanalyse
SPSS - Moderne Datenanalyse - Jetzt bestellen!
statistik datenanalyse
Statistik - Der Weg zur Datenanalyse - Jetzt bestellen!
Antworten