Ordinaldaten, Mittelwertsvergleich, Kovariaten

[kisu]

Hallo ihr, ich bin neu im Forum und hoffe auf Hilfe!
Ich habe einen kleinen Datensatz (20 Personen, je 10 EG und KG) und einige Outcomes (14 Stück, Ordinaldatenniveau). Ich habe 4 Kontrollvariablen (ebenfalls Ordinal) erhoben.
Ich habe zum Mittelwertsvergleich den Mann-Whitney-U-Test verwendet (auch wenn das bei drei Items eigentlich nicht möglich war, wegen fehlender Varianzhomogenität*).
Ich habe gelesen, dass ich durch Regressionanalyse die Werte nach den Kontrollvariablen anpassen könnte, um dann mit den veränderten Outcomes noch einmal den U-Test zu rechnen. Allerdings habe ich nicht ganz herausgefunden, wo ich die neuen Daten herbekomme und habe erstmal geschaut, ob ich überhaupt Zusammenhänge finde (Korrelation). Es sind aber so gut wie keine Korrelationen signifikant (insg. nur 3 von 56), kann ich mir dann die Regressionanalyse nicht eigentlich schenken bzw. müsste ich nicht irgendwo finden, dass die eh nicht signifikant wäre (und kann mir dann die transformierten Werte sparen...)?
Ich hatte zuvor bei SPSS versucht eine ordinale Regression zu berechnen, das geht ja immer nur für eine AV (?) und da kommen viele Fenster mit Sig., ich weiß nicht, welches davon, das entscheidende ist, um zu sagen, dass eine Regressionanalyse keinen Sinn macht. Könnt ihr mir da helfen?


*die fehlende Varianzhomogenität liegt darin begründet, dass einige aus der EG eine starke Veränderung durchleben, andere nicht. Die Maßnahme hat also differentiell gewirkt. Da bringt es dann doch auch nicht Transformationen zu versuchen, oder?

Ich freu mich auf Hilfe und hoffe, es meldet sich jemand!!!
Liebe Grüße
Jenni

[Generalist]

Ich habe einen kleinen Datensatz (20 Personen, je 10 EG und KG) und einige Outcomes (14 Stück, Ordinaldatenniveau). Ich habe 4 Kontrollvariablen (ebenfalls Ordinal) erhoben.

Viel zu wenig Beobachtungsobjekte bei viel zu vielen Variablen, wie es scheint.

Das Thema der Studie, die genaue Fragestellung sowie die genaue Ausgestaltung der Messinstrumente sind leider nicht angegeben.

Ich habe zum Mittelwertsvergleich den Mann-Whitney-U-Test verwendet (auch wenn das bei drei Items eigentlich nicht möglich war, wegen fehlender Varianzhomogenität*).

U-Tests führen keinen Mittelwertvergleich durch. Und ein Mittelwertvergleich kann bei ordinalen Daten sowieso nicht durchgeführt werden, da ordinale Daten keinen Mittelwert haben.

Ich habe gelesen, dass ich durch Regressionanalyse die Werte nach den Kontrollvariablen anpassen könnte

Zumindest nicht mit einer linearen Regression, die erfordert Intervallskalenniveau der abhängigen Variable.

Ich hatte zuvor bei SPSS versucht eine ordinale Regression zu berechnen, das geht ja immer nur für eine AV (?)

Die ist hier nicht sinnvoll berechenbar, da die 4 ordinalskalierten Variablen mit k Stufen jeweils in k-1 dummy-Variablen umgewandelt werden müssten, um sie als Prädiktoren verwenden zu können; und dies zusammen mit der Gruppenvariable dürfte (fast) soviel Prädiktoren wie Fälle ergeben.

[kisu]

Ja, ich weiß, dass normale Regelungen viel größere Stichproben enthalten. Es ist allerdings nicht möglich gewesen und es geht sich bei der Studie auch nicht darum, die wissenschaftliche Forschung zu revolutionieren und in einer großen Zeitschrift publizieren zu dürfen, sondern einen Trainingserfolg zu evaluieren... Selbst da, ist eine größere Stichprobe eigentlich notwendig, in dem Fall habe ich aber ausdrücklich den Auftrag vom Betreuer bekommen, es genauso zu machen mit insgesamt 20 Personen. Also das größere Stichproben besser sind, kann man gerne vernachlässigen.

Einige Outcomes sind Items, die man zu Skalen zusammenfassen kann, wodurch man deutlich weniger Outcomes hätte. Da dann aber weniger signifikant wird, wollte ich lieber auch die Gruppen mit den einzelnen Items vergleichen.

Zum U-Test, ja ich dachte, das beschreibt man so mit dem Mittelwert, wenn man schaut, ob sich die Gruppen signifikant voneinander in ihrer Ausprägung unterscheiden. Dann habe ich mich da vertan. Habe aber -denke ich doch- letzteres gemacht.

Thema der Studie ist die Evaluation eines Trainings (KG= nicht-TN, EG= TN), Fragestellung: Ist die EG gleich hoch oder höher in den Ausprägungen als die KG nach dem Training?, Messinstrumente: Ratingskalen mit Ordinaldatenniveau (Beobachtungsinstrument).


Ja, ich wollte es ja wenn mit dieser ordinalen Regression probieren... hm, das zum letzten Punkt habe ich nicht ganz verstanden. Also obwohl die Korrelationen extrem gering sind, sollte ich es trotzdem mal mit einer Regression probieren? Und dann müsste ich, diese k-Stufen umwandelnn (wo geht das?). Ich würde das nicht getrennt machen nach EG/KG. Es geht sich darum, ob die Kontrollvariablen allgemein stark auf die Outcomes wirken/diese bedingen und nicht je nach Gruppe. Wenn es viele Prädiktoren gibt, ist das ja an sich erstmal nicht schlimm. Viele sind doch dann eventuell gar nicht signifikant (geht das?) bzw. können nur wenig vorhersagen. Wenn das der Fall ist (was ich aufgrund der Korrelationen vermute), wäre das Verfahren ja eh relativ sinnlos. Eigentlich möchte ich nur so eine Art Beweis für meine Vermutung oder reicht es auf die geringen Korrelationen zu verweisen bzw. habe ich Unrecht?

[Generalist]

Ja, ich weiß, dass normale Regelungen viel größere Stichproben enthalten.

Den Satz verstehe ich leider nicht. Es besteht ein Mißverhältnis zwischen Stichprobengröße und Variablenzahl. Daher muss man seine Analyse realistisch an die Stichprobengröße anpassen.

Einige Outcomes sind Items, die man zu Skalen zusammenfassen kann, wodurch man deutlich weniger Outcomes hätte. Da dann aber weniger signifikant wird, wollte ich lieber auch die Gruppen mit den einzelnen Items vergleichen.

Ach Herrje. Daten so zurichten, dass sie möglichst "signifikant" werden, ist nun leider nicht jedermanns Sache.

Ja, ich wollte es ja wenn mit dieser ordinalen Regression probieren... hm, das zum letzten Punkt habe ich nicht ganz verstanden. Also obwohl die Korrelationen extrem gering sind, sollte ich es trotzdem mal mit einer Regression probieren?

Nein.

[kisu]

Hallo Generalist, danke nochmal für deine erneute Antwort.

Ich meinte mit dem ersten Satz, dass mir klar ist, dass normalerweise größere Stichproben genommen werden bei so gut wie allen Testungen für statistische Testverfahren. Ich muss auch zugeben, dass ich nicht so recht verstehe, warum man bei kleinen Stichproben nur z. B. 2 Variablen erheben darf statt 6 Variablen. Ich berechne doch für jede einzelne Variable, ob die Gruppen sich unterscheiden und habe nicht verstanden, warum dieser Unterschied von der Anzahl der insgesamt erhobenen Variablen beeinflusst ist. Wahrscheinlich habe ich mich deswegen auch für dich unverständlich ausgedrückt.

Zum "signifikant"-Werden lassen einiger Unterschiede zwischen den Gruppen: Ich denke es ist ganz nett, um zu zeigen, dass durchaus auch signifikante Unterschiede gefunden werden können, sonst ist der mittlere Rang wenigstens durchgehend in der EG größer als in der KG. Ich finde es nicht verwerflich in einem Satz zu erwähnen, dass ein Item einer Skala -wenn man es isoliert betrachtet- schon einen statistisch signifikanten Effekt aufweist beim Vergleich der Gruppen.

Okay, kann ich aufgrund der geringen Korrelationen angeben, dass eine Regressionsanalyse "überflüssig" ist?

[kisu]

Also ich bin gerade nochmal die Daten durchgegangen.
Eine Skala, die aus drei Items besteht, korreliert signifikant mit allen vier Kontrollvariablen (wenn ich mir die Korrelationen der Items anschaue, korreliert nur eins dieser drei Items - ist der Effekt dann auf dieses Item zurückzuführen?). Ich habe Kendall-Tau-B gewählt.
Wie könnte ich den Einfluss der Kontrollvariablen auf diese Skala herausrechnen?