Signifikanztest abhängige Stichproben ohne Normalverteilung

[Beatrix Kiddo]

Hallo allerseits!
Ich habe eine Befragung zu zwei Zeitpunkten gemacht, bei denen sich die Stichproben sowie die Fragen gleichen. Jetzt muss ich zur Auswertung wissen, ob die Unterschiede in den Antworten zwischen den Stichproben zufällig zustande kommen oder signifikant sind. Die Variablen sind metrisch skaliert. Eine Besonderheit ist noch, dass meine Stichprobe gleich meiner Grundgesamtheit ist, ich also eine Vollerhebung gemacht habe.
Welcher Test ist der richtige für mich?

Ich dachte bisher, es sei der Zweistichproben-t-Test für abhängige Stichproben. Wenn ich alles richtig verstanden habe, müssen die Stichproben hierfür aber normalverteilt sein (korrekt?). Mittels des Kolmogorov-Smirnov-Tests habe ich herausbekommen, dass fast alle meiner Variablen nicht normalverteilt sind. (bei der asymptotischen Signifikanz steht jeweils 0 oder irgendetwas unter 0,05 - das bedeutet doch, dass in dem Fall die Nullhypothese, dass die Variable normalverteilt ist, abgelehnt werden muss, oder?).

Was kann ich nun tun? Es gibt doch auch Signifikanztests für abhängige Stichproben, bei denen keine Normalverteilung vorliegen muss, oder? Welche sind das?

Und ist es in meinem Fall überhaupt so wichtig, ob meine Daten normalverteilt sind, weil ich ja den Fall habe, dass meine Grundgesamtheit nicht unbekannt ist (oder bringe ich hier etwas durcheinander?)?
Über eine baldige Antwort würde ich mich SEHR freuen DANKE!

[Generalist]

Signifikanztests dienen dem Schluß von Stichprobendaten auf Populationsparameter. Ist Stichprobe=Population, dann ist die Frage nach dem Stichprobenzufall gegenstandslos und Tests ebenfalls.

[Beatrix Kiddo]

Soweit ich weiß, ist das, was du angesprochen hast, EIN Fall, bei dem man Signifikanztests einsetzt. Allgemein werden sie ja benutzt, um die Gültigkeit oder Ungültigkeit einer Hypothese festzustellen.

In meinem Fall wäre also die Nullhypothese, dass die Verteilung der ersten Stichprobe gleich der Verteilung der zweiten Stichprobe ist (oder?). Ein Test (den ich suche, weil ich nicht weiß, welcher passt), sagt mir z.B. anhand eines Mittelwertvergleichs o.ä., ob das so ist oder nicht.

Der Signifikanztest wäre dann dazu da, um zu testen wie wahrscheinlich es ist, dass ich mich irre, wenn ich aufgrund dieses Werts die Nullhypothese verwerfe.

Habe ich doch richtig verstanden oder?

[Generalist]

Soweit ich weiß, ist das, was du angesprochen hast, EIN Fall, bei dem man Signifikanztests einsetzt. Allgemein werden sie ja benutzt, um die Gültigkeit oder Ungültigkeit einer Hypothese festzustellen.

Statistische (Null-)Hypothesen sind Aussagen über Parameter in Grundgesamtheiten. Wie zum Beispiel (vereinfacht): In den Grundgesamtheiten, aus denen meine beiden Stichproben stammen, ist Mittelwert von Population1 = Mittelwert von Population 2.
Die Stichprobendaten werden verwendet, um diese Nullhypothese zu verwerfen oder gegebenenfalls beizubehalten.

In meinem Fall wäre also die Nullhypothese, dass die Verteilung der ersten Stichprobe gleich der Verteilung der zweiten Stichprobe ist (oder?). Ein Test (den ich suche, weil ich nicht weiß, welcher passt), sagt mir z.B. anhand eines Mittelwertvergleichs o.ä., ob das so ist oder nicht.

Die Aussage, dass hier keine Stichprobe vorliegt, von der auf eine Grundgesamtheit geschlossen werden soll, stammt von Dir. Allein darauf beziehe ich mich. Schließende Statistik schließt von Stchproben auf Populationen. Ist Stichprobe=Population gibt es nichts zu schließen oder zu testen, die Deskriptivstatistik liefert alle Antworten.

Der Signifikanztest wäre dann dazu da, um zu testen wie wahrscheinlich es ist, dass ich mich irre, wenn ich aufgrund dieses Werts die Nullhypothese verwerfe.

Das sowieso nicht. Aber erstmal solltest Du Dir darüber klar werden, was Du willst. Wenn Du angibst, Deine Erhebung sei eine Vollerhebung , so bedeutet das, dass Du keine generalisierenden Aussagen über Deine erhobenen Daten hinaus machen willst. Ist dies der Fall, braucht es keine schließende Statistik. Solltest Du aber generalisierende Aussagen machen wollen, dann handelt es sich nicht mehr um eine Vollerhebnung, sondern Deine Daten wären eine Stichprobe aus einer Population, über die Du etwas aussagen willst.

[Beatrix Kiddo]

Vielen Dank für deine Antwort!
Du hast völlig Recht, ich habe eine Vollerhebung gemacht und kann/will demnach keine Aussagen über die von mir befragte Gruppe hinaus generalisieren. Ich dachte daher auch, dass ich keine Signifikanztests machen muss und einfach bloß die Mittelwerte vergleichen kann (das entspräche doch deinem Vorschlag, das man sich nur die Deskriptivstatistik angucken muss, oder?).

Nun wurde mir aber dazu geraten, um zu testen, ob die Zusammenhänge, die ich in der Stichprobe finde, nicht nur zufällig zustande gekommen sind. Also ob die Unterschiede, welche ich zwischen den Stichproben feststelle, signifikant sind oder nicht. Hierzu wurde mir der Zweistichproben-t-Test für abhängige Stichproben empfohlen - bei dem habe ich aber nun gelesen, dass ich eine Normalverteilung brauche, die ich nicht habe...

Fällt dir sonst etwas anderes ein, wie ich zeigen kann, dass die Unterschiede zwischen den Stichproben signifikant sind?

[Generalist]

"Nur zufällig zustandegekommen" kann sich nur auf den Stichprobenzufall
beziehen, also handelt es sich um eine Studie, bei der von
Stichprobendaten auf Grundgesamtheiten geschlossen werden soll.
"Signifikant" heißt inferenzstatistisch signifikant, also eine ausreichend
große Abweichung den Stichprobendaten von dem, was unter der
Nullhypothese erwartet würde. Andere Bedeutungen von "signifikant"
behandelt sie Statistik nicht.

Für den t-Test kann es erforderlich sein, dass die Daten jeder der beiden
Stichproben (nicht von beiden Stichproben zusammen) aus einer
normalverteilten Grundgesamtheit stammen. Sollte die Gesamt-Stichprobe
> 50 Fälle liegen (manche sagen sogar: > 30), so ist die
Normalverteilungsannahme aufgrund des zentralen Grenzwertsatzes
entbehrlich. Allerdings sollte man sich grafisch vergewissern, in welcher
Weise die Abweichung vorliegt, zum Beispiel ob Extremwerte/Ausreißer
die Verteilung dominieren. Falls die beiden Gruppen ungleich groß sind,
sollten aber die Standardabweichungen in etwas gleich groß sein.

[Beatrix Kiddo]

Danke für deine Antwort!
Ich habe nochmal länger über meine Grundgesamtheit und Stichprobe nachgedacht und du hast Recht, meine GG ist doch nicht gleich meiner Stichprobe.

Eins meiner Probleme bezüglich des t-Tests habe ich jetzt lösen können, aber ein anderes noch nicht:
Welchen Signifikanztest kann ich für nominalskalierte Variablen mit mehr als zwei Ausprägungen anwenden, wenn ich zwei verbundene Stichproben habe?

[drfg2008]

Ich würde gerne die Diskussion verkomplizieren und Bezug nehmen auf die Aussage, Signifikanztests bezögenen sich immer und nur auf Aussagen von Stichproben auf Grundgesamtheiten.

In Anlehnung an die oben gestellte Frage ein Beispiel:

Angenommen, wir hätten zwei Münzsammlungen A und B. Beide Münzsammlungen seien gleich groß, nur ist bekannt, dass die Münzen nicht unbedingt gleichwahrscheinlich auf eine der beiden Seiten fallen. Sagen wir einmal, es handele sich um altertümliche Münzen ungleicher Prägung.

Ich will jetzt wissen, ob bei der einen Münzsammlung die Wahrscheinlichkeit, dass die Münzen auf einer der Seiten fällt, gleich der der anderen Münzsammlung sei.

Gibt es eine Grundgesamtheit auf die geschlossen wird? Nein.
Gibt es eine Stichprobe von der aus geschlossen wird? Nein.
Lässt sich ein Signifikanztest berechnen? Ja.

Ja, denn der Fall jeder Münze auf die eine oder andere Seite unterliegt Zufallsprozessen. Werfe ich die eine Münzsammlung mehrfach, dann erhalte ich Gesamtwerte (Anzahl der auf die eine Seite gefallenen Münzen), die einer zufällgen Schwankung unterliegen.

Bezogen auf die hier geschilderte Frage würde dieses Beispiel bedeuten, dass ein Signifikanztest auch dann sinnvoll wäre, wenn bei einer Totalerhebung begrenzter Untersuchungseinheiten auch Zufallsprozesse eine Rolle spielen. Hingegen, für den Fall, dass solche Zufallsprozesse nicht vorliegen, etwa indem nur unveränderbare Merkmale ausgezählt werden ("wieviel Jungen und Mädchen einer Gruppe"), wäre ein Signifikanztest natürlich sinnlos.

Die Frage wäre demnach, wieviel Zufall in deinem Beispiel steckt. Dazu gibt es keine Angabe.

[Beatrix Kiddo]

Hallo drfg2008!
Danke für deine Antwort - genau darum geht es mir!!

Bei meiner Befragung geht es um Einstellungen/Entscheidungen der Befragten und ob sich diese durch etwas verändert haben, das in der Zwischenzeit passiert ist.

Es besteht also auf jeden Fall die Möglichkeit, dass sich die Ausprägungen der Merkmale verändern und das tun sie auch (die Frage ist nur - auch signifikant?).

Die Frage ist aber, inwiefern man diese Veränderung auch zufällig nennen kann - denn es ist ja erst einmal wahrscheinlicher, dass sie in Richtung ihrer vorherigen Einstellung oder in Richtung dessen, was in der Zwischenzeit passiert ist, antworten, oder? Oder spielt nur eine Rolle, DASS sie veränderbar sind, nicht, ob dies zufällig geschieht?

Wie würde ich vorgehen, um die Signifikanz meiner Ergebnisse zu überprüfen?

[drfg2008]

Dann würde ich noch einmal an dich zurückfragen was dieser Satz bedeutet:

Ich habe eine Befragung zu zwei Zeitpunkten gemacht, bei denen sich die Stichproben sowie die Fragen gleichen.

Hast du zweimal die gleichen Personen mit dem gleichen Fragebogen konfrontiert? Du schreibst nur "gleichen".

Wenn du nämlich zweimal exakt die gleichen Personen befragt hast, dann hätte man sich die subtile Diskussion nämlich sparen können. Das ist eine triviale Messwiederholung und würde entsprechend entweder mit dem t-Test bei "abhängigen Stichproben" (SPSS) oder mit dem äquivalenten NP-Test berechenbar sein.

[Beatrix Kiddo]

Hast du zweimal die gleichen Personen mit dem gleichen Fragebogen konfrontiert?

Beim zweiten Mal gab es noch ein paar zusätzliche Fragen, aber prinzipiell: ja.

Das ist eine triviale Messwiederholung und würde entsprechend entweder mit dem t-Test bei "abhängigen Stichproben" (SPSS) oder mit dem äquivalenten NP-Test berechenbar sein.

An den t-Test für abhängige Stichprobe dachte ich auch zuerst - aber müssen meine Daten hierfür nicht normalverteilt sein? Das sind sie nämlich nicht. Wofür genau ist die Normalverteilung beim t-Test eigentlich wichtig?

Wenn sie normalverteilt sein müssen, dies aber nicht sind - welche alternative Testmöglichkeit habe ich?

[Beatrix Kiddo]

Außerdem habe ich noch das Problem, dass ich nominalskalierte Variablen mit mehr als zwei Ausprägungen habe, wie gesagt bei zwei verbundenen Stichproben.

Welcher Signifikanztest eignet sich hierfür? McNemar ist ja nur für dichotome Variablen, oder gibt es hierüber eine Möglichkeit, die ich nicht kenne?

[drfg2008]

Der Schilderung nach handelt es sich dann wohl eher um eine Untersuchung einer Gruppe von Probanden zu zwei verschiedenen Zeitpunkten. Damit wäre die ganze Diskussion (siehe oben) nicht notwendig gewesen.

Tests:
N~verteilte ZV: t-Test bei abhängigen Stichproben
nicht N~verteilte ZV: Wilcoxon
nominale: McNemar bei zwei nominalen ZV mit je 2 Ausprägungen (muss nicht dichotom sein)
nominale: Cochran bei zwei nominalen ZV mit mehr als je 2 Ausprägungen.

Besser noch einmal einen Blick in die Literatur werfen. Einfache Einführung (Kochrezept) mit vielen Beispielen: Bortz "kurzgefasste .... klinische Forschung".