unlogisches Ergebnis bei Signifikanztest

[Peter41]

Hallo!
In Signifikanztest gibt ein (für mich) absolut unlogisches Ergebnis:

Mein Datensatz 152 Merkmalsträger, die in 6 Gruppen zusammengefasst sind. Allerdings sind die Gruppen nicht gleich groß, in der größten sind 40 Merkmalsträger zusammengefasst und in der kleinsten nur 8.

Nun habe ich untersucht, ob sich die Gruppen signifikant unterscheiden (5%-Niveau) bzw. welche Gruppen sich unterscheiden.
Der ks.test gibt an, dass keine Normalverteilung gegeben ist.
Der H-Test nach Kruskal und Wallis sagt, dass generell signifikante Unterschiede gegeben sind.
Dann habe ich den Nemenyi-Post hoc test verwendet, und die Unterschiede sind ganz passabel, bis auf ein Paar von Gruppen: es unterscheidet sich in den Boxplots stark unterscheidet (Gruppe 1: Median= 6,2, Qunatil_0,25=5,8; Quantil_0,75 = 6,4; n = 25; Gruppe 2: Median = 4,9; Quantil_0,25 = 4,5; Quantil_0,75 = 5,1; n = 40), dafür gibt der Nemenyi-Test nicht signifikante Unterschiede an. Vergleicht man die beiden Gruppen alleine, so ist der Unterschied signifikant.
Zudem unterscheiden sich andere als die beiden fraglichen Gruppen in ihrem Median usw. weniger stark und der Test gibt trotzdem signifikante Unterschiede.

Wie kann das sein?

[Generalist]

Dann habe ich den Nemenyi-Post hoc test verwendet

Das ist ein Test für gleichgroße Stichproben; üblicherweise ein post-hoc Test für den Friedman Test. Gibt es denn Quellen, die ihn auch für den Kruskal-Wallis (und dies auch noch bei ungleichen Stichprobengrößen) empfehlen?

dafür gibt der Nemenyi-Test nicht signifikante Unterschiede an. Vergleicht man die beiden Gruppen alleine, so ist der Unterschied signifikant

Wie gesagt scheint das hier der falsche Test zu sein, aber grundsätzlich können post-hoc Testergebnisse sich von den Ergebnissen unkorrigierter Paarvergleiche unterscheiden. Post-hoc Tests sind konservativer als unkorrigierte Paarvergleiche (werden nicht so schnell signifikant). Sie werden ja gerade deswegen eingesetzt, um Falsch-positive Ergebnisse aufgrund multiplen, unkorrigierten Testens zu vermeiden.

Zudem unterscheiden sich andere als die beiden fraglichen Gruppen in ihrem Median usw. weniger stark und der Test gibt trotzdem signifikante Unterschiede.

Die Evidenz gegen die Nullhypothese bestimmt sich halt aus 2 Faktoren gemeinsam, den Kennzahlen in der Stichprobe (vereinfacht: Mittelwertunterschied, Median-Unterschied und dergleichen) UND der Stichprobengröße. Ein mittelgroßer Stichproben-Unterschied bei kleiner Fallzahl wird eventuell nicht signifikant, während ein kleiner Stichproben-Unterschied bei größerer Fallzahl eben signifikant wird.

[Peter41]

Vielen Dank, Generalist, für Deine rasche Antwort!

Der Tip bezüglich des Nemenyi post hoc Tests hilft mir sehr weiter. Ich war nicht vollkommen sicher, ob der Test gleich große Gruppen braucht. Jene Quelle (Köhler, Schachtel, Voleske (2012): Biostatistik: S. 186), die diesen Test als post hoc Test für den H-Test angibt, verwendet tatsächlich gleich große Gruppen, nur war ich mir nicht sicher, ob es wirklich ein Muss ist.

Viele Grüße,
Peter