t-Test für unabh. Stichproben & 95%Konfidenzintervall

[Silversurfer]

Liebe Statistikspezialisten,

bei einem zweiseitigen t-Test für unabhängige Stichproben zeigte sich nach Überprüfung aller dafür notwendiger Voraussetzungen ein sign. Unterschied zwischen den beiden Gruppen hinsichtlich der entsprechenden intervallskalierten Variable (p = 0.027). Nun wollte ich diesen Unterschied mit Hilfe von 95% Konfidenzintervallen graphisch darstellen. Zu meiner Verblüffung überlappten sich hier aber die Bereiche beider Intervalle, so dass ich nun plötzlich nicht mehr von einem bedeutsamen Unterschied zwischen diesen Gruppen ausgehen kann. Zur Überprüfung, ob ich etwas falsch eingegeben habe, hab ich anschließend ausgehend vom Mittelwert und dem Standardfehler, die im t-Test ausgewiesen wurden, für beide Gruppen das Intervall manuell berechnet, mit dem gleichen Ergebnis.

Bisher war ich der Überzeugung, dass t-Test und 95% KI die gleichen Ergebnisse hervorbringen - dies scheint offensichtlich nicht immer der Fall zu sein. Aber woran kann das liegen und welchem Verfahren sollte man in diesem Fall eher trauen? In den Standardwerken hab ich zu diesem Spezialfall leider nichts passendes gefunden. Normalverteilung laut Grenzwerttheorem sollte laut Gruppengröße (N1=99, N2=334) kein Problem sein.

Vielleicht hat ja von Euch jemand eine passende Antwort! Würde mich jedenfalls freuen.

[Generalist]

Der t-Test befasst sich mit einem Mittelwertsunterschied. Relevant ist entsprechend das Konfidenzintervall der Unterschiedes, nicht die Konfidenzintervalle um die Mittelwerte der beiden Gruppen. Nebenbei basieren die beiden einzelnen Konfidenzintervalle jeweils auf weniger Fällen als das Intervall um den Mittelwertsunterschied, entsprechend sind diese Intervalle um die Mittelwerte auch vergleichsweise groß.

[Silversurfer]

Besten Dank für die Erklärung!

[drfg2008]

vielleicht noch eine Idee dazu:

Die Berechnung von KIs der beiden Gruppenmittel geht (im geschilderten Beispiel) davon aus, dass die GG N~vert. ist, folglich sind sie symmetrisch und ihre Dichte und die Wkt., für das Auftreten des 'wahren Wertes' nimmt nach außen hin ab. Die Wkt, dass der wahre Wert im direkten Umfeld um den Schätzer liegt ist größer, als dass dieser 'weiter weg' im Intervall um den Mittelwert liegen könnte. Das arithmetische Mittel als Schätzer ist ja auch gleichzeitig der ML-Schätzer (Maximum Likelihood), also der wahrscheinlichste. Zudem, als zweites Argument, ist die Schnittmenge der beiden KIs nicht nur von geringerer Dichte, sie setzt auch voraus, dass sowohl der eine Wert, als auch der andere Wert in diesem Bereich ist (A und B). Und diese Wkt ist nicht gleich der Einzelwahrscheinlichkeit, sondern deutlich niedriger, bei stochastischer Unabhängigkeit gleich dem Produkt der Einzelwahrscheinlichkeiten, also im Beispiel: 1%.

Nur als Idee.

Gruß


hier gleich noch ein Syntaxbeispiel überlagernder KIs bei sig. t-Test (bitte berücksichtigen, dass es sich um Simulationen handelt)

Code: Alles auswählen

input program.
loop a =1 to 100 by 1.
end case.
end loop. 
end file.
end input program.
exe.

comp	gruppe	=RV.BINOM(1,0.5).
IF  (gruppe = 0) av=RV.NORMAL(104,10).
IF  (gruppe = 1) av=RV.NORMAL(100,10).
EXECUTE.


T-TEST GROUPS=gruppe(0 1)
  /MISSING=ANALYSIS
  /VARIABLES=av
  /CRITERIA=CI(.95).

GRAPH
  /ERRORBAR(CI 95)=av BY gruppe.

[Generalist]

Die KIs der beiden Gruppenmittel gehen davon aus, dass die GG N~vert.

Meines Wissens basiert die Inferenzstatistik bei Mittelwerten auf Annahmen über die Verteilung von Mittelwerten und nicht auf Annahmen über die Verteilung von Scores. Normalverteilte Grundgesamtheiten stellen sicher, dass auch bei kleinen Stichproben die Mittelwerte normalverteilt sind, sind aber für sich genommen keine Grundannahme für die Berechnung

Die Wkt, dass der wahre Wert im direkten Umfeld um den Schätzer liegt ist ja höher, als dass dieser 'weiter weg' im Intervall um den Mittelwert liegt.

Das scheint eher was Bayes-statistisches zu sein. Mit der Definition von KIs im Rahmen des frequentistischen Ansatzes stimmt das m.E. nicht überein.

[drfg2008]

Normalverteilte Grundgesamtheiten stellen sicher, dass auch bei kleinen Stichproben die Mittelwerte normalverteilt sind, sind aber für sich genommen keine Grundannahme für die Berechnung

Bei der üblichen Berechnung von Konfidenzintervallen ist die wesentliche Voraussetzung die der Normalverteilung in der Grundgesamtheit. Nur dann ergibt sich die unter [1] beschriebene Formel zwingend, die übrigens auch bei den Fehlerbalken eingesetzt wird, die SPSS darstellt. Selbstverständlich gibt es noch weitere Varianten von KIs, etwa über Bootstrap-Verfahren, die dann nicht symmetrisch sein müssen und die auch über nicht-normalverteilte GG berechnet werden können. Richtig ist auch, dass arithmetische Mittel auch dann normalverteilt sein können (!), wenn diese aus nicht-normalverteilten GG berechnet wurden. Es ist aber -als Extrembeispiel- gänzlich unmöglich, KIs wie in [1] dargestellt über cauchy-verteilte GG (sinnvoll) zu berechnen, da die Cauchy-Verteilung weder Erwartungswert noch Varianz oder Standardabweichung besitzt, da die entsprechenden Integrale nicht definiert sind.

Da das arithmetische Mittel als Schätzer zur Berechnung von KIs eingesetzt wird [1], ergibt sich bei N~Vtlg. in der GG um diesen Schätzer in der Stichprobe (!) eine t-verteilte Dichtefunktion. Das arithmetische Mittel ist dabei der wahrscheinlichste Wert (ML-Methode) als Schätzung für den 'wahren Wert' der Grundgesamtheit. Mit Entfernung vom arithmetischen Mittel nimmt die Wahrscheinlichkeit ab, hier den ‚wahren Wert’ zu finden. Wenn sich also zwei KIs, wie von silversurfer beschrieben, überlagern (siehe auch die Syntax), dann sagt das zunächst einmal nicht, dass beide Stichproben aus der gleichen GG stammen und daher das gleiche Mittel aufweisen (und ein t-Test nicht-signifikant werden muss). Es sagt auch nichts über Relevanz aus. Mit Scores hat das auch nichts zu tun.

Es ist also weder, wie silversurfer schreibt, ein Sonderfall, noch muss ich mich zwischen t-Test und KI-Berechnung entscheiden. Beide Verfahren / Methoden kommen nur aus unterschiedlichen Bereichen der Statistik, nämlich Schätzen und Testen. Und aus überlagerten KIs eine Bestätigung der Hypothese µ1=µ2 für Gruppe 1 und 2 abzuleiten wäre ohnehin falsch.

Silversurfer spricht auch die „Bedeutsamkeit“ von Unterschieden an. Das allerdings ist eine ganz andere Frage. Signifikanz ist nicht gleich Relevanz. Letztere kann nur substanzwissenschaftlich geklärt werden.


[1] http://de.wikipedia.org/wiki/Konfidenzintervall