Metaanalyse - Ab er wie?

[Llecter]

Hallo zusammen,

im Rahmen meiner Diplomarbeit muss ich mich mit einem statistischen Problem beschäftigen.

Ich habe mehrere Tests durchgeführt, insgesamt drei. Mein Problem ist, in zwei Tests bekomme ich als Ergebnis, dass mein Prüfgegenstand keine signifikanten Änderungen auslöst im Vergleich zu einer Kontrolle. Im dritten versuch hingegen verursacht er einen signifikanten Effekt, was vermutlich aber auch an einer aussergewöhnlich niedrigen Kontrollmortalität liegt (Mehr als zwei Standardabweichungen unter dem Durchschnitt).

Ich möchte jetzt also meine drei Tests zusammen fassen und zeigen, dass es keinen signifikanten Effekt gibt, auch wenn einer der drei Tests dies gezeigt hat. Nachdem ich mich jetzt mal ne Weile schlau gemacht habe, scheint die Metaanalyse das richtige Werkzeug für mein Problem zu sein. Überwiegend scheint die Metaanalyse in der Psyschologie eingesetzt zu werden, und ich weiß nicht wie ich sie auf mein Problem anwenden kann, sprich welche Rechnungen, Formeln etc notwendig sind. Hier etwa habe ich einen Liunk gefunden wie ich Delta berechnen kann, aber ich weiß dann nicht, wie ich dieses Delta interpretieren kann - Ab welchem Delta habe ich einen signifikanten Effekt?


Mir fällt es etwas schwer, es so zu schildern dass es von jeder mann nachvollzogen werden kann. Vlt schildere ich daher besser kurz das konkrete Problem:

Ich habe drei Tests durchgeführt, in denen ich Bienenlarven im Labor aufgezogen habe. Die Kontrollgruppe erhält jeweils nur Kontrollfutter, die Prüfgruppe wird zusätzlich mit Pollen gefüttert. Es wird bewertet wieviele Larven die Entwicklung als Engel Bienen abschließen und wieviele vorher sterben. Die Ergebnisse sehen so aus:


Edit: Leider klappt das Einbinden der Grafik nicht wie gewünscht, daher hier Direktlink dazu.



Die zugrunde Liegenden Daten der Tests:

Versuch 1:
Kontrolle 76 (Lebend) / 14 (Tot)
Prüfgruppe: 62/28

Versuch 2:
Kontrolle: 61/29
Prüfgruppe: 73/17

Versuch 3:
Kontrolle: 76/44
Prüfgruppe: 42/18


Es wäre schön, wenn jemand vlt 1-2 Hinweise zu dem Weg hätte, auf dem ich mein Problem lösen kann.


Vielen Dank für jeden Hinweis, Tipp oder auch nur das LEsen meines Beitrags!

[drfg2008]

Ohne jetzt in die Daten zu gehen:

Metaanalysen beschreibt Bortz (Forschungsmethoden und Evaluation) 1995 S. 589 ff (Kapitel 9.4) mit den entsprechenden Formeln.

Das ist aber kein leichter Stoff.

Allerdings ist es nicht ungewöhnlich, dass einzelne Sig.Tests signifikant werden, andere nicht. Das ist ja gerade das Spiel mit dem Zufall. Bei p=0,05 werden nunmal 5% der Tests signifikant.

Nur warum sollen die einzelnen Tests nicht einfach zusammengefasst und eine einzige Berechnung durchgeführt werden? (Weiß ja keiner außer uns, dass du das gemacht hast

Gruß

[Llecter]

Hey drfg, vielen Dank für deine Antwort!

Du hast recht, in diesem Fall wird das auch im Zufall begründet liegen, allerdings hätte ich gern eine verlässliche Aussage, dier ich statistisch begründen kann. Alle Daten in einen Pool werfen und einen Chi² machen, wie auch bei den Auswertungen der Einzeltests, war auch meine erster Gedanke, habe das auch anfangs getan.

Leider weiß mein Betreuer aber was ich da so alles gemacht hab Er meint das würde nicht gehen, womit er wohl auch recht hat, wie ich zugeben muss. Die drei Versuche wurden zu unterschiedlichen Zeitpunkten ausgeführt, so dass auch unterschiedliche Ausgangsbedingungen vorliegen. Etwa anderer Gesundheitszustand der Larven, anderes Wetter und was der Dinge mehr sind.

Deinen Literaturhinweis werde ich im Hinterkopf behalten, sobald ich nächste Woche wieder in reichweite der Uni-Bib bin werde ich dort mal nachschlagen, vielen Dank auch dafür



Ich hab jetzt einmal etwas weiter ge"fuddelt", muss ich wohl sagen:

Aus den Daten hab ich Delta berechnet, nach dieser Formel:

Edit: Bilder einfügen klappt iwie gar nicht. Deswegen wieder als Direktlink, ist aber auch von der Seite die im Eingangspost bereits verlinkt wurde. http://www.sgipt.org/wisms/ptf/delta2.jpg

Heraus kommt ein Delta von 0,13.

Ich habe die Mittelwerte von Prüfgruppen und Kontrolle gebildet, hierfür die Überlebensraten gewählt: Im Schnitt sind 71,9 % geschlüpft, in den Prüfgruppen 73,33. Standardabweichung der Kontrollen gruppen: 11,11. Diese Werte in obige Formel eingesetzt, und ich erhalte 0,13.

In der oben verlinkten Seite steht nun folgendes:

"Delta heißt die Effektstärke, manchmal auch Effektgröße genannt. Delta ist also ein auf die Standardabweichung normiertes Abstandsmaß zwischen zwei Gruppen, im allgemeinen einer Therapiegruppe T verglichen mit einer Kontrollgruppe K oder eine Therapiegruppe_1 verglichen mit einer Therapiegruppe_2. Dieses Maß entspricht dem t-Test für unabhängige Stichproben. "

Wie kann ich das interpretieren? Muss ich meinen Wert (hier 0,13) nun mit der Tabelle für die t-Werte eines t-Tests vergleichen? (Hier zb) Allerdings passt 0,13 nicht wirdklich zu den dort angegeben Werten, und ich hab auch keine Ahnung wie hoch die Zahl der Freiheitsgrade in meinem Fall wäre. Vlt 560-6=554? (Weil ich insgesamt 560 Larven in allesn Tests zusammen genommen habe in 6 verschiedenen Kontroll bzw. Prüfgruppen?)

[drfg2008]

Ich orientiere mich jetzt mal an deiner ersten Schilderung, denn die zweite Darstellung ist etwas kompliziert und trifft meiner Ansicht nach nicht die Fragestellung.

Du hast drei Versuche durchgeführt, die man über einen simplen Chi-2 Test berechnen kann. Weiterhin möchtest du nicht, oder darfst nicht, sämtliche drei Versuche zu einem zusammenführen. O.k. kein Problem. Außerdem sind die Versuchbedingungen in den drei Versuchen nicht ganz gleich. Das ist natürlich relevant. Denn sonst könnte man das ganze durchaus poolen.

Folgende Lösung. Ein einfacher Chi-2 kommt nicht mehr in Frage, weil noch weitere Variablen einen Einfluß ausüben. Also: Multivariate Verfahren. Da fällt natürlich das binär-logistische Modell ein.

Wie man's macht und wie die Outputs interpretiert werden, führt hier zu weit.

Darstellung: Bühl (SPSS). Ganz einfach.

Gruß

[Llecter]

Ob das ganz einfach ist wage ich jetzt mal zu bezweifeln, zumindest für Laien wie mich

Aber ich werde mir dann morgen mal den Bühl aus der Uni-Bib besorgen und schauen ob ich mit dem binär-logistischen Modell zurecht komme.

Vielen Dank für den Tipp!

[Llecter]

Kurze Rückmeldung: Problem gelöst

Als die (vermeintlich) geeignete Lösung hat sich der Cochran-Mantel-Haenszel-Test herausgestellt, mit welchem ich meine Daten sehr gut verarbeiten konnte.

http://udel.edu/~mcdonald/statcmh.html


Noch einmal vielen Dank, drfg, für deine Hilfe!

[Generalist]

Meinst Du damit den Mantel-Haenszel-Test? Der ist im SPSS-Basismodul unter Deskriptive Statistiken, Kreuztabellen.

[drfg2008]

mal eine Frage dazu: Wie berechnet sich das gemeinsame Quotenverhältnis (voreingestellt ist 1)?

Die Beschreibung bei der SPSS Online Hilfe zur Mantel and Haeszel's Statistic (crosstabulations algorithms) ist etwas kurz

[Generalist]

Das ist halt die zu testende odds ratio.

[drfg2008]

o.k. habe ich das richtig verstanden ... ?

... dann müsste bei der Annahme der stochastischen Unabhängigkeit hier also die Voreinstellung (1) so gelassen werden, weil 1 ein gleiches Quotenverhältnis bedeutet ?

... und wenn ich davon ausgehen würde, dass (z.B. in einer 4-Felder Tafel mit Rauchen / Herzinfarkt ) der Faktor Rauchen, ein fünffaches Risiko für Herzinfarkt bedeutet, dann könnte ich hier anstelle der 1 eine 5 eingeben und so die "Odds" testen, dass das Risiko einen Herzinfarkt zu erleiden, unter Rauchern 5-mal so hoch ist wie unter Nichtrauchern? (unter der Voraussetzung, dass die Raucher die erste Gruppe ist, sonst: -5)

Wenn man mal das Beispiel aus wikipedia zum Odds-Ration nimmt [1], dann ist bei SPSS der Output immer gleich, unabhängig von der Eingabe des Quotenverhältnisses:

Code: Alles auswählen

Schätzung des gemeinsamen Quotenverhältnisses 
nach Mantel-Haenszel			

Schätzung	7,875
ln(Schätzung) 2,064
Standardfehler von ln(Schätzung) ,150
Asymptotische Signifikanz (zweiseitig)	,000
Asymptotisches 95% Konfidenzintervall	
Gemeinsames Quotenverhältnis	

Untergrenze	5,864
Obergrenze	10,577

ln(gemeinsames Quotenverhältnis)	

Untergrenze	1,769
Obergrenze	2,359

[1] http://de.wikipedia.org/wiki/Quotenverh%C3%A4ltnis

[Generalist]

Der p-Wert bleibt gleich, egal welche Odds Ratio-Nullhypothese?

[drfg2008]

Wenn das als Frage gemeint war: ja.

Irgendwas kann da ja nicht richtig sein.

Es ist dabei irrelevant, was ich bei STATISTICS=CMH(1) eintrage, also (1) oder andere Werte. Der Output ist zwar verständlich, aber wo -bzw. wie- ändert ein anderer Input in (x) das Ergebnis.

Hier mal das Syntax Beispiel

Code: Alles auswählen

CROSSTABS
  /TABLES=karzinom BY raucher BY erhebung
  /FORMAT=NOTABLES  /STATISTICS=CMH(1)
  /COUNT ROUND CELL.

[Generalist]

Wenn das Quotenverhältnis verändert wird, verändert sich auch der asymptotische Signifikanzwert. In Fällen. wo in dem entsprechenden Feld =,000 steht, lässt sich durch Doppelklick auf dieses Feld die genaue Angabe einsehen. In Deinem Raucherbeispiel führt die sehr hohe Fallzahl dazu, dass die Abweichung der ermittelten odds ratio (7,87) nicht nur von einer hypothetischen odds ratio 1,sondern auch schon von einer hypothetischen odds ratio 5 jeweils mit einem sehr kleinen, aber eben nicht dem selben p-Wert verbunden ist.

[drfg2008]

danke. Daran hatte ich gar nicht gedacht (Rundung)