Post-hoc-Parallelisierung?

[sabrina2501]

Hallo,

ich habe eine experimentelle Untersuchung durchgeführt (N=230; KG=115, EG=115). Es wurden komplette Schulklassen erhoben. Leider wurde im Vorfeld nicht randomisiert. Bisher bin den kritischen Fragen zwecks möglicher Klasseneffekte teilweise aus dem Weg gegangen mit Wald-Z-Analysen und sogenannten präexperimentellen Unterschiedsüberprüfungen. In den meisten Fälle (die Mehrheit der hier herangezogenen Konstrukte) wird der test nicht signifikant, d.h. es bestehen keine Unterschiede, d.h. ich kann auf Individualebene rechnen.

Ich habe allerdings neulich von einer sogenannten Post-hoc-parallelisierung gehört, ein sogenanntes Matching-Verfahren?!
Wer kann mir dazu helfen? Tipps, Anregungen, Literatur, Umsetzung in SPSS??? Ich wäre um jede und vor allem um schnellstmögliche Hilfe sehr, sehr dankbar!

VG Sabrina

[Generalist]

Wozu solltest Du das machen wollen?

[sabrina2501]

Weil meine 2 Gruppen (EG und KG) nicht VOR der Untersuchung randomisiert wurden. Um jetzt Effekte abzuschätzen, muss ich doch sicherstellen, dass die präexperimentellen Leistungen/Variablen der EG-Kinder zu den KG-Kindern in etwa gleich sind - oder nicht?

Ich habe heute noch zusätzlich erfahren, dass man in solchen Fällen quasi post-hoc eher das Matching-Verfahren anwendet. Das Verfahren an sich habe ich verstanden (Zwillinge in der Stichprobe suchen), aber bei der Anwendung und Umsetzung in SPSS steig ich nicht durch. -> Hat hier jemand Ahnung oder gute (aktuelle) Literaturtipps?!

LG

[Generalist]

Weil meine 2 Gruppen (EG und KG) nicht VOR der Untersuchung randomisiert wurden.

Randomisieren kann man aber doch immer nur VOR.

Um jetzt Effekte abzuschätzen, muss ich doch sicherstellen, dass die präexperimentellen Leistungen/Variablen der EG-Kinder zu den KG-Kindern in etwa gleich sind - oder nicht?

Sind die Baseline-Charakteristika der beiden Gruppen denn nun
vergleichbar oder sind sie es nicht? Das ist aus Deinem ersten
posting nicht klar ersichtlich. Und wieso kannst Du auf Einbezug der
Hierarchieebene "Klasse" verzichten?

Ich habe heute noch zusätzlich erfahren, dass man in solchen Fällen quasi post-hoc eher das Matching-Verfahren anwendet.

Da wäre ich skeptisch. Anscheinend wendet man das höchst selten an,
sonst wäre das in Deinem Forschungsbereich von vornherein bekannt
und in das Untersuchungsdesign eingeflossen bzw. von Deinem Betreuer
gefordert worden.

Das Verfahren an sich habe ich verstanden (Zwillinge in der Stichprobe suchen), aber bei der Anwendung und Umsetzung in SPSS steig ich nicht durch.

Das erste Problem ist doch nicht die Softwarelösung, sondern die
sorgfältige Auswahl der matching-Kriterien.

Matchen ist bei Deiner Untersuchung womöglich kontraproduktiv,
weil alle nicht gematchten Fälle aus der Untersuchung fliegen müssten
und dadurch die statistische power sinkt.

Allenfalls könnte also => propensity score matching eine sinnvolle
Lösung sein.

[sabrina2501]

ja genau, das PSM-Verfahren meine ich auch - das ist ja eines von mehreren Machting-Verfahren.
Hast du denn damit schon mal gearbeitet?
Ich bin eben derzeit auf der Suche nach Syntay-Befehlen für die "Zwillingsbildung".

Mir ist klar, dass ich hätte vorher randomisieren sollen, allerdings war ich zu diesem Zeitpunkt noch nicht am Projekt beteiligt und nun muss ich mit den Daten leben Daher möchte ich nun im Nachhinein dennoch für etwa gleiche Gruppenmerkmale sorgen.
Ich bin mir bewusst, dass sich die Stichprobe dann leider noch weiter reduzieren wird, aber daran lässt sich vermutlich nichts machen...mir ist die statistische Absicherung trotzdem sehr wichtig.

Sind die Baseline-Charakteristika der beiden Gruppen denn nun
vergleichbar oder sind sie es nicht? Das ist aus Deinem ersten
posting nicht klar ersichtlich. Und wieso kannst Du auf Einbezug der
Hierarchieebene "Klasse" verzichten?

In 3 von 6 relevanten Vs sind meine Gruppen sign. unterschiedlich (t-Test-Ergebnisse), danach möchte ich jetzt gern matchen.

Wie meinst du das mit der Hierarchieebene? Da ich ganze Schulklassenerhebungen vorleiegen habe, liegen hier sogenannte geschachtelte Datenstrukturen (Klasse (Schüler)) und (Gruppe (Klasse)) vor. Dazu hab ich Wald-Z-Tests mit einem liberalen Fehlerniveau .10 gerechnet. Hier haben sich keine Signifikanzen ergeben. Ich dachte allerdinsg diese Berechnungen reichen nicht aus? Daher wollte ich jetzt noch zur zusätzlichen Absicherung matchen.

Das erste Problem ist doch nicht die Softwarelösung, sondern die
sorgfältige Auswahl der matching-Kriterien.

Hast du denn die Lösung/Syntaxhinweise?

summary:
t-Tests bei präexperimentellen Daten -> 3 sign. Unterschiede
Wald-Z-Tests für geschachtelete Daten -> mit Fehlerniveau .10 sind KEINE sign. Unterschiede zu finden


Also ich suche Expertenwissen zum Propensity-Score-Matching [/quote]

[sabrina2501]

...kann mir noch jemand bei der anwendung des propensity-score-matching-verfahrens helfen????????

[Generalist]

10 Wochen Recherchezeit, und das Resultat sind 8 Fragezeichen?

[drfg2008]

http://www.spsstools.net/SampleSyntax.h ... omSampling

Nummer 14

http://www.spsstools.net/Syntax/RandomS ... Scores.txt