Probleme bei der Diplomarbeit (Web Analytics)

[HerbertHilflos]

Hallo,

ich stehe vor dem Problem, Signifikanzen für den praktischen Teil meiner Diplomarbeit auszuwerten.

Es geht um einen sogenannten A/B-Test. D.h. es gibt eine Website in zwei zum Teil unterschiedlichen Layouts --> Layout A und Layout B. Jeder Besucher bekommt im Wechsel ein unterschiedliches Layout zu sehen.

Auf der Seite werden 5 Produkte zum Verkauf angeboten (in beiden Layouts). Im Layout B haben 2 Artikel eine Darstellung in der Produktansicht, der Rest ist identisch zu Layout A.

Jetzt möchte ich die Veränderung der Conversion (Bestellungen zu Produkansichten) der 2 veränderten Artikel messen.

Bsp.:

Website: 100.000 Besucher


Layout A (50.000 Besucher)

Produkt 1: 50 Bestellungen, 600 Ansichten
Produkt 2: 53 Bestellungen, 700 Ansichten
Produkt 3: 70 Bestellungen, 900 Ansichten
Produkt 4: 40 Bestellungen, 500 Ansichten
Produkt 5: 90 Bestellungen, 1200 Ansichten

Layout B (50.000 Besucher)

Produkt 1: 60 Bestellungen, 590 Ansichten (veränderte Darstellung)
Produkt 2: 63 Bestellungen, 710 Ansichten (veränderte Darstellung)
Produkt 3: 80 Bestellungen, 880 Ansichten (nichts verändert)
Produkt 4: 44 Bestellungen, 510 Ansichten (nichts verändert)
Produkt 5: 92 Bestellungen,1250 Ansichten (nichts verändert)

Jetzt möchte ich die Conversionveränderung von Produkt 1 und 2 der Conversionveränderung von Produkt 3,4,5 gegenüber stellen.

Produkt 1 und 2:
Layout A --> Conversion: (103/1300) = 7,9%
Layout B --> Conversion: (123/1300) = 9,5 %

Veränderung in %-Punkten: 1,6

Produkt 2,3 und 5:
Layout A --> Conversion: (200/2600) = 7,7 %
Layout B --> Conversion: (216/2640) = 8,1 %

Veränderung in %-Punkten 0,4

-----

Jetzt ist mein Problem: Wie kann ich beweisen, dass die Veränderung Signifikant ist, obwohl, die Ergebnisse grundsätzlich ohne Begründung schwanken? Ich möchte zeigen das 1,6, mit Berücksichtigung einer Schwankung von 0,4, eine signifikante Steigerung ist.

Ein T-Test für Mittelwertunterschiede zwischen zwei unabhängigen Stichproben könnte helfen, aber ich weiß nicht genau wie ich die Berechnung durchführen soll.

Ich bin echt aufgeschmissen und wäre sehr dankbar für jede Hilfe.

Viele Grüße

Herbert

[Generalist]

Sieht für mich jeweils nach einer 4feldertafel aus, Layout * Conversion j/nein, also bspw.
103 1297
123 1277
für die Konversion von Produkt 1 & 2 unter Variante A bzw. B.
Ob dieser mögliche Effekt über alle Produkte hinweg unterschiedlich groß ist, wäre vielleicht was für einen Mantel-Haenszel-Test. Der untersucht den Zusammenhang 2er dichotomer Merkmale (wie hier Version*Conversion), und dies über verschiedene Bedingungen (hier: verschiedenen Produkte) hinweg. Allerdings bekommt man damit glaube ich nicht heraus, zwischen genau welchen Bedingungen (Produkten) eventuelle Effekt-Unterschiede bestehen, nur ob überhaupt. Wenn dieses "ob überhaupt" mit "nein" beantwortet wird, erübrigt sich aber dann eine weitere Analyse. Bei "ja" könnte man vielleicht den Test immer paarweise für Produkte/Produktgruppen machen. Falls Du sowieso von vornherein 1&2 einerseits und die übrigen andererseits zusammenwerfen wolltest, würde der Test sogar direkt Deine Frage beantworten.

[HerbertHilflos]

Hallo,

erstmal Danke für deine Antwort.

Ich möchte für den Test eigentlich nur den Effekt zwischen Layout A und Layout B für die Produkte 1&2 messen.

Die anderen Produkte sollten nur zur Kontrolle dienen, ob es bei einem solchen A/B-Test auch Unterschiede gibt, wenn das Layout nicht verändert wird. Leider ist das der Fall.

Nun haben die Produkte1&2 nach einer Veränderung des Layouts eine Conversionsteigerung (1,6%). Leider haben die anderen Produkte auch eine Conversionsteigerung erfahren (0,4%), obwohl nichts geändert wurde und das möchte ich bei der Effektstärkenmessung berücksichtigen.
Denn beide Steigerungen sind nach einem t-Test signifikant (!) --> Zwei Stichproben t-Test (erste Stichprobe 103 Bestellungen, zweite 123 Bestellungen).


Ich möchte also die unerklärte Schwankung (0,4%) berücksichtigen, um die erklärbare Schwankung zu messen.

Jetzt mich bitte nicht auslachen, aber man könnte ja die 1,6% Conversionsteigerung von Produkt 1&2 um die 0,4% Conversionveränderung von den Anderen reduzieren. Dann hätte man ne Steigerung von 1,2% und könnte einen zweistichproben T-Test durchführen für Layout A und b der Produkte 1&2?

Oder lebe ich da in einer Lilli-Fee-Welt?

Vielen lieben Dank

[Generalist]

Das ist soweit ich sehe kein Material für einen t-Test, da es sich um ja-nein Daten handelt (Konversion versus keine Konversion). Wie Du das auswerten kannst, habe ich gesagt: Kreuztabellen, wenn Du nur 1 Produkt unter Bedingungen A und B untersuchen wilst. Mantel-Haenszel-Test, wenn Du wissen willst, ob der Effekt von A und B bei allen Produkten ähnlich ist oder ob der Efekt von A und B bei Produkt 1&2 anders ist als insgesamt zu erwarten.

[HerbertHilflos]

Hi,

Danke für deine Antwort.

Ich verstehe nicht wieso ich Kreuztabellen verwendet sollte. Es geht auch eigentlich nicht um JA/NEIN-Daten, sondern um eine Steigerung der Conversion.

Trotzdessen die jeder Klon-Shop (also Layout A und B) 50.000 Besucher hate, schwankt die Conversion beider Shops. Um die Conversionsteigerung der Produkte1&2 zu messen, möchte ich die grundsätzliche Klon-Shop-Schwankung berücksichtigen.

Wie Signifikant ist die 1,6% Steigerung, wenn die die Daten der beiden Shops/Layouts grundsätzlich um 0,4% schwanken?

Thats my Problem.

Viele Grüße

[Generalist]

Anhand welcher Fälle soll denn da ein t-Test für kontinuierliche Daten durchgeführt werden. Was Du vorstellt, ist ein Vergleich n=1 ("Konversionsrate" für Produkt 1 und 2 zusammengefasst, unter Bedingung A) versus n=1 (dasselbe unter Bedingung B). Da gibt es aber inferenzstatistisch nichts zu testen.

Was tatsächlich vorliegt, sind einige hundert ja/nein Verhaltensmessungen: Betrachtungen mit nachfolgendem Kauf versus Betrachtungen ohne nachfolgenden Kauf. So etwas wird mit Verfahren für nominale (kategoriale) Messungen ausgewertet, wie ich es beschrieben habe.

Der Fehler, statt einiger hundert ja/nein Messungen nur jeweils 1 "Rate" (also eine Zusammenfassung der Einzelmessungen) als abhängige Variable für die inferenzstatistische Auswertung betrachten zu wollen, ist gar nicht so selten. Dass Du darauf bestehst, den Fehler nicht zu korrigieren ist verblüffend. Aber vielleicht habe ich auch die Beschreibung des Problems nicht ausreichend verstanden. Viel Erfolg auf Deinem Wege.

[HerbertHilflos]

Generalist, vielen lieben Dank! Eine Frage habe ich noch. Wie soll das Design der Kreuztabelle Aussehen?

Layout A_________Layout B

Product1 View1 Product1 View1
Product1 View2 Product1 View2
...
Product2 View1 Product2 View1
Product2 View2 Product2 View2

[HerbertHilflos]

Danke nochmals ....ich glaube ich kann dir einfach nicht folgen.