Lernen Statistische Signifikanz | Experimentation and A/B Testing

Swipe um das Menü anzuzeigen

Beim Durchführen eines A/B-Tests möchte man wissen, ob der beobachtete Unterschied zwischen Kontroll- und Variantengruppe tatsächlich existiert oder nur durch Zufall entstanden ist. Stellen Sie sich vor, Sie werfen eine Münze: Wenn Sie sie zehnmal werfen und siebenmal Kopf erhalten, bedeutet das, dass die Münze unfair ist? Oder war es einfach nur Glück? In der Produktanalyse kommt hier die statistische Signifikanz ins Spiel. Sie hilft dabei zu entscheiden, ob der Unterschied in den Ergebnissen – wie beispielsweise mehr Nutzer, die auf einen neuen Button klicken – wahrscheinlich bedeutsam ist oder ob er zufällig entstanden sein könnte, ähnlich wie eine Serie von Kopf beim Münzwurf.


              1234567891011121314151617
            
import numpy as np
from scipy import stats

# Simulated data: daily conversions for control and variant groups
control = np.array([30, 28, 35, 33, 29, 31, 32])
variant = np.array([36, 34, 39, 37, 35, 38, 40])

# Performing independent t-test
t_stat, p_value = stats.ttest_ind(variant, control)

print("t-statistic:", t_stat)
print("p-value:", p_value)

if p_value < 0.05:
    print("Result is statistically significant: the variant performed differently from control.")
else:
    print("Result is not statistically significant: no strong evidence of a difference.")

Definition

Statistische Signifikanz zeigt an, dass beobachtete Unterschiede höchstwahrscheinlich nicht zufällig sind.

Wenn du einen p-Wert aus deinem statistischen Test erhältst, zeigt er an, wie wahrscheinlich es ist, einen Unterschied in der beobachteten Größe – oder größer – rein zufällig zu sehen. Ein niedriger p-Wert (zum Beispiel unter 0.05) bedeutet, dass es unwahrscheinlich ist, dass die Ergebnisse zufällig entstanden sind. Du kannst also mit größerer Sicherheit davon ausgehen, dass deine Änderung einen echten Einfluss hatte. Ist der p-Wert hoch, lässt sich nicht ausschließen, dass der Unterschied nur Glück war. Das hilft dabei, Produktentscheidungen mit Vertrauen zu treffen: Neue Funktionen einführen, wenn die Beweislage stark ist, und vermeiden, auf Ergebnisse zu reagieren, die sich möglicherweise nicht bestätigen.

Das Signifikanzniveau, oft als α (Alpha) dargestellt, ist ein Schwellenwert, den du vor dem Test festlegst, um zu bestimmen, wie viel Risiko eines falsch-positiven Ergebnisses (Fehler 1. Art) du akzeptieren möchtest. Im A/B-Testing steht es für die Wahrscheinlichkeit, fälschlicherweise anzunehmen, dass ein echter Unterschied besteht, obwohl der Unterschied tatsächlich nur zufällig ist.

Das am häufigsten verwendete Signifikanzniveau ist 0.05 bzw. 5%;
Das bedeutet, du akzeptierst eine 5%ige Wahrscheinlichkeit, einen Unterschied fälschlicherweise festzustellen, wenn keiner existiert;
Ein niedrigeres Signifikanzniveau (zum Beispiel 0.01) macht den Test strenger, verringert das Risiko eines falsch-positiven Ergebnisses, erfordert aber stärkere Beweise, um Signifikanz festzustellen;
Das Signifikanzniveau wird vor der Datenerhebung oder -analyse festgelegt.

In der Praxis gilt: Ist dein p-Wert kleiner als das gewählte Signifikanzniveau, wird das Ergebnis als statistisch signifikant betrachtet und spiegelt mit größerer Wahrscheinlichkeit einen echten Effekt wider. Ist der p-Wert höher, gibt es nicht genügend Beweise, um sicher von einem echten Unterschied auszugehen. Die richtige Wahl des Signifikanzniveaus hilft, das Risiko falscher Entscheidungen in Produktexperimenten auszubalancieren.

1. Was zeigt ein niedriger p-Wert in der Hypothesentestung an?

2. Ergänzen Sie die Lücke:

War alles klar?

Danke für Ihr Feedback!

Abschnitt 4. Kapitel 3

Fragen Sie AI

Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen

Abschnitt 4. Kapitel 3