Leer Statistische SignificantIe | Experimentatie en A/B-testen

Veeg om het menu te tonen

Wanneer je een A/B-test uitvoert, wil je weten of het verschil dat je ziet tussen de controlegroep en de variantgroep echt is of slechts het gevolg van toeval. Denk aan het opgooien van een munt: als je deze tien keer opgooit en zeven keer kop krijgt, betekent dat dan dat de munt oneerlijk is? Of was het gewoon geluk? In productanalyse is dit waar statistische significantie van belang is. Het helpt je bepalen of het verschil in uitkomsten – zoals meer gebruikers die op een nieuwe knop klikken – waarschijnlijk betekenisvol is, of dat het per ongeluk kan zijn gebeurd, zoals een reeks kop bij het opgooien van een munt.


              1234567891011121314151617
            
import numpy as np
from scipy import stats

# Simulated data: daily conversions for control and variant groups
control = np.array([30, 28, 35, 33, 29, 31, 32])
variant = np.array([36, 34, 39, 37, 35, 38, 40])

# Performing independent t-test
t_stat, p_value = stats.ttest_ind(variant, control)

print("t-statistic:", t_stat)
print("p-value:", p_value)

if p_value < 0.05:
    print("Result is statistically significant: the variant performed differently from control.")
else:
    print("Result is not statistically significant: no strong evidence of a difference.")

Definitie

Statistische significantie geeft aan dat waargenomen verschillen waarschijnlijk niet door toeval zijn ontstaan.

Wanneer je een p-waarde uit je statistische test krijgt, geeft deze aan hoe waarschijnlijk het is om een verschil te zien dat net zo groot of groter is dan wat je hebt waargenomen, puur door toeval. Een lage p-waarde (bijvoorbeeld lager dan 0.05) betekent dat het onwaarschijnlijk is dat de resultaten willekeurig zijn ontstaan, waardoor je meer vertrouwen kunt hebben dat jouw wijziging daadwerkelijk effect heeft gehad. Als de p-waarde hoog is, kun je niet uitsluiten dat het verschil gewoon geluk was. Dit helpt je om productbeslissingen met vertrouwen te nemen: nieuwe functies lanceren wanneer het bewijs sterk is, en vermijden om te handelen op resultaten die mogelijk niet standhouden.

Het significantieniveau, vaak aangeduid als α (alpha), is een drempel die je vooraf instelt om te bepalen hoeveel risico op een vals-positief (Type I fout) je bereid bent te accepteren. In A/B-testen geeft het de kans weer dat je ten onrechte concludeert dat er een echt verschil is, terwijl het verschil in werkelijkheid alleen door toeval ontstaat.

Het meest gebruikte significantieniveau is 0.05, ofwel 5%;
Dit betekent dat je een kans van 5% accepteert om onterecht een verschil te constateren wanneer er geen is;
Door het significantieniveau te verlagen (bijvoorbeeld naar 0.01) maak je je test strenger, waardoor het risico op een vals-positief afneemt, maar er sterker bewijs nodig is om significantie aan te tonen;
Het significantieniveau wordt vastgesteld voordat je data verzamelt of analyseert.

In de praktijk, als je p-waarde lager is dan het gekozen significantieniveau, beschouw je het resultaat als statistisch significant en waarschijnlijk een echte uitwerking. Als de p-waarde hoger is, heb je niet genoeg bewijs om met zekerheid te zeggen dat er een werkelijk verschil is. Het juiste significantieniveau instellen helpt je om de risico's van verkeerde beslissingen in je productexperimenten in balans te brengen.

1. Wat geeft een lage p-waarde aan bij hypothesetoetsing?

2. Vul het ontbrekende in:

Was alles duidelijk?

Bedankt voor je feedback!

Sectie 4. Hoofdstuk 3

Vraag AI

Vraag wat u wilt of probeer een van de voorgestelde vragen om onze chat te starten.

Sectie 4. Hoofdstuk 3