Lære Statistisk signifikans | Eksperimentering og A/B-testing

Sveip for å vise menyen

Når du gjennomfører en A/B-test, ønsker du å vite om forskjellen du ser mellom kontroll- og variantgruppene er reell eller bare et resultat av tilfeldigheter. Tenk på å kaste en mynt: hvis du kaster den ti ganger og får sju kron, betyr det at mynten er urettferdig? Eller var det bare flaks? I produktanalyse er det her statistisk signifikans kommer inn. Det hjelper deg å avgjøre om forskjellen i resultater – som at flere brukere klikker på en ny knapp – sannsynligvis er meningsfull, eller om det kunne skjedd ved en tilfeldighet, som en rekke kron ved myntkast.


              1234567891011121314151617
            
import numpy as np
from scipy import stats

# Simulated data: daily conversions for control and variant groups
control = np.array([30, 28, 35, 33, 29, 31, 32])
variant = np.array([36, 34, 39, 37, 35, 38, 40])

# Performing independent t-test
t_stat, p_value = stats.ttest_ind(variant, control)

print("t-statistic:", t_stat)
print("p-value:", p_value)

if p_value < 0.05:
    print("Result is statistically significant: the variant performed differently from control.")
else:
    print("Result is not statistically significant: no strong evidence of a difference.")

Definisjon

Statistisk signifikans indikerer at observerte forskjeller sannsynligvis ikke skyldes tilfeldigheter.

Når du får en p-verdi fra din statistiske test, forteller den hvor sannsynlig det er å se en forskjell som er like stor – eller større – enn den du observerte, kun ved tilfeldighet. En lav p-verdi (for eksempel under 0.05) betyr at det er lite sannsynlig at resultatene oppstod tilfeldig, så du kan være mer trygg på at endringen din hadde en reell effekt. Hvis p-verdien er høy, kan du ikke utelukke at forskjellen bare skyldes flaks. Dette hjelper deg å ta produktbeslutninger med trygghet: lanser nye funksjoner når bevisene er sterke, og unngå å handle på resultater som kanskje ikke holder mål.

Signifikansnivået, ofte vist som α (alfa), er en terskel du setter før du kjører testen for å bestemme hvor stor risiko for en falsk positiv (Type I-feil) du er villig til å akseptere. I A/B-testing representerer det sannsynligheten for feilaktig å konkludere med at det finnes en reell forskjell når forskjellen faktisk bare skyldes tilfeldigheter.

Det vanligste signifikansnivået er 0.05, eller 5%;
Dette betyr at du aksepterer 5% sjanse for å feilaktig erklære en forskjell når det ikke er noen;
Å senke signifikansnivået (for eksempel til 0.01) gjør testen din strengere, reduserer risikoen for falsk positiv, men krever sterkere bevis for å erklære signifikans;
Signifikansnivået settes før du samler inn eller analyserer dataene dine.

I praksis, hvis p-verdien din er lavere enn det valgte signifikansnivået, regnes resultatet som statistisk signifikant og mer sannsynlig å reflektere en reell effekt. Hvis p-verdien er høyere, har du ikke nok bevis til å si med sikkerhet at det er en reell forskjell. Å sette riktig signifikansnivå hjelper deg å balansere risikoen for å ta feil beslutninger i produkttestene dine.

1. Hva indikerer en lav p-verdi i hypotesetesting?

2. Fyll inn det som mangler:

Alt var klart?

Takk for tilbakemeldingene dine!

Seksjon 4. Kapittel 3

Spør AI

Spør om hva du vil, eller prøv ett av de foreslåtte spørsmålene for å starte chatten vår

Seksjon 4. Kapittel 3