Lära Konfidensintervall | Statistiska Grunder för A/B-testning

Svep för att visa menyn

Konfidensintervall är ett grundläggande begrepp inom statistik och spelar en avgörande roll vid A/B-testning. Medan p-värden visar om en observerad skillnad kan bero på slumpen, ger konfidensintervall ett intervall av värden som sannolikt innehåller den sanna effektstorleken. Detta intervall hjälper dig att förstå inte bara om det finns en statistiskt signifikant skillnad, utan även hur stor den skillnaden kan vara och hur säker du kan vara på det.

Ett konfidensintervall beräknas utifrån ditt urval och anges vanligtvis med en procentsats, till exempel 95 %. Det betyder att om du upprepar ditt experiment många gånger, skulle 95 % av de beräknade intervallen innehålla den sanna populationsparametern. Vid A/B-testning används ofta konfidensintervall för att uppskatta skillnaden i konverteringsgrad mellan kontroll- och variantgrupperna.

Beräkningen av ett konfidensintervall för en andel (såsom en konverteringsgrad) innebär att man bestämmer standardfelet för den observerade andelen och sedan använder en z-score för att definiera intervallet runt den observerade andelen. Konfidensintervall är mer informativa än enbart p-värden eftersom de visar både storleken och precisionen på den uppskattade effekten, vilket gör det möjligt att fatta bättre beslut utifrån testresultaten.


              123456789101112131415161718192021222324252627282930313233343536
            
import numpy as np
from scipy.stats import norm

# Sample data: number of conversions and total users in each group
conversions_A = 200
users_A = 2000
conversions_B = 240
users_B = 2000

# Calculating conversion rates
rate_A = conversions_A / users_A
rate_B = conversions_B / users_B

# Calculatig the standard error for each group
se_A = np.sqrt(rate_A * (1 - rate_A) / users_A)
se_B = np.sqrt(rate_B * (1 - rate_B) / users_B)

# 95% confidence interval uses a z-score of approximately 1.96
z = norm.ppf(0.975)

# Calculating confidence intervals
ci_A = (rate_A - z * se_A, rate_A + z * se_A)
ci_B = (rate_B - z * se_B, rate_B + z * se_B)

print(f"Group A conversion rate: {rate_A:.3f}")
print(f"95% CI for Group A: ({ci_A[0]:.3f}, {ci_A[1]:.3f})")
print(f"Group B conversion rate: {rate_B:.3f}")
print(f"95% CI for Group B: ({ci_B[0]:.3f}, {ci_B[1]:.3f})")

# Confidence interval for the difference in conversion rates
diff = rate_B - rate_A
se_diff = np.sqrt(se_A**2 + se_B**2)
ci_diff = (diff - z * se_diff, diff + z * se_diff)

print(f"Difference in conversion rates (B - A): {diff:.3f}")
print(f"95% CI for difference: ({ci_diff[0]:.3f}, {ci_diff[1]:.3f})")

När du tolkar ett konfidensintervall i A/B-testning tittar du på det intervall där den sanna skillnaden i konverteringsgrad sannolikt befinner sig. Om konfidensintervallet för skillnaden inte inkluderar noll kan du vara rimligt säker på att det finns en verklig effekt. Om det däremot inkluderar noll kan den observerade skillnaden bero på slumpen.

För beslutsfattande hjälper konfidensintervall dig att förstå både den möjliga storleken på effekten och osäkerheten kring den. Detta gör det enklare att kommunicera resultat till intressenter: istället för att bara säga att ett resultat är statistiskt signifikant kan du förklara det sannolika intervallet för förbättring (eller försämring) och hur säker du är på den uppskattningen. Detta ger bättre vägledning för affärsbeslut genom en tydligare förståelse av potentiella risker och möjligheter.

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 3. Kapitel 3

Fråga AI

Fråga vad du vill eller prova någon av de föreslagna frågorna för att starta vårt samtal

Avsnitt 3. Kapitel 3