Betrouwbaarheidsintervallen
Veeg om het menu te tonen
Betrouwbaarheidsintervallen zijn een fundamenteel concept in de statistiek en spelen een cruciale rol bij A/B-testen. Waar p-waarden aangeven of een waargenomen verschil door toeval kan zijn ontstaan, geven betrouwbaarheidsintervallen een bereik van waarden dat waarschijnlijk de werkelijke effectgrootte bevat. Dit bereik helpt niet alleen te begrijpen of er een statistisch significant verschil is, maar ook hoe groot dat verschil kan zijn en hoe zeker je daarvan kunt zijn.
Een betrouwbaarheidsinterval wordt berekend op basis van je steekproefdata en wordt meestal uitgedrukt als een percentage, zoals 95%. Dit betekent dat als je het experiment vaak zou herhalen, 95% van de berekende intervallen de werkelijke populatieparameter zou bevatten. Bij A/B-testen gebruik je betrouwbaarheidsintervallen vaak om het verschil in conversieratio's tussen de controlegroep en de variantgroep te schatten.
De berekening van een betrouwbaarheidsinterval voor een proportie (zoals een conversieratio) omvat het bepalen van de standaardfout van het waargenomen percentage, waarna een z-score wordt gebruikt om het bereik rond het waargenomen percentage te definiëren. Betrouwbaarheidsintervallen zijn informatiever dan alleen p-waarden omdat ze zowel de omvang als de precisie van het geschatte effect tonen, waardoor je beter onderbouwde beslissingen kunt nemen over je testresultaten.
123456789101112131415161718192021222324252627282930313233343536import numpy as np from scipy.stats import norm # Sample data: number of conversions and total users in each group conversions_A = 200 users_A = 2000 conversions_B = 240 users_B = 2000 # Calculating conversion rates rate_A = conversions_A / users_A rate_B = conversions_B / users_B # Calculatig the standard error for each group se_A = np.sqrt(rate_A * (1 - rate_A) / users_A) se_B = np.sqrt(rate_B * (1 - rate_B) / users_B) # 95% confidence interval uses a z-score of approximately 1.96 z = norm.ppf(0.975) # Calculating confidence intervals ci_A = (rate_A - z * se_A, rate_A + z * se_A) ci_B = (rate_B - z * se_B, rate_B + z * se_B) print(f"Group A conversion rate: {rate_A:.3f}") print(f"95% CI for Group A: ({ci_A[0]:.3f}, {ci_A[1]:.3f})") print(f"Group B conversion rate: {rate_B:.3f}") print(f"95% CI for Group B: ({ci_B[0]:.3f}, {ci_B[1]:.3f})") # Confidence interval for the difference in conversion rates diff = rate_B - rate_A se_diff = np.sqrt(se_A**2 + se_B**2) ci_diff = (diff - z * se_diff, diff + z * se_diff) print(f"Difference in conversion rates (B - A): {diff:.3f}") print(f"95% CI for difference: ({ci_diff[0]:.3f}, {ci_diff[1]:.3f})")
Bij het interpreteren van een betrouwbaarheidsinterval in A/B-testen kijk je naar het bereik waarin het werkelijke verschil in conversieratio's zich waarschijnlijk bevindt. Als het betrouwbaarheidsinterval voor het verschil geen nul bevat, kun je er redelijk zeker van zijn dat er een daadwerkelijk effect is. Als het wel nul bevat, kan het waargenomen verschil door toeval zijn ontstaan.
Voor besluitvorming helpen betrouwbaarheidsintervallen om zowel de mogelijke omvang van het effect als de onzekerheid eromheen te begrijpen. Dit maakt het eenvoudiger om resultaten aan belanghebbenden te communiceren: in plaats van alleen te zeggen dat een resultaat statistisch significant is, kun je het waarschijnlijke bereik van verbetering (of achteruitgang) uitleggen en hoe zeker je bent van die schatting. Dit helpt om zakelijke beslissingen te sturen met een duidelijker begrip van potentiële risico's en opbrengsten.
Bedankt voor je feedback!
Vraag AI
Vraag AI
Vraag wat u wilt of probeer een van de voorgestelde vragen om onze chat te starten.
