Intervalos de Confiança
Deslize para mostrar o menu
Intervalos de confiança são um conceito fundamental em estatística e desempenham um papel crucial em testes A/B. Enquanto os valores de p indicam se uma diferença observada pode ser devida ao acaso, os intervalos de confiança fornecem um intervalo de valores que provavelmente contém o verdadeiro tamanho do efeito. Esse intervalo ajuda a entender não apenas se existe uma diferença estatisticamente significativa, mas também qual pode ser o tamanho dessa diferença e o grau de certeza sobre ela.
Um intervalo de confiança é calculado a partir dos dados da amostra e geralmente é expresso como uma porcentagem, como 95%. Isso significa que, se o experimento fosse repetido muitas vezes, 95% dos intervalos calculados conteriam o verdadeiro parâmetro populacional. Em testes A/B, intervalos de confiança são frequentemente usados para estimar a diferença nas taxas de conversão entre os grupos de controle e variante.
O cálculo de um intervalo de confiança para uma proporção (como uma taxa de conversão) envolve determinar o erro padrão da taxa observada e, em seguida, usar um z-score para definir o intervalo ao redor da taxa observada. Intervalos de confiança são mais informativos do que apenas valores de p, pois mostram tanto a magnitude quanto a precisão do efeito estimado, permitindo uma tomada de decisão mais embasada sobre os resultados do teste.
123456789101112131415161718192021222324252627282930313233343536import numpy as np from scipy.stats import norm # Sample data: number of conversions and total users in each group conversions_A = 200 users_A = 2000 conversions_B = 240 users_B = 2000 # Calculating conversion rates rate_A = conversions_A / users_A rate_B = conversions_B / users_B # Calculatig the standard error for each group se_A = np.sqrt(rate_A * (1 - rate_A) / users_A) se_B = np.sqrt(rate_B * (1 - rate_B) / users_B) # 95% confidence interval uses a z-score of approximately 1.96 z = norm.ppf(0.975) # Calculating confidence intervals ci_A = (rate_A - z * se_A, rate_A + z * se_A) ci_B = (rate_B - z * se_B, rate_B + z * se_B) print(f"Group A conversion rate: {rate_A:.3f}") print(f"95% CI for Group A: ({ci_A[0]:.3f}, {ci_A[1]:.3f})") print(f"Group B conversion rate: {rate_B:.3f}") print(f"95% CI for Group B: ({ci_B[0]:.3f}, {ci_B[1]:.3f})") # Confidence interval for the difference in conversion rates diff = rate_B - rate_A se_diff = np.sqrt(se_A**2 + se_B**2) ci_diff = (diff - z * se_diff, diff + z * se_diff) print(f"Difference in conversion rates (B - A): {diff:.3f}") print(f"95% CI for difference: ({ci_diff[0]:.3f}, {ci_diff[1]:.3f})")
Ao interpretar um intervalo de confiança em testes A/B, observa-se o intervalo onde provavelmente está a verdadeira diferença nas taxas de conversão. Se o intervalo de confiança para a diferença não inclui zero, é razoável supor que existe um efeito real. Se incluir zero, a diferença observada pode ser devida ao acaso.
Para a tomada de decisão, intervalos de confiança ajudam a compreender tanto o possível tamanho do efeito quanto a incerteza associada. Isso facilita a comunicação dos resultados para as partes interessadas: em vez de afirmar apenas que um resultado é estatisticamente significativo, é possível explicar o intervalo provável de melhoria (ou queda) e o grau de confiança nessa estimativa. Isso contribui para decisões de negócio mais bem fundamentadas, com melhor compreensão dos riscos e benefícios potenciais.
Obrigado pelo seu feedback!
Pergunte à IA
Pergunte à IA
Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo
