Intervalos de confianza
Desliza para mostrar el menú
Los intervalos de confianza son un concepto fundamental en estadística y desempeñan un papel crucial en las pruebas A/B. Mientras que los valores p indican si una diferencia observada podría deberse al azar, los intervalos de confianza proporcionan un rango de valores que probablemente contengan el tamaño real del efecto. Este rango ayuda a comprender no solo si existe una diferencia estadísticamente significativa, sino también cuán grande podría ser esa diferencia y cuán seguro se puede estar al respecto.
Un intervalo de confianza se calcula a partir de los datos de la muestra y normalmente se expresa con un porcentaje, como el 95%. Esto significa que si se repitiera el experimento muchas veces, el 95% de los intervalos calculados contendrían el verdadero parámetro poblacional. En las pruebas A/B, los intervalos de confianza se utilizan a menudo para estimar la diferencia en las tasas de conversión entre los grupos de control y variante.
El cálculo de un intervalo de confianza para una proporción (como una tasa de conversión) implica determinar el error estándar de la tasa observada y luego usar un valor z para definir el rango alrededor de la tasa observada. Los intervalos de confianza son más informativos que los valores p por sí solos porque muestran tanto la magnitud como la precisión del efecto estimado, lo que permite tomar mejores decisiones sobre los resultados de la prueba.
123456789101112131415161718192021222324252627282930313233343536import numpy as np from scipy.stats import norm # Sample data: number of conversions and total users in each group conversions_A = 200 users_A = 2000 conversions_B = 240 users_B = 2000 # Calculating conversion rates rate_A = conversions_A / users_A rate_B = conversions_B / users_B # Calculatig the standard error for each group se_A = np.sqrt(rate_A * (1 - rate_A) / users_A) se_B = np.sqrt(rate_B * (1 - rate_B) / users_B) # 95% confidence interval uses a z-score of approximately 1.96 z = norm.ppf(0.975) # Calculating confidence intervals ci_A = (rate_A - z * se_A, rate_A + z * se_A) ci_B = (rate_B - z * se_B, rate_B + z * se_B) print(f"Group A conversion rate: {rate_A:.3f}") print(f"95% CI for Group A: ({ci_A[0]:.3f}, {ci_A[1]:.3f})") print(f"Group B conversion rate: {rate_B:.3f}") print(f"95% CI for Group B: ({ci_B[0]:.3f}, {ci_B[1]:.3f})") # Confidence interval for the difference in conversion rates diff = rate_B - rate_A se_diff = np.sqrt(se_A**2 + se_B**2) ci_diff = (diff - z * se_diff, diff + z * se_diff) print(f"Difference in conversion rates (B - A): {diff:.3f}") print(f"95% CI for difference: ({ci_diff[0]:.3f}, {ci_diff[1]:.3f})")
Al interpretar un intervalo de confianza en pruebas A/B, se observa el rango donde probablemente se encuentre la verdadera diferencia en las tasas de conversión. Si el intervalo de confianza para la diferencia no incluye el cero, se puede tener una confianza razonable en que existe un efecto real. Si incluye el cero, la diferencia observada podría deberse al azar.
Para la toma de decisiones, los intervalos de confianza ayudan a comprender tanto el posible tamaño del efecto como la incertidumbre asociada. Esto facilita la comunicación de los resultados a las partes interesadas: en lugar de decir únicamente que un resultado es estadísticamente significativo, se puede explicar el rango probable de mejora (o disminución) y el grado de confianza en esa estimación. Esto ayuda a orientar las decisiones empresariales con una comprensión más clara de los posibles riesgos y beneficios.
¡Gracias por tus comentarios!
Pregunte a AI
Pregunte a AI
Pregunte lo que quiera o pruebe una de las preguntas sugeridas para comenzar nuestra charla
