Aprende Significancia Estadística | Experimentación y Pruebas A/B

Desliza para mostrar el menú

Cuando realizas una prueba A/B, quieres saber si la diferencia que observas entre los grupos de control y variante es real o simplemente el resultado del azar. Piensa en lanzar una moneda: si la lanzas diez veces y obtienes siete caras, ¿significa eso que la moneda está trucada? ¿O fue solo suerte? En el análisis de productos, aquí es donde entra la significancia estadística. Te ayuda a decidir si la diferencia en los resultados, como que más usuarios hagan clic en un nuevo botón, probablemente sea significativa o si podría haber ocurrido por casualidad, como una racha de caras al lanzar una moneda.


              1234567891011121314151617
            
import numpy as np
from scipy import stats

# Simulated data: daily conversions for control and variant groups
control = np.array([30, 28, 35, 33, 29, 31, 32])
variant = np.array([36, 34, 39, 37, 35, 38, 40])

# Performing independent t-test
t_stat, p_value = stats.ttest_ind(variant, control)

print("t-statistic:", t_stat)
print("p-value:", p_value)

if p_value < 0.05:
    print("Result is statistically significant: the variant performed differently from control.")
else:
    print("Result is not statistically significant: no strong evidence of a difference.")

Definición

La significancia estadística indica que las diferencias observadas son poco probables debido al azar.

Cuando obtienes un valor p de tu prueba estadística, te indica cuán probable es observar una diferencia tan grande - o mayor - que la que observaste, solo por azar. Un valor p bajo (por ejemplo, menor a 0.05) significa que es poco probable que los resultados hayan ocurrido aleatoriamente, por lo que puedes tener mayor confianza en que tu cambio tuvo un impacto real. Si el valor p es alto, no puedes descartar que la diferencia se deba simplemente a la suerte. Esto te ayuda a tomar decisiones de producto con confianza: lanzar nuevas funciones cuando la evidencia es sólida y evitar actuar sobre resultados que podrían no ser consistentes.

El nivel de significancia, a menudo representado como α (alfa), es un umbral que se establece antes de realizar la prueba para decidir cuánto riesgo de un falso positivo (error Tipo I) estás dispuesto a aceptar. En las pruebas A/B, representa la probabilidad de concluir incorrectamente que existe una diferencia real cuando, en realidad, la diferencia se debe solo al azar.

El nivel de significancia más común es 0.05, o 5%;
Esto significa que aceptas un 5% de probabilidad de declarar erróneamente una diferencia cuando no la hay;
Reducir el nivel de significancia (por ejemplo, a 0.01) hace que la prueba sea más estricta, disminuyendo el riesgo de un falso positivo pero requiriendo evidencia más sólida para declarar significancia;
El nivel de significancia se establece antes de recolectar o analizar los datos.

En la práctica, si tu valor p es menor que el nivel de significancia elegido, consideras el resultado estadísticamente significativo y más probable que refleje un efecto real. Si el valor p es mayor, no tienes suficiente evidencia para afirmar con confianza que existe una diferencia verdadera. Establecer el nivel de significancia adecuado te ayuda a equilibrar los riesgos de tomar decisiones incorrectas en tus experimentos de producto.

1. ¿Qué indica un valor p bajo en una prueba de hipótesis?

2. Completa el espacio en blanco:

¿Todo estuvo claro?

¡Gracias por tus comentarios!

Sección 4. Capítulo 3

Pregunte a AI

Pregunte lo que quiera o pruebe una de las preguntas sugeridas para comenzar nuestra charla

Sección 4. Capítulo 3