Aprende Control vs. Variante | Experimentación y Pruebas A/B

Desliza para mostrar el menú

Las pruebas A/B son una técnica fundamental en el análisis de productos, que permite comparar el impacto de una nueva función o cambio frente a la experiencia actual. En una prueba A/B, los usuarios se dividen en dos grupos: el grupo de control y el grupo variante. El grupo de control experimenta el producto como de costumbre, mientras que el grupo variante recibe la nueva función o cambio que se desea probar.

Imagina que estás probando un nuevo color para el botón de pago en una aplicación de comercio electrónico. El grupo de control ve el color original del botón, mientras que el grupo variante ve el nuevo color. Al medir los resultados, como las compras completadas, puedes determinar si el nuevo color del botón tiene un efecto positivo, negativo o nulo en el comportamiento del usuario.

Nota

La asignación aleatoria a los grupos de control y variante ayuda a garantizar resultados imparciales. Esto significa que cualquier diferencia observada es más probable que se deba al cambio que se está probando, y no a diferencias preexistentes entre los usuarios.


              12345678910111213141516171819202122232425262728293031323334
            
import numpy as np
import pandas as pd

# Simulate 2000 users
np.random.seed(42)
user_ids = np.arange(1, 2001)

# Randomly assign users to control or variant
groups = np.random.choice(["control", "variant"], size=2000)

# Simulate conversion: higher for variant group
conversion_prob = np.where(groups == "control", 0.12, 0.15)
converted = np.random.binomial(1, conversion_prob)

# Simulate purchase value for those who converted
purchase_value = np.where(converted == 1,
                         np.random.normal(loc=np.where(groups == "control", 45, 47), scale=5),
                         0)

# Create DataFrame
ab_test_results = pd.DataFrame({
    "user_id": user_ids,
    "group": groups,
    "converted": converted,
    "purchase_value": purchase_value
})

# Show summary statistics
summary = ab_test_results.groupby("group").agg(
    users=("user_id", "count"),
    conversion_rate=("converted", "mean"),
    avg_purchase_value=("purchase_value", lambda x: x[x > 0].mean())
)
print(summary)

Después de ejecutar tu prueba A/B y recopilar los datos, compararás los resultados entre los grupos de control y variante. Las métricas clave a analizar incluyen la tasa de conversión y el valor promedio de compra. Se buscan diferencias significativas que sugieran que la nueva función está teniendo un impacto real. Si el grupo variante muestra una mayor conversión o ingresos, y la asignación fue aleatoria, puedes tener mayor confianza en que el cambio es responsable de la mejora.

1. ¿Por qué es importante la asignación aleatoria en las pruebas A/B?

2. Completa el espacio en blanco:

¿Todo estuvo claro?

¡Gracias por tus comentarios!

Sección 4. Capítulo 2

Pregunte a AI

Pregunte lo que quiera o pruebe una de las preguntas sugeridas para comenzar nuestra charla

Sección 4. Capítulo 2