Aprenda Controle vs. Variante | Experimentação e Testes A/B

Deslize para mostrar o menu

O teste A/B é uma técnica fundamental em análise de produtos, permitindo comparar o impacto de um novo recurso ou alteração em relação à experiência atual. Em um teste A/B, os usuários são divididos em dois grupos: o grupo de controle e o grupo variante. O grupo de controle utiliza o produto normalmente, enquanto o grupo variante recebe o novo recurso ou alteração que se deseja testar.

Imagine que você está testando uma nova cor para o botão de finalização de compra em um aplicativo de e-commerce. O grupo de controle vê a cor original do botão, enquanto o grupo variante vê a nova cor. Ao medir os resultados – como compras concluídas – é possível determinar se a nova cor do botão tem um efeito positivo, negativo ou nenhum efeito sobre o comportamento dos usuários.

Nota

A atribuição aleatória aos grupos de controle e variante ajuda a garantir resultados imparciais. Isso significa que quaisquer diferenças observadas são mais provavelmente decorrentes da alteração testada, e não de diferenças pré-existentes entre os usuários.


              12345678910111213141516171819202122232425262728293031323334
            
import numpy as np
import pandas as pd

# Simulate 2000 users
np.random.seed(42)
user_ids = np.arange(1, 2001)

# Randomly assign users to control or variant
groups = np.random.choice(["control", "variant"], size=2000)

# Simulate conversion: higher for variant group
conversion_prob = np.where(groups == "control", 0.12, 0.15)
converted = np.random.binomial(1, conversion_prob)

# Simulate purchase value for those who converted
purchase_value = np.where(converted == 1,
                         np.random.normal(loc=np.where(groups == "control", 45, 47), scale=5),
                         0)

# Create DataFrame
ab_test_results = pd.DataFrame({
    "user_id": user_ids,
    "group": groups,
    "converted": converted,
    "purchase_value": purchase_value
})

# Show summary statistics
summary = ab_test_results.groupby("group").agg(
    users=("user_id", "count"),
    conversion_rate=("converted", "mean"),
    avg_purchase_value=("purchase_value", lambda x: x[x > 0].mean())
)
print(summary)

Após executar o teste A/B e coletar os dados, a comparação dos resultados entre os grupos controle e variante é realizada. Métricas principais a serem analisadas incluem taxa de conversão e valor médio de compra. O objetivo é identificar diferenças significativas que indiquem que a nova funcionalidade está gerando impacto real. Se o grupo variante apresentar maior conversão ou receita, e a atribuição tiver sido aleatória, é possível ter mais confiança de que a mudança é responsável pela melhoria.

1. Por que a atribuição aleatória é importante em testes A/B?

2. Preencha o espaço em branco:

Tudo estava claro?

Obrigado pelo seu feedback!

Seção 4. Capítulo 2

Pergunte à IA

Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo

Seção 4. Capítulo 2