Exemplo

Tarefa

Sua empresa deseja aumentar a conversão de vendas no site testando diferentes opções de design de página.

Passo 1

Qual métrica é melhor escolher?

Se o objetivo do teste A/B é aumentar a conversão de vendas no site, então a métrica que deve ser escolhida é a taxa de conversão. A taxa de conversão reflete a proporção do número de usuários que realizaram uma certa ação alvo (por exemplo, efetuaram uma compra) pelo número total de visitantes do site.

Frequência média de compra por clique:

Portanto, se estamos testando diferentes opções de design de página e ofertas com o objetivo de aumentar as conversões de vendas, devemos escolher a taxa de conversão como a principal métrica para avaliar os resultados do teste.

Passo 2

Para a métrica de taxa de conversão, é melhor escolher amostras que reflitam o fluxo real de usuários. Por exemplo, se a métrica for conversão de compras, então a amostra deve conter visitantes do site que tenham potencial para realizar uma compra. É importante que as amostras sejam representadas por um número suficientemente grande de usuários para garantir a validade estatística dos resultados do teste. Além disso, vale considerar que as amostras devem ser iguais em tamanho e natureza para evitar distorção nos resultados do teste.

Passo 3

O design do botão de compra do produto será alterado para o grupo experimental. Para o grupo de controle, o design permanecerá inalterado.

Passo 4

Testamos ambos os botões e registramos os resultados em duas tabelas no formato csv. Vamos olhá-las:


              12345678
            
# Import pandas library
import pandas as pd

# Read .csv file
control_group = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/c3b98ad3-420d-403f-908d-6ab8facc3e28/Section+1/datasets/control_group_1.csv')

# Print head of dataframe
print(control_group.head())


              12345678
            
# Import pandas library
import pandas as pd 

# Read .csv file
test_group = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/c3b98ad3-420d-403f-908d-6ab8facc3e28/Section+1/datasets/test_group.csv')

# Print head of dataframe
print(test_group.head())

Agora precisamos adicionar nossa métrica.


              12345678910111213
            
#Import pandas library
import pandas as pd 

#Read .csv file
control_group = control_group = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/c3b98ad3-420d-403f-908d-6ab8facc3e28/Section+1/datasets/control_group_1.csv')
test_group = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/c3b98ad3-420d-403f-908d-6ab8facc3e28/Section+1/datasets/test_group.csv')

#Define metric
control_group['Conversion'] = (control_group['Purchase']/control_group['Page view']).round(2)
test_group['Conversion'] = (test_group['Purchase']/test_group['Page view']).round(2)

#Print head of dataframe
print(test_group.head())

Passo 5

E sobre testes A/B?

Até agora, infelizmente, não podemos ter certeza de que os resultados do experimento são representativos. Como nos assegurar disso?

Precisamos realizar testes A/A.

Tudo estava claro?

Obrigado pelo seu feedback!

Seção 1. Capítulo 3