Conteúdo do Curso
A Arte do Teste A/B
A Arte do Teste A/B
Teste A/A
Preparação para o Experimento
Antes de realizar um experimento controlado, precisamos estar convencidos de que os dados do grupo de teste foram coletados corretamente. Devemos considerar vários fatores:
- Efeito do dia da semana. Os grupos podem diferir nos finais de semana e dias úteis. As pessoas se comportam de maneira diferente em diferentes dias da semana. Portanto, os dados serão coletados dentro de uma semana;
- Sazonalidade. Durante os feriados, os usuários compram mais ativamente, o que pode dar uma falsa ideia sobre as vendas reais. Portanto, os dados são coletados na temporada sem feriados;
- Crescimento do número de usuários ao longo do tempo. Mais e mais pessoas são envolvidas no experimento com o tempo.
Assim, conduzimos um experimento online para três grupos de usuários. Cada grupo foi testado durante uma semana completa. Um número igual de usuários participou de cada experimento. Nosso experimento ocorreu na entressafra (não havia feriados que pudessem ter provocado um aumento nas vendas).
A métrica de sucesso do experimento é a taxa de conversão. É hora de verificar a adequação dos nossos resultados.
Vamos nos familiarizar com os dados. Ambos os conjuntos de dados possuem cem registros e três colunas. A primeira coluna 'Male' é binária. Se o valor for igual a 1 - o usuário é do sexo masculino. Se o valor for igual a 0 - o usuário é do sexo feminino.
A segunda coluna 'Page View' caracteriza o número de visualizações de página. A terceira coluna 'Purchase' corresponde ao número de compras.
Vamos ver como essas tabelas se parecem:
# Import libraries import pandas as pd from scipy.stats import mannwhitneyu # Read .csv files control_group_1 = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/updated_first.csv') control_group_2 = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/updated_second.csv') # Show head of the first file print(control_group_1)
O segundo arquivo é semelhante ao primeiro. Mas podemos afirmar que não há diferença estatisticamente significativa entre eles?
Devemos nos certificar de que nenhum fator influenciou nosso experimento. Em outras palavras, os valores médios das métricas dos grupos de controle 1 e 2 devem ser iguais.
Vamos formular hipóteses:
H₀: Não existe diferença estatisticamente significativa entre as médias das duas amostras.
Hₐ: Existe uma diferença estatisticamente significativa entre as médias das duas amostras.
O nosso primeiro teste:
# Import libraries import pandas as pd from scipy.stats import mannwhitneyu # Read .csv files control_group_1 = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/updated_first.csv') control_group_2 = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/updated_second.csv') # Define metric control_group_1['Conversion'] = (control_group_1['Purchase'] / control_group_1['Page view']).round(2) control_group_2['Conversion'] = (control_group_2['Purchase'] / control_group_2['Page view']).round(2) # Do U-Test stat, p = mannwhitneyu(control_group_1['Conversion'], control_group_2['Conversion']) # Identify the test result print('stat=%.3f, p=%.3f' % (stat, p)) if p > 0.05: print('There is no statistically significant difference between the medians of the two samples') else: print('There is a statistically significant difference between the medians of the two samples')
Uma vez que p > 0,05, não podemos rejeitar a hipótese nula de que as duas médias são iguais.
Parece fácil, certo?
Neste código, criamos dois grupos de dados, control_group_1 e control_group_2, realizamos um teste-u usando a função mannwhitney e exibimos os resultados do teste na tela.
Por que foi escolhido este teste específico? Falaremos sobre isso nos próximos capítulos.
Obrigado pelo seu feedback!
