Conteúdo do Curso
A Arte do Teste A/B
A Arte do Teste A/B
O Primeiro U-Test
O teste U, também conhecido como teste de Mann-Whitney, é um teste estatístico não paramétrico utilizado para comparar duas amostras independentes. Ele é usado quando os dados não atendem às suposições dos testes paramétricos, como quando a distribuição dos dados é não-normal ou quando os dados são medidos em uma escala ordinal.
O teste U avalia se há uma diferença estatisticamente significativa entre as medianas dos dois grupos. O teste não se baseia em nenhuma suposição prévia sobre a distribuição dos dados e é relativamente resistente a outliers ou valores incomuns. Vamos ver como o teste U se comporta para as nossas amostras. Vamos formular as hipóteses:
H₀: As medianas da métrica 'Conversão' nos grupos de controle e teste são iguais.
Hₐ: As medianas da métrica 'Conversão' diferem entre os grupos de controle e teste.
# Import libraries import pandas as pd from scipy.stats import mannwhitneyu # Read .csv files df_control = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/c3b98ad3-420d-403f-908d-6ab8facc3e28/ab_control.csv', delimiter=';') df_test = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/c3b98ad3-420d-403f-908d-6ab8facc3e28/ab_test.csv', delimiter=';') # Define the metric df_test['Conversion'] = df_test['Purchase'] / df_test['Click'] df_control['Conversion'] = df_control['Purchase'] / df_control['Click'] # U-Test statistic, p_value = mannwhitneyu(df_control['Conversion'], df_test['Conversion']) # Result of the U-Test print('Statistic:', statistic) print('p-value:', p_value)
O valor estatístico obtido e o baixo valor-p indicam uma diferença estatisticamente significativa entre as medianas da métrica 'Conversão' nos grupos de controle e teste. Temos evidências suficientes para rejeitar a hipótese nula e aceitar a hipótese alternativa de que as medianas são diferentes.
Isso significa que existem diferenças estatisticamente significativas na métrica 'Conversão' entre os grupos de controle e teste.
Com base no box plot, podemos concluir que a mediana da métrica 'Conversão' no grupo de teste é superior à mediana no grupo de controle.
Agora é a sua vez de realizar o teste U.
Obrigado pelo seu feedback!
