O Primeiro U-Test

O teste U, também conhecido como teste de Mann-Whitney, é um teste estatístico não paramétrico utilizado para comparar duas amostras independentes. Ele é usado quando os dados não atendem às suposições dos testes paramétricos, como quando a distribuição dos dados é não-normal ou quando os dados são medidos em uma escala ordinal.

O teste U avalia se há uma diferença estatisticamente significativa entre as medianas dos dois grupos. O teste não se baseia em nenhuma suposição prévia sobre a distribuição dos dados e é relativamente resistente a outliers ou valores incomuns. Vamos ver como o teste U se comporta para as nossas amostras. Vamos formular as hipóteses:

H₀: As medianas da métrica 'Conversão' nos grupos de controle e teste são iguais.

Hₐ: As medianas da métrica 'Conversão' diferem entre os grupos de controle e teste.


              123456789101112131415161718
            
# Import libraries
import pandas as pd
from scipy.stats import mannwhitneyu

# Read .csv files
df_control = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/c3b98ad3-420d-403f-908d-6ab8facc3e28/ab_control.csv', delimiter=';')
df_test = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/c3b98ad3-420d-403f-908d-6ab8facc3e28/ab_test.csv', delimiter=';')

# Define the metric
df_test['Conversion'] = df_test['Purchase'] / df_test['Click']
df_control['Conversion'] = df_control['Purchase'] / df_control['Click']

# U-Test
statistic, p_value = mannwhitneyu(df_control['Conversion'], df_test['Conversion'])

# Result of the U-Test
print('Statistic:', statistic)
print('p-value:', p_value)

O valor estatístico obtido e o baixo valor-p indicam uma diferença estatisticamente significativa entre as medianas da métrica 'Conversão' nos grupos de controle e teste. Temos evidências suficientes para rejeitar a hipótese nula e aceitar a hipótese alternativa de que as medianas são diferentes.

Isso significa que existem diferenças estatisticamente significativas na métrica 'Conversão' entre os grupos de controle e teste.

Com base no box plot, podemos concluir que a mediana da métrica 'Conversão' no grupo de teste é superior à mediana no grupo de controle.

Agora é a sua vez de realizar o teste U.

Tudo estava claro?

Obrigado pelo seu feedback!

Seção 5. Capítulo 4