Aprenda Significância Estatística | Experimentação e Testes A/B

Deslize para mostrar o menu

Ao realizar um teste A/B, é importante saber se a diferença observada entre os grupos de controle e variante é real ou apenas resultado do acaso. Pense em jogar uma moeda: se você lançar dez vezes e obter sete caras, isso significa que a moeda é viciada? Ou foi apenas sorte? Em análise de produtos, é nesse ponto que entra a significância estatística. Ela auxilia na decisão se a diferença nos resultados – como mais usuários clicando em um novo botão – provavelmente é relevante ou se poderia ter ocorrido apenas por acaso, como uma sequência de caras ao lançar uma moeda.


              1234567891011121314151617
            
import numpy as np
from scipy import stats

# Simulated data: daily conversions for control and variant groups
control = np.array([30, 28, 35, 33, 29, 31, 32])
variant = np.array([36, 34, 39, 37, 35, 38, 40])

# Performing independent t-test
t_stat, p_value = stats.ttest_ind(variant, control)

print("t-statistic:", t_stat)
print("p-value:", p_value)

if p_value < 0.05:
    print("Result is statistically significant: the variant performed differently from control.")
else:
    print("Result is not statistically significant: no strong evidence of a difference.")

Definição

Significância estatística indica que as diferenças observadas são improváveis de ocorrer por acaso.

Quando você obtém um valor de p em seu teste estatístico, ele indica a probabilidade de observar uma diferença tão grande – ou maior – do que a que foi observada, apenas por acaso. Um valor de p baixo (por exemplo, abaixo de 0.05) significa que é improvável que os resultados tenham ocorrido aleatoriamente, permitindo maior confiança de que a alteração teve um impacto real. Se o valor de p for alto, não é possível descartar que a diferença seja apenas sorte. Isso auxilia na tomada de decisões sobre o produto com confiança: lançar novas funcionalidades quando as evidências são fortes e evitar agir com base em resultados que podem não se confirmar.

O nível de significância, frequentemente representado como α (alfa), é um limite definido antes da realização do teste para determinar o quanto de risco de um falso positivo (erro Tipo I) você está disposto a aceitar. Em testes A/B, ele representa a probabilidade de concluir incorretamente que existe uma diferença real quando, na verdade, a diferença é apenas devido ao acaso.

O nível de significância mais comum é 0.05, ou 5%;
Isso significa aceitar uma chance de 5% de declarar erroneamente uma diferença quando não existe;
Reduzir o nível de significância (por exemplo, para 0.01) torna o teste mais rigoroso, diminuindo o risco de falso positivo, mas exigindo evidências mais fortes para declarar significância;
O nível de significância é definido antes da coleta ou análise dos dados.

Na prática, se o valor de p for menor que o nível de significância escolhido, o resultado é considerado estatisticamente significativo e mais provável de refletir um efeito real. Se o valor de p for maior, não há evidências suficientes para afirmar com confiança que existe uma diferença verdadeira. Definir o nível de significância adequado ajuda a equilibrar os riscos de tomar decisões equivocadas em experimentos de produto.

1. O que um valor de p baixo indica em um teste de hipótese?

2. Preencha a lacuna:

Tudo estava claro?

Obrigado pelo seu feedback!

Seção 4. Capítulo 3

Pergunte à IA

Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo

Seção 4. Capítulo 3