Impara Significatività statistica | Sperimentazione e test A/B

Scorri per mostrare il menu

Quando esegui un test A/B, vuoi sapere se la differenza che osservi tra i gruppi di controllo e variante è reale o semplicemente il risultato del caso. Pensa al lancio di una moneta: se la lanci dieci volte e ottieni sette volte testa, significa che la moneta è truccata? Oppure è stata solo fortuna? Nell'analisi dei prodotti, qui entra in gioco la significatività statistica. Ti aiuta a decidere se la differenza nei risultati – come un numero maggiore di utenti che cliccano su un nuovo pulsante – è probabilmente significativa, oppure se potrebbe essere avvenuta solo per caso, come una serie di teste nei lanci di moneta.


              1234567891011121314151617
            
import numpy as np
from scipy import stats

# Simulated data: daily conversions for control and variant groups
control = np.array([30, 28, 35, 33, 29, 31, 32])
variant = np.array([36, 34, 39, 37, 35, 38, 40])

# Performing independent t-test
t_stat, p_value = stats.ttest_ind(variant, control)

print("t-statistic:", t_stat)
print("p-value:", p_value)

if p_value < 0.05:
    print("Result is statistically significant: the variant performed differently from control.")
else:
    print("Result is not statistically significant: no strong evidence of a difference.")

Definizione

La significatività statistica indica che le differenze osservate sono improbabili dovute al caso.

Quando si ottiene un p-value da un test statistico, questo indica quanto è probabile osservare una differenza pari o superiore a quella rilevata, semplicemente per caso. Un p-value basso (ad esempio, inferiore a 0.05) significa che è improbabile che i risultati siano avvenuti casualmente, quindi si può essere più sicuri che la modifica abbia avuto un impatto reale. Se il p-value è alto, non si può escludere che la differenza sia dovuta solo alla fortuna. Questo aiuta a prendere decisioni di prodotto con maggiore sicurezza: lanciare nuove funzionalità quando le evidenze sono solide ed evitare di agire su risultati che potrebbero non essere affidabili.

Il livello di significatività, spesso indicato come α (alfa), è una soglia impostata prima di eseguire il test per decidere quanto rischio di falso positivo (errore di Tipo I) si è disposti ad accettare. Nei test A/B, rappresenta la probabilità di concludere erroneamente che esista una differenza reale quando, in realtà, la differenza è dovuta solo al caso.

Il livello di significatività più comune è 0.05, ovvero 5%;
Questo significa accettare una probabilità del 5% di dichiarare erroneamente una differenza quando non esiste;
Abbassare il livello di significatività (ad esempio, a 0.01) rende il test più rigoroso, riducendo il rischio di un falso positivo ma richiedendo prove più forti per dichiarare la significatività;
Il livello di significatività viene stabilito prima di raccogliere o analizzare i dati.

In pratica, se il p-value è inferiore al livello di significatività scelto, il risultato viene considerato statisticamente significativo e più probabilmente riflette un effetto reale. Se il p-value è superiore, non ci sono abbastanza prove per affermare con sicurezza che esista una vera differenza. Impostare il giusto livello di significatività aiuta a bilanciare i rischi di prendere decisioni errate negli esperimenti di prodotto.

1. Cosa indica un valore p basso nei test d'ipotesi?

2. Completa lo spazio vuoto:

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 4. Capitolo 3

Chieda ad AI

Chieda pure quello che desidera o provi una delle domande suggerite per iniziare la nostra conversazione

Sezione 4. Capitolo 3