Calcolatore di test d'ipotesi con z e t
I tuoi dati
Scegli la direzione prima di guardare i dati, non dopo. Decidere di testare solo verso l'alto perché la media che hai misurato è venuta più alta è il modo più antico che esista di trasformare un testa o croce in una scoperta.
Risultati
Con quale frequenza una differenza almeno così grande comparirebbe per solo caso, se la media vera fosse esattamente il valore con cui confronti
—
| La statistica test | — |
| Contro quale distribuzione si legge | — |
| Gradi di libertà | — |
| Il valore che la statistica deve superare | — |
| Quanto è grande la differenza, contata in deviazioni standard | — |
| Che cosa avrebbe risposto l'altra distribuzione | — |
| Intervallo con cui la media vera è compatibile | — |
La stessa differenza, misurata su più gente
| Osservazioni | La statistica test | Con quale frequenza lo farebbe il solo caso | Verdetto |
|---|
Nulla della differenza cambia lungo quella tabella. La media, il valore di confronto e la deviazione restano esattamente dove li hai messi, e cresce solo il numero di osservazioni. Eppure il verdetto si ribalta a metà strada, perché il test misura quanto bene hai misurato, non quanto è grande la cosa. Per questo la dimensione della differenza sta nella tabella qui sopra, accanto alla risposta.
L'altra riga che vale la pena leggere è quella che confronta le due distribuzioni. Quando la deviazione è stata stimata dal campione anziché nota in anticipo, la t di Student è quella onesta, ed è più esigente della normale proprio perché deve tenere conto che la deviazione stessa è una stima. Su campioni piccoli il divario basta a ribaltare il verdetto, e si chiude solo lentamente: perfino con cento osservazioni le due si separano ancora al terzo decimale.
Una cosa che questo numero non è, per quanto spesso lo si descriva così: non è la probabilità che il valore con cui hai confrontato sia quello vero. Si calcola supponendo vero quel valore e chiedendo quanto sarebbero sorprendenti i tuoi dati. Rovesciare la cosa richiede qualcosa che i dati da soli non forniscono, cioè quanto fosse plausibile il valore prima che misurassi alcunché.
Devo usare il test z o il test t?
Usa il test t ogni volta che la deviazione standard viene dallo stesso campione che stai testando, cioè quasi sempre. Usa z solo quando la deviazione è davvero nota in anticipo per l'intera popolazione, da una lunga storia della stessa misura e non da queste osservazioni.
Conta soprattutto sui campioni piccoli. Con la stessa statistica di 2,10 e test bilaterale, la t dà 0,1037 su cinque osservazioni mentre la normale dà 0,0357: una lo chiama risultato al 5% e l'altra no. Le due concordano da una ventina di osservazioni in poi, e anche a cento differiscono ancora al terzo decimale.
| Osservazioni | p con la t | p con la normale |
|---|---|---|
| 5 | 0.1037 | 0.0357 |
| 8 | 0.0739 | 0.0357 |
| 10 | 0.0651 | 0.0357 |
| 15 | 0.0543 | 0.0357 |
| 20 | 0.0493 | 0.0357 |
| 30 | 0.0445 | 0.0357 |
Che cosa vuol dire davvero il valore p?
È con quale frequenza una differenza almeno grande quanto la tua comparirebbe per solo caso, in un mondo in cui il valore di riferimento è la media vera. Nulla di più.
Non è la probabilità che il valore di riferimento sia vero, né la probabilità che il tuo risultato sia stato un colpo di fortuna. Entrambe le letture sono comuni ed entrambe sbagliate, perché il calcolo parte assumendo vero il valore di riferimento, quindi non può mai dirti quanto fosse probabile quell'assunzione.
Perché il mio risultato è diventato significativo quando ho raccolto più dati?
Perché il test misura quanto bene hai misurato, non quanto è grande la differenza. L'errore standard si riduce con la radice quadrata del numero di osservazioni, quindi la stessa differenza produce una statistica più grande ogni volta che il campione cresce.
Una differenza di un quarto di deviazione standard dà 0,4495 su dieci osservazioni, 0,0576 su sessanta, 0,0141 su cento e 0,0005 su duecento. La differenza non è cambiata nemmeno una volta. Per questo la sua dimensione, contata in deviazioni standard, sta accanto alla risposta in questa pagina.
| Osservazioni | valore p | Significativo al 5% |
|---|---|---|
| 10 | 0.449524 | no |
| 30 | 0.181415 | no |
| 60 | 0.057602 | no |
| 100 | 0.014063 | yes |
| 200 | 0.000506 | yes |
| 500 | 0.000000 | yes |
Un risultato significativo può comunque non contare nulla?
Sì, e nei campioni grandi succede in continuazione. Significativo vuol dire che la differenza è difficile da spiegare col caso, non che sia abbastanza grande da agire.
Un farmaco che abbassa la pressione di un centesimo di punto risulterà significativo se lo provi su abbastanza gente, e inutile in ogni caso. Leggi prima la dimensione della differenza e solo dopo il valore p.
Quale livello di significatività devo scegliere?
Il 5% è la convenzione nella maggior parte dei campi, ma è una convenzione e non una legge, e va scelto prima di vedere i dati, non dopo.
Abbassalo quando un falso allarme costa caro, come in una decisione difficile da disfare. Alzalo quando lasciarsi sfuggire un effetto vero è l'errore peggiore, come in uno screening a basso costo che verrà ricontrollato dopo.
Che cosa cambia un test unilaterale?
Mette tutta la tolleranza da un lato solo, quindi serve meno evidenza per dichiarare una differenza nella direzione che hai indicato, e nessuna nella direzione opposta.
Vale solo se indichi la direzione prima di guardare. Decidere di testare solo verso l'alto perché la media è venuta più alta è il modo più antico che esista di trasformare un testa o croce in una scoperta, e raddoppia il tasso di falsi allarmi che credi di correre.
Reazioni
0
0 Commenti
Diventa il primo a commentare