Quando si confrontano più ipotesi sullo stesso set di dati, il rischio non è solo sbagliare una volta: è accumulare falsi positivi fino a trasformare una coincidenza in una conclusione apparente. La correzione di Bonferroni serve proprio a tenere sotto controllo questo problema, imponendo una soglia più severa quando i test aumentano. Qui trovi una spiegazione pratica di come funziona, un esempio numerico, i casi in cui ha senso usarla e le alternative che spesso offrono un equilibrio migliore tra rigore e potenza.
Le idee da fissare prima di applicarla
- Controlla l’errore familiare: il metodo limita la probabilità di almeno un falso positivo in un gruppo di test.
- Soglia semplice: con m confronti, il livello di significatività diventa α/m.
- È prudente, non generosa: riduce i falsi positivi, ma aumenta il rischio di falsi negativi quando i test sono molti.
- Funziona bene in analisi confermative o quando un errore di I tipo avrebbe un costo alto.
- Holm è spesso il passo successivo: controlla lo stesso errore familiare con più potenza.
Perché serve quando i test si moltiplicano
Un singolo test con soglia 0,05 è facile da interpretare. Il problema nasce quando ne fai molti sullo stesso insieme di dati: ogni verifica aggiunge una nuova occasione per ottenere un risultato “significativo” solo per caso. Se i test fossero indipendenti, venti confronti al 5% darebbero una probabilità di almeno un falso positivo di circa 64%; con dieci test, saremmo già intorno al 40%. Nella pratica i dati non sono sempre indipendenti, ma il messaggio resta chiaro: senza correzione, il rischio complessivo cresce in fretta.
Io la considero una regola di prudenza, non un vezzo tecnico. Se sto valutando indicatori economici, esiti clinici o confronti tra più gruppi, voglio sapere non solo se un singolo p-value è sotto 0,05, ma se l’intero insieme di decisioni rimane affidabile. Per questo il metodo di Bonferroni non agisce sul singolo test isolato, bensì sulla famiglia di test nel suo complesso. A quel punto, il passaggio operativo è molto semplice: si divide la soglia e si controlla ogni confronto con la stessa regola.
Come si calcola la soglia corretta senza complicare il lavoro
La logica è lineare: se vuoi mantenere un livello complessivo di significatività pari a 0,05 e hai m test, ogni test deve rispettare la soglia 0,05/m. In alternativa, puoi lasciare invariata la soglia e correggere i p-value moltiplicandoli per il numero di confronti, con un limite massimo di 1. Le due letture portano alla stessa decisione statistica.
| Numero di test | α complessivo | Soglia per singolo test | Effetto pratico |
|---|---|---|---|
| 2 | 0,05 | 0,025 | Ogni confronto deve essere molto più convincente del consueto 5% |
| 5 | 0,05 | 0,01 | Un p-value di 0,03 non basta più |
| 20 | 0,05 | 0,0025 | La barriera diventa molto selettiva |
Un esempio concreto chiarisce bene il meccanismo. Se sto facendo 5 test e ottengo un p-value di 0,018, il valore corretto diventa 0,018 × 5 = 0,09: il risultato non è più significativo al livello 0,05. Se invece il p-value iniziale è 0,001 con 20 test, il valore corretto è 0,02, che resta sotto la soglia complessiva. Questa semplicità è uno dei motivi per cui il metodo è così diffuso. Il prezzo, però, emerge subito quando i test diventano numerosi o molto correlati.
Quando è utile e quando rischia di essere troppo severa
Io la uso soprattutto quando l’analisi è confermativa: pochi confronti pianificati in anticipo, ipotesi chiare e un costo elevato per un falso allarme. È una scelta sensata anche quando il pubblico leggerà il risultato come base per una decisione concreta, non come semplice esplorazione dei dati.
Diventa invece meno adatta quando:
- i test sono molti e nascono da una scansione ampia dei dati;
- gli esiti sono fortemente correlati, quindi la correzione finisce per essere molto prudente;
- l’obiettivo è scoprire segnali preliminari, non chiudere una decisione definitiva;
- la definizione della “famiglia” di test è ambigua o cambia dopo aver visto i risultati.
Il limite principale è la potenza statistica: più alzi la soglia di severità, più aumenti la probabilità di non vedere effetti reali, soprattutto se sono piccoli o il campione è ridotto. Per questo, quando il problema non è più solo proteggersi dai falsi positivi ma anche non perdere segnali utili, conviene confrontarla con altre procedure.
Bonferroni, Holm e FDR a confronto
La correzione classica non è l’unica opzione, e spesso non è neppure la più equilibrata. La scelta dipende da quello che vuoi controllare: la probabilità di almeno un falso positivo, oppure la quota media di falsi positivi tra i risultati dichiarati significativi.
| Metodo | Cosa controlla | Punto forte | Limite | Quando lo preferisco |
|---|---|---|---|---|
| Bonferroni | FWER, cioè la probabilità di almeno un falso positivo | Semplice e valido anche senza ipotesi forti sulla dipendenza | È conservativo e riduce la potenza | Pochi test, decisioni importanti, rischio alto di errore |
| Holm | FWER | Più potente del Bonferroni, con la stessa logica di controllo | Un po’ meno immediato da applicare a mano | Quando voglio la stessa prudenza ma con meno penalizzazione |
| Šidák | FWER | Leggermente meno conservativo in condizioni favorevoli | Dipende di più dall’indipendenza o da dipendenze benigne | Quando i test sono quasi indipendenti e voglio una soglia più fine |
| FDR | La proporzione attesa di falsi positivi tra i risultati scoperti | Più potenza, utile in screening su larga scala | Non garantisce il controllo di almeno un falso positivo | Quando cerco segnali esplorativi e il numero di test è molto alto |
In sintesi, se la domanda è “posso fidarmi che non ci sia nemmeno un falso positivo nella famiglia di test?”, Bonferroni e Holm sono i riferimenti naturali. Se la domanda è “voglio conservare più capacità di scoprire effetti reali in un’analisi ampia?”, allora FDR diventa spesso più adatta. Il vero errore, però, spesso non sta nella formula scelta ma in come si definisce la famiglia di test.
Gli errori che vedo più spesso nell’uso pratico
Il primo errore è scegliere i test dopo aver guardato i dati e poi trattarli come se fossero tutti stati pianificati all’inizio. La famiglia va definita prima, altrimenti la correzione diventa una decorazione formale e non una protezione reale.
Il secondo errore è correggere solo i p-value “interessanti” e lasciare fuori quelli meno comodi. Se il gruppo di confronti è quello, va corretto tutto il gruppo. Lo stesso vale per gli intervalli di confidenza: se hai 10 stime e vuoi copertura familiare, non basta un 95% per ciascuna; con la logica Bonferroni, ogni intervallo individuale sale a circa 99,5%.
Il terzo errore è credere che un risultato corretto sia automaticamente importante. Un p-value molto piccolo non dice nulla da solo sull’ampiezza dell’effetto, sulla sua stabilità o sulla rilevanza pratica. Io cerco sempre di leggere la correzione insieme a dimensione dell’effetto, intervalli di confidenza e disegno dell’analisi. Senza questo contesto, si rischia di scambiare prudenza statistica per qualità della conclusione.
Infine, c’è un problema più sottile: usare una regola troppo severa per un lavoro che è ancora esplorativo. In quel caso si finisce per spegnere segnali utili prima ancora di capirli. Prima di chiudere un’analisi, faccio sempre un ultimo controllo su ciò che la correzione protegge davvero e su ciò che invece lascia aperto.
Prima di fidarti del p-value corretto, controlla questi dettagli
- Hai definito bene la famiglia di test? Se la lista cambia dopo aver visto i risultati, il controllo perde coerenza.
- Ti serve controllo dell’errore familiare o basta una logica FDR? La risposta cambia il metodo da usare.
- Il numero di confronti è piccolo o grande? Con pochi test, Bonferroni è spesso accettabile; con molti, può diventare eccessivo.
- I test sono indipendenti o molto correlati? La dipendenza non invalida Bonferroni, ma può renderlo ancora più conservativo.
- Stai guardando solo la significatività? Un buon risultato statistico senza effetto sostanziale resta una conclusione debole.
La correzione di Bonferroni è, in fondo, una cintura di sicurezza: utile quando un falso allarme costa caro, meno adatta quando stai esplorando un dataset ampio e vuoi mantenere sensibilità. Io la tratto come una scelta di rigore, non come un automatismo. Se definisci bene la famiglia dei test e allinei la correzione all’obiettivo dell’analisi, il risultato statistico diventa molto più credibile e molto meno fragile.
