Capire cos'è la devianza in statistica aiuta a non confondere due concetti diversi: da un lato la somma dei quadrati degli scarti dalla media, dall’altro la misura con cui un modello si allontana dai dati osservati. La distinzione conta davvero, perché cambia il modo in cui si leggono varianza, regressione, modelli logistici e analisi di conteggio. Qui chiarisco la definizione, come si interpreta, quando serve e quali errori eviterei io per primo.
La devianza cambia significato a seconda del contesto
- Nella statistica descrittiva è la somma dei quadrati degli scarti dalla media.
- Nei modelli lineari generalizzati misura quanto il modello si discosta dai dati osservati.
- Un valore alto indica più dispersione nei dati o un peggior adattamento, ma solo se sai in quale contesto lo stai leggendo.
- In regressione si guarda soprattutto il confronto tra devianza nulla e devianza residua.
- Da sola non basta: va letta insieme a gradi di libertà, residui e, spesso, AIC o test di confronto.
La devianza come dispersione dei dati
Nella statistica descrittiva, la devianza è la somma dei quadrati delle differenze tra ogni osservazione e la media: D = Σ(xi - μ)². In pratica misura quanta variabilità c'è attorno al valore medio. Più i dati sono sparsi, più il numero cresce; se invece i valori sono concentrati, la devianza resta bassa.
Il punto che molti saltano è semplice: la devianza è espressa in unità al quadrato, quindi non si legge come si leggerebbe una media o una percentuale. È un numero utile per calcoli successivi, non sempre un indicatore finale da commentare da solo. Per questo, nella pratica, si passa quasi subito a varianza e deviazione standard.
| Indice | Che cosa misura | Come si ottiene | Come si legge |
|---|---|---|---|
| Devianza | Dispersione totale attorno alla media | Somma degli scarti elevati al quadrato | Più è alta, più i dati sono dispersi |
| Varianza | Dispersione media | Devianza divisa per n o n-1 | Più è alta, più la variabilità è grande |
| Deviazione standard | Dispersione nella stessa unità dei dati | Radice quadrata della varianza | Più facile da confrontare con i valori originali |
Questa è anche la versione che entra nella scomposizione della varianza e nei calcoli di ANOVA. Da qui però si passa a un uso più tecnico, quello che conta davvero quando i dati non seguono l’impostazione classica della regressione lineare.
Quando la devianza diventa una misura di bontà del modello
Nei modelli lineari generalizzati, la devianza non descrive più soltanto la dispersione dei dati: diventa una misura di mancanza di adattamento, cioè di quanto il modello si allontana da ciò che osserviamo. In formula, si può leggere come D = -2 [log L(modello) - log L(modello saturo)]. Il modello saturo è quello che si adatta perfettamente ai dati, perché assegna un parametro a ogni osservazione; è utile come riferimento, ma non è un modello realistico da usare per prevedere.
In questo contesto, il numero che guardo per primo è spesso la devianza residua, mentre la devianza nulla rappresenta il modello con sola intercetta. Se aggiungere variabili abbassa molto la devianza residua rispetto alla devianza nulla, il modello sta spiegando una parte concreta della variabilità. Nei software statistici, R incluso, questo compare proprio nei riepiloghi di glm e serve a leggere meglio binomiali, logistiche e Poisson.
| Voce | Significato | Cosa suggerisce |
|---|---|---|
| Devianza nulla | Adattamento di un modello senza predittori | È il punto di partenza del confronto |
| Devianza residua | Adattamento del modello con i predittori scelti | Più è bassa, meglio il modello segue i dati |
| Differenza di devianza | Scarto tra due modelli annidati | Se è grande, i nuovi predittori aiutano davvero |
Qui la devianza smette di essere un semplice indice di dispersione e diventa uno strumento di confronto tra modelli. Ed è proprio il confronto, più che il numero isolato, a dirti qualcosa di utile.
Come interpretarla senza cadere in trappole
La regola pratica è questa: più bassa è la devianza, migliore è l’adattamento, ma solo quando confronti modelli costruiti sugli stessi dati e sulla stessa variabile risposta. Se cambi famiglia di distribuzione, campione o struttura della risposta, il confronto perde senso. Io la tratto sempre come un indice relativo, non come una pagella assoluta del modello.
Nei modelli annidati, la differenza di devianza è spesso letta con un’approssimazione chi-quadrato, soprattutto quando il campione è abbastanza grande. Questo è utile per capire se l’aggiunta di parametri migliora davvero il fit o se stai solo complicando il modello. Ma la significatività statistica non basta da sola: un miglioramento “significativo” può essere troppo piccolo per avere valore sostanziale, specie nelle analisi di policy o nei dati economici.
- Se la devianza residua è molto più grande dei gradi di libertà, sospetta un problema di adattamento.
- Se il modello è Poisson o binomiale, controlla sempre l'overdispersione.
- Se la devianza cala ma i residui restano strutturati, il modello è ancora incompleto.
- Se confronti modelli non annidati, usa altre metriche insieme alla devianza.
In breve, la devianza ti orienta, ma non decide da sola. Per vedere come si comporta in pratica, conviene passare a un esempio concreto legato a dati sociali ed economici.
Un esempio concreto con dati economici e sociali
Immagina di studiare il numero di richieste di un sussidio regionale per comune. Con un modello base, che usa solo l’intercetta, la devianza nulla potrebbe essere 920 su 59 gradi di libertà. Se aggiungi tasso di disoccupazione e densità abitativa, la devianza residua scende a 610 su 57 gradi di libertà. I numeri sono illustrativi, ma il messaggio è chiaro: il secondo modello spiega una parte della variabilità che il primo lasciava fuori.
| Modello | Devianza | Gradi di libertà | Lettura pratica |
|---|---|---|---|
| Solo intercetta | 920 | 59 | Baseline debole, nessuna spiegazione sostanziale |
| Disoccupazione + densità | 610 | 57 | Miglioramento netto, i predittori aggiungono informazione |
| Differenza | 310 | 2 | Probabile guadagno reale, da verificare con test e residui |
In una situazione del genere io non mi fermerei al valore più basso. Verificherei anche se il calo è coerente con la teoria, se i residui mostrano pattern regionali e se la struttura del modello regge su dati nuovi. È qui che la devianza diventa davvero utile: non ti dice solo se il modello “funziona”, ma ti aiuta a capire quanto sta funzionando e dove resta fragile.
Gli errori che vedo più spesso quando si parla di devianza
Il primo errore è confonderla con la deviazione standard. Sono parenti, ma non sono la stessa cosa: una lavora sulla somma dei quadrati, l’altra restituisce una misura nella stessa unità dei dati. Il secondo errore è usare la devianza come giudizio assoluto, quando in realtà ha senso soprattutto nel confronto tra modelli.
Il terzo errore, molto comune nei modelli di conteggio, è ignorare l’overdispersione. Se la variabilità osservata è troppo alta rispetto a quella prevista dal modello, la devianza può sembrare “brutta” non perché i dati siano incomprensibili, ma perché la specifica del modello è troppo rigida. In quel caso conviene considerare una famiglia diversa, per esempio quasi-Poisson o binomiale negativa, invece di forzare l’interpretazione.
- Non confrontare devianze di modelli costruiti su dati diversi.
- Non leggere un valore basso come prova definitiva di bontà.
- Non ignorare i gradi di libertà.
- Non aspettarti che la devianza sostituisca residui, AIC o verifica teorica.
Se eviti queste scorciatoie, la devianza torna a essere quello che dovrebbe essere: un indicatore tecnico molto utile, ma solo dentro una lettura completa del modello.
Quando la devianza ti aiuta davvero a scegliere un modello
Per usarla bene, io seguo una sequenza semplice. Prima distinguo il contesto: statistica descrittiva o modello probabilistico. Poi guardo se sto confrontando modelli annidati, perché lì la differenza di devianza è davvero informativa. Infine controllo sempre se il miglioramento è anche sensato sul piano sostanziale: nei dati pubblici, nelle analisi economiche o nelle serie sociali, una riduzione di devianza può essere interessante anche quando non è enorme, ma solo se il modello resta interpretabile.
Se vuoi una regola operativa da portarti dietro, è questa: usa la devianza per confrontare, non per adorare il numero più basso. È un indice potente quando sta dentro un quadro coerente, mentre fuori contesto rischia di confondere più che chiarire. E proprio per questo, nelle analisi serie, io la leggo sempre insieme a teoria, residui e struttura del dataset.
