Cosa sono i valori anomali?
I valori anomali (outlier) sono dati che differiscono significativamente dalle altre osservazioni. Possono essere causati da errori di misurazione, errori di inserimento dati, oppure rappresentare casi genuinamente insoliti che meritano un’indagine approfondita.
Il punto arancione in (10, 50) è un valore anomalo
La regola 3-sigma
Per dati con distribuzione normale, i punti oltre 3 deviazioni standard dalla media sono considerati valori anomali. Si verificano meno dello 0,3% delle volte per effetto del caso.
Anomalo se
x < μ - 3σ OPPURE x > μ + 3σ
Esempio
Se i punteggi di un test hanno μ = 75 e σ = 10:
- Limite inferiore: 75 - 30 = 45
- Limite superiore: 75 + 30 = 105
- Qualsiasi punteggio inferiore a 45 o superiore a 105 è un valore anomalo
Metodo del punteggio Z
Si calcola il punteggio Z per ogni dato. Se |z| > 3 (o talvolta 2,5), si tratta di un valore anomalo.
Punteggio Z
z = (x - μ) / σ
Opzioni di soglia
- |z| > 3: Conservativo (individua meno outlier)
- |z| > 2,5: Moderato
- |z| > 2: Liberale (individua più outlier)
Metodo IQR (alternativo)
Il metodo dello scarto interquartile (IQR) è più robusto rispetto ai valori anomali perché non utilizza la media né la deviazione standard.
1
Passo 1
Trovare Q1 (25° percentile) e Q3 (75° percentile)
2
Passo 2
Calcolare IQR = Q3 - Q1
3
Passo 3
Limite inferiore = Q1 - 1,5 × IQR
4
Passo 4
Limite superiore = Q3 + 1,5 × IQR
5
Passo 5
I punti fuori dai limiti sono valori anomali
Gestione dei valori anomali
Non eliminare automaticamente!
I valori anomali non sono sempre errori. Prima di rimuoverli, indaga:
- Si tratta di un errore di inserimento o di misurazione?
- È un valore estremo genuino?
- Rappresenta un caso limite importante?
Quando rimuovere
- Errori di inserimento dati confermati
- Malfunzionamento dell’apparecchiatura di misura
- Valori fuori dall’intervallo possibile
Quando mantenere
- Rappresenta una variabilità reale
- È importante per l’analisi
- La rimozione distorcerebbe i risultati