Statistiques robustes : MAD, EIQ et méthodes résistantes aux valeurs aberrantes

Pourquoi les statistiques robustes?

L’écart type est une mesure puissante de dispersion, mais il a une faiblesse critique : une sensibilité extrême aux valeurs aberrantes. Une seule valeur extrême peut gonfler considérablement l’écart type, donnant une image trompeuse de la variation typique.

Les statistiques robustes fournissent des mesures de dispersion qui résistent à l’influence des valeurs aberrantes, les rendant essentielles pour les données du monde réel où les erreurs de mesure, les erreurs de saisie de données ou les cas véritablement extrêmes sont courants.

Exemple : L’effet des valeurs aberrantes

Données : 10, 12, 11, 13, 12, 11, 100 (une valeur aberrante) Écart type : 32,4 (dominé par la valeur aberrante) MAD : 1,0 (ignore la valeur aberrante) EIQ : 1,5 (ignore la valeur aberrante)

Point de rupture

Le « point de rupture » d’une statistique est la proportion de données qui peuvent être extrêmes avant que la statistique ne devienne inutile. L’écart type a un point de rupture de 0 % (une seule valeur aberrante peut le détruire). Le MAD et l’EIQ ont des points de rupture de 50 % — la moitié de vos données peut être aberrante et ils fonctionnent toujours.

Écart absolu médian (MAD)

Le MAD est la mesure de dispersion la plus robuste. Il calcule la médiane des écarts absolus par rapport à la médiane :

Formule du MAD

MAD = median(|xᵢ - median(x)|)

Trouver la médiane

Calculez la médiane de votre ensemble de données.

Calculer les écarts

Soustrayez la médiane de chaque valeur et prenez les valeurs absolues.

Trouver le MAD

Calculez la médiane de ces écarts absolus.

Mise à l’échelle du MAD pour estimer σ : Pour des données normalement distribuées, MAD ≈ 0,6745 × σ. Pour estimer l’écart type à partir du MAD, multipliez par 1,4826 :

Estimation de l’écart type à partir du MAD

σ̂ = 1.4826 × MAD

Pourquoi 1,4826?

Ce facteur de mise à l’échelle provient de la relation entre le MAD et l’écart type pour les distributions normales. Il assure que le MAD mis à l’échelle est un estimateur sans biais du vrai écart type quand les données sont normales.

Écart interquartile (EIQ)

L’EIQ mesure la dispersion des 50 % centraux des données — l’intervalle entre le 25e et le 75e centile :

Formule de l’EIQ

IQR = Q3 - Q1 = 75th percentile - 25th percentile

L’EIQ est largement utilisé parce qu’il est simple à comprendre, facile à visualiser dans les diagrammes en boîte et constitue la base de la règle courante « 1,5×EIQ » pour la détection des valeurs aberrantes.

Mise à l’échelle de l’EIQ pour estimer σ : Pour des données normales, EIQ ≈ 1,35 × σ. Pour estimer l’écart type à partir de l’EIQ :

Estimation de l’écart type à partir de l’EIQ

σ̂ = IQR / 1.35 ≈ 0.7413 × IQR

Comparaison des mesures robustes

Écart type

Utilise tous les points de données · Plus efficace pour les données normales · Très sensible aux valeurs aberrantes · Point de rupture : 0 %

MAD

Mesure la plus robuste · Utilise la médiane (pas la moyenne) · Immunisé contre toute valeur aberrante · Point de rupture : 50 %

EIQ

Facile à comprendre · Utilisé dans les diagrammes en boîte · Ignore les 50 % extrêmes · Point de rupture : 25 %

Quand utiliser les statistiques robustes

Analyse exploratoire : Quand vous ne savez pas si des valeurs aberrantes existent, commencez par les mesures robustes
Problèmes de qualité des données : Quand les données peuvent contenir des erreurs ou des problèmes de mesure
Distributions à queues lourdes : Quand des valeurs extrêmes sont attendues (rendements financiers, réclamations d’assurance)
Petits échantillons : Quand les valeurs aberrantes ont un impact disproportionné en raison du peu d’observations
Détection des valeurs aberrantes : Utiliser l’écart type pour détecter les valeurs aberrantes est circulaire; utilisez l’EIQ ou le MAD à la place

Exemples d’implémentation

Python

import numpy as np
from scipy import stats

def mad(data):
    """Median Absolute Deviation"""
    median = np.median(data)
    return np.median(np.abs(data - median))

def scaled_mad(data):
    """MAD scaled to estimate SD (for normal data)"""
    return 1.4826 * mad(data)

def iqr(data):
    """Interquartile Range"""
    return np.percentile(data, 75) - np.percentile(data, 25)

# Compare on data with outlier
data = [10, 12, 11, 13, 12, 11, 100]
print(f"SD: {np.std(data, ddof=1):.2f}")
print(f"MAD: {mad(data):.2f}")
print(f"Scaled MAD: {scaled_mad(data):.2f}")
print(f"IQR: {iqr(data):.2f}")

← Centre d'Apprentissage