Au-delà de la signification statistique : comprendre la taille de l’effet
La taille de l’effet mesure l’ampleur d’une différence ou d’une relation, indépendamment de la taille de l’échantillon. Alors que les valeurs p vous disent si un effet est statistiquement significatif, les tailles d’effet vous disent à quel point cet effet est pratiquement important. Cette distinction est cruciale pour la prise de décisions fondées sur les données probantes en recherche, en médecine, en éducation et en affaires.
Considérez un essai pharmaceutique où un nouveau médicament montre une amélioration statistiquement significative (p < 0,001) par rapport au placebo. Sans la taille de l’effet, vous ne savez pas si l’amélioration est de 0,1 % ou de 50 %. La taille de l’effet fournit ce contexte crucial, aidant les parties prenantes à déterminer si l’effet vaut le coût, les effets secondaires ou l’effort de mise en œuvre.
La mesure de taille d’effet la plus courante pour comparer deux groupes est le d de Cohen, qui exprime la différence entre les moyennes en unités d’écart type. Cette standardisation permet la comparaison entre différentes études et échelles de mesure.
Pourquoi la taille de l’effet est importante
La signification statistique est fortement influencée par la taille de l’échantillon. Avec un échantillon suffisamment grand, même des différences triviales deviennent « significatives ». Inversement, des effets importants peuvent ne pas atteindre la signification dans de petits échantillons. La taille de l’effet résout ce problème en fournissant une mesure indépendante de la taille de l’échantillon.
Le piège de la signification
Raisons principales d’utiliser la taille de l’effet :
- Méta-analyse : Les tailles d’effet peuvent être combinées entre études pour estimer les effets globaux
- Analyse de puissance : Nécessaire pour calculer les tailles d’échantillons requises pour les études futures
- Décisions pratiques : Aide à déterminer si les interventions valent la peine d’être mises en œuvre
- Réplication : Fournit une cible que les études de réplication doivent atteindre
d de Cohen : la mesure standard de taille d’effet
Le d de Cohen exprime la différence entre deux moyennes de groupes en unités d’écart type combiné :
d de Cohen
Où M₁ et M₂ sont les moyennes des groupes, et sp est l’écart type combiné calculé comme :
Écart type combiné
Le signe de d indique la direction : positif quand M₁ > M₂, négatif quand M₁ < M₂. Souvent la valeur absolue |d| est rapportée quand la direction est évidente d’après le contexte.
Pourquoi combiner l’écart type?
Mesures alternatives de taille d’effet
Bien que le d de Cohen soit le plus courant, des alternatives existent pour des situations spécifiques :
g de Hedges : taille d’effet corrigée du biais
Le d de Cohen surestime légèrement la taille d’effet de la population dans les petits échantillons. Le g de Hedges applique un facteur de correction :
Correction du g de Hedges
Pour des échantillons de plus de 20 par groupe, la différence est négligeable. Pour de petits échantillons (n < 20), le g de Hedges est préféré.
Δ de Glass : quand les variances diffèrent
Quand un groupe est un groupe témoin avec une variabilité connue, on utilise uniquement l’écart type du groupe témoin comme dénominateur :
Delta de Glass
C’est utile quand le traitement peut affecter la variance (p. ex., une intervention qui aide davantage les participants à faible performance que ceux à haute performance).
Interpréter les tailles d’effet : les lignes directrices de Cohen
Jacob Cohen a proposé ces conventions pour interpréter les valeurs de d :
| Taille de l’effet (d) | Interprétation | Chevauchement |
|---|---|---|
| 0,2 | Petit | 85 % de chevauchement entre les groupes |
| 0,5 | Moyen | 67 % de chevauchement entre les groupes |
| 0,8 | Grand | 53 % de chevauchement entre les groupes |
| 1,2 | Très grand | 40 % de chevauchement entre les groupes |
| 2,0 | Énorme | 19 % de chevauchement entre les groupes |
Le contexte compte
Exemple résolu : Intervention éducative
Une école teste un nouveau programme de lecture. Groupe témoin (n=25) : moyenne=72, ÉT=12. Groupe traitement (n=30) : moyenne=79, ÉT=14. Calculez le d de Cohen :
Calculer la variance combinée
Calculer l’écart type combiné
Calculer le d de Cohen
Interpréter
Cela signifie que si vous preniez un étudiant au hasard du groupe traitement et un du groupe témoin, l’étudiant du groupe traitement obtiendrait un score plus élevé environ 64 % du temps (calculé à partir du chevauchement).
Implémentation en Python
Calculez les tailles d’effet par programmation avec des intervalles de confiance :
import numpy as np
from scipy import stats
def cohens_d(group1, group2):
"""Calculate Cohen's d for two independent groups."""
n1, n2 = len(group1), len(group2)
var1, var2 = np.var(group1, ddof=1), np.var(group2, ddof=1)
# Pooled standard deviation
pooled_std = np.sqrt(((n1-1)*var1 + (n2-1)*var2) / (n1+n2-2))
# Cohen's d
d = (np.mean(group1) - np.mean(group2)) / pooled_std
return d
def hedges_g(group1, group2):
"""Calculate Hedges' g (bias-corrected effect size)."""
n1, n2 = len(group1), len(group2)
d = cohens_d(group1, group2)
# Correction factor for small sample bias
correction = 1 - 3 / (4*(n1+n2) - 9)
return d * correction
# Example usage
control = [68, 72, 75, 70, 69, 74, 71, 73, 76, 72]
treatment = [75, 79, 82, 78, 80, 77, 81, 76, 83, 79]
d = cohens_d(treatment, control)
g = hedges_g(treatment, control)
print(f"Cohen's d: {d:.3f}")
print(f"Hedges' g: {g:.3f}")