d de Cohen et calculs de taille d’effet

Au-delà de la significativité statistique : comprendre la taille d’effet

La taille d’effet mesure l’ampleur d’une différence ou d’une relation, indépendamment de la taille de l’échantillon. Alors que les p-valeurs indiquent si un effet est statistiquement significatif, les tailles d’effet révèlent à quel point cet effet est concrètement pertinent. Cette distinction est cruciale pour une prise de décision fondée sur les preuves en recherche, médecine, éducation et entreprise.

Considérons un essai pharmaceutique où un nouveau médicament montre une amélioration statistiquement significative (p < 0,001) par rapport au placebo. Sans taille d’effet, impossible de savoir si l’amélioration est de 0,1 % ou de 50 %. La taille d’effet apporte ce contexte essentiel, aidant les décideurs à déterminer si l’effet justifie le coût, les effets secondaires ou l’effort de mise en œuvre.

La mesure de taille d’effet la plus courante pour comparer deux groupes est le d de Cohen, qui exprime la différence entre les moyennes en unités d’écart type. Cette standardisation permet la comparaison entre différentes études et échelles de mesure.

Pourquoi la taille d’effet compte

La significativité statistique est fortement influencée par la taille de l’échantillon. Avec un échantillon assez grand, même des différences triviales deviennent « significatives ». Inversement, des effets importants peuvent ne pas atteindre la significativité dans de petits échantillons. La taille d’effet résout ce problème en fournissant une mesure indépendante de la taille de l’échantillon.

Raisons clés d’utiliser la taille d’effet :

• Méta-analyse : Les tailles d’effet peuvent être combinées entre études pour estimer les effets globaux
• Analyse de puissance : Nécessaire pour calculer les tailles d’échantillon requises pour les études futures
• Décisions pratiques : Aide à déterminer si les interventions valent la peine d’être mises en œuvre
• Réplication : Fournit un objectif que les études de réplication doivent atteindre

d de Cohen : la mesure standard de taille d’effet

Le d de Cohen exprime la différence entre les moyennes de deux groupes en unités d’écart type groupé :

Où M₁ et M₂ sont les moyennes des groupes, et sp l’écart type groupé calculé comme suit :

Le signe de d indique la direction : positif quand M₁ > M₂, négatif quand M₁ < M₂. Souvent, la valeur absolue |d| est rapportée lorsque la direction est évidente.

Mesures alternatives de taille d’effet

Si le d de Cohen est le plus courant, des alternatives existent pour des situations spécifiques :

g de Hedges : taille d’effet corrigée du biais

Le d de Cohen surestime légèrement la taille d’effet de la population dans les petits échantillons. Le g de Hedges applique un facteur de correction :

Pour des échantillons de plus de 20 par groupe, la différence est négligeable. Pour de petits échantillons (n < 20), le g de Hedges est préférable.

Δ de Glass : quand les variances diffèrent

Lorsqu’un groupe est un témoin dont la variabilité est connue, on utilise uniquement l’écart type du groupe témoin comme dénominateur :

C’est utile lorsque le traitement peut affecter la variance (par ex. une intervention qui aide davantage les moins performants que les plus performants).

Interpréter les tailles d’effet : conventions de Cohen

Jacob Cohen a proposé ces conventions pour interpréter les valeurs de d :

Exemple détaillé : intervention éducative

Une école teste un nouveau programme de lecture. Groupe témoin (n=25) : moyenne=72, écart type=12. Groupe traitement (n=30) : moyenne=79, écart type=14. Calculons le d de Cohen :

Cela signifie que si l’on prend au hasard un élève du groupe traitement et un du groupe témoin, l’élève du groupe traitement obtiendra un meilleur score environ 64 % du temps (calculé à partir du chevauchement).

Implémentation en Python

Calculer les tailles d’effet par programmation avec des intervalles de confiance :

import numpy as np
from scipy import stats

def cohens_d(group1, group2):
    """Calculate Cohen's d for two independent groups."""
    n1, n2 = len(group1), len(group2)
    var1, var2 = np.var(group1, ddof=1), np.var(group2, ddof=1)

    # Pooled standard deviation
    pooled_std = np.sqrt(((n1-1)*var1 + (n2-1)*var2) / (n1+n2-2))

    # Cohen's d
    d = (np.mean(group1) - np.mean(group2)) / pooled_std
    return d

def hedges_g(group1, group2):
    """Calculate Hedges' g (bias-corrected effect size)."""
    n1, n2 = len(group1), len(group2)
    d = cohens_d(group1, group2)

    # Correction factor for small sample bias
    correction = 1 - 3 / (4*(n1+n2) - 9)
    return d * correction

# Example usage
control = [68, 72, 75, 70, 69, 74, 71, 73, 76, 72]
treatment = [75, 79, 82, 78, 80, 77, 81, 76, 83, 79]

d = cohens_d(treatment, control)
g = hedges_g(treatment, control)
print(f"Cohen's d: {d:.3f}")
print(f"Hedges' g: {g:.3f}")