Oltre la significatività statistica: comprendere la dimensione dell’effetto
La dimensione dell’effetto misura l’entità di una differenza o relazione, indipendentemente dalla dimensione del campione. Mentre i valori p indicano se un effetto è statisticamente significativo, la dimensione dell’effetto indica quanto quell’effetto sia concretamente significativo. Questa distinzione è cruciale per il processo decisionale basato sulle evidenze nella ricerca, in medicina, nell’istruzione e nel business.
Consideriamo una sperimentazione farmaceutica in cui un nuovo farmaco mostra un miglioramento statisticamente significativo (p < 0,001) rispetto al placebo. Senza la dimensione dell’effetto, non si sa se il miglioramento è dello 0,1% o del 50%. La dimensione dell’effetto fornisce questo contesto cruciale, aiutando le parti interessate a determinare se l’effetto giustifica i costi, gli effetti collaterali o lo sforzo di implementazione.
La misura più comune della dimensione dell’effetto per confrontare due gruppi è la d di Cohen, che esprime la differenza tra le medie in unità di deviazione standard. Questa standardizzazione consente il confronto tra studi e scale di misura diverse.
Perché la dimensione dell’effetto conta
La significatività statistica è fortemente influenzata dalla dimensione del campione. Con un campione sufficientemente grande, anche differenze banali diventano “significative”. Al contrario, effetti importanti potrebbero non raggiungere la significatività in campioni piccoli. La dimensione dell’effetto risolve questo problema fornendo una misura indipendente dalla dimensione del campione.
La trappola della significatività
Ragioni chiave per usare la dimensione dell’effetto:
- Meta-analisi: Le dimensioni dell’effetto possono essere combinate tra studi per stimare gli effetti complessivi
- Analisi di potenza: Necessaria per calcolare le dimensioni campionarie richieste per studi futuri
- Decisioni pratiche: Aiuta a determinare se vale la pena implementare gli interventi
- Replicazione: Fornisce un obiettivo da raggiungere negli studi di replicazione
d di Cohen: la misura standard della dimensione dell’effetto
La d di Cohen esprime la differenza tra le medie di due gruppi in unità di deviazione standard combinata:
d di Cohen
Dove M₁ e M₂ sono le medie dei gruppi e sp è la deviazione standard combinata calcolata come:
Deviazione standard combinata
Il segno di d indica la direzione: positivo quando M₁ > M₂, negativo quando M₁ < M₂. Spesso si riporta il valore assoluto |d| quando la direzione è ovvia dal contesto.
Perché combinare la deviazione standard?
Misure alternative della dimensione dell’effetto
Sebbene la d di Cohen sia la più comune, esistono alternative per situazioni specifiche:
g di Hedges: dimensione dell’effetto corretta per la distorsione
La d di Cohen sovrastima leggermente la dimensione dell’effetto nella popolazione con campioni piccoli. La g di Hedges applica un fattore di correzione:
Correzione di Hedges’ g
Per campioni superiori a 20 per gruppo, la differenza è trascurabile. Per campioni piccoli (n < 20), la g di Hedges è preferibile.
Delta di Glass: quando le varianze differiscono
Quando un gruppo è un controllo con variabilità nota, si usa solo la deviazione standard del gruppo di controllo come denominatore:
Delta di Glass
È utile quando il trattamento potrebbe influenzare la varianza (es. un intervento che aiuta i soggetti con prestazioni basse più di quelli con prestazioni alte).
Interpretare le dimensioni dell’effetto: le linee guida di Cohen
Jacob Cohen ha proposto queste convenzioni per interpretare i valori di d:
| Dimensione effetto (d) | Interpretazione | Sovrapposizione |
|---|---|---|
| 0,2 | Piccola | 85% di sovrapposizione tra i gruppi |
| 0,5 | Media | 67% di sovrapposizione tra i gruppi |
| 0,8 | Grande | 53% di sovrapposizione tra i gruppi |
| 1,2 | Molto grande | 40% di sovrapposizione tra i gruppi |
| 2,0 | Enorme | 19% di sovrapposizione tra i gruppi |
Il contesto conta
Esempio svolto: intervento educativo
Una scuola testa un nuovo programma di lettura. Gruppo di controllo (n=25): media=72, DS=12. Gruppo sperimentale (n=30): media=79, DS=14. Calcoliamo la d di Cohen:
Calcolare la varianza combinata
Calcolare la DS combinata
Calcolare la d di Cohen
Interpretare
Ciò significa che prendendo casualmente uno studente dal gruppo sperimentale e uno dal gruppo di controllo, lo studente del gruppo sperimentale avrebbe un punteggio superiore circa il 64% delle volte (calcolato dalla sovrapposizione).
Implementazione in Python
Calcolare le dimensioni dell’effetto in modo programmatico con intervalli di confidenza:
import numpy as np
from scipy import stats
def cohens_d(group1, group2):
"""Calculate Cohen's d for two independent groups."""
n1, n2 = len(group1), len(group2)
var1, var2 = np.var(group1, ddof=1), np.var(group2, ddof=1)
# Pooled standard deviation
pooled_std = np.sqrt(((n1-1)*var1 + (n2-1)*var2) / (n1+n2-2))
# Cohen's d
d = (np.mean(group1) - np.mean(group2)) / pooled_std
return d
def hedges_g(group1, group2):
"""Calculate Hedges' g (bias-corrected effect size)."""
n1, n2 = len(group1), len(group2)
d = cohens_d(group1, group2)
# Correction factor for small sample bias
correction = 1 - 3 / (4*(n1+n2) - 9)
return d * correction
# Example usage
control = [68, 72, 75, 70, 69, 74, 71, 73, 76, 72]
treatment = [75, 79, 82, 78, 80, 77, 81, 76, 83, 79]
d = cohens_d(treatment, control)
g = hedges_g(treatment, control)
print(f"Cohen's d: {d:.3f}")
print(f"Hedges' g: {g:.3f}")