Métodos Bootstrap para Desvio Padrão

Bootstrap: A Revolução Estatística da Era Computacional

A reamostragem bootstrap é uma técnica estatística poderosa que estima a distribuição amostral de qualquer estatística reamostrandao repetidamente seus dados observados. Introduzida por Bradley Efron em 1979, ela revolucionou a inferência estatística ao possibilitar a análise de estatísticas complexas sem depender de fórmulas matemáticas ou pressupostos distribucionais.

A ideia por trás do bootstrap é elegantemente simples: sua amostra é a melhor estimativa da população. Ao reamostrar da sua amostra (com reposição), você simula o que aconteceria se pudesse amostrar repetidamente da população. Essa abordagem é particularmente valiosa para o desvio padrão, onde as fórmulas tradicionais de intervalo de confiança assumem normalidade — um pressuposto que frequentemente falha na prática.

O bootstrap se tornou essencial na ciência de dados moderna porque funciona com qualquer estatística (mediana, correlação, coeficientes de regressão, pesos de redes neurais) e não faz pressupostos sobre a distribuição subjacente dos seus dados.

Por que Bootstrap para Desvio Padrão?

Intervalos de confiança tradicionais para desvio padrão assumem que seus dados vêm de uma distribuição normal. Quando esse pressuposto falha (o que é comum), esses intervalos podem ser muito imprecisos. O bootstrap oferece uma alternativa livre de pressupostos distribucionais.

Vantagens principais do bootstrap para desvio padrão:

• Sem pressupostos distribucionais: Funciona igualmente bem com dados normais, assimétricos ou de caudas pesadas
• Desempenho em amostras pequenas: Frequentemente mais preciso que métodos paramétricos com n < 30
• Lida com estatísticas complexas: A mesma abordagem funciona para DP aparado, MAD ou medidas de variabilidade personalizadas
• Insight visual: A distribuição bootstrap mostra o que está acontecendo, não apenas números finais

O Procedimento Bootstrap

O algoritmo bootstrap é notavelmente direto. A partir da sua amostra original de n observações:

Quantas amostras bootstrap? B = 1.000 é frequentemente suficiente para estimativas aproximadas e testes de hipóteses. Para intervalos de confiança, B = 10.000 fornece percentis estáveis. Para intervalos BCa com qualidade de publicação, recomenda-se B = 15.000+.

Métodos de Intervalo de Confiança Bootstrap

Vários métodos existem para construir intervalos de confiança a partir de amostras bootstrap, cada um com seus trade-offs:

1. Método Percentil (Mais Simples)

A abordagem mais intuitiva: use os percentis da distribuição bootstrap diretamente.

Para 10.000 amostras bootstrap, estes são o 250º e o 9.750º valores ordenados. Simples, mas pode ser enviesado quando a distribuição bootstrap é assimétrica.

2. Bootstrap Básico (Pivotal)

Usa a relação entre a estatística amostral e as estatísticas bootstrap:

Onde θ̂ é o DP amostral original. Isso “reflete” o intervalo percentil ao redor da estimativa amostral.

3. BCa (Corrigido por Viés e Acelerado)

O padrão-ouro em precisão. O BCa ajusta tanto o viés na distribuição bootstrap quanto a aceleração (como o erro padrão muda com o valor do parâmetro). Mais complexo de calcular, mas fornece intervalos com precisão de segunda ordem.

Exemplo Resolvido: Dados Não Normais

Considere 15 medições de tempos de resposta (em ms): 245, 312, 287, 456, 234, 298, 267, 523, 289, 301, 278, 645, 256, 289, 312. Esses dados são assimétricos à direita (algumas respostas muito lentas).

O IC bootstrap é assimétrico (mais largo no lado superior), refletindo a natureza assimétrica à direita dos dados. O IC qui-quadrado não captura essa assimetria.

Implementação em Python

Implementação completa do bootstrap com múltiplos métodos de IC:

import numpy as np
from scipy import stats

def bootstrap_sd_ci(data, n_bootstrap=10000, ci=0.95, method='percentile'):
    """
    Bootstrap confidence interval for standard deviation.

    Parameters:
    -----------
    data : array-like - Original sample
    n_bootstrap : int - Number of bootstrap samples
    ci : float - Confidence level (e.g., 0.95)
    method : str - 'percentile', 'basic', or 'bca'

    Returns:
    --------
    tuple : (lower_bound, upper_bound, bootstrap_sds)
    """
    data = np.array(data)
    n = len(data)
    original_sd = np.std(data, ddof=1)

    # Generate bootstrap samples and calculate SDs
    bootstrap_sds = np.array([
        np.std(np.random.choice(data, size=n, replace=True), ddof=1)
        for _ in range(n_bootstrap)
    ])

    alpha = 1 - ci

    if method == 'percentile':
        lower = np.percentile(bootstrap_sds, 100 * alpha/2)
        upper = np.percentile(bootstrap_sds, 100 * (1 - alpha/2))

    elif method == 'basic':
        lower = 2*original_sd - np.percentile(bootstrap_sds, 100*(1-alpha/2))
        upper = 2*original_sd - np.percentile(bootstrap_sds, 100*alpha/2)

    elif method == 'bca':
        # Bias correction
        prop_less = np.mean(bootstrap_sds < original_sd)
        z0 = stats.norm.ppf(prop_less)

        # Acceleration (jackknife estimate)
        jackknife_sds = np.array([
            np.std(np.delete(data, i), ddof=1) for i in range(n)
        ])
        jack_mean = jackknife_sds.mean()
        a = np.sum((jack_mean - jackknife_sds)**3) / \
            (6 * np.sum((jack_mean - jackknife_sds)**2)**1.5)

        # Adjusted percentiles
        z_alpha = stats.norm.ppf([alpha/2, 1-alpha/2])
        adj_percentiles = stats.norm.cdf(
            z0 + (z0 + z_alpha) / (1 - a*(z0 + z_alpha))
        ) * 100
        lower = np.percentile(bootstrap_sds, adj_percentiles[0])
        upper = np.percentile(bootstrap_sds, adj_percentiles[1])

    return lower, upper, bootstrap_sds

# Example usage
response_times = [245, 312, 287, 456, 234, 298, 267, 523, 289, 301, 278, 645, 256, 289, 312]

for method in ['percentile', 'basic', 'bca']:
    lower, upper, _ = bootstrap_sd_ci(response_times, method=method)
    print(f"{method.upper():12s} 95% CI: [{lower:.1f}, {upper:.1f}]")