Robust Statistics: MAD, IQR, at Mga Paraan na Lumalaban sa Outliers

Bakit Robust Statistics?

Ang standard deviation ay isang makapangyarihang sukatan ng pagkakalat, ngunit mayroon itong kritikal na kahinaan: matinding sensitivity sa outliers. Ang isang extreme na halaga ay maaaring dramatikong magpalaki sa SD, na nagbibigay ng nakakalitong larawan ng tipikal na variation.

Nagbibigay ang robust statistics ng mga sukatan ng pagkakalat na lumalaban sa impluwensya ng outliers, kaya naman ito ay mahalaga para sa real-world data kung saan ang mga pagkakamali sa pagsukat, pagkakamali sa data entry, o tunay na extreme cases ay karaniwan.

Halimbawa: Ang Epekto ng Outlier

Data: 10, 12, 11, 13, 12, 11, 100 (isang outlier) Standard Deviation: 32.4 (dinomina ng outlier) MAD: 1.0 (binalewala ang outlier) IQR: 1.5 (binalewala ang outlier)

Breakdown Point

Ang “breakdown point” ng isang statistic ay ang proporsyon ng data na maaaring maging extreme bago mawalan ng kahulugan ang statistic. Ang SD ay may breakdown point na 0% (isang outlier ay maaaring sirain ito). Ang MAD at IQR ay may breakdown points na 50%—kalahati ng iyong data ay maaaring outliers at gumagana pa rin ang mga ito.

Median Absolute Deviation (MAD)

Ang MAD ang pinaka-robust na sukatan ng pagkakalat. Kinakalkula nito ang median ng absolute deviations mula sa median:

MAD Formula

MAD = median(|xᵢ - median(x)|)

Hanapin ang Median

Kalkulahin ang median ng iyong dataset.

Kalkulahin ang mga Deviation

Ibawas ang median mula sa bawat halaga at kunin ang absolute values.

Hanapin ang MAD

Kalkulahin ang median ng mga absolute deviations na ito.

Pag-scale ng MAD upang tantiyahin ang σ: Para sa normally distributed data, MAD ≈ 0.6745 × σ. Upang tantiyahin ang SD mula sa MAD, i-multiply sa 1.4826:

SD Estimate from MAD

σ̂ = 1.4826 × MAD

Bakit 1.4826?

Ang scaling factor na ito ay nagmumula sa relasyon ng MAD at SD para sa normal distributions. Tinitiyak nito na ang scaled MAD ay isang unbiased estimator ng tunay na standard deviation kapag normal ang data.

Interquartile Range (IQR)

Sinusukat ng IQR ang pagkakalat ng gitnang 50% ng data—ang range sa pagitan ng ika-25 at ika-75 percentiles:

IQR Formula

IQR = Q3 - Q1 = ika-75 percentile - ika-25 percentile

Malawakang ginagamit ang IQR dahil simple itong maunawaan, madaling i-visualize sa box plots, at ito ang batayan ng karaniwang “1.5×IQR rule” para sa outlier detection.

Pag-scale ng IQR upang tantiyahin ang σ: Para sa normal data, IQR ≈ 1.35 × σ. Upang tantiyahin ang SD mula sa IQR:

SD Estimate from IQR

σ̂ = IQR / 1.35 ≈ 0.7413 × IQR

Paghahambing ng Robust Measures

Standard Deviation

Gumagamit ng lahat ng data points · Pinaka-efficient para sa normal data · Napaka-sensitive sa outliers · Breakdown point: 0%

MAD

Pinaka-robust na sukatan · Gumagamit ng median (hindi mean) · Hindi apektado ng anumang outliers · Breakdown point: 50%

IQR

Madaling maunawaan · Ginagamit sa box plots · Hindi pinapansin ang extreme 50% · Breakdown point: 25%

Kailan Gamitin ang Robust Statistics

Exploratory analysis: Kapag hindi mo alam kung may outliers, magsimula sa robust measures
Mga isyu sa kalidad ng data: Kapag maaaring may mga error o problema sa pagsukat ang data
Heavy-tailed distributions: Kapag inaasahan ang mga extreme values (financial returns, insurance claims)
Maliliit na samples: Kapag ang outliers ay may sobrang malaking epekto dahil sa kakaunting obserbasyon
Outlier detection: Ang paggamit ng SD upang matukoy ang outliers ay circular; gamitin ang IQR o MAD sa halip

Mga Halimbawa ng Implementation

Python

import numpy as np
from scipy import stats

def mad(data):
    """Median Absolute Deviation"""
    median = np.median(data)
    return np.median(np.abs(data - median))

def scaled_mad(data):
    """MAD scaled to estimate SD (for normal data)"""
    return 1.4826 * mad(data)

def iqr(data):
    """Interquartile Range"""
    return np.percentile(data, 75) - np.percentile(data, 25)

# Compare on data with outlier
data = [10, 12, 11, 13, 12, 11, 100]
print(f"SD: {np.std(data, ddof=1):.2f}")
print(f"MAD: {mad(data):.2f}")
print(f"Scaled MAD: {scaled_mad(data):.2f}")
print(f"IQR: {iqr(data):.2f}")

← Learning Center