Ano ang mga Outliers?
Ang mga outliers ay mga data points na malaki ang pagkakaiba sa ibang mga obserbasyon. Maaari silang sanhi ng mga pagkakamali sa pagsukat, mga pagkakamali sa pag-encode ng datos, o maaaring kumakatawan sa mga tunay na hindi pangkaraniwang kaso na sulit suriin.
Ang orange na punto sa (10, 50) ay isang outlier
Ang 3-Sigma Rule
Para sa normally distributed na datos, ang mga punto na lampas sa 3 standard deviations mula sa mean ay itinuturing na mga outliers. Nangyayari sila nang mas mababa sa 0.3% ng panahon dahil sa pagkakataon.
Outlier kung
x < μ - 3σ OR x > μ + 3σ
Halimbawa
Kung ang mga marka sa pagsusulit ay may μ = 75 at σ = 10:
- Lower bound: 75 - 30 = 45
- Upper bound: 75 + 30 = 105
- Anumang marka na mas mababa sa 45 o mas mataas sa 105 ay isang outlier
Z-Score Method
Kalkulahin ang z-score para sa bawat data point. Kung |z| > 3 (o minsan 2.5), ito ay isang outlier.
Mga Pagpipilian sa Threshold
- |z| > 3: Konserbatibo (nakakakuha ng mas kaunting outliers)
- |z| > 2.5: Katamtaman
- |z| > 2: Liberal (nakakakuha ng mas maraming outliers)
IQR Method (Alternatibo)
Ang Interquartile Range (IQR) method ay mas robust sa mga outliers dahil hindi nito ginagamit ang mean o standard deviation.
1
Hakbang 1
Hanapin ang Q1 (25th percentile) at Q3 (75th percentile)
2
Hakbang 2
Kalkulahin ang IQR = Q3 - Q1
3
Hakbang 3
Lower fence = Q1 - 1.5 × IQR
4
Hakbang 4
Upper fence = Q3 + 1.5 × IQR
5
Hakbang 5
Ang mga punto sa labas ng mga fence ay mga outliers
Pangangasiwa ng mga Outliers
Huwag Awtomatikong Burahin!
Ang mga outliers ay hindi palaging mga error. Bago alisin, suriin:
- Error ba ito sa pag-encode o pagsukat?
- Tunay bang extreme na halaga ito?
- Kumakatawan ba ito sa isang mahalagang edge case?
Kailan Aalisin
- Nakumpirmang mga error sa pag-encode ng datos
- Hindi gumagana ang kagamitan sa pagsukat
- Labas sa posibleng saklaw ng mga halaga
Kailan Itatago
- Kumakatawan sa tunay na variability
- Mahalaga para sa iyong pagsusuri
- Ang pag-alis ay magdudulot ng bias sa mga resulta