Wykrywanie wartości odstających za pomocą odchylenia standardowego

Czym są wartości odstające?

Wartości odstające (outliers) to punkty danych znacząco różniące się od pozostałych obserwacji. Mogą być spowodowane błędami pomiarowymi, pomyłkami przy wprowadzaniu danych lub mogą reprezentować rzeczywiście nietypowe przypadki warte zbadania.

Pomarańczowy punkt w pozycji (10, 50) jest wartością odstającą

Reguła 3 sigm

Dla danych o rozkładzie normalnym punkty wykraczające poza 3 odchylenia standardowe od średniej są uznawane za wartości odstające. Występują one w mniej niż 0,3% przypadków.

Wartość odstająca, jeśli

x < μ - 3σ OR x > μ + 3σ

Przykład

Jeśli wyniki testu mają μ = 75 i σ = 10: - Dolna granica: 75 - 30 = 45 - Górna granica: 75 + 30 = 105 - Każdy wynik poniżej 45 lub powyżej 105 jest wartością odstającą

Metoda Z-score

Oblicz Z-score dla każdego punktu danych. Jeśli |z| > 3 (lub czasem 2,5), punkt jest wartością odstającą.

Z-score

z = (x - μ) / σ

Opcje progowe

- |z| > 3: Konserwatywne (wychwytuje mniej wartości odstających) - |z| > 2,5: Umiarkowane - |z| > 2: Liberalne (wychwytuje więcej wartości odstających)

Metoda IQR (alternatywa)

Metoda rozstępu międzykwartylowego (IQR) jest bardziej odporna na wartości odstające, ponieważ nie wykorzystuje średniej ani odchylenia standardowego.

Krok 1

Znajdź Q1 (25. percentyl) i Q3 (75. percentyl)

Krok 2

Oblicz IQR = Q3 - Q1

Krok 3

Dolna granica = Q1 - 1,5 × IQR

Krok 4

Górna granica = Q3 + 1,5 × IQR

Krok 5

Punkty poza granicami są wartościami odstającymi

Postępowanie z wartościami odstającymi

Nie usuwaj automatycznie!

Wartości odstające nie zawsze są błędami. Przed ich usunięciem zbadaj: - Czy to błąd przy wprowadzaniu danych lub pomiarze? - Czy to autentyczna wartość ekstremalna? - Czy reprezentuje ważny przypadek brzegowy?

Kiedy usuwać

- Potwierdzone błędy przy wprowadzaniu danych - Awaria sprzętu pomiarowego - Wartość poza możliwym zakresem

Kiedy zachować

- Reprezentuje rzeczywistą zmienność - Jest ważna dla analizy - Usunięcie zniekształciłoby wyniki

← Centrum Nauki