15회 · 가정이 틀리면 · 노트

6 원자료로 — 회귀도 로버스트하게

13회의 최소제곱은 회귀의 평균이다. 잔차 하나가 크면 계수 전체가 그쪽으로 끌려간다. 위치모수의 M-추정을 회귀로 옮기면 로버스트 회귀가 된다.

정의 6.1 (회귀의 M-추정) $\sum_{i=1}^n\psi\bigl((y_i-\x_i\T\bb)/s\bigr)\,\x_i=\bzero$의 해 $\bhat$을 회귀의 M-추정량이라 한다. $\psi(u)=u$이면 최소제곱의 정규방정식(13회 정리 2.2)이고, $\psi=\psi_k$이면 Huber 회귀다.

알고리즘 6.2 (반복 가중 최소제곱 (IRLS)) 

1. 1.

   최소제곱으로 $\bb^{(0)}$을 구한다.

2. 2.

   잔차 $r_i=y_i-\x_i\T\bb^{(t)}$와 척도 $s=\mathrm{MAD}(r)/0.6745$를 계산하고, 무게 $w_i=\psi(r_i/s)/(r_i/s)$ (Huber이면 $\min(1,\,k/|r_i/s|)$)를 정한다.

3. 3.

   가중 최소제곱 $\bb^{(t+1)}=(X\T WX)^{-1}X\T W\y$ ($W=\diag(w_i)$)를 풀고, 바뀌지 않을 때까지 되풀이한다.

명제 6.3 (IRLS의 고정점) IRLS가 수렴하면 그 극한(척도 $s$를 고정했을 때)은 회귀의 M-추정 방정식을 푼다.

증명 고정점에서 $X\T W(\y-X\bb)=\bzero$, 곧 $\sum_iw_i(y_i-\x_i\T\bb)\x_i=\bzero$이다. $w_ir_i=\psi(r_i/s)\,s$이므로 이것은 $s\sum\psi(r_i/s)\x_i=\bzero$와 같다.

IRLS는 13회 따름정리 3.7의 가중 최소제곱을 되풀이하는 것이다. 큰 잔차를 낸 관측의 무게를 줄이고 다시 맞춘다. 무게 $w_i$ 자체가 진단이다. 어느 관측을 얼마나 믿지 않았는지 알려 준다.

예제 6.4 (질산 공장의 stack loss) Brownlee(1965)의 자료는 암모니아를 산화해 질산을 만드는 공장의 21일 동안의 운전 기록이다. 반응되지 못하고 굴뚝으로 빠져나간 암모니아의 양(stack loss)을 공기 흐름, 냉각수 온도, 산 농도로 회귀한다. 세 방법의 계수(절편, 공기, 냉각수, 산)는

	절편	공기 흐름	냉각수 온도	산 농도
최소제곱	$-39.92$	0.716	1.295	$-0.152$
Huber ($k=1.345$)	$-41.05$	0.827	0.939	$-0.129$
최소절댓값	$-39.69$	0.832	0.574	$-0.061$

이다. Huber 회귀는 3, 4, 21일째의 무게를 0.82, 0.53, 0.38로 줄였다. 이 자료를 분석한 많은 연구가 이상치로 지목한 날들이다. 냉각수 온도의 계수가 1.30에서 0.94로 줄어든 것은 그 몇 날이 최소제곱의 기울기를 끌어올렸다는 뜻이다(그림 6.1).

가정 주의 Huber 회귀는 $y$ 방향의 이상치에 강하지만, $\x$ 방향으로 동떨어진 지렛대 점(13회 명제 2.7)에는 여전히 약하다. 지렛대가 1에 가까운 점은 잔차가 작게 나오므로 무게가 줄지 않는다. 그런 점까지 막으려면 최소중앙제곱(Rousseeuw 1984)처럼 붕괴점이 높은 추정이 필요하다.

그림 6.1 Stack loss 자료. 왼쪽: 최소제곱 적합값과 잔차. 3, 4, 21일째(빨강)가 크게 벗어난다. 오른쪽: Huber IRLS의 마지막 무게. 큰 잔차를 낸 날일수록 무게가 작다.

연습문제

연습 6.1 (최소절댓값도 IRLS ★★) $\psi=\mathrm{sign}$이면 IRLS의 무게가 $w_i=1/|r_i|$임을 보이고, 고정점이 13회 1절의 최소절댓값 문제의 정상점임을 설명하라. 잔차가 0에 가까우면 어떤 문제가 생기는가?

풀이

$\psi=\mathrm{sign}$이면 $w_i=\mathrm{sign}(r_i)/r_i=1/|r_i|$이고 고정점의 조건은 $\sum\mathrm{sign}(r_i)\x_i=\bzero$, 곧 $\sum|r_i|$의 (부분)기울기가 0인 조건이다. 잔차가 0에 가까우면 무게가 무한대로 가므로 $\max(|r_i|,\delta)$로 막는다.

연습 6.2 (무게의 해석 ★) Huber의 무게 $w_i=\min(1,k/|u_i|)$에서 무게가 0.38인 관측의 표준화 잔차 $|u_i|$는 얼마인가($k=1.345$)?

풀이

$k/|u_i|=0.38$이므로 $|u_i|=1.345/0.38=3.5$ (척도 단위).

이 절을 PDF로 보기 (24쪽)노트북 6절

이 회차에서 읽은 절 0개 · 회차 차례