15회 · 가정이 틀리면 · 노트

8 오늘 — bagging과 Huber 손실

8.1 Bagging과 random forest

Leo Breiman(1996)은 부트스트랩을 추정량의 오차를 재는 데가 아니라 예측기를 만드는 데 썼다. 부트스트랩 표본마다 예측기를 학습하고 그 예측을 평균한다. bagging(bootstrap aggregating)이다.

명제 8.1 (평균한 예측기의 분산) 예측값 $\hat f_1,\dots,\hat f_B$가 같은 분산 $\sigma^2$과 쌍마다 같은 상관 $\rho$를 가지면 $\Var\bigl(\tfrac1B\sum\hat f_b\bigr)=\rho\sigma^2+\tfrac{1-\rho}B\sigma^2$이다.

증명 $\tfrac1{B^2}\bigl(B\sigma^2+B(B-1)\rho\sigma^2\bigr)$를 정리한다(3회 8절).

부트스트랩 표본들은 같은 자료에서 왔으므로 $\rho$가 0이 아니다. 그래서 $B$를 늘려도 분산은 $\rho\sigma^2$ 밑으로 내려가지 않는다. Breiman(2001)의 random forest는 나무마다 쓸 수 있는 변수를 무작위로 제한해 $\rho$를 줄인다. 이득이 큰 것은 결정 나무처럼 자료가 조금 바뀌면 예측이 크게 바뀌는 “불안정한” 예측기다.

예제 8.2 (결정 그루터기) $x\sim\mathrm U(-1,1)$, $y=\mathbf 1\{x>0\}+\N(0,1)$인 자료 100개에 분기 하나짜리 나무(그루터기)를 맞추고 $x_0=0.05$에서 예측한다. 자료를 200번 새로 만들면 그루터기 예측의 분산은 0.131, 부트스트랩 50번으로 bagging한 예측의 분산은 0.068로 절반쯤이 된다. 대신 평균은 0.86에서 0.77로 참값 1에서 조금 더 멀어진다. 분기점 근처에서 bagging은 계단을 매끄러운 경사로 바꾼다. 분산이 크게 줄고 치우침이 조금 는다.

부트스트랩 표본마다 뽑히지 않은 약 36.8%의 관측(연습 5.3)은 그 나무의 검증 자료로 쓸 수 있다. 이것이 out-of-bag 오차이고, 교차검증 없이 일반화 오차를 추정한다.

8.2 Huber 손실과 smooth L1

신경망의 회귀 손실로 널리 쓰이는 Huber 손실과 객체 검출의 smooth L1 손실(Girshick 2015)은 Huber(1964)의 $\rho_k$ 그대로다.

명제 8.3 (Huber 손실의 세 얼굴) $\rho_k(u)=u^2/2$ ($|u|\le k$), $k|u|-k^2/2$ ($|u|>k$)에 대해

1. (a)

   $\rho_k^\prime=\psi_k$이다. 경사하강의 한 걸음은 잔차를 $\pm k$로 자른 것을 쓴다.

2. (b)

   $\rho_k(u)=\min_z\bigl\{\tfrac12(u-z)^2+k|z|\bigr\}$이다. 큰 잔차를 “이상치 몫” $z$와 “정상 몫” $u-z$로 나누어, 이상치 몫에는 절댓값 벌점을 준 것이다.

3. (c)

   smooth L1 손실 $\tfrac{1}{2\beta}u^2$ ($|u|<\beta$), $|u|-\beta/2$ (그 밖)은 $\rho_\beta(u)/\beta$다.

증명 전략 (a)는 구간마다 미분하고 $|u|=k$에서 양쪽 도함수가 같음을 확인한다. (b)는 $z$에 대한 최소화를 $z$의 부호로 나눠 푼다. (c)는 두 식을 구간마다 비교한다. 단계별 증명은 연습 8.3(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

(b)의 $z$는 16회에서 볼 lasso와 같은 연성 임계값이다. 로버스트 회귀는 “관측마다 이상치 몫이 있을 수 있고, 그 몫은 드물다(희소하다)”고 가정한 lasso와 같다. 경사 자르기(gradient clipping)도 같은 생각이다. 한 미니배치의 큰 기울기가 학습을 끌고 가지 못하게 자른다.

그림 8.1 왼쪽: 그루터기 예측(회색)과 bagging 예측(파랑)의 $x$에 대한 평균 곡선과 분산. bagging은 계단을 경사로 바꾸고 분기점 근처의 분산을 줄인다. 오른쪽: 제곱 손실, 절댓값 손실, Huber 손실($k=1$)과 그 도함수. Huber의 도함수는 $\pm k$에서 잘린다.

연습문제

연습 8.1 (상관이 남기는 분산 ★) $\rho=0.4$, $\sigma^2=1$이면 $B=1,\ 10,\ 100,\ \infty$에서 명제 8.1의 분산은 얼마인가?

풀이

$0.4+0.6/B$: $B=1$이면 1, 10이면 0.46, 100이면 0.406, $\infty$이면 0.4.

연습 8.2 (연성 임계값 ★★) 명제 8.3(b)의 최소화를 $z>0$, $z<0$, $z=0$의 경우로 나눠 풀어라.

풀이

$z>0$이면 미분해 $z=u-k$이고 $u>k$일 때만 양수다. $z<0$이면 $z=u+k$이고 $u<-k$일 때만 음수다. 나머지 경우($|u|\le k$)는 $z=0$이 최소다. 값은 $|u|\le k$에서 $u^2/2$, $|u|>k$에서 $k^2/2+k(|u|-k)=k|u|-k^2/2$.

연습 8.3 (Huber 손실의 세 얼굴: 증명 ★ 유도형) 명제 8.3를 증명하라.

1. (a)

   $|u|<k$와 $|u|>k$에서 $\rho_k^\prime$을 구하고, $u=\pm k$에서 왼쪽과 오른쪽 도함수가 같아 $\rho_k$가 미분가능함을 보여라. $\rho_k^\prime=\psi_k$를 확인하라.

2. (b)

   연습 8.2의 결과 $z^*=\mathrm{sign}(u)\max(|u|-k,\allowbreak 0)$를 $\tfrac12(u-z)^2+k|z|$에 넣어 $\rho_k(u)$를 얻어라.

3. (c)

   $\beta\,\rho_\beta(u)$가 아니라 $\rho_\beta(u)/\beta$가 smooth L1 손실임을 $|u|<\beta$와 $|u|\ge\beta$에서 각각 확인하라.

풀이

(a) $|u|<k$에서 $\rho_k^\prime(u)=u$, $u>k$에서 $k$, $u<-k$에서 $-k$이다. $u=k$에서 왼쪽 도함수는 $k$, 오른쪽 도함수도 $k$이고 $u=-k$에서도 둘 다 $-k$이므로 $\rho_k$는 미분가능하고 $\rho_k^\prime=\psi_k$이다. (b) $z^*$를 넣는다. $|u|\le k$이면 $z^*=0$이고 값은 $u^2/2$다. $u>k$이면 $z^*=u-k$이고 값은 $\tfrac12k^2+k(u-k)=ku-\tfrac{k^2}2$다. $u<-k$도 대칭이다. (c) $|u|<\beta$이면 $\rho_\beta(u)/\beta=\tfrac{u^2}{2\beta}$이고, $|u|\ge\beta$이면 $\rho_\beta(u)/\beta=(\beta|u|-\beta^2/2)/\beta=|u|-\beta/2$이다. 둘 다 smooth L1의 식이다. $\beta\rho_\beta$는 첫 구간에서 $\beta u^2/2$가 되어 맞지 않는다.

이 절을 PDF로 보기 (29쪽)노트북 8절

이 회차에서 읽은 절 0개 · 회차 차례