16회 · 베이즈의 귀환 · 노트

8 오늘 — 벌점은 사전분포다

역사 Hoerl과 Kennard(1970)는 ridge를 공선성의 처방으로 내놓았고(13회), Tibshirani(1996)는 계수의 절댓값에 벌점을 주는 lasso로 변수 선택과 추정을 한 번에 했다. 두 벌점은 각각 정규 사전분포와 Laplace 사전분포의 사후 최빈값이다. 신경망의 weight decay도 같다. 계산 쪽에서는 물리학이 다시 들어왔다. Paul Langevin(1908)의 브라운 운동 방정식을 이산화하면 기울기를 따라 내려가며 잡음을 더하는 표집기가 된다. Roberts와 Tweedie(1996)는 여기에 MH 보정을 붙였고(MALA), Welling과 Teh(2011)는 미니배치 기울기로 그것을 큰 자료에 썼다(SGLD). 2019–2021년의 확산 생성모형은 자료의 로그밀도의 기울기, 곧 점수를 신경망으로 배워 Langevin 표집을 한다. 그 학습의 핵심 등식은 1956년 Robbins가 경험적 Bayes 논문에서 Tweedie의 것으로 소개한 공식이다.

8.1 ridge와 lasso의 사전분포

명제 8.1 (ridge는 정규 사전분포의 사후평균) $\y\mid\bbeta\sim\N_n(X\bbeta,\allowbreak \sigma^2I)$, $\bbeta\sim\N_p(\bzero,\allowbreak \tau^2I)$이면

$$\bbeta\mid\y\sim\N_p\bigl((X\T X+\lambda I)^{-1}X\T\y,\ \sigma^2(X\T X+\lambda I)^{-1}\bigr),\qquad\lambda=\sigma^2/\tau^2 .$$

사후평균과 MAP는 모두 13회 정의 8.4의 ridge 추정량 $\bhat_\lambda$이다.

증명 전략 로그 사후밀도를 $\bbeta$의 이차형식으로 쓰고 행렬의 제곱 완성으로 정규 밀도의 핵과 맞춘다. 정리 1.2(c)의 다차원판이다. 단계별 증명은 연습 8.5(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

13회에서 $\lambda$는 공선성을 다스리는 손잡이였다. 여기서는 잡음과 신호의 분산비 $\sigma^2/\tau^2$이다. 계수가 0 근처에 몰려 있다고 믿을수록($\tau$가 작을수록) 세게 줄인다. 5절의 James–Stein은 이 $\tau^2$을 자료로 추정하고, 13회의 교차검증도 결국 같은 일을 다른 방법으로 한다.

명제 8.2 (lasso는 Laplace 사전분포의 MAP) $\beta_j$가 독립이고 밀도가 $\frac1{2b}e^{-|\beta_j|/b}$(4회 예제 5.4의 Laplace 분포)이면 MAP는

$$\bhat_{\mathrm{lasso}}=\arg\min_{\bbeta}\ \tfrac12\|\y-X\bbeta\|^2+\lambda\sum_j|\beta_j|,\qquad\lambda=\sigma^2/b$$

이다. $X\T X=I$이면 $z_j=(X\T\y)_j$에 대해 $\hat\beta_j=\mathrm{sign}(z_j)\max(|z_j|-\lambda,\allowbreak 0)$(연성 임계값)이다.

증명 로그 사후밀도에 $-\sigma^2$을 곱하면 위의 목적함수다. $X\T X=I$이면 $\|\y-X\bbeta\|^2=\|\y\|^2-2\bbeta\T\z+\|\bbeta\|^2$이므로 목적함수가 좌표별 $\tfrac12(z_j-\beta_j)^2+\lambda|\beta_j|$의 합으로 갈라진다. 이것의 최소점은 15회 명제 8.3(b)의 계산 그대로 연성 임계값이다.

ridge는 모든 계수를 같은 비율로 줄이고 0으로 만들지 않는다. lasso는 작은 계수를 정확히 0으로 만든다. 15회에서 Huber 손실의 “이상치 몫”이 이 연성 임계값이었다. 다만 정확한 0은 MAP의 성질이지 사후분포의 성질이 아니다. Laplace 사전분포의 사후평균은 매끄러운 축소 함수이고 결코 0이 아니다(그림 8.1 가운데). Park과 Casella(2008)는 Laplace 분포가 정규의 척도 혼합이라는 사실(4회 예제 5.4)로 이 사후분포의 Gibbs 표집기를 만들었다(Bayes lasso).

증명 없이 쓰는 사실 (weight decay와 MAP) 신경망 학습에서 매 걸음 $\mathbf w\leftarrow(1-\eta\lambda)\mathbf w-\eta\nabla L(\mathbf w)$로 가중치를 조금씩 줄이는 것을 weight decay라 한다. 이것은 $L(\mathbf w)+\tfrac\lambda2\|\mathbf w\|^2$의 경사하강, 곧 정규 사전분포의 MAP다. 9회 8절의 EWC는 사전분포의 중심과 정밀도를 앞 과제의 Laplace 근사(1절)로 바꾼 것이다. 7회 8절의 MC 드롭아웃은 가중치의 사후분포를 근사하는 한 방법으로 해석된다.

8.2 Langevin 표집

MH는 목표밀도의 값만 쓴다. 기울기 $\nabla\log\pi$를 쓰면 높은 밀도 쪽으로 제안을 기울일 수 있다.

정의 8.3 (비보정 Langevin 알고리즘) 걸음 크기 $\eta>0$에서 $\theta_{t+1}=\theta_t+\eta\nabla\log\pi(\theta_t)+\sqrt{2\eta}\,\boldsymbol\xi_t$, $\boldsymbol\xi_t\iid\N(\bzero,\allowbreak I)$를 ULA라 한다. $\nabla\log\pi$에는 정규화 상수가 들어가지 않는다.

$\eta\to0$의 연속시간 극한인 Langevin 확산은 $\pi$를 정확히 정상분포로 갖는다. 그러나 $\eta>0$에서 ULA의 정상분포는 $\pi$가 아니다.

명제 8.4 (정규 목표에서 ULA의 치우침) $\pi=\N(0,\sigma^2)$이고 $0<\eta<2\sigma^2$이면 ULA의 정상분포는 $\N\bigl(0,\allowbreak \ \sigma^2/(1-\eta/(2\sigma^2))\bigr)$이다.

증명 전략 정규 목표에서 ULA는 계수 $1-\eta/\sigma^2$의 AR(1)이다. 정상분산을 $v=a^2v+2\eta$에서 푼다. 단계별 증명은 연습 8.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

$\sigma^2=1$에서 $\eta=0.1$이면 정상분산이 $1.053$, $\eta=0.5$이면 $1.333$이다. 20만 걸음의 모의실험은 $1.045$와 $1.328$이다. 치우침을 없애는 방법은 둘이다. 걸음 크기를 줄이거나, Langevin 걸음을 MH의 제안 $q(\theta,\allowbreak \cdot)=\N(\theta+\eta\nabla\log\pi(\theta),\allowbreak 2\eta I)$로 쓰고 정리 4.5의 받아들임 단계를 붙인다(MALA). SGLD는 $\nabla\log\pi$를 미니배치로 추정한 값으로 바꾸고 $\eta_t\to0$으로 줄여 간다. 잡음을 더한 SGD다. 기울기를 쓰는 표집기의 다른 갈래인 Hamiltonian Monte Carlo는 Stan의 기본 알고리즘이다.

8.3 Tweedie의 공식과 확산모형

정리 8.5 (Tweedie의 공식) $\X\mid\btheta\sim\N_p(\btheta,\allowbreak \sigma^2I)$이고 $\btheta\sim\pi$(임의의 사전분포)이며 $m(\x)=\int\varphi_\sigma(\x-\btheta)\pi(\btheta)d\btheta$가 $\X$의 주변밀도이면

$$E(\btheta\mid\X=\x)=\x+\sigma^2\nabla\log m(\x).$$

증명 전략 주변밀도를 미분하면 정규 잡음의 밀도에서 $(\btheta-\x)/\sigma^2$이 내려온다. 그것을 $m(\x)$로 나누면 사후평균에서 $\x$를 뺀 것이다.

1. $\varphi_\sigma(\mathbf u)\propto\exp\{-\|\mathbf u\|^2/(2\sigma^2)\}$이므로 $\nabla_{\x}\varphi_\sigma(\x-\btheta)=-\dfrac{\x-\btheta}{\sigma^2}\varphi_\sigma(\x-\btheta)$이다.연쇄법칙

2. 미분과 적분의 순서를 바꾼다.

   $$\nabla m(\x)=\int\nabla_{\x}\varphi_\sigma(\x-\btheta)\,\pi(\btheta)\,d\btheta=\frac1{\sigma^2}\int(\btheta-\x)\,\varphi_\sigma(\x-\btheta)\,\pi(\btheta)\,d\btheta .$$

   [T6], 1

3. $m(\x)>0$으로 나누면 $\varphi_\sigma(\x-\btheta)\pi(\btheta)/m(\x)$는 사후밀도이므로 $\sigma^2\nabla\log m(\x)=E(\btheta\mid\X=\x)-\x$이다.정의 1.1

조건 확인 2에는 적분 기호 아래의 미분이 필요하다. $\|\mathbf u\|\varphi_\sigma(\mathbf u)$는 $\mathbf u$에 대해 유계이므로 $\|\nabla_{\x}\varphi_\sigma(\x-\btheta)\|\le C_\sigma$ (상수)이고, 상수는 확률분포 $\pi$에 대해 적분가능하다. 이 지배함수는 $\x$에도 $\btheta$에도 의존하지 않으므로 사전분포에 적률이 없어도 공식이 성립한다 [T6]. $m(\x)>0$은 $\varphi_\sigma>0$에서 나온다.

사후평균을 구하는 데 사전분포가 필요 없다. 주변밀도 $m$만 알면 되고, $m$은 관측된 $X$들로 추정할 수 있다. 이것이 Robbins의 경험적 Bayes의 핵심이다. $\pi=\N(\bzero,\tau^2I)$이면 $m=\N(\bzero,\allowbreak (\sigma^2+\tau^2)I)$, $\nabla\log m(\x)=-\x/(\sigma^2+\tau^2)$이므로 $E(\btheta\mid\x)=(1-B)\x$, $B=\sigma^2/(\sigma^2+\tau^2)$로 정리 5.4가 된다. 확산모형은 깨끗한 영상 $\btheta$에 잡음을 더한 $\X$에서 $\btheta$를 맞히는 신경망(잡음 제거기)을 학습한다. 제곱손실로 학습한 잡음 제거기는 사후평균을 근사하므로(정리 2.1), Tweedie의 공식으로 거꾸로 읽으면 점수 $\nabla\log m$을 근사한다. 여러 잡음 수준의 점수로 Langevin 표집을 하면 새 영상이 나온다. Stein의 1956년과 Robbins의 1956년이 오늘의 생성모형 안에서 만난다.

그림 8.1 왼쪽: 정규 사전분포와 같은 분산의 Laplace 사전분포의 로그밀도. 가운데: $z\sim\N(\beta,1)$을 관측했을 때의 축소 함수. ridge(정규 사후평균, 직선), lasso(Laplace MAP, 연성 임계값), Laplace 사후평균(매끄러운 곡선). 오른쪽: $\N(0,1)$을 목표로 한 ULA의 히스토그램($\eta=0.5$)과 목표밀도(회색), 명제 8.4의 정상밀도(빨강).

연습문제

연습 8.1 (Robbins의 Poisson 공식 ★★) $X\mid\theta\sim\mathrm{Poi}(\theta)$, $\theta\sim\pi$이면 $E(\theta\mid X=x)=(x+1)\dfrac{m(x+1)}{m(x)}$임을 보여라($m$은 $X$의 주변 확률질량함수). 사고 기록에서 작년에 사고를 $x$번 낸 운전자의 올해 기대 사고 수를 사전분포 없이 추정하는 방법을 설명하라.

풀이

$E(\theta\mid x)=\frac{\int\theta\cdot\theta^xe^{-\theta}/x!\,\pi(d\theta)}{m(x)}=\frac{(x+1)\int\theta^{x+1}e^{-\theta}/(x+1)!\,\pi(d\theta)}{m(x)}=(x+1)\frac{m(x+1)}{m(x)}$. 운전자 $N$명 중 작년에 사고를 $x$번 낸 사람의 수를 $N_x$라 하면 $m(x)\approx N_x/N$이므로 $(x+1)N_{x+1}/N_x$가 추정값이다. 사전분포를 몰라도 되고, 사고를 많이 낸 사람의 올해 기대 사고 수가 작년보다 작다는 평균으로의 회귀가 자동으로 들어간다.

연습 8.2 (ULA의 안정성 ★) 명제 8.4에서 $\eta\ge2\sigma^2$이면 연쇄가 발산함을 보여라. 정규 목표 $\N(\bzero,\Sigma)$에서 ULA가 안정하려면 걸음 크기가 $\Sigma$의 어느 고윳값으로 제한되는가? 13회의 경사하강의 조건수와 비교하라.

풀이

$\eta\ge2\sigma^2$이면 계수 $a=1-\eta/\sigma^2\le-1$이므로 $|a|\ge1$이고 분산이 줄지 않는다(엄밀히는 $|a|>1$에서 발산, $a=-1$에서 잡음이 쌓인다). $\N(\bzero,\Sigma)$에서 $\Sigma$의 고유벡터 방향마다 AR(1)이 되므로 $\eta<2\lambda_{\min}(\Sigma)$가 필요하다. 그 걸음으로 가장 긴 방향(분산 $\lambda_{\max}$)을 가로지르려면 $\lambda_{\max}/\eta\approx\kappa$번의 걸음이 든다. 13회 정리 8.1의 경사하강이 조건수 $\kappa$에 묶이는 것과 같다.

연습 8.3 (ridge의 사후 신용구간 ★★) 명제 8.1에서 $X\T X=I$이면 $\beta_j$의 95% 신용구간이 $\frac{z_j}{1+\lambda}\pm1.96\frac{\sigma}{\sqrt{1+\lambda}}$임을 보여라. 같은 $\beta_j$가 0일 때와 클 때 이 구간의 빈도주의 포함확률을 비교하라.

풀이

$X\T X=I$, $\lambda=\sigma^2/\tau^2$이면 사후분포는 $\N\bigl(\frac{z_j}{1+\lambda},\allowbreak \frac{\sigma^2}{1+\lambda}\bigr)$이므로 구간이 나온다. $z_j\sim\N(\beta_j,\sigma^2)$이면 포함은 $|Z-\lambda\beta_j/\sigma|\le1.96\sqrt{1+\lambda}$ ($Z\sim\N(0,1)$)과 같다. $\lambda=1$이면 $\beta_j/\sigma=0,1,2,3$에서 포함확률이 $0.994,\ 0.962,\ 0.780,\ 0.410$이다. 사전분포가 맞다면 $\beta_j$에 대해 평균한 포함확률은 정확히 0.95이지만, 큰 계수에서는 구간이 0 쪽으로 끌려가 크게 빗나간다.

연습 8.4 (Laplace 사후평균은 0이 아니다 ★★) $z\mid\beta\sim\N(\beta,1)$, $\beta\sim$ Laplace$(b)$이면 $z\neq0$에서 $E(\beta\mid z)\neq0$이고 $z$의 홀함수이며 증가함을 보여라. (힌트: Tweedie의 공식을 한 번 더 미분하면 $\frac{d}{dz}E(\beta\mid z)=\mathrm{Var}(\beta\mid z)$이고, $m$은 짝함수다.)

풀이

Tweedie의 공식 $E(\beta\mid z)=z+(\log m)^\prime(z)$를 미분하면 $1+(\log m)^{\prime\prime}(z)$이다. $\varphi^{\prime\prime}(u)=(u^2-1)\varphi(u)$이므로 $m^{\prime\prime}/m=E[(\beta-z)^2\mid z]-1$, $(m^\prime/m)^2=(E[\beta-z\mid z])^2$이고 $(\log m)^{\prime\prime}=\mathrm{Var}(\beta\mid z)-1$이다. 따라서 $\frac{d}{dz}E(\beta\mid z)=\mathrm{Var}(\beta\mid z)>0$으로 순증가한다. 사전분포와 잡음이 모두 대칭이라 $m$은 짝함수, $(\log m)^\prime$은 홀함수이고 $E(\beta\mid0)=0$이다. 순증가하는 홀함수이므로 $z\ne0$이면 0이 아니다. lasso의 MAP가 $|z|\le\lambda$에서 정확히 0인 것과 대조된다.

연습 8.5 (ridge의 사후분포: 증명 ★★ 유도형) 명제 8.1를 다음 순서로 증명하라. $A=X\T X+\lambda I$로 둔다.

1. (a)

   로그 사후밀도가 $-\frac1{2\sigma^2}\bigl(\|\y-X\bbeta\|^2+\lambda\|\bbeta\|^2\bigr)$에 상수를 더한 것임을 보여라. $\lambda=\sigma^2/\tau^2$은 어디서 나오는가?

2. (b)

   괄호 안이 $\bbeta\T A\bbeta-2\bbeta\T X\T\y+\y\T\y=(\bbeta-A^{-1}X\T\y)\T A(\bbeta-A^{-1}X\T\y)+(\bbeta\text{에 무관한 항})$임을 전개해 보여라. $A$가 대칭이고 가역인 이유를 밝혀라.

3. (c)

   (b)가 $\N_p\bigl(A^{-1}X\T\y,\allowbreak \ \sigma^2A^{-1}\bigr)$의 밀도의 핵임을 확인하고(5회 정리 3.15), 정규분포의 평균과 최빈값이 같음을 써서 사후평균과 MAP가 ridge 추정량임을 결론지어라.

풀이

(a) 가능도는 $\exp\{-\|\y-X\bbeta\|^2/(2\sigma^2)\}$, 사전밀도는 $\exp\{-\|\bbeta\|^2/(2\tau^2)\}$에 비례한다. 로그를 더하면 $-\frac1{2\sigma^2}\|\y-X\bbeta\|^2-\frac1{2\tau^2}\|\bbeta\|^2=-\frac1{2\sigma^2}\bigl(\|\y-X\bbeta\|^2+\frac{\sigma^2}{\tau^2}\|\bbeta\|^2\bigr)$이므로 $\lambda=\sigma^2/\tau^2$이다. (b) $\|\y-X\bbeta\|^2+\lambda\|\bbeta\|^2=\bbeta\T(X\T X+\lambda I)\bbeta-2\bbeta\T X\T\y+\y\T\y$이다. $\hat\bbeta=A^{-1}X\T\y$로 두면 $(\bbeta-\hat\bbeta)\T A(\bbeta-\hat\bbeta)=\bbeta\T A\bbeta-2\bbeta\T A\hat\bbeta+\hat\bbeta\T A\hat\bbeta$이고 $A\hat\bbeta=X\T\y$이므로 두 식의 차는 $\y\T\y-\hat\bbeta\T A\hat\bbeta$로 $\bbeta$에 무관하다. $A$는 대칭이고, $\mathbf v\neq\bzero$이면 $\mathbf v\T A\mathbf v=\|X\mathbf v\|^2+\lambda\|\mathbf v\|^2>0$이라 양정치이므로 가역이다. (c) 로그 사후밀도가 $-\frac12(\bbeta-\hat\bbeta)\T(A/\sigma^2)(\bbeta-\hat\bbeta)+$상수이므로 정밀도 행렬 $A/\sigma^2$, 평균 $\hat\bbeta$인 정규분포, 곧 $\N_p(\hat\bbeta,\allowbreak \sigma^2A^{-1})$이다(5회 정리 3.15). 정규밀도는 평균에서 최대이므로 사후평균과 MAP가 모두 $\hat\bbeta=(X\T X+\lambda I)^{-1}X\T\y$, ridge 추정량이다.

연습 8.6 (ULA의 치우침: 증명 ★ 유도형) 명제 8.4를 다음 순서로 증명하라.

1. (a)

   $\nabla\log\pi(\theta)=-\theta/\sigma^2$을 넣어 $\theta_{t+1}=a\theta_t+\sqrt{2\eta}\,\xi_t$, $a=1-\eta/\sigma^2$임을 보여라.

2. (b)

   $0<\eta<2\sigma^2$이면 $|a|<1$임을 보여라.

3. (c)

   $\theta_t\sim\N(0,v)$가 정상이면 $\theta_{t+1}\sim\N(0,\allowbreak a^2v+2\eta)$이므로 $v=a^2v+2\eta$이다. 이것을 풀어 $v=\sigma^2/(1-\eta/(2\sigma^2))$을 얻어라.

풀이

(a) $\log\pi(\theta)=-\theta^2/(2\sigma^2)+$상수이므로 $\nabla\log\pi(\theta)=-\theta/\sigma^2$이고 $\theta_{t+1}=\theta_t-\eta\theta_t/\sigma^2+\sqrt{2\eta}\xi_t=a\theta_t+\sqrt{2\eta}\xi_t$이다. (b) $0<\eta<2\sigma^2$이면 $0<\eta/\sigma^2<2$이므로 $-1<a<1$이다. (c) $\theta_t\sim\N(0,v)$와 $\xi_t$가 독립이면 $a\theta_t+\sqrt{2\eta}\xi_t\sim\N(0,\allowbreak a^2v+2\eta)$이다. 정상이면 $v=a^2v+2\eta$, 곧 $v=\frac{2\eta}{1-a^2}$이다. $1-a^2=\frac{2\eta}{\sigma^2}-\frac{\eta^2}{\sigma^4}=\frac{2\eta}{\sigma^2}\bigl(1-\frac{\eta}{2\sigma^2}\bigr)$이므로 $v=\frac{\sigma^2}{1-\eta/(2\sigma^2)}$이다. $|a|<1$이면 $\Var\theta_t$는 어디서 출발하든 이 값으로 수렴하므로 정상분포는 하나다.

이 절을 PDF로 보기 (34쪽)노트북 8절

이 회차에서 읽은 절 0개 · 회차 차례