7회 · 극한의 언어 · 노트

8 Beautiful insights — 평균을 내는 기계들

8.1 미니배치 경사의 잡음

신경망의 손실은 학습 자료 $N$개의 평균 $L(\boldsymbol\theta)=\tfrac1N\sum_{i=1}^N\ell_i(\boldsymbol\theta)$이다. 확률적 경사하강법(SGD)은 매 단계 $B$개를 뽑아 그 평균 기울기 $\hat{\mathbf g}=\tfrac1B\sum_{i\in\text{배치}}\nabla\ell_i$로 $\boldsymbol\theta\leftarrow\boldsymbol\theta-\eta\hat{\mathbf g}$를 한다. $\hat{\mathbf g}$는 $N$개의 기울기라는 유한 모집단에서 되돌려 넣지 않고 뽑은 표본평균이다.

명제 8.1 (미니배치 기울기의 평균과 공분산) $\mathbf g_1,\dots,\mathbf g_N$의 평균을 $\bar{\mathbf g}=\nabla L$, 공분산을 $\Sigma=\tfrac1N\sum(\mathbf g_i-\bar{\mathbf g})(\mathbf g_i-\bar{\mathbf g})\T$라 하면, 크기 $B$의 단순무작위 배치에 대해

$$E\hat{\mathbf g}=\nabla L,\qquad\Cov(\hat{\mathbf g})=\frac\Sigma B\cdot\frac{N-B}{N-1}.$$

증명 $I_i$를 $i$가 배치에 들어가는 사건의 지시변수라 하면 $\hat{\mathbf g}=\tfrac1B\sum_iI_i\mathbf g_i$, $EI_i=\tfrac BN$이므로 평균이 나온다. $\sum I_i=B$가 상수이므로 $\mathbf g_i$를 $\tilde{\mathbf g}_i=\mathbf g_i-\bar{\mathbf g}$로 바꿔도 공분산은 같다. $\Var I_i=\tfrac BN(1-\tfrac BN)$, $i\ne j$이면 $\Cov(I_i,\allowbreak I_j)=-\tfrac{\Var I_i}{N-1}$이다($\Var\sum I_i=0$에서). 3회 정리 4.2로

$$\Cov(\hat{\mathbf g})=\frac{\Var I_1}{B^2}\Bigl[\sum_i\tilde{\mathbf g}_i\tilde{\mathbf g}_i\T-\frac1{N-1}\sum_{i\ne j}\tilde{\mathbf g}_i\tilde{\mathbf g}_j\T\Bigr]=\frac{\Var I_1}{B^2}\Bigl[N\Sigma+\frac{N\Sigma}{N-1}\Bigr],$$

$\sum_{i\ne j}\tilde{\mathbf g}_i\tilde{\mathbf g}_j\T=(\sum\tilde{\mathbf g}_i)(\sum\tilde{\mathbf g}_i)\T-\sum\tilde{\mathbf g}_i\tilde{\mathbf g}_i\T=-N\Sigma$이기 때문이다. 정리하면 결론이다.

$\tfrac{N-B}{N-1}$은 4회 정리 1.5의 유한 모집단 수정 그대로다. $B\ll N$이면 무시되고, 다변량 중심극한정리로 $\hat{\mathbf g}\approx\N(\nabla L,\allowbreak \Sigma/B)$이다. 그러면 SGD의 한 단계는

$$\boldsymbol\theta\leftarrow\boldsymbol\theta-\eta\nabla L+\eta\boldsymbol\xi,\qquad\boldsymbol\xi\approx\N(\mathbf 0,\Sigma/B)$$

곧 경사하강에 정규 잡음을 더한 것이다. 잡음의 세기를 정하는 것은 $\eta$와 $B$ 따로가 아니라 대략 비 $\eta/B$다(Mandt, Hoffman, Blei 2017; Smith와 Le 2018). 배치를 $k$배로 키울 때 학습률도 $k$배로 키우라는 선형 스케일링 규칙(Goyal 외, 2017)이 여기서 나온다. 노트북의 선형회귀($N=2000$)에서 기울기 공분산의 대각합은 $B=8,64,512$에서 이론값 $2.19,\ 0.266,\ 0.0256$과 맞고, $B=512$에서는 유한 모집단 수정이 없으면 $0.0344$로 34% 틀린다.

가정 주의 정규 잡음이라는 근사는 개별 기울기의 분산이 유한하다는 가정 위에 있다. 깊은 신경망의 기울기 잡음이 꼬리가 두꺼운 안정분포에 가깝다는 관찰(Simsekli 외, 2019)과 보통의 배치 크기에서는 정규에 가깝다는 반론이 함께 있다. 7절의 그림이 둘 중 어느 쪽이냐에 따라 달라진다.

그림 8.1 왼쪽: 미니배치 기울기 공분산의 대각합(점)과 명제 8.1(실선). 점선은 유한 모집단 수정이 없는 $\mathrm{tr}\,\Sigma/B$. 오른쪽: 한 좌표의 미니배치 기울기($B=64$)의 히스토그램과 정규 근사.

8.2 MC dropout — 예측을 여러 번 평균하기

드롭아웃은 학습 중에 뉴런을 확률 $q$로 끈다. Gal과 Ghahramani(2016)는 예측할 때도 드롭아웃을 켜고 같은 입력을 $T$번 통과시키자고 했다. 출력 $f_1(x),\dots,f_T(x)$는 무작위 마스크에 대한 iid 표본이므로 그 평균은 기대 예측 $E_mf(x;m)$의 Monte Carlo 추정이고, 표본표준편차는 예측의 흔들림, 곧 모형의 불확실성을 나타낸다. 이 해석이 근사적인 베이즈 추론이라는 논증은 16회에서 본다. 여기서 중요한 것은 정리 6.1다. 평균의 Monte Carlo 오차는 $s/\sqrt T$이므로 $T=100$이면 불확실성의 10%가 계산 자체의 잡음이다. 불확실성의 크기를 말하려면 그것을 재는 계산의 오차부터 알아야 한다.

8.3 대각합을 무작위로 — Hutchinson 추정량

큰 행렬 $A$의 대각합 $\mathrm{tr}A$가 필요하지만 $A$를 만들 수는 없고 곱 $A\mathbf z$만 계산할 수 있는 경우가 많다(신경망의 헤시안, 연속 정규화 흐름의 야코비안, 점수 맞추기의 발산). Hutchinson(1989)의 방법은 무작위 벡터 하나로 대각합을 추정한다.

명제 8.2 (Hutchinson 추정량) $E\mathbf z=\mathbf 0$, $E\mathbf z\mathbf z\T=I$이면 $E\,\mathbf z\T A\mathbf z=\mathrm{tr}A$이다. $A$가 대칭일 때

1. (a)

   $z_i$가 iid Rademacher($\pm1$이 반반)이면 $\Var\,\mathbf z\T A\mathbf z=2\bigl(\|A\|_F^2-\sum_ia_{ii}^2\bigr)$,

2. (b)

   $\mathbf z\sim\N(\mathbf 0,I)$이면 $\Var\,\mathbf z\T A\mathbf z=2\|A\|_F^2$.

증명 $E\mathbf z\T A\mathbf z=\sum_{i,j}a_{ij}Ez_iz_j=\sum_ia_{ii}$. (a) $z_i^2=1$이므로 $\mathbf z\T A\mathbf z=\mathrm{tr}A+\sum_{i\ne j}a_{ij}z_iz_j$이고, $E(z_iz_jz_kz_l)$ ($i\ne j$, $k\ne l$)은 $\{k,l\}=\{i,j\}$일 때만 1이다. 따라서 분산은 $\sum_{i\ne j}a_{ij}(a_{ij}+a_{ji})=2\sum_{i\ne j}a_{ij}^2$. (b)는 연습 8.4.

Rademacher가 대각 성분만큼 분산이 작다. $m$개의 탐침을 평균하면 분산이 $1/m$로 줄고, 정리 6.1로 오차 막대를 함께 낸다. 노트북의 $30\times30$ 대칭행렬에서 탐침 하나의 분산의 이론값은 Rademacher 872, 정규 916이고, 시뮬레이션이 이를 확인한다.

연습문제

연습 8.1 (지시변수의 공분산 ★★) 명제 8.1의 증명에서 $\Cov(I_i,\allowbreak I_j)=-\tfrac{B(N-B)}{N^2(N-1)}$을 $P(I_i=I_j=1)=\tfrac{B(B-1)}{N(N-1)}$로 직접 확인하라.

풀이

$\Cov(I_i,\allowbreak I_j)=\tfrac{B(B-1)}{N(N-1)}-\tfrac{B^2}{N^2}=\tfrac{B[N(B-1)-B(N-1)]}{N^2(N-1)}=\tfrac{B(B-N)}{N^2(N-1)}$.

연습 8.2 (선형 스케일링 ★) $B=256$, $\eta=0.1$로 학습하던 모형을 $B=8192$로 옮긴다. 잡음의 세기 $\eta/B$를 유지하는 학습률은? 한 에폭의 단계 수는 몇 배가 되나?

풀이

$B$가 32배이므로 $\eta=3.2$. 한 에폭의 단계 수는 $\tfrac1{32}$이다. 실제로는 처음 몇 에폭 동안 학습률을 서서히 올린다(warm-up). 큰 학습률에서는 $\eta\Sigma/B$의 정규 근사와 1차 전개가 함께 무너지기 때문이다.

연습 8.3 (몇 번 통과시키나 ★) MC dropout에서 예측 평균의 Monte Carlo 오차를 예측 표준편차의 5% 이하로 하려면 $T$는 얼마여야 하나?

풀이

$s/\sqrt T\le0.05s$에서 $T\ge400$.

연습 8.4 (정규 탐침의 분산 ★★★) $\mathbf z\sim\N(\mathbf 0,I)$이고 $A$가 대칭이면 $A=Q\Lambda Q\T$로 대각화해 $\mathbf z\T A\mathbf z=\sum_i\lambda_iW_i^2$ ($W_i\iid\N(0,1)$)임을 보이고(5회 정리 3.8), $\Var=2\sum\lambda_i^2=2\|A\|_F^2$을 유도하라.

풀이

$A=Q\Lambda Q\T$이면 $\mathbf z\T A\mathbf z=\mathbf w\T\Lambda\mathbf w$, $\mathbf w=Q\T\mathbf z\sim\N(\mathbf0,\allowbreak Q\T Q)=\N(\mathbf0,\allowbreak I)$(5회 정리 3.8). 따라서 $\sum\lambda_iW_i^2$이고 $W_i^2$은 독립인 $\chi^2(1)$(분산 2)이므로 분산은 $2\sum\lambda_i^2=2\,\mathrm{tr}(A^2)=2\|A\|_F^2$.

연습 8.5 (탐침의 수 ★★) Rademacher 탐침 $m$개로 $\mathrm{tr}A$를 상대오차 1%(표준오차 기준)로 추정하려면 $m\ge\tfrac{2(\|A\|_F^2-\sum a_{ii}^2)}{(0.01\,\mathrm{tr}A)^2}$이어야 함을 보여라. $A=I_d$이면? $A$가 양의 정부호이고 고윳값이 고르면 $m$은 차원 $d$에 대해 어떻게 변하나?

풀이

$m$개 평균의 표준오차는 $\sqrt{2(\|A\|_F^2-\sum a_{ii}^2)/m}$이므로 이것이 $0.01|\mathrm{tr}A|$ 이하인 조건이 식이다. $A=I_d$이면 비대각 성분이 없어 분산이 0이고 $m=1$로 정확하다. 고윳값이 모두 $\lambda$ 근처이면 $\mathrm{tr}A\approx d\lambda$, $\|A\|_F^2\approx d\lambda^2$이므로 $m\gtrsim\tfrac{2d\lambda^2}{10^{-4}d^2\lambda^2}=\tfrac{2\times10^4}d$로, 차원이 클수록 탐침이 적게 필요하다. 대각합은 많은 항의 합이어서 상대오차가 저절로 줄기 때문이다.

이 절을 PDF로 보기 (35쪽)노트북 8절

이 회차에서 읽은 절 0개 · 회차 차례