수리통계학

테마

11회 · 충분성 · 노트

8 Beautiful insights — 분산 줄이기와 softmax ​

8.1 Rao–Blackwell화는 분산 줄이기다 ​

Monte Carlo로 μ=E h(X,Y)\mu=E\,h(X,Y)를 추정할 때(7회 6절), YY가 주어진 조건부기댓값 m(Y)=E[h(X,Y)∣Y]m(Y)=E[h(X,Y)\mid Y]를 손으로 계산할 수 있으면 h(Xi,Yi)h(X_i,Y_i) 대신 m(Yi)m(Y_i)를 평균한다. 정리 2.1의 (b)와 (c)와 같은 이유로 평균은 같고 분산은 줄어든다. 충분성은 필요 없다. mm을 계산하는 데 모수가 들어가지 않기 때문이다. 예를 들어 Z1,Z2∼iidN(0,1)Z_1,Z_2\iid\N(0,1)에서 P(Z1+Z2>3)=0.0169P(Z_1+Z_2>3)=0.0169를 추정할 때, 지시함수 1{Z1+Z2>3}1\{Z_1+Z_2>3\} 대신 P(Z2>3−Z1∣Z1)=1−Φ(3−Z1)P(Z_2>3-Z_1\mid Z_1)=1-\Phi(3-Z_1)를 평균하면 분산이 7분의 1이 된다(노트북). 16회의 Gibbs 표집기에서 사후평균을 추정할 때 같은 방법을 쓴다. 강화학습의 정책 기울기에서 기댓값의 일부를 해석적으로 적분하는 것도 같은 생각이다.

8.2 softmax는 로그분배함수의 기울기다 ​

분류 신경망의 마지막 층은 logit η=Wh\boldsymbol\eta=W\mathbf h를 내놓고, softmax로 범주 확률 p=softmax(η)=∇A(η)\mathbf p=\mathrm{softmax}(\boldsymbol\eta)=\nabla A(\boldsymbol\eta)를 만든다. 범주 분포를 지수족으로 쓴 것이다(예제 4.2). 그러면 교차엔트로피 −log⁡py=A(η)−ηy-\log p_y=A(\boldsymbol\eta)-\eta_y의 logit에 대한 기울기는

∇η(A(η)−η′ey)=p−ey=EηT−T(y)\nabla_{\boldsymbol\eta}\bigl(A(\boldsymbol\eta)-\boldsymbol\eta\T\mathbf e_y\bigr)=\mathbf p-\mathbf e_y=E_{\boldsymbol\eta}\mathbf T-\mathbf T(y)

(ey\mathbf e_y는 원-핫)로, “모형이 예측하는 충분통계량의 평균 −- 관측한 충분통계량”이다. 따름정리 4.4(c)의 가능도 방정식이 기울기가 0이 되는 조건이고, 헤세 행렬 ∇2A=diag⁡(p)−pp′\nabla^2A=\diag(\mathbf p)-\mathbf p\mathbf p\T가 Fisher 정보다. 9회 8절의 자연기울기와 온도 보정이 모두 이 구조 위에 있다. 로지스틱 회귀와 Poisson 회귀(일반화선형모형)도 자연모수를 입력의 일차함수로 놓은 지수족이다.

8.3 충분통계량은 합쳐진다 ​

자료가 여러 기기에 흩어져 있거나(연합학습) 끝없이 흘러 들어오면(스트리밍), 자료를 모두 모으지 않고 요약만 주고받고 싶다. 지수족이면 충분통계량 ∑T(xi)\sum\mathbf T(x_i)는 더해진다. 기기마다 자기 합을 보내면 중앙에서 더해 정확한 MLE를 얻는다. 정규 선형회귀에서는 X′XX\T X와 X′yX\T\mathbf y가 그 합이다(13회). 그 반대도 4절의 Darmois–Koopman–Pitman 상자가 말한다. 크기가 자료 수에 무관한 요약으로 정보를 잃지 않으려면 모형이 지수족이어야 한다. 10회의 EM이 “충분통계량의 기댓값”을 주고받는 알고리즘인 것도, 혼합분포의 완전 자료 모형이 지수족이기 때문이다.

연습문제

연습 8.1 (조건부 Monte Carlo ★) Z1,Z2∼iidN(0,1)Z_1,Z_2\iid\N(0,1)에서 1{Z1+Z2>3}1\{Z_1+Z_2>3\}와 1−Φ(3−Z1)1-\Phi(3-Z_1)의 평균이 같고 후자의 분산이 더 작음을 정리 2.1의 증명으로 설명하라.

풀이

E[1{Z1+Z2>3}∣Z1]=P(Z2>3−Z1)=1−Φ(3−Z1)E[1\{Z_1+Z_2>3\}\mid Z_1]=P(Z_2>3-Z_1)=1-\Phi(3-Z_1)이므로 반복기댓값으로 평균이 같고, 전분산 공식으로 분산이 작다. 노트북에서 분산의 비는 약 7이다.

연습 8.2 (교차엔트로피의 기울기 ★) K=3K=3, η=(1,0,−1)\boldsymbol\eta=(1,0,-1), 정답 y=2y=2일 때 교차엔트로피의 logit에 대한 기울기를 계산하고, 그 성분의 합이 0인 이유를 설명하라.

풀이

p=softmax(1,0,−1)=(0.665, 0.245, 0.090)\mathbf p=\mathrm{softmax}(1,\allowbreak 0,\allowbreak -1)=(0.665,\allowbreak \ 0.245,\allowbreak \ 0.090)이고 기울기는 p−e2=(0.665, −0.755, 0.090)\mathbf p-\mathbf e_2=(0.665,\allowbreak \ -0.755,\allowbreak \ 0.090)이다. ∑pk=1=∑(e2)k\sum p_k=1=\sum(\mathbf e_2)_k이므로 성분의 합은 0이다. 모든 logit에 같은 수를 더하는 방향으로는 손실이 변하지 않는다(연습 4.4).

이 절을 PDF로 보기 (28쪽)노트북 8절
이 회차에서 읽은 절 0개 · 회차 차례