수리통계학

테마

10회 · 숨은 변수와 EM · 노트

9 정리와 역사 노트 ​

9.1 한 장 요약 ​

정리내용조건
정보 행렬 (1.2)Es=0E\mathbf s=\mathbf 0, I=Cov⁡s=−E∇2log⁡fI=\Cov\mathbf s=-E\nabla^2\log f정칙조건
점근정규성 (1.3)n(θ^−θ0)→DNp(0,I−1)\sqrt n(\hat{\boldsymbol\theta}-\boldsymbol\theta_0)\xrightarrow{D}\N_p(\mathbf 0,\allowbreak I^{-1})I≻0I\succ0, 일치하는 근
귀찮은 모수 (1.6)Iψψ=(Iψψ−IψλIλλ−1Iλψ)−1⪰Iψψ−1I^{\psi\psi}=(I_{\psi\psi}-I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi})^{-1}\succeq I_{\psi\psi}^{-1}직교이면 등호
프로파일 Wilks (1.8)2[ℓ(θ^)−ℓp(ψ0)]→Dχ2(r)2[\ell(\hat{\boldsymbol\theta})-\ell_p(\boldsymbol\psi_0)]\xrightarrow{D}\chi^2(r)귀찮은 모수의 수 고정
분해·점수 (2.4, 2.5)ℓ=Q−H\ell=Q-H, ∇ℓ=E[∇log⁡f∣y]\nabla\ell=E[\nabla\log f\mid\y]—
단조성 (3.2)ℓ(θt+1)≥ℓ(θt)\ell(\boldsymbol\theta_{t+1})\ge\ell(\boldsymbol\theta_t) (Gibbs)—
ELBO (3.3)ℓ=F(q,θ)+D(q∥k)\ell=\mathcal F(q,\allowbreak \boldsymbol\theta)+D(q\|k), EM은 좌표 상승—
잃어버린 정보 (3.5)J=Ic−ImJ=I_c-I_m, Im=Cov⁡(∇log⁡f∣y)I_m=\Cov(\nabla\log f\mid\y)—
수렴 속도 (3.6)θt+1−θ^≈Ic−1Im(θt−θ^)\boldsymbol\theta_{t+1}-\hat{\boldsymbol\theta}\approx I_c^{-1}I_m(\boldsymbol\theta_t-\hat{\boldsymbol\theta})내점, J≻0J\succ0

이번 회차의 중심은 두 식이다. 가능도의 분해 ℓ=Q−H\ell=Q-H에서 HH가 Gibbs 부등식으로 제자리에서 최대라는 사실이 EM의 단조성을 주고, 같은 분해를 두 번 미분한 것이 잃어버린 정보의 원리와 수렴 속도를 준다. 숨은 자료가 정보를 많이 가져갈수록 EM은 느리고, 가능도는 평평하며, 표준오차는 크다. 같은 사실의 세 얼굴이다.

9.2 Stigler의 명명 법칙 ​

EM은 몇 번 발견되었나

  • Simon Newcomb(1886)는 천문 관측의 이상치를 다루려고 정규분포 몇 개의 혼합을 가정했다. 그리고 각 관측의 “무게”를 계산해 가중평균을 다시 구하는 반복을 썼다. 오늘의 눈으로 보면 혼합의 EM이다.

  • 같은 반복은 전염병(McKendrick 1926), 실험의 빠진 값(Healy–Westmacott 1956), 불완전한 셈 자료(Hartley 1958), 은닉 Markov 모형(Baum 외 1970), 지수족의 불완전 자료(Orchard–Woodbury 1972, Sundberg 1974)에서 따로따로 나타났다.

  • Dempster–Laird–Rubin(1977)이 이름을 붙이고 일반 이론을 세웠다. 그들의 수렴 증명에는 틀린 곳이 있었고, Wu(1983)가 고쳤다. 이름을 얻은 사람이 처음 찾은 사람이 아니고, 처음 증명한 사람도 완전히 증명하지 못했다.

9.3 7 Pillars 지도 ​

이번 회차도 셋째 기둥 Likelihood 위에 있다. 9회가 가능도를 “보이는 자료의 확률”로 다루었다면, 10회는 보이지 않는 것을 적분해 없앤 가능도를 다뤘다. 둘째 기둥 Information은 더 정교해졌다. 정보는 행렬이 되었고, 숨은 자료 때문에 잃은 정보를 정확히 셀 수 있게 되었다. 다섯째 기둥 Regression도 잠깐 보였다. 임의효과 모형의 E 단계는 Galton의 회귀처럼 각 사람의 평균을 전체 평균 쪽으로 끌어당겼다.

9.4 다음 회 — 충분성: 자료를 줄이는 법 (1920 → 1955) ​

EM의 M 단계는 “충분통계량의 기댓값”만 있으면 되었다. 정규 혼합에서는 ∑rik\sum r_{ik}, ∑rikyi\sum r_{ik}y_i, ∑rikyi2\sum r_{ik}y_i^2가 전부였다. 자료 전체 대신 몇 개의 요약만 알아도 모수에 대한 정보를 하나도 잃지 않는다는 것이 Fisher(1920, 1922)의 충분성이다. 11회는 Fisher가 Eddington과 두 표준편차 추정량을 놓고 벌인 논쟁에서 출발한다. 인수분해 정리, Rao–Blackwell과 Lehmann–Scheffé로 최소분산 불편추정량을 찾고, 8회의 독일 전차 추정량이 왜 최선인지 보인다. 지수족이 왜 특별한지(9회 2절의 Cramér–Rao 한계에 닿는 유일한 모형)도 거기서 본다.

참고문헌 ​

  • Pearson, K. Contributions to the mathematical theory of evolution. Phil. Trans. R. Soc. A 185 (1894), 71–110. · 자료: R 패키지 mixdist의 pearson(Macdonald).

  • Newcomb, S. A generalized theory of the combination of observations so as to obtain the best result. American Journal of Mathematics 8 (1886), 343–366.

  • McKendrick, A. G. Applications of mathematics to medical problems. Proc. Edinburgh Math. Soc. 44 (1926), 98–130.

  • Hartley, H. O. Maximum likelihood estimation from incomplete data. Biometrics 14 (1958), 174–194.

  • Baum, L. E., Petrie, T., Soules, G., Weiss, N. A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains. Ann. Math. Statist. 41 (1970), 164–171.

  • Orchard, T., Woodbury, M. A. A missing information principle: theory and applications. Proc. 6th Berkeley Symp. 1 (1972), 697–715. · Sundberg, R. Maximum likelihood theory for incomplete data from an exponential family. Scand. J. Statist. 1 (1974), 49–58.

  • Dempster, A. P., Laird, N. M., Rubin, D. B. Maximum likelihood from incomplete data via the EM algorithm. JRSS B 39 (1977), 1–38.

  • Wu, C. F. J. On the convergence properties of the EM algorithm. Ann. Statist. 11 (1983), 95–103. · Louis, T. A. Finding the observed information matrix when using the EM algorithm. JRSS B 44 (1982), 226–233.

  • Neal, R. M., Hinton, G. E. A view of the EM algorithm that justifies incremental, sparse, and other variants. In Learning in Graphical Models (1998), 355–368.

  • Kiefer, N. M. Discrete parameter variation: efficient estimation of a switching regression model. Econometrica 46 (1978), 427–434. · Hathaway, R. J. A constrained formulation of maximum-likelihood estimation for normal mixture distributions. Ann. Statist. 13 (1985), 795–800.

  • Hartigan, J. A. A failure of likelihood asymptotics for normal mixtures. Proc. Berkeley Conf. in Honor of J. Neyman and J. Kiefer 2 (1985), 807–810.

  • Rao, C. R. Linear Statistical Inference and Its Applications. Wiley, 1965.

  • Lloyd, S. P. Least squares quantization in PCM. IEEE Trans. Inform. Theory 28 (1982), 129–137. · Kingma, D. P., Welling, M. Auto-encoding variational Bayes. ICLR (2014).

  • Jordan, M. I., Jacobs, R. A. Hierarchical mixtures of experts and the EM algorithm. Neural Computation 6 (1994), 181–214.

  • Azzalini, A., Bowman, A. W. A look at some data on the Old Faithful geyser. Applied Statistics 39 (1990), 357–365. · 자료: datasets::faithful.

  • Stigler, S. M. The Seven Pillars of Statistical Wisdom. Harvard, 2016.

이 절을 PDF로 보기 (34쪽)노트북 9절
이 회차에서 읽은 절 0개 · 회차 차례