수리통계학

테마

9회 · 최대가능도 · 노트

9 정리와 역사 노트 ​

9.1 한 장 요약 ​

정리내용조건
불변성 (1.3)g(θ^)g(\hat\theta)는 g(θ)g(\theta)의 MLE—
일치성 (1.4–1.6)기대 로그가능도는 참값에서 최대(Gibbs), 가능도 방정식의 일치하는 근식별가능
정보 (2.2)Es=0E s=0, I=Var⁡s=−E ∂2log⁡fI=\Var s=-E\,\partial^2\log f, 표본은 nInI정칙조건
Cramér–Rao (2.4)Var⁡T≥k′(θ)2/(nI)\Var T\ge k'(\theta)^2/(nI)정칙조건
점근정규성 (3.1, 3.2)n(θ^−θ0)→DN(0,1/I)\sqrt n(\hat\theta-\theta_0)\xrightarrow{D}\N(0,\allowbreak 1/I), 구간 θ^±z/nI(θ^)\hat\theta\pm z/\sqrt{nI(\hat\theta)}정칙조건
한 걸음 (4.2)n\sqrt n-일치 시작점에서 채점 한 번이면 효율적—
Wilks (5.2)2[ℓ(θ^)−ℓ(θ0)]→Dχ2(1)2[\ell(\hat\theta)-\ell(\theta_0)]\xrightarrow{D}\chi^2(1), Wald·점수와 점근 동치정칙조건, 내점

이번 회차의 모든 점근 결과는 하나의 계산, 곧 점수의 테일러 전개에서 나왔다. 분자는 중심극한정리로 정규가 되고, 분모(곡률)는 대수의 법칙으로 정보가 되고, Slutsky가 둘을 합친다. 7절은 그 계산의 가정(정칙조건, 고정된 모수의 수, 한 점이 아니라 근방에서의 비교)을 하나씩 깨 보았다.

9.2 Stigler의 명명 법칙 ​

Stigler's law of eponymy

  • Cramér–Rao 부등식: Rao(1945)와 Cramér(1946)보다 먼저 Fréchet(1943)가 증명했고, Aitken과 Silverstone(1942), Darmois(1945)도 같은 결과를 냈다. 그래서 프랑스 문헌에서는 Fréchet–Darmois–Cramér–Rao 부등식이라 부르기도 한다.

  • 최대가능도: Fisher(1912, 1922)의 이름으로 기억되지만 원리 자체는 Lambert(1760), Daniel Bernoulli(1778), Gauss(1809)에게 있었다. Fisher의 공헌은 원리가 아니라 그 원리가 왜 좋은지(일치성, 효율, 정보)를 말한 것이다.

  • Fisher 정보: Edgeworth(1908)가 같은 양으로 추정량의 오차를 계산했다.

9.3 7 Pillars 지도 ​

이번 회차는 셋째 기둥 Likelihood의 중심이다. 8회가 Arbuthnot의 “가설 아래에서의 확률”로 이 기둥을 시작했다면, Fisher는 같은 확률을 모수의 함수로 읽어 추정과 검정을 하나의 이론으로 묶었다. 둘째 기둥 Information도 다시 나왔다. 3회의 n\sqrt n 규칙이 Fisher 정보 nInI라는 정확한 형태를 얻었다. 정보는 관측 수에 비례해 쌓이고, 오차는 그 제곱근으로 준다.

9.4 다음 회 — 여러 모수와 숨은 변수: EM (1894 → 1977) ​

이번 회차의 예들은 가능도를 직접 최대화할 수 있었다. 그런데 자료의 일부가 보이지 않으면(혼합분포에서 각 관측이 어느 성분에서 왔는지, 4회의 Pearson의 게) 가능도가 합의 로그가 되어 다루기 어렵다. 10회는 Pearson(1894)이 적률법으로 손으로 풀었던 혼합분포에서 출발해, 보이지 않는 것을 기댓값으로 채우고 최대화하기를 되풀이하는 EM 알고리즘(Dempster–Laird–Rubin 1977)을 증명하고, 7절의 Neyman–Scott 문제를 다시 본다.

참고문헌 ​

  • Bernoulli, D. Diiudicatio maxime probabilis plurium observationum discrepantium (1778). Kendall, M. G. 영역과 Euler의 논평, Biometrika 48 (1961), 1–18.

  • Edgeworth, F. Y. On the probable errors of frequency-constants. JRSS 71 (1908).

  • Fisher, R. A. On an absolute criterion for fitting frequency curves. Messenger of Mathematics 41 (1912), 155–160. · On the mathematical foundations of theoretical statistics. Phil. Trans. R. Soc. A 222 (1922), 309–368.

  • Rao, C. R. Information and the accuracy attainable in the estimation of statistical parameters. Bull. Calcutta Math. Soc. 37 (1945), 81–91. · Large sample tests of statistical hypotheses concerning several parameters. Proc. Camb. Phil. Soc. 44 (1948), 50–57.

  • Cramér, H. Mathematical Methods of Statistics. Princeton, 1946.

  • Neyman, J., Pearson, E. S. On the use and interpretation of certain test criteria. Biometrika 20A (1928). · Wilks, S. S. The large-sample distribution of the likelihood ratio for testing composite hypotheses. Ann. Math. Statist. 9 (1938), 60–62. · Wald, A. Tests of statistical hypotheses concerning several parameters when the number of observations is large. Trans. AMS 54 (1943), 426–482.

  • Wald, A. Note on the consistency of the maximum likelihood estimate. Ann. Math. Statist. 20 (1949), 595–601.

  • Le Cam, L. On some asymptotic properties of maximum likelihood estimates and related Bayes' estimates. Univ. California Publ. Statist. 1 (1953), 277–330. · Hájek, J. A characterization of limiting distributions of regular estimates. Z. Wahrsch. 14 (1970), 323–330.

  • Neyman, J., Scott, E. L. Consistent estimates based on partially consistent observations. Econometrica 16 (1948), 1–32.

  • Barnett, V. D. Evaluation of the maximum-likelihood estimator where the likelihood equation has multiple roots. Biometrika 53 (1966), 151–165.

  • Self, S. G., Liang, K.-Y. Asymptotic properties of maximum likelihood estimators and likelihood ratio tests under nonstandard conditions. JASA 82 (1987), 605–610. · White, H. Maximum likelihood estimation of misspecified models. Econometrica 50 (1982), 1–25.

  • Amari, S. Natural gradient works efficiently in learning. Neural Computation 10 (1998), 251–276. · Martens, J., Grosse, R. Optimizing neural networks with Kronecker-factored approximate curvature. ICML (2015).

  • Kirkpatrick, J. 외. Overcoming catastrophic forgetting in neural networks. PNAS 114 (2017), 3521–3526. · Guo, C. 외. On calibration of modern neural networks. ICML (2017).

  • Michelson, A. A. Experimental determination of the velocity of light. Astronomical Papers of the American Ephemeris 1 (1880), 109–145. · 자료: HistData의 Michelson; vcd의 VonBort, Federalist.

  • Stigler, S. M. The Seven Pillars of Statistical Wisdom. Harvard, 2016.

이 절을 PDF로 보기 (31쪽)노트북 9절
이 회차에서 읽은 절 0개 · 회차 차례