9 정리와 역사 노트

9.1 한 장 요약

정리	내용	조건
인수분해 (1.3)	$T$ 충분 $\iff f(\x;\theta)=g(T(\x);\theta)h(\x)$	—
최소충분 (1.6)	가능도비가 $\theta$ 에 무관 $\iff T(\x)=T(\y)$	받침 고정
정보의 보존 (1.7)	$I_T\le I_{\X}$ , 충분이면 등호	정칙조건
Rao–Blackwell (2.1)	$\Var E(W\mid T)\le\Var W$ , 불편성 유지	$T$ 충분
Lehmann–Scheffé (3.3)	완비충분통계량의 불편 함수 = 유일한 UMVUE	$T$ 완비충분
지수족 (4.3–4.5)	$E\mathbf T=\nabla A$ , $\Cov\mathbf T=\nabla^2A$ , $\sum\mathbf T(X_i)$ 완비충분	자연모수 공간이 열린 집합 포함
Cramér–Rao 등호 (4.6)	한계에 닿으면 지수족	정칙조건
Basu (5.2)	완비충분 $\perp$ 보조	—

이번 회차의 중심은 “조건부기댓값은 분산을 줄인다”(3회 전분산 공식)와 “평균이 언제나 0인 함수는 0뿐이다”(완비성) 두 줄이다. 앞의 것이 Rao–Blackwell을, 둘을 합친 것이 Lehmann–Scheffé와 Basu를 준다. 그리고 6–7절은 이 모든 최적성이 모형 안에서의 이야기임을 보였다. 정규에 큰 오차가 0.2%만 섞여도 Eddington이 이긴다.

9.2 Stigler의 명명 법칙

이름과 발견

Rao–Blackwell: Rao(1945)와 Blackwell(1947)이 따로 증명했고, Kolmogorov(1950)도 같은 결과를 냈다. 러시아 문헌에서는 Kolmogorov의 이름이 함께 붙는다.
인수분해 정리: Fisher(1922)가 예에서 쓰던 판정법을 Neyman(1935)이 일반화했고, Halmos–Savage(1949)가 측도론으로 완성했다. 이름이 “Fisher–Neyman”으로 불리기도 한다.
지수족: Darmois, Koopman, Pitman이 1935–36년 거의 동시에 같은 정리를 냈다. 정규, 이항, Poisson은 그보다 한 세기 앞서 있었다.
Eddington과 Fisher: 1920년의 논쟁에서 이긴 쪽은 이론에서는 Fisher, 실제 자료에서는 (Tukey 1960이 보였듯) Eddington이었다.

9.3 7 Pillars 지도

이번 회차는 첫째 기둥 Aggregation(모으기)의 이론적 완성이다. 1회부터 평균을 내 왔지만, 그렇게 모아도 잃는 것이 없는지는 묻지 않았다. 충분성은 “언제 모아도 잃지 않는가”에 대한 정확한 답이다. 모형이 지수족이면 몇 개의 합으로 모든 것을 모을 수 있다. 둘째 기둥 Information도 함께 정리되었다. 충분통계량은 Fisher 정보를 보존하고, Cramér–Rao 한계는 지수족에서만 닿는다.

9.4 다음 회 — 최적 검정과 결정 (1928 → 1956)

이번 회차는 “가장 좋은 추정량”을 찾았다. 12회는 “가장 좋은 검정”을 찾는다. Neyman과 Pearson(1933)은 크기를 고정하고 검정력을 최대화하는 검정이 가능도비로 기각하는 검정임을 증명했다. 지수족처럼 가능도비가 충분통계량에 대해 단조이면 그 검정이 모든 대립가설에서 동시에 최선이 된다(Karlin–Rubin 1956). Fisher는 이 “귀납적 행동”의 관점을 평생 거부했다. Wald(1945)의 축차검정과 결정이론이 그 논쟁 위에 섰다.

참고문헌

Eddington, A. S. Stellar Movements and the Structure of the Universe. Macmillan, 1914.
Fisher, R. A. A mathematical examination of the methods of determining the accuracy of an observation by the mean error, and by the mean square error. Monthly Notices R. Astron. Soc. 80 (1920), 758–770. · On the mathematical foundations of theoretical statistics. Phil. Trans. R. Soc. A 222 (1922), 309–368.
Neyman, J. Sur un teorema concernente le cosiddette statistiche sufficienti. Giorn. Ist. Ital. Attuari 6 (1935), 320–334. · Halmos, P. R., Savage, L. J. Application of the Radon–Nikodym theorem to the theory of sufficient statistics. Ann. Math. Statist. 20 (1949), 225–241.
Rao, C. R. Information and the accuracy attainable in the estimation of statistical parameters. Bull. Calcutta Math. Soc. 37 (1945), 81–91. · Blackwell, D. Conditional expectation and unbiased sequential estimation. Ann. Math. Statist. 18 (1947), 105–110.
Lehmann, E. L., Scheffé, H. Completeness, similar regions, and unbiased estimation. Sankhyā 10 (1950), 305–340.
Koopman, B. O. On distributions admitting a sufficient statistic. Trans. AMS 39 (1936), 399–409. · Pitman, E. J. G. Sufficient statistics and intrinsic accuracy. Proc. Camb. Phil. Soc. 32 (1936), 567–579. · Darmois, G. Sur les lois de probabilité à estimation exhaustive. C. R. Acad. Sci. Paris 200 (1935), 1265–1266.
Basu, D. On statistics independent of a complete sufficient statistic. Sankhyā 15 (1955), 377–380.
Tukey, J. W. A survey of sampling from contaminated distributions. In Contributions to Probability and Statistics (Olkin 외 편), Stanford, 1960, 448–485.
Stigler, S. M. Do robust estimators deal with real data? Ann. Statist. 5 (1977), 1055–1098. · 자료: MASS::newcomb.
Stigler, S. M. The Seven Pillars of Statistical Wisdom. Harvard, 2016.

이 절을 PDF로 보기 (30쪽)노트북 9절

이 회차에서 읽은 절 0개 · 회차 차례

9 정리와 역사 노트 ​

9.1 한 장 요약 ​

9.2 Stigler의 명명 법칙 ​

9.3 7 Pillars 지도 ​