9 정리와 역사 노트

9.1 한 장 요약

정리	내용	조건
순서통계량 (1.2, 1.3)	결합밀도 $n!\prod f(y_i)$ , $X_{(k)}$ 의 밀도	연속, iid
표본분위수 (1.4)	$\sqrt n(X_{(k)}-\xi_p)\xrightarrow{D}\N\bigl(0,\allowbreak \tfrac{p(1-p)}{f(\xi_p)^2}\bigr)$	$f(\xi_p)>0$
독일 전차 (1.6)	$EM=\tfrac{k(N+1)}{k+1}$ , $\hat N=\tfrac{k+1}kM-1$ 불편	비복원 추출
축량 · 대표본 구간 (2.2, 2.4)	축량의 분위수를 뒤집는다; $\hat\theta\pm z\hat\sigma/\sqrt n$	정확 / 근사
중앙값 구간 (2.6)	$P(X_{(i)}<m<X_{(j)})=\sum_{k=i}^{j-1}\binom nk2^{-n}$	연속
검정력 · 쌍대성 (3.4, 3.5)	$\gamma(\mu)=\Phi(\sqrt n\delta/\sigma-z_\alpha)$ ; 구간 $\iff$ 검정	—
$p$ -값 (4.2)	$H_0$ 아래 $\mathrm U(0,1)$ , 이산이면 $P(p\le\alpha)\le\alpha$	단순 $H_0$
Pearson (5.1, 5.2)	$X^2\xrightarrow{D}\chi^2(k-1)$ , 모수 $m$ 개를 추정하면 $k-1-m$ , 분할표 $(r-1)(c-1)$	큰 기대도수
등각 예측 (8.2) · Bonferroni (8.3)	순위의 균등성으로 포함확률 $\ge1-\alpha$ ; $\alpha/m$ 로 가족별 오류율 $\le\alpha$	교환가능 / —

이번 회차의 정리들은 세 가지 도구로 증명되었다. 확률적분변환( $F(X)$ 가 균등하다: 순서통계량, $p$ -값), 뒤집기(축량의 분위수를 모수에 대해 풀기, 검정의 수락역을 구간으로 모으기), 그리고 7회의 극한 정리(대표본 구간, 표본분위수, $\chi^2$ )다. 7절은 그 정리들이 “미리 정한 하나의 절차”에 대한 것임을 보였다.

9.2 Stigler의 명명 법칙

Stigler's law of eponymy

Simpson의 역설: Simpson(1951)보다 반세기 먼저 Pearson(1899)과 Yule(1903)이 같은 현상을 기술했다. 명명 법칙의 교과서적인 예다.
Bonferroni 부등식: 합집합의 확률이 확률의 합 이하라는 것은 Boole(1854)의 것이다. Bonferroni(1936)는 그것을 다듬었고, 다중비교에 쓰는 법을 정리한 것은 Dunn(1961)이었다.
유의성 검정: 형태는 Arbuthnot(1710)의 것이고, 's Gravesande(1712)가 곧 이항분포로 다시 계산했다. Laplace(1823)는 달이 기압에 미치는 영향을 같은 방식으로 검정했다. “유의”라는 말과 5%는 Edgeworth와 Fisher의 것이다.

9.3 7 Pillars 지도

이번 회차는 셋째 기둥 Likelihood, 곧 “확률의 척도로 증거를 잰다”의 시작이다. Stigler(2016)는 이 기둥의 장을 바로 Arbuthnot의 1710년 논증으로 연다. 관측의 확률을 가설 아래에서 계산하고, 그 작음을 증거로 읽는 것이다. 9회의 최대가능도와 12회의 Neyman–Pearson 보조정리가 이 기둥을 완성한다. 6절의 Berkeley 자료는 일곱째 기둥 Residual(설명되지 않고 남는 것을 보라)과 다섯째 기둥 Regression(조건부로 보라)이 왜 필요한지도 보였다. 학과로 조건을 걸자 결론이 뒤집혔다.

9.4 다음 회 — 최대가능도의 긴 이야기 (1778 → 1951)

이 노트에서는 모수를 “그럴듯하게” 추정하는 일반적인 방법 없이 표본평균, 최댓값, 순서통계량을 그때그때 썼다. 5절의 Fisher의 자유도도 “최대가능도로 추정하면”이라는 조건이 붙어 있었다. 9회는 Daniel Bernoulli(1778)의 질문, 곧 “관측들이 서로 어긋날 때 가장 그럴듯한 값은 무엇인가”에서 출발해 가능도함수, 최대가능도 추정량, Fisher 정보, Cramér–Rao 한계, 그리고 가능도비 검정을 증명한다. 7회의 델타 방법과 중심극한정리가 최대가능도 추정량의 점근정규성이 된다.

참고문헌

Arbuthnot, J. An argument for divine providence, taken from the constant regularity observed in the births of both sexes. Philosophical Transactions 27 (1710), 186–190.
Pearson, K. On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling. Philosophical Magazine 50 (1900), 157–175.
Fisher, R. A. On the interpretation of $\chi^2$ from contingency tables, and the calculation of P. JRSS 85 (1922), 87–94. · The conditions under which $\chi^2$ measures the discrepancy between observation and hypothesis. JRSS 87 (1924). · Statistical Methods for Research Workers. Oliver and Boyd, 1925.
Neyman, J. Outline of a theory of statistical estimation based on the classical theory of probability. Phil. Trans. R. Soc. A 236 (1937), 333–380. · Neyman, J., Pearson, E. S. On the problem of the most efficient tests of statistical hypotheses. Phil. Trans. R. Soc. A 231 (1933).
Wilson, E. B. Probable inference, the law of succession, and statistical inference. JASA 22 (1927), 209–212.
Brown, L. D., Cai, T. T., DasGupta, A. Interval estimation for a binomial proportion. Statistical Science 16 (2001), 101–133.
Ruggles, R., Brodie, H. An empirical approach to economic intelligence in World War II. JASA 42 (1947), 72–91.
Cochran, W. G. Some methods for strengthening the common $\chi^2$ tests. Biometrics 10 (1954), 417–451. · Chernoff, H., Lehmann, E. L. The use of maximum likelihood estimates in $\chi^2$ tests for goodness of fit. Ann. Math. Statist. 25 (1954), 579–586.
Bickel, P. J., Hammel, E. A., O'Connell, J. W. Sex bias in graduate admissions: data from Berkeley. Science 187 (1975), 398–404.
Wald, A. Sequential tests of statistical hypotheses. Ann. Math. Statist. 16 (1945), 117–186.
Simmons, J. P., Nelson, L. D., Simonsohn, U. False-positive psychology. Psychological Science 22 (2011), 1359–1366. · Wasserstein, R. L., Lazar, N. A. The ASA statement on $p$ -values. The American Statistician 70 (2016), 129–133.
Benjamini, Y., Hochberg, Y. Controlling the false discovery rate. JRSS B 57 (1995), 289–300.
Vovk, V., Gammerman, A., Shafer, G. Algorithmic Learning in a Random World. Springer, 2005. · Lei, J. 외. Distribution-free predictive inference for regression. JASA 113 (2018), 1094–1111.
Dawid, A. P. Statistical theory: the prequential approach. JRSS A 147 (1984). · Gneiting, T., Balabdaoui, F., Raftery, A. E. Probabilistic forecasts, calibration and sharpness. JRSS B 69 (2007). · Talts, S. 외. Validating Bayesian inference algorithms with simulation-based calibration. arXiv:1804.06788 (2018).
Dwork, C. 외. The reusable holdout. Science 349 (2015), 636–638. · Recht, B. 외. Do ImageNet classifiers generalize to ImageNet? ICML (2019).
Stigler, S. M. The Seven Pillars of Statistical Wisdom. Harvard, 2016.
자료: HistData의 Arbuthnot, ChestSizes; vcd의 WeldonDice; datasets의 UCBAdmissions.

이 절을 PDF로 보기 (34쪽)노트북 9절

이 회차에서 읽은 절 0개 · 회차 차례

9 정리와 역사 노트 ​

9.1 한 장 요약 ​

9.2 Stigler의 명명 법칙 ​

9.3 7 Pillars 지도 ​