9 정리와 역사 노트

9.1 한 장 요약

정리	내용	조건
Neyman–Pearson (1.2)	가능도비 $>k$ 에서 기각하는 검정이 최강력	단순 대 단순
최강력 검정의 성질 (1.5)	충분통계량의 함수, 검정력 $\ge$ 크기	—
Karlin–Rubin (2.4)	$T>c$ 꼴이 한쪽 UMP, 검정력 함수는 단조	단조가능도비
Wald의 경계 (4.2)	$\alpha'\le e^{-A}(1-\beta')$ , $\beta'\le e^B(1-\alpha')$	SPRT가 멈춤
Wald의 등식 (4.3)	$E\sum_{i\le N}Z_i=EN\cdot EZ$	$N$ 멈춤시각
Bayes 규칙 (5.2, 5.3)	사후 기대손실 최소, Bayes 검정 = 가능도비 검정	—
Bayes 분류 · LDA (5.4, 5.5)	$\arg\max\pi_kf_k$ , 정규·같은 공분산이면 선형, 오류 $\Phi(-\Delta/2)$	—
Fisher의 기준 (5.6)	$\mathbf w\propto\Sigma^{-1}(\bmu_1-\bmu_0)$	—

이번 회차의 모든 최적성은 가능도비에서 나왔다. 단순가설의 최강력 검정(Neyman–Pearson), 한쪽 가설의 균일최강력 검정(Karlin–Rubin), 축차검정(Wald), Bayes 검정과 분류기가 모두 “가능도비를 임계값과 비교하라”였다. 다른 것은 임계값을 정하는 방법뿐이다. 크기로 정하거나(Neyman–Pearson), 오류율의 목표로 정하거나(Wald), 사전확률과 비용으로 정한다(Bayes).

9.2 Stigler의 명명 법칙

이름과 발견

Neyman–Pearson 보조정리: 대립가설을 생각하라는 착상은 Gosset의 1926년 편지에 있었다.
SPRT: Wald(1945)와 같은 시기에 영국의 Barnard(1946)가 따로 같은 검정에 이르렀다. 질문을 처음 던진 사람은 해군 장교 Schuyler와 경제학자 Wallis·Friedman이었다.
선형판별분석: Fisher(1936)의 판별함수는 정규분포를 가정하지 않은 기준(명제 5.6)에서 나왔다. 정규 모형의 Bayes 분류기로서의 유도는 Welch(1939)와 Wald(1944)가 했다. 자료는 Anderson의 것이다.
Karlin–Rubin: 단조가능도비의 UMP 정리는 Karlin과 Rubin(1956)의 이름으로 불리지만, 정규 평균처럼 단순한 경우의 “모든 대립가설에 공통인 최량 기각역”은 Neyman–Pearson(1933)이 이미 다뤘다.

9.3 7 Pillars 지도

이번 회차는 셋째 기둥 Likelihood의 검정 쪽 완성이다. 9회가 가능도를 추정에 썼다면, 12회는 가능도비가 가장 좋은 검정을 만든다는 것을 보였다. 다섯째 기둥 Design의 씨앗도 보였다. Wald의 축차검정은 “몇 개를 관측할지”를 자료가 정하게 한 최초의 설계다. 14회의 실험설계가 그 이야기를 잇는다.

9.4 다음 회 — 최소제곱: Legendre–Gauss에서 Gauss–Markov까지 (1749 → 1943)

지금까지의 모형은 대부분 한 모집단의 모수 몇 개였다. 13회는 관측이 다른 변수의 일차함수에 오차가 더해진 것이라는 모형, 곧 선형모형으로 넘어간다. Euler(1749)가 풀지 못한 달의 운동, Mayer(1750)의 묶음 평균, Legendre(1805)의 최소제곱과 Gauss의 우선권 주장에서 출발한다. 사영의 기하로 최소제곱을 다시 세우고, Gauss–Markov 정리와 $t$ · $F$ 검정을 증명한다. 이번 회차의 가능도비 검정이 거기서 $F$ 검정이 된다.

참고문헌

Neyman, J., Pearson, E. S. On the use and interpretation of certain test criteria for purposes of statistical inference. Biometrika 20A (1928), 175–240, 263–294. · On the problem of the most efficient tests of statistical hypotheses. Phil. Trans. R. Soc. A 231 (1933), 289–337.
Neyman, J. Statistical problems in agricultural experimentation. JRSS Suppl. 2 (1935), 107–180 (Fisher의 토론 포함).
Wald, A. Sequential tests of statistical hypotheses. Ann. Math. Statist. 16 (1945), 117–186. · Statistical Decision Functions. Wiley, 1950. · Wald, A., Wolfowitz, J. Optimum character of the sequential probability ratio test. Ann. Math. Statist. 19 (1948), 326–339.
Barnard, G. A. Sequential tests in industrial statistics. JRSS Suppl. 8 (1946), 1–26. · Wallis, W. A. The Statistical Research Group, 1942–1945. JASA 75 (1980), 320–330.
Karlin, S., Rubin, H. The theory of decision procedures for distributions with monotone likelihood ratio. Ann. Math. Statist. 27 (1956), 272–299.
Fisher, R. A. The use of multiple measurements in taxonomic problems. Annals of Eugenics 7 (1936), 179–188. · Anderson, E. The irises of the Gaspé Peninsula. Bull. Amer. Iris Soc. 59 (1935), 2–5. · Mahalanobis, P. C. On the generalized distance in statistics. Proc. Natl. Inst. Sci. India 2 (1936), 49–55.
Lindley, D. V. A statistical paradox. Biometrika 44 (1957), 187–192. · Wasserstein, R. L., Lazar, N. A. The ASA statement on $p$ -values. American Statistician 70 (2016), 129–133.
Robbins, H. Statistical methods related to the law of the iterated logarithm. Ann. Math. Statist. 41 (1970), 1397–1409. · Johari, R., Koomen, P., Pekelis, L., Walsh, D. Peeking at A/B tests. KDD (2017).
Lehmann, E. L., Romano, J. P. Testing Statistical Hypotheses, 4th ed. Springer, 2022.
자료: datasets::iris.

이 절을 PDF로 보기 (28쪽)노트북 9절

이 회차에서 읽은 절 0개 · 회차 차례

9 정리와 역사 노트 ​

9.1 한 장 요약 ​

9.2 Stigler의 명명 법칙 ​

9.3 7 Pillars 지도 ​