9 정리와 역사 노트

9.1 한 장 요약

정리	내용	조건
순열검정 (1.2)	나눔 위의 분포로 만든 $p$ -값은 정확하다	$F=G$ (교환가능)
순위합 (1.5)	$W=U+m(m+1)/2$ , $EW=m(N+1)/2$ , $\Var W=mn(N+1)/12$	$F=G$ 연속
부호순위 (1.8)	$T^+=\sum kI_k$ , $ET^+=n(n+1)/4$	0에 대칭
Wilcoxon 대 $t$ (2.3)	ARE $=12\sigma^2(\int f^2)^2$ , 정규에서 $3/\pi$	위치 이동
Hodges–Lehmann (2.5)	ARE $\ge108/125=0.864$	분산 유한
M-추정 (3.2)	$\sqrt n\hat\theta\to\N(0,\allowbreak E\psi^2/(E\psi^\prime)^2)$	대칭, 단조 $\psi$
영향함수 (3.5)	$\psi(x-\theta)/E\psi^\prime$ , $E\,\mathrm{IF}^2=V$	—
붕괴점 (3.7)	평균 $1/n$ , 중앙값 $1/2$ , 절사평균 $\alpha$	—
평균의 부트스트랩 (5.3)	조건부 분포가 표본분포에 균등하게 가까워진다	$E\|X\|^3<\infty$
IRLS (6.3)	고정점 = 회귀의 M-추정 방정식	—
최댓값의 부트스트랩 (7.1)	원자 $1-(1-1/n)^n\to0.632$ , 실패	—
Huber 손실 (8.3)	$\rho_k^\prime=\psi_k$ , 연성 임계값의 최소	—

세 답은 모두 “모형을 덜 믿는” 방법이었다. 순위검정은 귀무가설 아래의 분포를 모형 없이 계산했고, 로버스트 추정은 모형이 조금 틀려도 크게 틀리지 않는 추정량을 골랐으며, 부트스트랩은 모형 대신 자료를 분포로 썼다. 그리고 셋 다 대가를 알려 주는 정리가 있었다. 0.864, 95%, $O(1/n)$ 이다. 그러나 4절의 Michelson이 보여 주듯, 어느 방법도 모든 관측에 공통인 편향은 고치지 못한다.

9.2 Stigler의 명명 법칙

이름과 발견

Wilcoxon–Mann–Whitney: 순위합 검정은 독일의 교육심리학자 Deuchler(1914) 등이 먼저 썼다(Kruskal 1957의 조사). Wilcoxon(1945)과 Mann–Whitney(1947)가 퍼뜨렸다.
Pitman 효율: Pitman의 1948년 강의록은 출판되지 않았고, Noether(1955)가 일반형으로 정리했다.
잭나이프: Quenouille(1949)가 치우침을 줄이려고 만들었고, 이름과 분산 추정은 Tukey(1958)의 것이다.
부트스트랩: 자료에서 다시 뽑는 생각은 Simon(1969)의 교육용 “재표집”에도 있었다. Efron(1979)이 이론과 이름을 주었다.
Huber 손실: 기계학습에서는 smooth L1이라는 이름으로 다시 발견되었다.

9.3 7 Pillars 지도

이번 회차는 일곱째 기둥 Residual(잔차)과 넷째 기둥 Intercomparison(자료 안의 비교)을 칠한다. 순열검정과 부트스트랩은 외부의 기준(정규분포표) 없이 자료 자신의 변동으로 자료를 판단한다. Stigler가 Intercomparison이라 부른 생각의 정점이다. 로버스트 회귀의 무게와 영향함수는 잔차를 진단의 도구로 바꾼다.

9.4 다음 회 — 베이즈의 귀환: MCMC와 Stein의 역설 (1763 → 1990)

이 과정은 1회 Bayes의 당구대에서 시작했다. 16회는 그리로 돌아간다. Laplace는 파리의 출생 기록으로 남아가 더 많이 태어날 확률을 계산했고, Fisher는 사전분포를 거부했으며, 베이즈 추론은 Bletchley Park의 암호 해독과 1950년대의 몬테카를로 속에서 살아남았다. Metropolis(1953)와 Gibbs 표집이 계산의 벽을 허물었고, James와 Stein(1961)은 정규 평균 세 개 이상을 동시에 추정할 때 표본평균이 최선이 아님을 보였다. 모수가 확률변수가 되는 순간, 13회의 ridge와 이번 회차의 Huber 손실은 사전분포가 된다.

참고문헌

Pitman, E. J. G. Significance tests which may be applied to samples from any populations. JRSS Suppl. 4 (1937), 119–130.
Wilcoxon, F. Individual comparisons by ranking methods. Biometrics Bulletin 1 (1945), 80–83. · Mann, H. B., Whitney, D. R. On a test of whether one of two random variables is stochastically larger than the other. Ann. Math. Statist. 18 (1947), 50–60.
Hodges, J. L., Lehmann, E. L. The efficiency of some nonparametric competitors of the $t$ -test. Ann. Math. Statist. 27 (1956), 324–335. · Estimates of location based on rank tests. Ann. Math. Statist. 34 (1963), 598–611. · Chernoff, H., Savage, I. R. Asymptotic normality and efficiency of certain nonparametric test statistics. Ann. Math. Statist. 29 (1958), 972–994.
Tukey, J. W. A survey of sampling from contaminated distributions. In Olkin (ed.), Contributions to Probability and Statistics. Stanford, 1960. · Huber, P. J. Robust estimation of a location parameter. Ann. Math. Statist. 35 (1964), 73–101.
Hampel, F. R. The influence curve and its role in robust estimation. JASA 69 (1974), 383–393. · Andrews, D. F. et al. Robust Estimates of Location. Princeton, 1972. · Hogg, R. V. Adaptive robust procedures. JASA 69 (1974), 909–923.
Stigler, S. M. Do robust estimators deal with real data? Ann. Statist. 5 (1977), 1055–1098.
Quenouille, M. H. Approximate tests of correlation in time series. JRSS B 11 (1949), 68–84. · Efron, B. Bootstrap methods: another look at the jackknife. Ann. Statist. 7 (1979), 1–26. · Better bootstrap confidence intervals. JASA 82 (1987), 171–185.
Brownlee, K. A. Statistical Theory and Methodology in Science and Engineering, 2nd ed. Wiley, 1965. · Rousseeuw, P. J. Least median of squares regression. JASA 79 (1984), 871–880.
Breiman, L. Bagging predictors. Machine Learning 24 (1996), 123–140. · Random forests. Machine Learning 45 (2001), 5–32. · Girshick, R. Fast R-CNN. ICCV (2015).
자료: HistData ZeaMays, Cavendish, Michelson, MichelsonSets; MASS newcomb; datasets stackloss.

이 절을 PDF로 보기 (32쪽)노트북 9절

이 회차에서 읽은 절 0개 · 회차 차례

9 정리와 역사 노트 ​

9.1 한 장 요약 ​

9.2 Stigler의 명명 법칙 ​

9.3 7 Pillars 지도 ​