6회 · Student의 t · 노트

9 정리와 역사 노트

9.1 한 장 요약

통계량	분포 · 성질	조건
$S^2=\tfrac1{n-1}\sum(X_i-\bar X)^2$	$ES^2=\sigma^2$, 자유도 $n-1$	독립, 같은 분포
$\bar X$와 $S^2$	독립 (Helmert 회전)	정규뿐
$\tfrac{(n-1)S^2}{\sigma^2}$	$\chi^2(n-1)$, $\Var S^2=\tfrac{2\sigma^4}{n-1}$	정규
$\tfrac Z{\sqrt{V/r}}$	$t(r)$: 꼬리 $|t|^{-(r+1)}$, 분산 $\tfrac r{r-2}$, $r\to\infty$에서 $\N(0,1)$	$Z\perp V$
$\tfrac{\bar X-\mu}{S/\sqrt n}$	$t(n-1)$, 축량 → 정확한 $t$-구간	정규
$\tfrac{U/r_1}{V/r_2}$, $\tfrac{S_X^2/\sigma_1^2}{S_Y^2/\sigma_2^2}$	$F(r_1,r_2)$, $F(m-1,n-1)$, $T^2\sim F(1,r)$	정규, 독립
$\tfrac{\bar X-\bar Y-(\mu_1-\mu_2)}{S_p\sqrt{1/m+1/n}}$	$t(m+n-2)$	등분산
$\tfrac{X_{\mathrm{new}}-\bar X}{S\sqrt{1+1/n}}$	$t(n-1)$, 예측구간	정규

증명은 하나의 그림으로 줄어든다. 정규 표본은 $n$차원의 회전에 불변이므로, 대각선 방향의 성분($\bar X$)과 그에 수직인 성분(잔차, $S^2$)이 독립이고, 수직 성분의 제곱합은 $n-1$개의 독립 표준정규의 제곱합이다. 나머지는 변수변환(밀도)과 “$\sigma$가 분자와 분모에서 소거된다”(축량)이다. 7절은 그 결론이 대칭인 비정규에는 튼튼하고, 치우침·이상값·의존·분산 비교에는 약하다는 것을 보였다.

9.2 Stigler의 명명 법칙

Stigler's law of eponymy

• Student의 $t$: Lüroth(1876)가 베이즈 사후분포로 32년 먼저 유도했다(8.5절). 그리고 오늘의 $t$라는 형태와 글자는 Fisher(1925)의 것이다. Student가 쓴 것은 $z=t/\sqrt{n-1}$이었다.

• Pearson의 $\chi^2$ 분포: Abbe(1863)와 Helmert(1875–76)가 정규 오차의 제곱합의 분포로 먼저 유도했다. Pearson(1900)의 적합도 검정이 이름을 가져갔다(8회).

• Fisher의 $F$: Fisher가 쓴 것은 $z=\tfrac12\log F$였고, $F$로 바꿔 Fisher의 이름 첫 글자를 붙인 것은 Snedecor(1934)다.

• Student라는 이름 자체: Guinness가 직원의 실명 발표를 막아서 생긴 필명이다. 통계학에서 가장 유명한 분포의 이름은 사람이 아니라 회사의 규칙에서 나왔다.

9.3 7 Pillars 지도

이번 회차는 넷째 기둥 Intercomparison의 주춧돌이다. Stigler(2016)는 이 기둥을 “바깥의 기준 없이, 자료 안의 변동만으로 비교할 수 있다”는 생각으로 요약했다. $\sigma$를 모르는데도 $\bar X$의 오차를 $S$로 재고, 그 비의 분포를 정확히 아는 것, 그것이 Student의 $t$다. 두 표본 $t$와 $F$, 14회의 분산분석이 모두 “자료 안의 한 변동을 다른 변동과 비교”하는 같은 설계를 따른다. 그리고 $S^2$는 평균을 맞추고 남은 잔차의 제곱합이므로 일곱째 기둥 Residual과도 닿는다. 13회의 회귀에서 자유도 $n-p$로 다시 만난다.

9.4 다음 회 — 극한의 언어: 수렴 · CLT · Monte Carlo (1777 → 1949)

이 노트의 정확한 분포는 모두 정규 가정에서 나왔다. 그러면 7절의 표에서 지수 표본의 포함확률이 $n=100$에서 94%로 올라간 것은 왜인가? 그리고 $\sigma$ 대신 $S$를 넣고 1.96을 써도 큰 표본에서는 괜찮다는 19세기의 관행은 어떤 정리로 정당화되나? 7회는 확률수렴과 분포수렴을 정의하고, 중심극한정리와 Slutsky의 정리로 이 두 질문에 답한다. Student의 카드 실험이 그 오차까지 말할 수 있는 Monte Carlo 방법으로 자라는 과정도 따라간다.

참고문헌

• Student. The probable error of a mean. Biometrika 6 (1908), 1–25.

• Student. Errors of routine analysis. Biometrika 19 (1927), 151–164.

• Fisher, R. A. Frequency distribution of the values of the correlation coefficient in samples from an indefinitely large population. Biometrika 10 (1915). · Applications of “Student's” distribution. Metron 5 (1925). · Statistical Methods for Research Workers. Oliver and Boyd, 1925.

• Helmert, F. R. Die Genauigkeit der Formel von Peters zur Berechnung des wahrscheinlichen Beobachtungsfehlers directer Beobachtungen gleicher Genauigkeit. Astronomische Nachrichten 88 (1876).

• Pfanzagl, J., Sheynin, O. A forerunner of the $t$-distribution. Biometrika 83 (1996), 891–898.

• Macdonell, W. R. On criminal anthropometry and the identification of criminals. Biometrika 1 (1902), 177–227.

• Cushny, A. R., Peebles, A. R. The action of optical isomers. II. Hyoscines. Journal of Physiology 32 (1905), 501–510.

• Senn, S., Richardson, W. The first $t$-test. Statistics in Medicine 13 (1994), 785–803.

• Zabell, S. L. On Student's 1908 article “The probable error of a mean”. JASA 103 (2008), 1–7.

• Hanley, J. A., Julien, M., Moodie, E. E. M. Student's $z$, $t$, and $s$: what if Gosset had R? The American Statistician 62 (2008), 64–69.

• Snedecor, G. W. Calculation and Interpretation of Analysis of Variance and Covariance. Collegiate Press, 1934.

• Neyman, J. Outline of a theory of statistical estimation based on the classical theory of probability. Phil. Trans. R. Soc. A 236 (1937), 333–380.

• Welch, B. L. The generalization of “Student's” problem when several different population variances are involved. Biometrika 34 (1947), 28–35.

• Geary, R. C. The distribution of “Student's” ratio for non-normal samples. JRSS Suppl. 3 (1936). · Lukacs, E. A characterization of the normal distribution. Ann. Math. Statist. 13 (1942), 91–93.

• Box, G. E. P. Non-normality and tests on variances. Biometrika 40 (1953), 318–335.

• Ioffe, S., Szegedy, C. Batch normalization. ICML (2015). · Ioffe, S. Batch renormalization. NeurIPS (2017). · Wu, Y., He, K. Group normalization. ECCV (2018).

• van der Maaten, L., Hinton, G. Visualizing data using t-SNE. JMLR 9 (2008), 2579–2605.

• Lange, K. L., Little, R. J. A., Taylor, J. M. G. Robust statistical modeling using the $t$ distribution. JASA 84 (1989), 881–896.

• Stigler, S. M. The Seven Pillars of Statistical Wisdom. Harvard, 2016.

• 자료: R 패키지 HistData의 MacdonellDF, CushnyPeebles; datasets의 sleep.

이 절을 PDF로 보기 (33쪽)노트북 9절

이 회차에서 읽은 절 0개 · 회차 차례