9 정리와 역사 노트

9.1 한 장 요약

	내용	증명의 핵심
주변분포	$f_X(x)=\int f(x,y)\,dy$	Tonelli
선형성	$E(aX+bY)=aEX+bEY$ (연속 포함)	이중적분
조건부 밀도	$f(y\mid x)=f(x,y)/f_X(x)$	근처의 사건의 극한
반복기댓값	$E\,E(Y\mid X)=EY$	적분 순서
전분산	$\Var Y=E\Var(Y\mid X)+\Var E(Y\mid X)$	교차항이 0
가장 좋은 예측	$E(Y\mid X)$ 가 제곱오차 최소	피타고라스
독립	$f=f_Xf_Y$ $\iff$ $f=g(x)h(y)$ (곱의 영역)	미분·적분
독립의 결과	$E[gh]=Eg\,Eh$ , 분산의 합, mgf의 곱	인수분해
공분산	쌍선형, $\Var\sum a_iX_i$ 전개	선형성
Cauchy–Schwarz	$(EXY)^2\le EX^2EY^2$ , $\|\rho\|\le1$	판별식
가장 좋은 직선	$b^*=\rho\sigma_Y/\sigma_X$ , 잔차 분산 $\sigma_Y^2(1-\rho^2)$	이차식 최소
야코비안	$f_{\Y}=f_{\X}(H(\mathbf y))\|J_H\|$	다중적분 치환
가우스 적분	$\int e^{-x^2/2}=\sqrt{2\pi}$	극좌표
Box–Muller	$\sqrt{-2\log U_1}(\cos,\allowbreak \sin)(2\pi U_2)$	인수분해 + 역변환
합성곱 · 비	$f_{X+Y}=\int f_Xf_Y(z-\cdot)$ , 정규/정규 = Cauchy	보조 변수
공분산행렬	$\Cov(A\X+\bb)=A\Sigma A\T\succeq0$	성분마다 선형성
$\sqrt n$ 법칙	$\Var\bar X=\sigma^2/n$ ; 상관 $\rho$ 이면 $\to\rho\sigma^2$	$\mathbf 1\T\Sigma\mathbf 1$
부숴보기	Borel 역설, 상관 0 $\ne$ 독립, 편향, Cauchy	조건을 하나씩 뺀다

9.2 Stigler의 명명 법칙

Stigler's law of eponymy “어떤 과학 법칙도 처음 발견한 사람의 이름을 달고 있지 않다.”

Cauchy–Schwarz 부등식: 합의 형태는 Cauchy(1821), 적분의 형태는 Bunyakovsky(1859)가 먼저 증명했고, Schwarz(1888)는 그 뒤다. 러시아에서는 Cauchy–Bunyakovsky 부등식이라 부른다.
Pearson의 상관계수: 이변량 정규분포의 식은 Bravais(1846)가 먼저 썼고, 상관(co-relation)이라는 개념과 이름은 Galton(1888)의 것이다. Pearson(1896)은 표본 공식을 정리했다. Pearson 자신은 한때 이것을 Bravais의 공으로 돌렸다가 뒤에(1920) 철회했다.
Simpson의 역설(1회)과 이 회차의 Thomas Simpson은 다른 사람이다. 역설의 이름은 Edward Simpson(1951)에게서 왔고, 그 현상은 Yule(1903)이 먼저 기술했다.

9.3 7 Pillars 지도

Stigler(2016)의 둘째 기둥은 Information이다. “정보는 관측 수의 제곱근으로만 쌓인다”는 것, 곧 $\sqrt n$ 의 법칙이다. 첫째 기둥 Aggregation(2회)은 평균이 참값으로 간다고 말했고, 둘째 기둥은 그 속도를 말한다. Stigler는 이 기둥의 첫 증거로 바로 Pyx 재판을 든다. 정보가 $n$ 이 아니라 $\sqrt n$ 으로 쌓인다는 사실은 제도 설계, 실험 설계, 여론조사의 표본 크기를 정하는 출발점이다. 그리고 7절은 이 기둥의 그늘을 보였다. 관측이 서로 닮으면 정보는 $\sqrt n$ 보다 느리게 쌓이고, 편향은 전혀 줄지 않는다.

9.4 다음 회 — 셈하는 분포와 섞인 분포 (1711 → 1898)

이번 회차에서 지수분포의 합이 감마분포가 되는 것(예제 5.7)과, 동전을 던지는 횟수가 무작위일 때의 분산(예제 2.7)을 보았다. 4회는 이 둘을 분포의 가족으로 정리한다. 이항분포의 극한으로서의 Poisson 분포(de Moivre 1711, Poisson 1837), 그 대기시간인 감마분포, Bayes의 당구대에서 나온 베타분포, 그리고 여러 집단이 섞인 혼합분포다. 역사의 질문은 Bortkiewicz(1898)의 것이다. 프로이센 기병대에서 말에 차여 죽은 병사의 수는 어떤 분포를 따르는가?

참고문헌

Stigler, S. M. The History of Statistics: The Measurement of Uncertainty before 1900. Harvard, 1986. 2장 (Simpson과 오차의 분포).
Stigler, S. M. Eight centuries of sampling inspection: the trial of the Pyx. JASA 72 (1977), 493–500.
Stigler, S. M. Statistics on the Table. Harvard, 1999. 21장 (Pyx 1848의 자료).
Stigler, S. M. Do robust estimators deal with real data? Annals of Statistics 5 (1977), 1055–1098.
Stigler, S. M. The Seven Pillars of Statistical Wisdom. Harvard, 2016. 2장 (Information).
Simpson, T. A letter to the Right Honourable George Earl of Macclesfield, President of the Royal Society, on the advantage of taking the mean of a number of observations, in practical astronomy. Philosophical Transactions 49 (1755).
Box, G. E. P., Muller, M. E. A note on the generation of random normal deviates. Annals of Mathematical Statistics 29 (1958).
Borel, É. Éléments de la théorie des probabilités. Hermann, 1909.
Michelson, A. A. Experimental determination of the velocity of light. Astronomical Papers 1 (1882). · Cavendish, H. Experiments to determine the density of the earth. Philosophical Transactions 88 (1798).
He, K., Zhang, X., Ren, S., Sun, J. Delving deep into rectifiers. ICCV (2015). · Breiman, L. Random forests. Machine Learning 45 (2001).
자료: R 패키지 HistData의 Pyx, Michelson, MichelsonSets, Cavendish.

이 절을 PDF로 보기 (44쪽)노트북 9절

이 회차에서 읽은 절 0개 · 회차 차례

9 정리와 역사 노트 ​

9.1 한 장 요약 ​

9.2 Stigler의 명명 법칙 ​

9.3 7 Pillars 지도 ​