9 정리와 역사 노트

9.1 한 장 요약

	내용	증명의 핵심
기댓값	$EX=\sum x\,p(x)$ , $\int x f(x)dx$ (절대수렴할 때)	순서와 상관없는 합
함수의 기댓값	$E\,g(X)=\sum g(x)p(x)$ , $\int g f$	값으로 묶기
선형성	$E\sum c_iX_i=\sum c_iEX_i$ (독립 불필요)	표본공간 위의 합
꼬리 공식	$EX=\sum_kP(X\ge k)=\int_0^\infty P(X>x)dx$	이중합의 순서
분산	$\Var X=EX^2-\mu^2$ , $E(X-c)^2=\Var X+(\mu-c)^2$	제곱 전개
이항분포	$EK=np$ , $\Var K=npq$	$k\tbinom nk=n\tbinom{n-1}{k-1}$
독립합	$E(XY)=EX\,EY$ , $\Var\sum X_i=\sum\Var X_i$	교차항이 0
mgf	$M^{(k)}(0)=EX^k$ , $M_{X+Y}=M_XM_Y$ , 유일성	거듭제곱급수
단조변환	$f_Y(y)=f_X(h(y))\,\|h'(y)\|$	분포함수 + 연쇄법칙
역변환 표집	$F^-(U)\sim F$ , 연속이면 $F(X)\sim\mathrm U(0,1)$	$F^-(u)\le x\iff u\le F(x)$
Markov · Chebyshev	$P(X\ge a)\le\tfrac{EX}a$ , $P(\|X-\mu\|\ge c)\le\tfrac{\sigma^2}{c^2}$	함수를 누르고 기댓값
Jensen	볼록이면 $\varphi(EX)\le E\varphi(X)$	받침선
대수의 법칙	$P(\|\bar X_n-\mu\|\ge\varepsilon)\le\tfrac{\sigma^2}{n\varepsilon^2}$	Chebyshev + 독립합
Hoeffding	$P(\|\hat p-p\|\ge\varepsilon)\le2e^{-2n\varepsilon^2}$	Chernoff + $D\ge2\varepsilon^2$
부숴보기	St. Petersburg, Cauchy, 로그정규의 적률, 독립이 없는 평균	조건을 하나씩 뺀다

9.2 Stigler의 명명 법칙

Stigler's law of eponymy “어떤 과학 법칙도 처음 발견한 사람의 이름을 달고 있지 않다.”

Chebyshev 부등식: Bienaymé가 1853년에 먼저 증명했다. 프랑스 문헌에서는 지금도 Bienaymé–Tchebychev 부등식이라 부른다.
Markov 부등식: Markov의 스승 Chebyshev의 연구에 이미 나온다. 해석학에서는 지금도 이것을 Chebyshev 부등식이라 부르곤 한다.
Daniel Bernoulli의 효용: 1728년 Gabriel Cramer가 Nicolaus Bernoulli에게 보낸 편지에서 먼저 오목한 효용(제곱근)으로 St. Petersburg 역설을 풀었다. Daniel은 1738년 논문에 이 편지를 인용했다.
Bernoulli의 정리가 “대수의 법칙”이 된 것은 Poisson의 이름 짓기 때문이다. 그가 붙인 이름은 Bernoulli의 정리보다 일반적인 자신의 정리(연습 6.5)를 가리켰다.

9.3 7 Pillars 지도

Stigler(2016)의 첫째 기둥 Aggregation(모으기)은 “관측을 모으면, 개별 관측의 정보를 버리는데도 오히려 더 많이 알게 된다”는 역설이다. 평균은 각 관측이 무엇이었는지를 버린다. 그런데도 대수의 법칙은 평균이 참값으로 간다고 말한다. 이번 회차가 그 기둥의 수학이다. 그러나 얼마나 빨리 가는가, 곧 $1/\sqrt n$ 은 둘째 기둥 Information의 주제이고 3회에서 세운다. 18세기의 천문학자들에게 “여러 번 재서 평균을 내는 것이 한 번을 잘 재는 것보다 낫다”는 것은 자명하지 않았다.

9.4 다음 회 — 왜 평균을 내는가: $\sqrt n$ √n의 발견 (1755 → 1958)

이번 회차의 여러 정리에는 “이산 확률변수에서 증명하고, 연속은 3회”라는 꼬리표가 붙어 있었다. 3회는 두 개 이상의 확률변수를 함께 다루는 언어, 곧 결합분포·주변분포·조건부분포·공분산을 세우고 그 꼬리표를 뗀다. 역사의 질문은 Thomas Simpson(1755)의 것이다. 천문 관측을 여러 번 해서 평균내는 것이 정말 나은가? 그리고 런던 조폐국은 수백 년 동안 금화의 무게 허용오차를 $\sqrt n$ 이 아니라 $n$ 에 비례하게 잡았다. 그 틈을 누가 이용했을까?

참고문헌

Stigler, S. M. The History of Statistics: The Measurement of Uncertainty before 1900. Harvard, 1986. 2장 (Bernoulli와 de Moivre).
Stigler, S. M. The Seven Pillars of Statistical Wisdom. Harvard, 2016. 1장 (Aggregation).
Hald, A. A History of Probability and Statistics and Their Applications before 1750. Wiley, 1990.
Bernoulli, J. Ars Conjectandi. Basel, 1713. 4부 영어 번역: Sung, B. Translations from James Bernoulli, Harvard Univ. Dept. of Statistics Tech. Report 2, 1966.
Bernoulli, D. Specimen theoriae novae de mensura sortis. Commentarii Academiae Scientiarum Imperialis Petropolitanae 5 (1738). 영어 번역: Econometrica 22 (1954).
Huygens, C. De ratiociniis in ludo aleae. 1657.
Chebyshev, P. L. Des valeurs moyennes. Journal de mathématiques pures et appliquées (2) 12 (1867).
Heyde, C. C., Seneta, E. I. J. Bienaymé: Statistical Theory Anticipated. Springer, 1977.
Feller, W. Note on the law of large numbers and “fair” games. Annals of Mathematical Statistics 16 (1945).
Heyde, C. C. On a property of the lognormal distribution. JRSS B 25 (1963).
Hoeffding, W. Probability inequalities for sums of bounded random variables. JASA 58 (1963).
Kelly, J. L. A new interpretation of information rate. Bell System Technical Journal 35 (1956).
Weldon의 주사위 자료: R 패키지 vcd의 WeldonDice. Arbuthnot 자료: HistData의 Arbuthnot.

이 절을 PDF로 보기 (53쪽)노트북 9절

이 회차에서 읽은 절 0개 · 회차 차례

9 정리와 역사 노트 ​

9.1 한 장 요약 ​

9.2 Stigler의 명명 법칙 ​

9.3 7 Pillars 지도 ​