7회 · 극한의 언어 · 노트

0 들어가며

여는 질문. 사람의 키, 측정의 오차, 동전 백 번의 앞면 수, 효모 세포의 수(4회), 범죄자 넷의 평균 키(6회)는 모두 종 모양으로 흩어진다. 왜 그토록 많은 것이 같은 모양인가? 그리고 왜 어떤 것은 그렇지 않은가?

5회에서 de Moivre(1733)는 동전 던지기의 앞면 수가 정규곡선을 따른다는 것을 계산했다. Laplace(1810)는 이것을 어떤 작은 오차들의 합에도 넓혔다. 각 오차의 분포가 무엇이든, 독립인 오차를 많이 더하면 합은 정규분포에 가까워진다. 이것이 중심극한정리다. 그런데 Poisson(1824)은 이상한 분포를 하나 찾아냈다. 그 분포를 따르는 관측은 아무리 많이 평균해도 관측 하나보다 나아지지 않는다. 정리에는 조건이 있었다.

이 노트는 “$n$이 크면 대략 정규”라는 말을 정확하게 만든다. 확률변수의 수열이 “수렴한다”는 말에는 두 가지 뜻이 있다(1–2절). 중심극한정리는 mgf로 증명하고(3절), Slutsky의 정리와 델타 방법으로 표본평균의 함수까지 넓힌다(4절). 다변량으로 가면 8회의 $\chi^2$ 검정이 준비된다(5절). 그리고 이 극한 정리들이 Monte Carlo 시뮬레이션의 오차를 말해 준다(6절). Buffon(1777)의 바늘에서 Los Alamos(1949)의 컴퓨터까지, 난수로 계산하는 방법은 중심극한정리 덕분에 “얼마나 틀릴 수 있는지”를 함께 내놓는다. 7절은 분산이 무한한 분포에서 정리가 무너지는 모습을 보고, 8절은 미니배치 경사의 잡음과 MC dropout에서 같은 정리를 만난다.

학습 목표

1. 1.

   확률수렴과 분포수렴을 정의하고 둘의 관계를 증명한다. 평균만 있으면 성립하는 Khinchin의 대수의 법칙을 증명한다.

2. 2.

   mgf로 중심극한정리를 증명하고, Berry–Esseen 한계로 근사의 속도를 말한다.

3. 3.

   Slutsky의 정리와 델타 방법을 증명하고, 스튜던트화한 평균·로그 오즈·분산 안정화 변환에 쓴다.

4. 4.

   다변량 중심극한정리를 선형결합의 mgf로 증명하고 다항분포에 쓴다.

5. 5.

   Monte Carlo 적분의 신뢰구간, 기각 표집, 중요도 표집을 증명하고 구현한다. 분산이 무한할 때 무엇이 달라지는지 시뮬레이션으로 본다.

그림 0.1 이번 회차 정리들의 의존 관계. 화살표는 “증명에 쓰인다”는 뜻이다.

0.1 1–6회에서 가져오는 것

앞 회차	내용
2회 정의 6.1 · 정리 5.3 · 6.3	확률수렴, Chebyshev 부등식, 분산이 있을 때의 대수의 법칙
2회 정리 3.3 · 3.6 · 3.3절의 상자	mgf의 미분은 적률, 아핀변환과 독립합의 mgf, mgf가 같으면 분포가 같다
2회 정리 4.7 · 정리 8.1	확률적분변환(역함수 표집), Chernoff 한계
3회 정리 4.2 · 6.3	공분산의 계산, $\Var\bar X=\sigma^2/n$
4회 정리 2.3 · 3.7	이항의 Poisson 극한, 감마의 mgf
5회 따름정리 1.3 · 정리 3.8 · 3.10	적분형 de Moivre–Laplace, 다변량 정규의 선형변환, Cramér–Wold 판정
6회 정리 3.3 · 3.4 · 7절	$t(r)\to\N(0,1)$, Student의 $t$, 비정규 모집단에서의 포함확률

0.2 표기

$X_1,X_2,\dots$가 독립이고 같은 분포를 따르면 “iid 수열”이라 하고, 평균 $\mu$, 분산 $\sigma^2$, 표본평균 $\bar X_n=\tfrac1n\sum_{i=1}^nX_i$로 쓴다. $\Phi$와 $\phi$는 표준정규의 분포함수와 밀도, $z_p$는 위쪽 $p$ 분위수다($z_{0.025}=1.960$). 수렴의 기호는 확률수렴 $\xrightarrow{P}$, 분포수렴 $\xrightarrow{D}$이다. 함수 $F$의 연속점은 $F$가 연속인 점이다.

이 절을 PDF로 보기 (1쪽)노트북 0절

이 회차에서 읽은 절 0개 · 회차 차례