7회 · 극한의 언어 · 노트

1 확률수렴 — Buffon의 바늘과 대수의 법칙

1.1 Buffon의 바늘 (1777)

역사 박물학자 Buffon은 1733년 파리 과학 아카데미에서 이런 문제를 냈고, 풀이는 1777년 Essai d'arithmétique morale에 실었다. 폭 $d$의 널빤지를 깐 마루에 길이 $\ell\le d$인 바늘을 아무렇게나 던진다. 바늘이 널빤지의 이음매에 걸칠 확률은 얼마인가? 답에 $\pi$가 나온다. 그러면 거꾸로, 바늘을 많이 던져 $\pi$를 잴 수 있다. Laplace(1812)가 이것을 지적했고, 19세기에 여러 사람이 실제로 던졌다. 난수로 계산하는 방법, 곧 Monte Carlo의 가장 오래된 예다.

정리 1.1 (Buffon의 바늘) 바늘의 중심에서 가장 가까운 이음매까지의 거리 $X$와 바늘이 이음매와 이루는 예각 $\Theta$가 독립이고 각각 $\mathrm U(0,\tfrac d2)$, $\mathrm U(0,\tfrac\pi2)$이면, $\ell\le d$일 때

$$P(\text{바늘이 이음매에 걸친다})=\frac{2\ell}{\pi d} .$$

증명 전략 걸치는 사건을 $(X,\Theta)$의 부등식 $X\le\tfrac\ell2\sin\Theta$로 쓰고, 독립에서 나오는 결합밀도를 그 영역 위에서 적분한다. 단계별 증명은 연습 1.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

그림 1.1 바늘이 이음매에 걸치는 조건. 중심에서 가장 가까운 이음매까지의 거리 $X$가 바늘 반쪽의 수직 성분 $\frac\ell2\sin\Theta$보다 작으면 걸친다. 오른쪽: $(\Theta,X)$의 직사각형에서 걸치는 영역(색칠)의 넓이 비가 $\frac{2\ell}{\pi d}$이다.

$n$번 던져 $K_n$번 걸쳤다면 $\tfrac{K_n}n\approx\tfrac{2\ell}{\pi d}$이므로 $\pi$의 추정값은 $\hat\pi_n=\tfrac{2\ell n}{dK_n}$이다. 이것이 $\pi$로 “수렴”한다는 것은 무슨 뜻인가?

1.2 확률수렴

2회 정의 6.1에서 확률변수 수열이 상수로 확률수렴하는 것을 정의했다. 극한이 확률변수인 경우까지 넓힌다.

정의 1.2 (확률수렴) 같은 확률공간의 확률변수 $Y_1,Y_2,\dots$와 $Y$가 모든 $\varepsilon>0$에 대해 $\lim_{n\to\infty}P\bigl(|Y_n-Y|\ge\varepsilon\bigr)=0$을 만족하면 $Y_n\xrightarrow{P}Y$라 쓴다. $Y$가 상수 $c$이면 2회 정의 6.1이다.

정리 1.3 (연속사상 정리 (확률수렴)) 

1. (a)

   $Y_n\xrightarrow{P}c$이고 $g$가 $c$에서 연속이면 $g(Y_n)\xrightarrow{P}g(c)$.

2. (b)

   $Y_n\xrightarrow{P}a$, $W_n\xrightarrow{P}b$이고 $g:\R^2\to\R$가 $(a,b)$에서 연속이면 $g(Y_n,\allowbreak W_n)\xrightarrow{P}g(a,\allowbreak b)$.

증명 전략 $g$의 연속성에서 주어진 $\varepsilon$에 맞는 $\delta$를 얻고, “$g$의 값이 멀다”는 사건을 “입력 가운데 하나가 멀다”는 사건으로 덮는다. (a)는 (b)의 특수한 경우다.

1. $\varepsilon>0$을 잡는다. $g$가 $(a,b)$에서 연속이므로 $\delta>0$이 있어 $|y-a|<\delta$이고 $|w-b|<\delta$이면 $|g(y,w)-g(a,b)|<\varepsilon$이다.연속의 정의 [T5]

2. 1의 대우를 사건으로 쓰면 $\{|g(Y_n,\allowbreak W_n)-g(a,\allowbreak b)|\ge\varepsilon\}\subset\{|Y_n-a|\ge\delta\}\cup\{|W_n-b|\ge\delta\}$이다.대우 [T2], 원소 추적 [T1]

3. 확률을 취한다.

   $$P\bigl(|g(Y_n,W_n)-g(a,b)|\ge\varepsilon\bigr)\le P(|Y_n-a|\ge\delta)+P(|W_n-b|\ge\delta) .$$

   1회 정리 4.3(d)(g)

4. 오른쪽의 두 항은 가정으로 $n\to\infty$에서 0으로 간다. $\varepsilon$은 임의였으므로 $g(Y_n,\allowbreak W_n)\xrightarrow{P}g(a,\allowbreak b)$이다.정의 1.2

5. (a)는 $g(y,w)=g(y)$, $W_n=b=0$으로 둔 (b)다.(b)

따름정리 1.4 (확률수렴의 사칙연산) $Y_n\xrightarrow{P}a$, $W_n\xrightarrow{P}b$이면 $Y_n+W_n\xrightarrow{P}a+b$, $Y_nW_n\xrightarrow{P}ab$이고, $b\ne0$이면 $Y_n/W_n\xrightarrow{P}a/b$.

증명 $g(y,w)=y+w$, $yw$, $y/w$는 각각 $(a,b)$에서 연속이다(마지막은 $b\ne0$일 때).

예제 1.5 (바늘로 잰 $\pi$) $K_n/n$은 걸칠 확률 $p=\tfrac{2\ell}{\pi d}$의 시행 $n$번의 성공 비율이므로 2회 정리 6.2로 $K_n/n\xrightarrow{P}p$이다. $g(x)=\tfrac{2\ell}{dx}$는 $p>0$에서 연속이므로 정리 1.3(a)로 $\hat\pi_n=g(K_n/n)\xrightarrow{P}g(p)=\pi$. 얼마나 빨리 다가가는지는 4절의 델타 방법이 답한다($\ell=d$, $n=1000$이면 표준편차 약 0.075).

1.3 평균만 있으면 — Khinchin의 대수의 법칙

2회 정리 6.3은 분산이 유한하다는 가정 아래 Chebyshev 부등식으로 증명했다. 분산이 무한한 분포는 드물지 않다(7절). Khinchin(1929)은 평균만 있으면 충분하다는 것을 보였다. 증명의 착상은 잘라 내기다. 큰 값을 잘라 분산이 있는 변수로 바꾸고, 잘라 낸 부분이 무시할 만함을 보인다.

정리 1.6 (Khinchin의 약한 대수의 법칙) $X_1,X_2,\dots$가 iid이고 $E|X_1|<\infty$, $\mu=EX_1$이면 $\bar X_n\xrightarrow{P}\mu$.

증명 전략 큰 값을 잘라 분산이 있는 변수로 바꾼다(잘라 내기). 잘라 낸 부분이 확률로도 평균으로도 무시할 만함을 보이고, 남은 부분에 Chebyshev 부등식을 쓴다.

$X$를 $X_1$과 같은 분포의 변수로 쓰고 $E(|X|;A)=E\bigl(|X|\,1_A\bigr)$, $\tau(a)=E(|X|;|X|>a)$로 둔다.

1. $a\to\infty$이면 $\tau(a)\to0$이다.$E|X|<\infty$, 수렴하는 적분의 꼬리 [T5]

2. $n$을 고정하고 $Y_i=X_i1\{|X_i|\le n\}$, $T_n=\tfrac1n\sum_{i=1}^nY_i$로 둔다.잘라 내기

3. $\bar X_n\ne T_n$이면 어떤 $i$에서 $|X_i|>n$이다. $n\,1\{|X|>n\}\le|X|\,1\{|X|>n\}$이므로

   $$P(\bar X_n\ne T_n)\le nP(|X|>n)\le E(|X|;|X|>n)=\tau(n) .$$

   Boole 부등식, 단조성

4. $ET_n-\mu=EY_1-EX=-E(X;|X|>n)$이므로 $|ET_n-\mu|\le\tau(n)$이다.2회 정리 1.10

5. 아무 $M>0$에 대해 $X^21\{|X|\le n\}\le M|X|+n|X|1\{|X|>M\}$이다. $|X|\le M$이면 $X^2\le M|X|$이고, $M<|X|\le n$이면 $X^2\le n|X|$이기 때문이다.경우 나누기 [T4]

6. $Y_i$들은 독립이고 유계이므로 분산이 있다.

   $$\Var T_n=\frac{\Var Y_1}n\le\frac{E\bigl(X^2;|X|\le n\bigr)}n\le\frac{M\,E|X|}n+\tau(M) .$$

   2회 정리 2.8, 5

7. $n$이 커서 $\tau(n)<\varepsilon/2$이면 4로 $|ET_n-\mu|<\varepsilon/2$이고, $\{|\bar X_n-\mu|\ge\varepsilon\}\subset\{\bar X_n\ne T_n\}\cup\{|T_n-ET_n|\ge\varepsilon/2\}$이다. 따라서

   $$P(|\bar X_n-\mu|\ge\varepsilon)\le\tau(n)+\frac4{\varepsilon^2}\Bigl(\frac{M\,E|X|}n+\tau(M)\Bigr) .$$

   3 6, 2회 정리 5.3

8. $n\to\infty$에서 오른쪽의 상극한은 $\tfrac4{\varepsilon^2}\tau(M)$ 이하다. $M$은 아무리 크게 잡아도 되므로 1로 극한은 0이다.[T5]

조건 확인 쓴 가정은 $E|X|<\infty$ 하나다. 분산은 잘라 낸 $Y_i$에만 썼고, $|Y_i|\le n$이므로 모든 적률이 있다. 독립은 6에서 $T_n$의 분산을 나눌 때 썼다.

따름정리 1.7 (표본적률과 표본분산의 일치성) $X_1,X_2,\dots$가 iid이고 $E|X|^k<\infty$이면 $\tfrac1n\sum X_i^k\xrightarrow{P}EX^k$이다. 특히 $\sigma^2<\infty$이면 $S_n^2\xrightarrow{P}\sigma^2$, $S_n\xrightarrow{P}\sigma$.

증명 전략 적률은 iid 변수 $X_i^k$의 평균이므로 정리 1.6을 바로 쓴다. $S_n^2$은 두 표본적률의 연속함수로 쓰고 정리 1.3를 쓴다. 단계별 증명은 연습 1.7(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

따름정리의 가정은 분산의 유한성뿐이다. Chebyshev로 $S_n^2\to\sigma^2$을 보이려면 $\Var S_n^2$, 곧 4차 적률이 필요했다(6회 연습 1.2). Khinchin 덕분에 적률을 하나 덜 요구한다. 9회에서 이것은 적률법 추정량의 일치성이 된다.

증명 없이 쓰는 사실 (거의 확실한 수렴과 강한 대수의 법칙) $P(\lim_n\bar X_n=\mu)=1$, 곧 거의 모든 표본경로에서 $\bar X_n$이 $\mu$로 가는 것을 강한 대수의 법칙이라 한다. iid이면 $E|X|<\infty$가 필요충분조건이다(Kolmogorov, 1933). 확률수렴보다 강한 이 수렴은 측도론의 도구(Borel–Cantelli 보조정리)가 필요해 이 과정에서는 다루지 않는다. 통계적 추론에 필요한 것은 대부분 확률수렴과 분포수렴이다.

연습문제

연습 1.1 (Buffon의 국수 ★★) 길이 $\ell$인 바늘(길이에 제한 없음)이 이음매와 만나는 횟수 $N$의 기댓값이 $\tfrac{2\ell}{\pi d}$임을 보여라. (힌트: 바늘을 길이 $\ell/m\le d$인 토막 $m$개로 나누면 $N$은 토막마다의 교차 횟수의 합이다. 기댓값의 선형성.) 휘어진 철사(국수)여도 같다(Barbier, 1860).

풀이

바늘을 길이 $\ell/m\le d$인 토막 $m$개로 나누면 $N=\sum_{j=1}^mN_j$이고 $N_j$는 토막 $j$의 교차 횟수다. 길이가 $d$ 이하인 토막은 기껏 한 번 걸치므로 $N_j$는 지시변수이고 정리 1.1으로 $EN_j=\tfrac{2(\ell/m)}{\pi d}$. 토막들은 서로 의존하지만 기댓값의 선형성(2회 정리 1.10)은 독립을 요구하지 않으므로 $EN=m\cdot\tfrac{2\ell}{m\pi d}=\tfrac{2\ell}{\pi d}$. 휘어진 철사는 짧은 선분들로 어림하고 극한을 취한다.

연습 1.2 (연속이 아니면 ★) $Y_n=1/n$ (상수)이고 $g(y)=1\{y>0\}$이면 $Y_n\xrightarrow{P}0$이지만 $g(Y_n)\not\to g(0)$임을 보여라. 정리 1.3의 어느 가정이 깨졌나?

풀이

$|Y_n-0|=\tfrac1n<\varepsilon$이 결국 성립하므로 $Y_n\xrightarrow{P}0$. 그러나 $g(Y_n)=1$이 모든 $n$에서 성립하고 $g(0)=0$이다. $g$가 0에서 연속이 아니다(오른쪽 극한이 1).

연습 1.3 (기댓값은 따라오지 않는다 ★) $P(Y_n=n)=\tfrac1n$, $P(Y_n=0)=1-\tfrac1n$이면 $Y_n\xrightarrow{P}0$이지만 $EY_n=1$임을 보여라. 확률수렴은 꼬리의 드문 큰 값을 보지 않는다.

풀이

$P(|Y_n|\ge\varepsilon)=P(Y_n=n)=\tfrac1n\to0$ ($\varepsilon\le n$). $EY_n=n\cdot\tfrac1n=1$. 확률 $\tfrac1n$로 나오는 값 $n$이 기댓값에는 끝까지 1만큼 기여한다.

연습 1.4 (분산이 없는 표본 ★★) $t(2)$ 분포는 평균이 0이고 분산이 무한하다(6회 정리 3.3). 정리 1.6으로 $\bar X_n\xrightarrow{P}0$임을 말하고, 노트북으로 $P(|\bar X_n|>0.1)$을 $n=100$과 $10{,}000$에서 구하라. 2회 정리 6.3은 왜 쓸 수 없나?

풀이

$t(2)$는 $E|X|<\infty$(6회 정리 3.3(b), $k=1<2$)이고 대칭이므로 평균이 0이다. 정리 1.6으로 $\bar X_n\xrightarrow{P}0$. 시뮬레이션은 $P(|\bar X_n|>0.1)=0.68$ ($n=100$), $0.018$ ($n=10{,}000$). 분산이 무한하므로 Chebyshev 부등식의 오른쪽 $\sigma^2/(n\varepsilon^2)$이 무한대가 되어 2회 정리 6.3은 아무것도 말하지 못한다.

연습 1.5 (잘라 내기의 부등식 ★★) 정리 1.6의 증명 5의 부등식 $X^21\{|X|\le n\}\le M|X|+n|X|1\{|X|>M\}$을 $M\ge n$인 경우와 $M<n$인 경우로 나누어 확인하라.

풀이

$|X|>n$이면 왼쪽이 0이다. $|X|\le n$일 때, $|X|\le M$이면 $X^2=|X|\cdot|X|\le M|X|$이고, $M<|X|\le n$이면 $X^2\le n|X|=n|X|1\{|X|>M\}$이다. $M\ge n$이면 둘째 경우가 없고 첫째 경우만으로 충분하다. 어느 경우든 오른쪽의 두 항은 음이 아니다.

연습 1.6 (Buffon의 바늘 증명 ★ 유도형) 정리 1.1을 다음 순서로 증명하라.

1. (a)

   바늘 반쪽이 이음매에 수직인 방향으로 차지하는 길이가 $\tfrac\ell2\sin\Theta$임을 그림으로 보이고, 걸치는 사건이 $\{X\le\tfrac\ell2\sin\Theta\}$임을 설명하라.

2. (b)

   $X$와 $\Theta$가 독립이므로 $(X,\Theta)$의 결합밀도가 직사각형 $(0,\allowbreak \tfrac d2)\times(0,\allowbreak \tfrac\pi2)$ 위에서 상수 $\tfrac4{\pi d}$임을 보여라.

3. (c)

   $\ell\le d$이면 모든 $\theta$에서 $\tfrac\ell2\sin\theta\le\tfrac d2$임을 확인하라. 이 조건이 없으면 (d)의 안쪽 적분은 어떻게 바뀌는가?

4. (d)

   이중적분을 계산해 $\tfrac{2\ell}{\pi d}$를 얻어라.

풀이

(a) 바늘의 중심에서 바늘 끝까지는 길이 $\tfrac\ell2$이고, 바늘이 이음매와 이루는 예각이 $\Theta$이면 그 끝이 이음매에 수직인 방향으로 $\tfrac\ell2\sin\Theta$만큼 떨어져 있다. 가장 가까운 이음매까지의 거리 $X$가 이 값 이하이면 바늘이 이음매를 넘고, 크면 넘지 않는다. 따라서 걸치는 사건은 $\{X\le\tfrac\ell2\sin\Theta\}$이다. (b) 독립이면 결합밀도는 주변밀도의 곱이다(3회 정리 3.2). $X$의 밀도는 $(0,\tfrac d2)$에서 $\tfrac2d$, $\Theta$의 밀도는 $(0,\tfrac\pi2)$에서 $\tfrac2\pi$이므로 곱은 $\tfrac4{\pi d}$이다. (c) $\sin\theta\le1$이므로 $\tfrac\ell2\sin\theta\le\tfrac\ell2\le\tfrac d2$이다. $\ell>d$이면 $\tfrac\ell2\sin\theta$가 $\tfrac d2$를 넘는 $\theta$에서 안쪽 적분의 위끝이 $\min(\tfrac\ell2\sin\theta,\allowbreak \tfrac d2)$가 되어 계산이 바뀐다. (d) $\displaystyle\int_0^{\pi/2}\!\!\int_0^{\frac\ell2\sin\theta}\frac4{\pi d}\,dx\,d\theta=\frac4{\pi d}\cdot\frac\ell2\int_0^{\pi/2}\sin\theta\,d\theta=\frac4{\pi d}\cdot\frac\ell2\cdot1=\frac{2\ell}{\pi d}$.

연습 1.7 (표본적률의 일치성 증명 ★ 유도형) 따름정리 1.7를 다음 순서로 증명하라.

1. (a)

   $X_1^k,X_2^k,\dots$가 iid이고 $E|X_1^k|<\infty$임을 확인하고 정리 1.6을 써라.

2. (b)

   $S_n^2=\tfrac n{n-1}\bigl(\tfrac1n\sum X_i^2-\bar X_n^2\bigr)$임을 보여라.

3. (c)

   (a)와 따름정리 1.4로 $S_n^2\xrightarrow{P}\sigma^2$을 얻어라. 상수 수열 $\tfrac n{n-1}$은 어떻게 처리하는가?

4. (d)

   제곱근에 정리 1.3(a)를 써서 $S_n\xrightarrow{P}\sigma$를 얻어라. $\sigma^2=0$이면 어떻게 되는가?

풀이

(a) $X_i$가 iid이면 그 함수 $X_i^k$도 iid이고(3회 정리 3.4), $E|X_1^k|=E|X_1|^k<\infty$이다. 정리 1.6으로 $\tfrac1n\sum X_i^k\xrightarrow{P}EX^k$이다. (b) $\sum(X_i-\bar X_n)^2=\sum X_i^2-2\bar X_n\sum X_i+n\bar X_n^2=\sum X_i^2-n\bar X_n^2$이므로 $S_n^2=\tfrac1{n-1}\sum(X_i-\bar X_n)^2=\tfrac n{n-1}\bigl(\tfrac1n\sum X_i^2-\bar X_n^2\bigr)$이다. (c) (a)로 $\tfrac1n\sum X_i^2\xrightarrow{P}EX^2$, $\bar X_n\xrightarrow{P}\mu$이고, 따름정리 1.4로 $\tfrac1n\sum X_i^2-\bar X_n^2\xrightarrow{P}EX^2-\mu^2=\sigma^2$이다. 상수 수열 $\tfrac n{n-1}\to1$은 확률변수 $\tfrac n{n-1}$으로 보면 $1$로 확률수렴하므로 다시 따름정리 1.4의 곱을 쓴다. (d) $\sqrt{\cdot}$는 $\sigma^2>0$에서 연속이므로 정리 1.3(a)로 $S_n\xrightarrow{P}\sigma$이다. $\sigma^2=0$이어도 $\sqrt{\cdot}$는 $[0,\infty)$의 0에서 (오른쪽으로) 연속이고 $S_n^2\ge0$이므로 결론은 같다. 이때 $X$는 상수이고 $S_n=0$이다.

이 절을 PDF로 보기 (2쪽)노트북 1절

이 회차에서 읽은 절 0개 · 회차 차례