7회 · 극한의 언어 · 노트

2 분포수렴

대수의 법칙은 $\bar X_n$이 $\mu$ 한 점으로 모인다고 말한다. 그 점 주위에서 $\bar X_n$이 어떤 모양으로 흩어지는지는 말하지 않는다. 모양의 극한을 말하려면 분포함수의 극한이 필요하다.

2.1 정의와 예

정의 2.1 (분포수렴) $X_n$의 분포함수 $F_n$과 $X$의 분포함수 $F$가 $F$의 모든 연속점 $x$에서 $F_n(x)\to F(x)$를 만족하면 $X_n$이 $X$로 분포수렴한다고 하고 $X_n\xrightarrow{D}X$로 쓴다. $X$의 분포를 $X_n$의 극한분포라 한다.

분포수렴은 분포만의 성질이다. $X_n$과 $X$가 같은 확률공간에 있을 필요도 없다. “연속점”이라는 단서가 왜 필요한지는 첫 예가 보여 준다.

예제 2.2 (분포수렴의 세 예) 

1. (a)

   $X_n=\tfrac1n$ (상수)이면 $F_n(0)=0$이지만 극한 $X=0$의 $F(0)=1$이다. 그러나 0은 $F$의 불연속점이고, 다른 모든 $x$에서 $F_n(x)\to F(x)$이므로 $X_n\xrightarrow{D}0$이다. 연속점의 단서가 없으면 이 당연한 수렴이 수렴이 아니게 된다.

2. (b)

   $U_1,\allowbreak \dots,\allowbreak U_n\iid\mathrm U(0,\allowbreak 1)$의 최댓값 $M_n$에 대해 $x\ge0$이면

   $$P\bigl(n(1-M_n)>x\bigr)=P\Bigl(M_n<1-\frac xn\Bigr)=\Bigl(1-\frac xn\Bigr)^n\longrightarrow e^{-x}$$

   이므로 $n(1-M_n)\xrightarrow{D}\mathrm{Exp}(1)$. 최댓값은 1에 $1/n$의 속도로 다가가고(3회 예제 3.5), 그 간격을 $n$배로 키우면 지수분포다. $n=5$에서 $P(n(1-M_n)>1)=0.328$, 극한은 $e^{-1}=0.368$이다.

3. (c)

   $X_n\sim\mathrm b(n,\lambda/n)$이면 4회 정리 2.3으로 모든 정수 $k$에서 $P(X_n=k)\to e^{-\lambda}\lambda^k/k!$이다. 분포함수는 유한 개의 확률의 합이므로 $X_n\xrightarrow{D}\mathrm{Poi}(\lambda)$.

그림 2.1 왼쪽: $n(1-M_n)$의 분포함수($n=2,5,50$)가 $\mathrm{Exp}(1)$의 분포함수(점선)로 다가간다. 오른쪽: $\mathrm{Exp}(1)$ 표본 $n$개의 최댓값에서 $\log n$을 뺀 값은 Gumbel 분포로 다가간다(연습 2.2).

2.2 두 수렴의 관계

정리 2.3 (확률수렴과 분포수렴) 

1. (a)

   $X_n\xrightarrow{P}X$이면 $X_n\xrightarrow{D}X$.

2. (b)

   상수 $c$에 대해 $X_n\xrightarrow{D}c$이면 $X_n\xrightarrow{P}c$.

증명 전략 (a) $X_n$과 $X$가 $\varepsilon$ 안에 있으면 두 사건 $\{X_n\le x\}$와 $\{X\le x\pm\varepsilon\}$이 서로 포함되므로, $F_n(x)$를 $F(x\pm\varepsilon)$ 사이에 끼운다. (b) 극한이 상수이면 연속점이 $c$ 하나만 빼고 모두이므로, $c$의 양쪽에서 분포함수를 읽는다.

(a)

1. $\varepsilon>0$을 잡는다. $X_n\le x$이고 $|X_n-X|<\varepsilon$이면 $X<x+\varepsilon$이므로 $\{X_n\le x\}\subset\{X\le x+\varepsilon\}\cup\{|X_n-X|\ge\varepsilon\}$이다.원소 추적 [T1]

2. 같은 방법으로 $\{X\le x-\varepsilon\}\subset\{X_n\le x\}\cup\{|X_n-X|\ge\varepsilon\}$이다. 확률을 취하면

   $$F(x-\varepsilon)-P(|X_n-X|\ge\varepsilon)\le F_n(x)\le F(x+\varepsilon)+P(|X_n-X|\ge\varepsilon) .$$

   1회 정리 4.3(d)(g)

3. $n\to\infty$이면 $P(|X_n-X|\ge\varepsilon)\to0$이므로

   $$F(x-\varepsilon)\le\liminf_nF_n(x)\le\limsup_nF_n(x)\le F(x+\varepsilon) .$$

   확률수렴, 상극한·하극한 [T5]

4. $x$가 $F$의 연속점이면 $\varepsilon\downarrow0$에서 양 끝이 $F(x)$로 가므로 $\lim_nF_n(x)=F(x)$이다.연속점의 정의

(b)

1. 상수 $c$의 분포함수는 $x<c$에서 0, $x\ge c$에서 1이므로 $c$가 아닌 모든 점이 연속점이다.정의 2.1

2. $\{|X_n-c|\ge\varepsilon\}\subset\{X_n\le c-\varepsilon\}\cup\{X_n>c+\tfrac\varepsilon2\}$이므로

   $$P(|X_n-c|\ge\varepsilon)\le F_n(c-\varepsilon)+1-F_n\bigl(c+\tfrac\varepsilon2\bigr) .$$

   [T1], Boole 부등식

3. $c-\varepsilon$과 $c+\tfrac\varepsilon2$는 연속점이므로 오른쪽은 $0+1-1=0$으로 간다.1, 분포수렴

조건 확인 (b)에서 $c+\varepsilon$ 대신 $c+\tfrac\varepsilon2$를 쓴 것은 $P(X_n\ge c+\varepsilon)$을 분포함수로 쓰기 위해서다. $\{X_n\ge c+\varepsilon\}\subset\{X_n>c+\tfrac\varepsilon2\}$이고, 뒤 사건의 확률은 $1-F_n(c+\tfrac\varepsilon2)$이다.

가정 주의 (a)의 역은 극한이 상수가 아니면 거짓이다. $Z\sim\N(0,1)$이고 $X_n=-Z$이면 대칭으로 모든 $n$에서 $X_n$의 분포가 $Z$와 같으므로 $X_n\xrightarrow{D}Z$이지만, $|X_n-Z|=2|Z|$이므로 $X_n$은 $Z$로 확률수렴하지 않는다. 분포수렴은 값이 가까워지는 것이 아니라 분포가 가까워지는 것이다.

분포수렴하는 수열은 “도망가지” 않는다. 이 성질이 4절의 증명에서 쓰인다.

정의 2.4 (확률적으로 유계) 모든 $\eta>0$에 대해 $B$가 있어 모든 $n$에서 $P(|X_n|\le B)\ge1-\eta$이면 $\{X_n\}$이 확률적으로 유계라 한다.

정리 2.5 (분포수렴하면 확률적으로 유계) $X_n\xrightarrow{D}X$이면 $\{X_n\}$은 확률적으로 유계다. 또 $\{Y_n\}$이 확률적으로 유계이고 $W_n\xrightarrow{P}0$이면 $Y_nW_n\xrightarrow{P}0$이다.

증명 전략 극한의 분포함수의 양 끝에서 연속점 $\pm B$를 골라 $n$이 클 때를 덮고, 처음 유한 개는 따로 덮는다. 둘째 주장은 $|Y_n|$이 큰 사건과 $|W_n|$이 큰 사건으로 나눈다. 단계별 증명은 연습 2.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

2.3 mgf로 분포수렴 보이기

분포함수를 직접 다루기 어려울 때, 2회의 mgf의 유일성(3.3절의 상자)이 극한으로 넓어진다.

증명 없이 쓰는 사실 (mgf의 수렴은 분포수렴을 준다) $X_n$의 mgf $M_n(t)$와 $X$의 mgf $M(t)$가 어떤 $h>0$에 대해 $|t|<h$에서 존재하고 $M_n(t)\to M(t)$이면 $X_n\xrightarrow{D}X$이다(Curtiss, 1942). 증명은 유일성 정리와 같은 역변환 공식을 극한까지 끌고 간다. 같은 사실이 벡터의 mgf에도 성립한다.

예제 2.6 (mgf로 본 두 극한) (a) $\mathrm b(n,\lambda/n)$의 mgf는 $\bigl(1+\tfrac{\lambda(e^t-1)}n\bigr)^n\to e^{\lambda(e^t-1)}$이고 이것은 $\mathrm{Poi}(\lambda)$의 mgf다. 예제 2.2(c)를 다시 얻는다. (b) 기하분포의 성공 확률이 $p=\lambda/n$이면 첫 성공까지의 시행 수를 $n$으로 나눈 값은 $\mathrm{Exp}(\lambda)$로 분포수렴한다(연습 2.3). 이산 시간의 기다림이 연속 시간의 기다림(4회 3절)이 된다.

증명 없이 쓰는 사실 (연속사상 정리 (분포수렴)) $X_n\xrightarrow{D}X$이고 $g$가 연속이면 $g(X_n)\xrightarrow{D}g(X)$이다(Mann과 Wald, 1943). 일반적인 증명에는 이 과정에서 다루지 않는 표현 정리가 필요하다. 이 노트에서 쓰는 경우($g(x)=x^2$, 아핀변환)는 연습 2.4처럼 분포함수로 직접 보일 수 있다.

연습문제

연습 2.1 (최솟값 ★) $U_1,\allowbreak \dots,\allowbreak U_n\iid\mathrm U(0,\allowbreak 1)$의 최솟값 $m_n$에 대해 $nm_n\xrightarrow{D}\mathrm{Exp}(1)$임을 보여라.

풀이

$P(nm_n>x)=P(\text{모든 }U_i>\tfrac xn)=(1-\tfrac xn)^n\to e^{-x}$ ($x\ge0$).

연습 2.2 (지수의 최댓값과 Gumbel ★★) $X_1,\allowbreak \dots,\allowbreak X_n\iid\mathrm{Exp}(1)$의 최댓값 $M_n$에 대해 $P(M_n-\log n\le x)\to\exp(-e^{-x})$임을 보여라. 이 극한분포를 Gumbel 분포라 한다. $n=10$과 $100$에서 $x=0$의 값을 극한 $e^{-1}$과 비교하라.

풀이

$P(M_n\le x+\log n)=\bigl(1-e^{-x-\log n}\bigr)^n=\bigl(1-\tfrac{e^{-x}}n\bigr)^n\to\exp(-e^{-x})$ ($n$이 커서 $x+\log n>0$이면). $x=0$에서 $n=10$은 $0.9^{10}=0.349$, $n=100$은 $0.366$, 극한은 $0.368$이다.

연습 2.3 (기다림의 극한 ★★) $X_n$이 성공 확률 $p_n=\lambda/n$인 시행에서 첫 성공까지의 시행 수이면 $X_n/n\xrightarrow{D}\mathrm{Exp}(\lambda)$임을 $P(X_n/n>x)$로 보여라.

풀이

$P(X_n>k)=(1-p_n)^k$이므로 $P(X_n/n>x)=(1-\tfrac\lambda n)^{\lfloor nx\rfloor}$. $\lfloor nx\rfloor=nx-\delta$ ($0\le\delta<1$)이고 $(1-\tfrac\lambda n)^{-\delta}\to1$이므로 극한은 $e^{-\lambda x}$, 곧 $\mathrm{Exp}(\lambda)$의 생존함수다.

연습 2.4 (제곱의 분포수렴 ★★) $Z_n\xrightarrow{D}Z\sim\N(0,\allowbreak 1)$이면 $Z_n^2\xrightarrow{D}\chi^2(1)$임을 $P(Z_n^2\le y)=F_n(\sqrt y)-P(Z_n<-\sqrt y)$로 보여라. ($P(Z_n<-\sqrt y)$를 $F_n(-\sqrt y\pm\varepsilon)$ 사이에 끼운다.)

풀이

$y>0$이고 $\pm\sqrt y$가 연속점(정규이므로 모든 점)이면 $P(Z_n^2\le y)=P(-\sqrt y\le Z_n\le\sqrt y)=F_n(\sqrt y)-P(Z_n<-\sqrt y)$. $F_n(-\sqrt y-\varepsilon)\le P(Z_n<-\sqrt y)\le F_n(-\sqrt y)$이므로 극한은 $\Phi(-\sqrt y)$ ($\varepsilon\to0$, $\Phi$ 연속). 따라서 $P(Z_n^2\le y)\to\Phi(\sqrt y)-\Phi(-\sqrt y)=P(Z^2\le y)$이고 $Z^2\sim\chi^2(1)$(4회 정리 3.9).

연습 2.5 (합은 따라오지 않는다 ★) $X_n\xrightarrow{D}Z$, $Y_n\xrightarrow{D}Z$ ($Z\sim\N(0,1)$)이어도 $X_n+Y_n$이 $\N(0,2)$로 분포수렴한다고 할 수 없음을 $Y_n=-X_n$으로 보여라. 4절의 Slutsky 정리가 한쪽을 상수로의 확률수렴으로 요구하는 이유다.

풀이

$Y_n=-X_n$이면 대칭인 $Z$에 대해 $Y_n\xrightarrow{D}Z$이지만 $X_n+Y_n=0$이므로 극한은 상수 0이지 $\N(0,2)$가 아니다. 분포수렴은 결합분포에 대해 아무것도 말하지 않는다.

연습 2.6 (확률적 유계성 증명 ★★ 유도형) 정리 2.5를 다음 순서로 증명하라. $\eta>0$을 고정한다.

1. (a)

   분포함수의 불연속점이 셀 수 있게 많다는 것(1회 연습 6.2)으로 $F(-B)<\tfrac\eta4$, $F(B)>1-\tfrac\eta4$인 $F$의 연속점 $\pm B$가 있음을 보여라.

2. (b)

   $N$이 있어 $n\ge N$이면 $P(|X_n|\le B)\ge F_n(B)-F_n(-B)\ge1-\eta$임을 보여라. 첫 부등식에서 $F_n(-B)\ge P(X_n<-B)$를 쓴다.

3. (c)

   $n<N$인 유한 개의 $X_n$도 덮이도록 $B$를 키울 수 있음을 1회 정리 6.3(b)로 보여라.

4. (d)

   둘째 주장: $\{|Y_nW_n|\ge\varepsilon\}\subset\{|Y_n|>B\}\cup\{|W_n|\ge\varepsilon/B\}$를 보이고, $\limsup_nP(|Y_nW_n|\ge\varepsilon)\le\eta$에서 결론을 내라.

풀이

(a) $F(-B)\to0$ ($B\to\infty$)이고 $F(B)\to1$이므로(1회 정리 6.3(b)) 충분히 큰 $B_0$ 이상에서 두 부등식이 성립한다. 불연속점은 셀 수 있게 많으므로 $[B_0,\infty)$에는 $B$와 $-B$가 모두 연속점인 $B$가 있다. 셀 수 있는 집합 둘(불연속점, 불연속점의 부호를 바꾼 것)의 합집합을 피하면 된다. (b) $\pm B$가 연속점이므로 $F_n(\pm B)\to F(\pm B)$이다. $N$이 있어 $n\ge N$이면 $F_n(B)>F(B)-\tfrac\eta4>1-\tfrac\eta2$, $F_n(-B)<F(-B)+\tfrac\eta4<\tfrac\eta2$이다. $P(|X_n|\le B)=F_n(B)-P(X_n<-B)\ge F_n(B)-F_n(-B)>1-\eta$이다. (c) $n=1,\dots,N-1$ 각각에서 $P(|X_n|\le B_n)\ge1-\eta$인 $B_n$이 있다(1회 정리 6.3(b)를 $X_n$의 분포함수에 쓴다). $\max(B,B_1,\dots,B_{N-1})$이 모든 $n$을 덮는다. (d) $|Y_n|\le B$이고 $|W_n|<\varepsilon/B$이면 $|Y_nW_n|<\varepsilon$이므로 포함관계가 성립한다. 따라서 $P(|Y_nW_n|\ge\varepsilon)\le\eta+P(|W_n|\ge\varepsilon/B)$이고, 둘째 항이 0으로 가므로 상극한은 $\eta$ 이하다. $\eta$가 임의이므로 극한은 0이다.

이 절을 PDF로 보기 (7쪽)노트북 2절

이 회차에서 읽은 절 0개 · 회차 차례