7회 · 극한의 언어 · 워크북

C. 증명 문제

노트의 정리를 변형하고, 일반화하고, 반례로 경계를 확인한다. 증명은 노트의 단계형 모양으로 쓴다. 한 줄에 한 단계, 줄마다 근거.

C1 극한이 확률변수인 사칙연산 ★★

[T1], [T4] · 정리 1.3, 2.5 · 15분

$X_n\xrightarrow{P}X$, $Y_n\xrightarrow{P}Y$이다($X$, $Y$는 확률변수). (a) $X_n+Y_n\xrightarrow{P}X+Y$임을 보여라. (b) $X_nY_n\xrightarrow{P}XY$임을 보여라. (힌트: $X_nY_n-XY=(X_n-X)Y_n+X(Y_n-Y)$.)

힌트

(a) $|X_n+Y_n-X-Y|\ge\varepsilon$이면 두 차 가운데 하나는 $\varepsilon/2$ 이상이다. (b) 확률수렴하면 분포수렴하고(정리 2.3) 그러면 확률적으로 유계다(정리 2.5). 확률변수 하나 $X$도 확률적으로 유계다.

풀이

(a) 삼각부등식으로 $|X_n+Y_n-(X+Y)|\le|X_n-X|+|Y_n-Y|$이므로 $\{|X_n+Y_n-X-Y|\ge\varepsilon\}\subset\{|X_n-X|\ge\tfrac\varepsilon2\}\cup\{|Y_n-Y|\ge\tfrac\varepsilon2\}$이다. Boole 부등식으로 확률이 0으로 간다.

(b) $Y_n\xrightarrow{P}Y$이면 정리 2.3(a)로 $Y_n\xrightarrow{D}Y$이고, 정리 2.5로 $\{Y_n\}$은 확률적으로 유계다. $X_n-X\xrightarrow{P}0$이므로 정리 2.5의 둘째 주장으로 $(X_n-X)Y_n\xrightarrow{P}0$이다. 같은 이유로 상수 수열 $X,X,\dots$는 확률적으로 유계이므로($P(|X|\le B)\to1$, 1회 정리 6.3(b)) $X(Y_n-Y)\xrightarrow{P}0$이다. (a)로 합도 0으로 확률수렴한다.

C2 평균제곱수렴과 확률수렴 ★★

[T2] · 2회 따름정리 5.2 · 15분

(a) $E(Y_n-c)^2\to0$이면 $Y_n\xrightarrow{P}c$임을 보여라. (b) $P(Y_n=\sqrt n)=\tfrac1n$, $P(Y_n=0)=1-\tfrac1n$이면 $Y_n\xrightarrow{P}0$이고 $EY_n\to0$이지만 $EY_n^2$은 0으로 가지 않음을 보여라. 따라서 (a)의 역은 거짓이다.

힌트

(a) 일반화된 Markov 부등식 $P(|Y_n-c|\ge\varepsilon)\le E(Y_n-c)^2/\varepsilon^2$.

풀이

(a) 2회 따름정리 5.2로 $P(|Y_n-c|\ge\varepsilon)\le\tfrac{E(Y_n-c)^2}{\varepsilon^2}\to0$이다.

(b) $0<\varepsilon$이면 $P(|Y_n|\ge\varepsilon)\le P(Y_n=\sqrt n)=\tfrac1n\to0$이므로 $Y_n\xrightarrow{P}0$이다. $EY_n=\sqrt n\cdot\tfrac1n=\tfrac1{\sqrt n}\to0$이지만 $EY_n^2=n\cdot\tfrac1n=1$이다. 드문 큰 값이 평균에는 사라지지만 제곱의 평균에는 끝까지 남는다.

C3 유계이면 기댓값도 따라온다 ★★

[T4] · 정의 1.2 · 15분

$Y_n\xrightarrow{P}c$이고 모든 $n$에서 $|Y_n|\le K$이면 $EY_n\to c$임을 보여라. 유계라는 가정이 없으면 왜 성립하지 않는지 노트 연습 1.3의 예로 설명하라.

힌트

$E|Y_n-c|$을 $\{|Y_n-c|<\varepsilon\}$ 위와 그 바깥으로 나눈다. 바깥에서는 $|Y_n-c|\le K+|c|$이다.

풀이

$A_n=\{|Y_n-c|\ge\varepsilon\}$이라 하면

$$|EY_n-c|\le E|Y_n-c|=E\bigl(|Y_n-c|;A_n^c\bigr)+E\bigl(|Y_n-c|;A_n\bigr)\le\varepsilon+(K+|c|)P(A_n) .$$

첫 부등식은 $|EZ|\le E|Z|$(2회 정리 5.9의 Jensen이나 단조성)이다. $n\to\infty$에서 상극한은 $\varepsilon$ 이하이고 $\varepsilon$은 임의이므로 $EY_n\to c$이다. 노트 연습 1.3의 $Y_n$($n$ 또는 0)은 $Y_n\xrightarrow{P}0$이지만 $EY_n=1$이다. 둘째 항 $(K+|c|)P(A_n)$에서 $K$ 자리에 $n$이 들어가 $n\cdot\tfrac1n=1$이 남는다.

C4 독립인 두 수열의 합 ★★

2회 정리 3.6 · 2.3절의 상자 · 20분

각 $n$에서 $X_n$과 $Y_n$이 독립이고, mgf가 0 근방에서 $M_{X_n}\to M_X$, $M_{Y_n}\to M_Y$로 수렴한다($M_X,M_Y$는 $X$, $Y$의 mgf). (a) $X_n+Y_n\xrightarrow{D}X'+Y'$임을 보여라. 여기서 $X'$, $Y'$은 $X$, $Y$와 각각 같은 분포이고 서로 독립이다. (b) 노트 연습 2.5의 $Y_n=-X_n$이 (a)의 반례가 아닌 이유는?

힌트

독립합의 mgf는 mgf의 곱이다.

풀이

(a) 독립이므로 $M_{X_n+Y_n}(t)=M_{X_n}(t)M_{Y_n}(t)\to M_X(t)M_Y(t)$이다(2회 정리 3.6). 오른쪽은 독립인 $X'$, $Y'$의 합의 mgf다. 2.3절의 상자로 $X_n+Y_n\xrightarrow{D}X'+Y'$이다. (b) $Y_n=-X_n$은 $X_n$과 독립이 아니다($X_n$이 상수가 아닌 한). 극한분포만으로는 결합분포가 정해지지 않고, (a)는 독립이라는 결합분포의 정보를 더해 합의 극한을 정한다.

C5 미분가능하지 않으면 ★★

[T2] · 정리 4.4 · 20분

$\sqrt nY_n\xrightarrow{D}\N(0,\allowbreak \sigma^2)$이고 $g(y)=|y|$이다($\theta=0$). (a) $P(\sqrt n|Y_n|\le y)=F_n(y)-P(\sqrt nY_n<-y)$로 $\sqrt n|Y_n|\xrightarrow{D}\sigma|Z|$임을 보여라($F_n$은 $\sqrt nY_n$의 분포함수). (b) 극한의 평균 $E|Z|$을 구하라. (c) 극한이 정규분포가 아님을 보이고, 정리 4.4의 어느 가정이 깨졌는지 밝혀라.

힌트

(a) 노트 연습 2.4의 끼우기와 같다. (b) $E|Z|=2\int_0^\infty z\phi(z)\,dz$.

풀이

(a) $y>0$이면 $\{\sqrt n|Y_n|\le y\}=\{-y\le\sqrt nY_n\le y\}$이므로 식이 성립한다. 극한 $\N(0,\sigma^2)$은 연속이므로 모든 점이 연속점이고, $F_n(-y-\delta)\le P(\sqrt nY_n<-y)\le F_n(-y)$에서 $\delta\downarrow0$으로 $P(\sqrt nY_n<-y)\to\Phi(-y/\sigma)$이다. 따라서 $P(\sqrt n|Y_n|\le y)\to\Phi(y/\sigma)-\Phi(-y/\sigma)=P(\sigma|Z|\le y)$이다. (b) $E|Z|=2\int_0^\infty z\tfrac1{\sqrt{2\pi}}e^{-z^2/2}dz=\tfrac2{\sqrt{2\pi}}=\sqrt{2/\pi}\approx0.798$이다. (c) $\sigma|Z|\ge0$이므로 확률 1로 음이 아니다. 평균이 0이 아닌 양수 $\sigma\sqrt{2/\pi}$이고 음수 쪽 확률이 0인 정규분포는 없다. 깨진 가정은 $g$가 $\theta=0$에서 미분가능하다는 것이다. 0에서 왼쪽 미분계수는 $-1$, 오른쪽은 $1$이다.

최종답 (b) $\sqrt{2/\pi}\approx0.798$

C6 Wald 구간의 포함확률 ★★★

정리 4.2, 예제 2.2(c) · 25분

성공 확률 $p$인 독립 시행 $n$번의 비율 $\hat p$로 만든 구간 $\hat p\pm z_{\alpha/2}\sqrt{\hat p(1-\hat p)/n}$을 Wald 구간이라 한다. (a) $p\in(0,1)$이 고정이면 포함확률이 $1-\alpha$로 감을 보여라. (b) $p=p_n=1/n$이면 $P(\hat p=0)\to e^{-1}$임을 보이고, 포함확률의 상극한이 $1-e^{-1}$ 이하임을 보여라.

힌트

(a) $\tfrac{\hat p-p}{\sqrt{\hat p(1-\hat p)/n}}=\sqrt{\tfrac{pq}{\hat p(1-\hat p)}}\cdot\tfrac{\hat p-p}{\sqrt{pq/n}}$. (b) $\hat p=0$이면 구간은 한 점 $\{0\}$이다.

풀이

(a) 중심극한정리로 $\tfrac{\hat p-p}{\sqrt{pq/n}}\xrightarrow{D}\N(0,\allowbreak 1)$이다. 대수의 법칙으로 $\hat p\xrightarrow{P}p$이고, $x\mapsto\sqrt{pq/(x(1-x))}$는 $p\in(0,1)$에서 연속이므로 정리 1.3으로 첫 인수는 1로 확률수렴한다. Slutsky로 스튜던트화한 비가 $\N(0,1)$로 분포수렴하고, $\pm z_{\alpha/2}$는 연속점이므로 포함확률 $P(|\cdot|\le z_{\alpha/2})\to1-\alpha$이다.

(b) $n\hat p\sim\mathrm b(n,1/n)$이므로 $P(\hat p=0)=(1-\tfrac1n)^n\to e^{-1}$이다(예제 2.2(c)의 Poisson 극한과 같다). $\hat p=0$이면 구간의 폭이 0이어서 구간은 $\{0\}$이고 $p_n=\tfrac1n>0$을 포함하지 않는다. 따라서 포함확률은 $1-P(\hat p=0)$ 이하이고 상극한은 $1-e^{-1}=0.632$ 이하다. (a)의 극한은 $p$를 고정하고 $n\to\infty$로 보낸 것이어서, $p$가 $n$과 함께 0에 다가가는 경우는 보장하지 않는다.

최종답 (b) $1-e^{-1}\approx0.632$

C7 정규화 상수를 모를 때의 중요도 표집 ★★

정리 1.3, 1.6, 6.6 · 20분

목표 밀도가 $f=\tilde f/c$이고 $\tilde f$는 알지만 상수 $c$는 모른다. $Y_i\iid g$, $\tilde w=\tilde f/g$에 대해

$$\hat\theta_n=\frac{\sum_{i=1}^nh(Y_i)\tilde w(Y_i)}{\sum_{i=1}^n\tilde w(Y_i)}$$

로 둔다($E_f|h|<\infty$, $\tilde f>0$인 곳에서 $g>0$). (a) $\hat\theta_n\xrightarrow{P}E_fh(X)$임을 보여라. (b) $n=1$이면 $\hat\theta_1$의 기댓값은 무엇인가? 이 추정량은 일반적으로 불편인가?

힌트

분자와 분모를 각각 $n$으로 나누면 iid 평균이다. $E_g\tilde w=c$이다.

풀이

(a) $E_g[\tilde w(Y)]=\int\tilde f=c$이고 $E_g[h\tilde w]=\int h\tilde f=c\,E_fh$이며, 둘 다 절댓값의 기댓값이 유한하다. Khinchin(정리 1.6)으로 $\tfrac1n\sum h\tilde w\xrightarrow{P}cE_fh$, $\tfrac1n\sum\tilde w\xrightarrow{P}c>0$이다. 비는 정리 1.3(따름정리 1.4)으로 $E_fh$로 확률수렴한다. (b) $\hat\theta_1=h(Y_1)$이므로 $E\hat\theta_1=E_gh(Y)$이고, 이것은 $g\ne f$이면 일반적으로 $E_fh$와 다르다. 분모가 확률변수이므로 비의 기댓값은 기댓값의 비가 아니다. 이 추정량은 불편이 아니지만 일치추정량이다.

C8 독립이 아니어도 대수의 법칙 ★★

[T5] · 2회 정리 5.3 · 20분

$X_1,X_2,\dots$의 평균이 모두 $\mu$이고 분산이 모두 $v<\infty$이다. (a) 쌍마다 상관이 0이면 $\bar X_n\xrightarrow{P}\mu$임을 보여라. (b) $\Cov(X_i,X_j)=v\rho^{|i-j|}$ ($|\rho|<1$)이면 $\Var\bar X_n\le\tfrac vn\cdot\tfrac{1+|\rho|}{1-|\rho|}$임을 보이고 $\bar X_n\xrightarrow{P}\mu$를 결론지어라. (c) 모든 $i$에서 $X_i=Z$이면 무엇이 깨지는가?

힌트

$\Var\bar X_n=\tfrac1{n^2}\sum_{i,j}\Cov(X_i,\allowbreak X_j)$. (b)에서 고정된 $i$에 대해 $\sum_j|\rho|^{|i-j|}\le1+2\sum_{k\ge1}|\rho|^k$.

풀이

(a) $\Var\bar X_n=\tfrac1{n^2}\sum_i\Var X_i=\tfrac vn$이므로 Chebyshev로 $P(|\bar X_n-\mu|\ge\varepsilon)\le\tfrac v{n\varepsilon^2}\to0$이다. 독립은 쓰지 않았고 공분산이 0이라는 것만 썼다. (b) $\Var\bar X_n=\tfrac v{n^2}\sum_{i,j}\rho^{|i-j|}\le\tfrac v{n^2}\sum_i\sum_j|\rho|^{|i-j|}\le\tfrac v{n^2}\cdot n\Bigl(1+\tfrac{2|\rho|}{1-|\rho|}\Bigr)=\tfrac vn\cdot\tfrac{1+|\rho|}{1-|\rho|}$이다. 기하급수를 썼다 [T5]. Chebyshev로 결론이 나온다. (c) $\bar X_n=Z$이므로 $Z$가 상수가 아니면 $\bar X_n$은 $\mu$로 가지 않는다. $\Cov(X_i,X_j)=v$로 상관이 1이어서 $\Var\bar X_n=v$가 줄지 않는다. 같은 정보를 $n$번 본 것은 정보가 하나다.

C9 기각 표집의 상수와 꼬리 ★★

정리 6.4 · 20분

(a) 알고리즘 6.3이 정당하려면 $M\ge\sup_xf(x)/g(x)$이어야 하고, 받아들일 확률은 $M=\sup_xf/g$에서 가장 큼을 보여라. (b) 목표 $f=\N(0,1)$, 제안 $g$ = 표준 Cauchy이면 가장 작은 $M$이 $\sqrt{2\pi/e}$임을 보여라. (c) 목표가 Cauchy, 제안이 $\N(0,1)$이면 쓸 수 있는 $M$이 없음을 보여라.

힌트

(b) $f/g=\sqrt{\pi/2}\,(1+x^2)e^{-x^2/2}$을 미분한다. (c) $x\to\infty$에서 $f/g$를 본다.

풀이

(a) $f(y)>Mg(y)$인 $y$의 집합의 확률이 양수이면 받아들이는 확률 $\min(1,f/(Mg))$이 그 위에서 1로 잘리고, 정리 6.4의 증명 2의 등호가 깨진다. 받아들일 확률은 $1/M$이므로 쓸 수 있는 가장 작은 $M$에서 가장 크다. (b) $\tfrac fg=\tfrac{e^{-x^2/2}/\sqrt{2\pi}}{1/(\pi(1+x^2))}=\sqrt{\tfrac\pi2}(1+x^2)e^{-x^2/2}$이다. $(1+x^2)e^{-x^2/2}$의 도함수는 $x(1-x^2)e^{-x^2/2}$이므로 $x=\pm1$에서 최대 $2e^{-1/2}$이다. 따라서 $M=\sqrt{\pi/2}\cdot2e^{-1/2}=\sqrt{2\pi/e}\approx1.520$이고 받아들일 확률은 $0.658$이다. (c) $\tfrac fg=\tfrac{\sqrt{2\pi}e^{x^2/2}}{\pi(1+x^2)}\to\infty$ ($|x|\to\infty$)이므로 상한이 없다. 제안분포의 꼬리가 목표보다 얇으면 기각 표집을 쓸 수 없다. 노트 연습 6.4의 중요도 표집과 같은 조건이다.

최종답 (b) $\sqrt{2\pi/e}\approx1.520$

워크북 PDF풀이판 PDF답 확인