7회 · 극한의 언어 · 워크북

D. 퀄형

여러 절과 앞 회차의 도구를 잇는 종합 문제다. 머리의 제한 시간을 재고, 노트를 덮고 푼다. 어느 극한 정리를 어떤 가정 아래 쓰는지 밝히는 것까지 답안의 일부다.

D1 Poisson에서 0의 확률 ★★★

정리 1.6, 3.1, 4.4 · 4회 · 제한 35분

$X_1,\allowbreak \dots,\allowbreak X_n\iid\mathrm{Poi}(\lambda)$에서 $\theta=P(X=0)=e^{-\lambda}$를 추정한다. 두 추정량

$$T_1=\frac1n\#\{i:X_i=0\},\qquad T_2=e^{-\bar X_n}$$

을 비교한다. (노트북의 check()에는 $\lambda$를 lam으로 쓴다.)

1. (a)

   $T_1$과 $T_2$가 모두 $\theta$로 확률수렴함을 보여라.

2. (b)

   $\sqrt n(T_1-\theta)$의 극한분포의 분산을 구하라.

3. (c)

   $\sqrt n(T_2-\theta)$의 극한분포의 분산을 구하라.

4. (d)

   점근분산의 비 $\tfrac{(\text{c})}{(\text{b})}$가 모든 $\lambda>0$에서 1보다 작음을 보이고, $\lambda=1$에서의 값을 구하라.

힌트

(b) $1\{X_i=0\}$은 Bernoulli$(\theta)$다. (c) $g(x)=e^{-x}$에 델타 방법. (d) 비는 $\tfrac{\lambda}{e^\lambda-1}$이고 $e^\lambda>1+\lambda$ [T4].

풀이

(a) $1\{X_i=0\}$은 iid Bernoulli$(\theta)$이므로 대수의 법칙으로 $T_1\xrightarrow{P}\theta$이다. $\bar X_n\xrightarrow{P}\lambda$이고 $e^{-x}$는 연속이므로 정리 1.3으로 $T_2\xrightarrow{P}e^{-\lambda}$이다. (b) 중심극한정리로 $\sqrt n(T_1-\theta)\xrightarrow{D}\N(0,\allowbreak \theta(1-\theta))$이므로 분산은 $e^{-\lambda}(1-e^{-\lambda})$이다. (c) $\sqrt n(\bar X_n-\lambda)\xrightarrow{D}\N(0,\allowbreak \lambda)$(4회의 Poisson 분산), $g(x)=e^{-x}$, $g'(\lambda)=-e^{-\lambda}$이므로 분산은 $\lambda e^{-2\lambda}$이다. (d) $\tfrac{\lambda e^{-2\lambda}}{e^{-\lambda}(1-e^{-\lambda})}=\tfrac{\lambda e^{-\lambda}}{1-e^{-\lambda}}=\tfrac\lambda{e^\lambda-1}$이다. $e^\lambda>1+\lambda$ ($\lambda>0$)이므로 1보다 작다. $\lambda=1$이면 $\tfrac1{e-1}=0.582$이다. $T_1$은 0의 개수만 쓰고 나머지 관측값을 버리지만, $T_2$는 모든 관측을 $\bar X_n$으로 쓴다. 대가는 $T_2$가 Poisson 모형을 가정한다는 것이다. 모형이 틀리면 $T_2$는 $e^{-\lambda}$가 아닌 값으로 간다.

최종답 (b) $e^{-\lambda}(1-e^{-\lambda})$ (c) $\lambda e^{-2\lambda}$ (d) $\tfrac1{e-1}\approx0.582$

D2 균등분포의 끝점 ★★★

예제 2.2(b), 정리 3.1 · 3회 · 제한 40분

$X_1,\allowbreak \dots,\allowbreak X_n\iid\mathrm U(0,\allowbreak \theta)$이고 $M_n=\max_iX_i$이다.

1. (a)

   $x\ge0$에서 $P\bigl(n(\theta-M_n)>x\bigr)\to e^{-x/\theta}$임을 보여라.

2. (b)

   $2\bar X_n$의 분산을 구하라.

3. (c)

   $T=\tfrac{n+1}nM_n$이 불편이고 분산이 $\tfrac{\theta^2}{n(n+2)}$임을 보여라.

4. (d)

   $n=10$에서 $\Var(2\bar X_n)/\Var T$를 구하라. 두 추정량의 오차는 $n$에 대해 각각 어떤 속도로 줄어드는가?

힌트

(a) $P(M_n<\theta-x/n)=(1-\tfrac x{n\theta})^n$. (c) $M_n/\theta$의 밀도는 $nu^{n-1}$ ($0<u<1$)이다.

풀이

(a) $x<n\theta$이면 $P(n(\theta-M_n)>x)=P(M_n<\theta-\tfrac xn)=\bigl(1-\tfrac x{n\theta}\bigr)^n\to e^{-x/\theta}$이다(독립이므로 $n$개의 확률을 곱한다). 극한은 평균 $\theta$인 지수분포다. (b) $\Var X=\tfrac{\theta^2}{12}$이므로 $\Var(2\bar X_n)=\tfrac4n\cdot\tfrac{\theta^2}{12}=\tfrac{\theta^2}{3n}$이다. (c) $U=M_n/\theta$의 분포함수는 $u^n$, 밀도는 $nu^{n-1}$이다. $EU=\tfrac n{n+1}$, $EU^2=\tfrac n{n+2}$이므로 $\Var U=\tfrac n{n+2}-\tfrac{n^2}{(n+1)^2}=\tfrac n{(n+1)^2(n+2)}$이다. 따라서 $ET=\tfrac{n+1}n\theta\cdot\tfrac n{n+1}=\theta$이고 $\Var T=\tfrac{(n+1)^2}{n^2}\theta^2\cdot\tfrac n{(n+1)^2(n+2)}=\tfrac{\theta^2}{n(n+2)}$이다. (d) $n=10$이면 $\tfrac{\theta^2/30}{\theta^2/120}=4$이다. $2\bar X_n$의 표준편차는 $1/\sqrt n$, $T$의 표준편차는 $1/n$의 속도로 준다. (a)의 $n(\theta-M_n)$이 수렴한다는 것이 곧 $M_n$의 오차가 $1/n$의 크기라는 뜻이다. 표본의 받침이 모수에 의존하면 중심극한정리의 $\sqrt n$보다 빠를 수 있다.

최종답 (b) $\tfrac{\theta^2}{3n}$ (c) $\tfrac{\theta^2}{n(n+2)}$ (d) $4$

D3 기하분포의 성공 확률 ★★★

정리 3.1, 4.2, 4.4 · 4회 · 제한 30분

$X_1,\dots,X_n$이 iid이고 $P(X=k)=(1-p)^{k-1}p$ ($k=1,2,\dots$)이다. $EX=\tfrac1p$, $\Var X=\tfrac{1-p}{p^2}$이다.

1. (a)

   $\hat p=1/\bar X_n$에 대해 $\sqrt n(\hat p-p)$의 극한분포의 분산을 구하라.

2. (b)

   그 분산의 $p$ 자리에 $\hat p$를 넣은 근사 95% 구간이 점근적으로 옳음을 Slutsky로 보여라.

3. (c)

   $n=50$, $\bar X=4$이면 (b)에서 쓰는 표준오차 $\hat p\sqrt{(1-\hat p)/n}$은 얼마인가?

4. (d)

   같은 자료로 (b)의 구간을 구하라($z_{0.025}=1.96$).

힌트

(a) $g(x)=1/x$, $g'(1/p)=-p^2$. (c) $\hat p=0.25$이다. (d) 노트북의 check()에는 구간의 아래 끝을 넣는다.

풀이

(a) $\sqrt n(\bar X_n-\tfrac1p)\xrightarrow{D}\N(0,\allowbreak \tfrac{1-p}{p^2})$이고 $g'(\tfrac1p)=-p^2$이므로 분산은 $p^4\cdot\tfrac{1-p}{p^2}=p^2(1-p)$이다. (b) $\tfrac{\sqrt n(\hat p-p)}{\hat p\sqrt{1-\hat p}}=\tfrac{p\sqrt{1-p}}{\hat p\sqrt{1-\hat p}}\cdot\tfrac{\sqrt n(\hat p-p)}{p\sqrt{1-p}}$이다. 둘째 인수는 (a)로 $\N(0,1)$로 분포수렴하고, $\hat p\xrightarrow{P}p$이므로 첫 인수는 1로 확률수렴한다(정리 1.3). Slutsky로 $\N(0,1)$이므로 $\hat p\pm1.96\,\hat p\sqrt{(1-\hat p)/n}$의 포함확률은 $0.95$로 간다. (c) $\hat p=1/4=0.25$이고 표준오차는 $0.25\sqrt{0.75/50}=0.0306$이다. (d) $0.25\pm1.96\times0.0306=0.25\pm0.0600=[0.190,\allowbreak \ 0.310]$이다.

최종답 (a) $p^2(1-p)$ (c) $0.0306$ (d) $[0.190,\ 0.310]$

D4 정규 꼬리의 중요도 표집 ★★★

정리 6.6 · 5회 · 제한 40분

$\theta=P(Z>a)=1-\Phi(a)$를 제안분포 $g=\N(\mu,1)$의 중요도 표집으로 추정한다. $h=1\{y>a\}$, $w(y)=\phi(y)/\phi(y-\mu)$이다.

1. (a)

   $w(y)=e^{-\mu y+\mu^2/2}$이고 $E_g[h^2w^2]=e^{\mu^2}\bigl(1-\Phi(a+\mu)\bigr)$임을 보여라.

2. (b)

   $a=\mu=3$일 때 한 표본의 분산의 비 $\tfrac{\theta(1-\theta)}{E_g[h^2w^2]-\theta^2}$을 구하라. $1-\Phi(3)=1.3499\times10^{-3}$, $1-\Phi(6)=9.866\times10^{-10}$, $e^9=8103.08$이다.

3. (c)

   $E_g[h^2w^2]$을 최소로 하는 $\mu$가 $2\mu\bigl(1-\Phi(a+\mu)\bigr)=\phi(a+\mu)$를 만족함을 보이고, $1-\Phi(x)\approx\phi(x)/x$를 써서 $\mu\approx a$임을 보여라.

힌트

(a) $\phi(y-\mu)e^{-2\mu y+\mu^2}$의 지수를 완전제곱으로 정리하면 $\phi(y+\mu)e^{\mu^2}$이다.

풀이

(a) $w(y)=\exp\bigl(-\tfrac{y^2}2+\tfrac{(y-\mu)^2}2\bigr)=e^{-\mu y+\mu^2/2}$이다. 그러면

$$E_g[h^2w^2]=\int_a^\infty e^{-2\mu y+\mu^2}\phi(y-\mu)\,dy=e^{\mu^2}\int_a^\infty\phi(y+\mu)\,dy=e^{\mu^2}\bigl(1-\Phi(a+\mu)\bigr) .$$

가운데 등호는 $-\tfrac{(y-\mu)^2}2-2\mu y+\mu^2=-\tfrac{(y+\mu)^2}2+\mu^2$에서 나온다. (b) $E_g[h^2w^2]=8103.08\times9.866\times10^{-10}=7.995\times10^{-6}$이고 $\theta^2=1.822\times10^{-6}$이므로 분산은 $6.17\times10^{-6}$이다. 보통 Monte Carlo의 $\theta(1-\theta)=1.348\times10^{-3}$과의 비는 약 $218$이다. (c) $\log E_g[h^2w^2]=\mu^2+\log(1-\Phi(a+\mu))$를 $\mu$로 미분해 0으로 두면 $2\mu-\tfrac{\phi(a+\mu)}{1-\Phi(a+\mu)}=0$이다. $1-\Phi(x)\approx\phi(x)/x$를 넣으면 $2\mu\approx a+\mu$, 곧 $\mu\approx a$이다. 제안분포의 중심을 드문 사건의 경계로 옮기라는 뜻이다. 수치로 최소점을 구하면 $a=3$에서 $\mu=3.15$로 $a$보다 조금 크다.

최종답 (b) $\approx218$

워크북 PDF풀이판 PDF답 확인