7회 · 극한의 언어 · 워크북

A. 계산 드릴

정의와 공식을 손으로 돌린다. 답이 수나 식으로 떨어지므로 다 풀면 뒤의 최종답이나 노트북의 check()로 맞춰 본다. 필요한 정규분포의 값은 문제에 적어 두었다.

A1 Chebyshev와 중심극한정리 ★

정리 3.1, 2회 정리 5.3 · 8분

성공 확률 $0.3$인 독립 시행 $n$번의 성공 비율을 $\hat p$라 하자. $P(|\hat p-0.3|\ge0.02)\le0.05$가 되는 가장 작은 $n$을 (a) Chebyshev 부등식으로, (b) 중심극한정리의 근사로($z_{0.025}=1.96$) 구하라.

힌트

$\Var\hat p=pq/n$이다. (a)는 $\tfrac{pq}{n\varepsilon^2}\le0.05$, (b)는 $z_{0.025}\sqrt{pq/n}\le0.02$를 푼다.

풀이

$pq=0.21$이다. (a) Chebyshev로 $P(|\hat p-p|\ge0.02)\le\tfrac{0.21}{n\cdot0.0004}$이고, 이것이 $0.05$ 이하이려면 $n\ge\tfrac{0.21}{0.0004\cdot0.05}=10{,}500$이다. (b) $P(|\hat p-p|\ge0.02)\approx P\bigl(|Z|\ge0.02\sqrt n/\sqrt{0.21}\bigr)$이므로 $0.02\sqrt n/\sqrt{0.21}\ge1.96$, 곧 $n\ge1.96^2\cdot0.21/0.0004=2016.84$이고 가장 작은 정수는 $2017$이다. Chebyshev는 모든 분포에 성립하는 보장이어서 약 다섯 배 보수적이다.

최종답 (a) $10{,}500$ (b) $2{,}017$

A2 이항의 정규근사 ★

따름정리 3.2(a) · 8분

$K\sim\mathrm b(400,\tfrac12)$에서 $P(K\le190)$을 (a) 연속성 보정을 하여, (b) 보정 없이 정규근사로 구하라. $\Phi(0.95)=0.8289$, $\Phi(1)=0.8413$이다. 정확한 값은 $0.1711$이다.

힌트

$EK=200$, $\mathrm{sd}(K)=10$이다. 연속성 보정은 $K\le190$을 $K\le190.5$로 읽는다.

풀이

$EK=200$, $\Var K=400\cdot\tfrac14=100$이다. (a) $P(K\le190)=P(K\le190.5)\approx\Phi\bigl(\tfrac{190.5-200}{10}\bigr)=\Phi(-0.95)=1-0.8289=0.1711$. (b) $\Phi\bigl(\tfrac{190-200}{10}\bigr)=\Phi(-1)=0.1587$. 대칭인 이항에서는 보정한 값이 정확한 값과 넷째 자리까지 맞는다. 보정하지 않으면 190이라는 정수 위의 확률 절반을 빠뜨린다.

최종답 (a) $\Phi(-0.95)=0.1711$ (b) $\Phi(-1)=0.1587$

A3 Poisson의 정규근사 ★

따름정리 3.2(b) · 6분

$X\sim\mathrm{Poi}(100)$에서 $P(X\ge115)$를 연속성 보정을 한 정규근사로 구하라. $\Phi(1.45)=0.9265$이다. 정확한 값 $0.0759$와 비교하라.

힌트

$EX=\Var X=100$이다. $X\ge115$는 $X\ge114.5$로 읽는다.

풀이

$P(X\ge115)=P(X\ge114.5)\approx1-\Phi\bigl(\tfrac{114.5-100}{10}\bigr)=1-\Phi(1.45)=0.0735$이다. 정확한 값 $0.0759$보다 작다. Poisson은 오른쪽으로 치우쳐 있어 정규근사가 오른쪽 꼬리를 얕잡는다(노트 예제 3.3).

최종답 $1-\Phi(1.45)=0.0735$

A4 최댓값의 극한 ★

예제 2.2(b) · 6분

$U_1,\allowbreak \dots,\allowbreak U_{10}\iid\mathrm U(0,\allowbreak 1)$의 최댓값을 $M_{10}$이라 하자. (a) $P\bigl(10(1-M_{10})>2\bigr)$을 정확히 구하라. (b) 극한분포 $\mathrm{Exp}(1)$로 근사한 값을 구하라.

힌트

$10(1-M_{10})>2$는 $M_{10}<0.8$, 곧 열 개가 모두 $0.8$보다 작다는 것이다.

풀이

(a) $P(M_{10}<0.8)=0.8^{10}=0.1074$이다. 독립이므로 열 개의 확률을 곱했다. (b) $P(\mathrm{Exp}(1)>2)=e^{-2}=0.1353$이다. $(1-\tfrac xn)^n<e^{-x}$이므로 유한한 $n$의 값은 극한보다 작다.

최종답 (a) $0.8^{10}=0.1074$ (b) $e^{-2}=0.1353$

A5 Poisson 평균의 제곱근 ★

정리 4.4 · 6분

$X_1,\allowbreak \dots,\allowbreak X_n\iid\mathrm{Poi}(\lambda)$이다. $\sqrt n\bigl(\sqrt{\bar X_n}-\sqrt\lambda\bigr)$의 극한분포의 분산을 구하라.

힌트

중심극한정리로 $\sqrt n(\bar X_n-\lambda)\xrightarrow{D}\N(0,\allowbreak \lambda)$이다. $g(x)=\sqrt x$에 델타 방법.

풀이

$\sqrt n(\bar X_n-\lambda)\xrightarrow{D}\N(0,\allowbreak \lambda)$이고 $g(x)=\sqrt x$, $g'(\lambda)=\tfrac1{2\sqrt\lambda}$이다. 델타 방법으로 극한분포의 분산은 $g'(\lambda)^2\lambda=\tfrac1{4\lambda}\cdot\lambda=\tfrac14$이다. $\lambda$와 상관없으므로 분산 안정화 변환이다(노트 예제 4.7).

최종답 $\tfrac14$

A6 지수분포의 비율 모수 ★

정리 4.4 · 8분

$X_1,\dots,X_n$이 iid이고 밀도가 $\lambda e^{-\lambda x}$ ($x>0$)이다. $\hat\lambda=1/\bar X_n$에 대해 $\sqrt n(\hat\lambda-\lambda)$의 극한분포의 분산을 $\lambda$의 식으로 구하라. (노트북의 check()에는 $\lambda$를 lam으로 쓴다.)

힌트

$EX=1/\lambda$, $\Var X=1/\lambda^2$이다. $g(x)=1/x$를 $1/\lambda$에서 미분한다.

풀이

$\sqrt n(\bar X_n-\tfrac1\lambda)\xrightarrow{D}\N(0,\allowbreak \tfrac1{\lambda^2})$이고 $g(x)=\tfrac1x$, $g'(\tfrac1\lambda)=-\lambda^2$이다. 델타 방법으로 분산은 $\lambda^4\cdot\tfrac1{\lambda^2}=\lambda^2$이다.

최종답 $\lambda^2$

A7 Monte Carlo의 표본 크기 ★

정리 6.1 · 10분

$\theta=\int_0^1\sqrt{1-x^2}\,dx=\tfrac\pi4$를 $U_i\iid\mathrm U(0,1)$과 $h(u)=\sqrt{1-u^2}$의 평균으로 추정한다. (a) $\sigma_h^2=\Var h(U)$를 정확히 구하라. (b) 표준오차 $\sigma_h/\sqrt n$이 $0.001$ 이하가 되는 가장 작은 $n$을 구하라.

힌트

$Eh(U)^2=\int_0^1(1-u^2)\,du$이다. $\pi^2/16=0.61685$이다.

풀이

(a) $Eh(U)^2=\int_0^1(1-u^2)\,du=\tfrac23$이므로 $\sigma_h^2=\tfrac23-\tfrac{\pi^2}{16}=0.04982$이다. (b) $\sigma_h/\sqrt n\le0.001$이면 $n\ge\sigma_h^2/10^{-6}=49{,}816.4$이므로 $n=49{,}817$이다. 노트 연습 6.1의 $4\cdot1\{U_1^2+U_2^2\le1\}$은 같은 $\tfrac\pi4\cdot4$를 분산 $2.70$으로 추정한다. $h$를 쓰면 $4h$의 분산이 $16\cdot0.0498=0.80$으로 세 배 넘게 작다.

최종답 (a) $\tfrac23-\tfrac{\pi^2}{16}\approx0.04982$ (b) $49{,}817$

A8 베타 난수의 기각 표집 ★

알고리즘 6.3, 정리 6.4 · 8분

$f(x)=6x(1-x)$ ($0<x<1$)를 제안분포 $\mathrm U(0,1)$로 기각 표집한다. (a) 쓸 수 있는 가장 작은 $M$은? (b) 한 번 시도에서 받아들일 확률은? (c) 정확히 세 번째 시도에서 처음 받아들일 확률은?

힌트

$M=\sup_xf(x)/g(x)$이다. 시도 횟수는 성공 확률 $1/M$의 기하분포다.

풀이

(a) $g=1$이므로 $M=\max f=f(\tfrac12)=\tfrac32$이다. (b) 정리 6.4로 $1/M=\tfrac23$이다. (c) 처음 두 번 거절하고 세 번째에 받아들이므로 $(\tfrac13)^2\cdot\tfrac23=\tfrac2{27}$이다.

최종답 (a) $\tfrac32$ (b) $\tfrac23$ (c) $\tfrac2{27}$

A9 평균의 제곱 ★

정리 4.4 · 6분

$X_i\iid\mathrm{Exp}(1)$이면 $\sqrt n(\bar X_n^2-1)$의 극한분포의 분산은 얼마인가?

힌트

$\mu=\sigma^2=1$이다. $g(x)=x^2$의 $g'(1)$.

풀이

$\sqrt n(\bar X_n-1)\xrightarrow{D}\N(0,\allowbreak 1)$, $g(x)=x^2$, $g'(1)=2$이므로 분산은 $2^2\cdot1=4$이다. $\mu=0$이었다면 $g'(0)=0$이어서 $\sqrt n$의 속도로는 퇴화하고 $n\bar X_n^2$을 봐야 한다(노트 연습 4.2).

최종답 $4$

A10 로그 오즈의 분산 ★

예제 4.5 · 6분

$p=0.2$, $n=100$일 때 $\log\tfrac{\hat p}{1-\hat p}$의 근사 분산을 델타 방법으로 구하라.

힌트

점근분산 $\tfrac1{pq}$를 $n$으로 나눈다.

풀이

$g(p)=\log\tfrac p{1-p}$, $g'(p)=\tfrac1{pq}$이므로 근사 분산은 $\tfrac{pq}n\cdot\tfrac1{p^2q^2}=\tfrac1{npq}=\tfrac1{100\cdot0.16}=\tfrac1{16}=0.0625$이다. 표준오차는 $0.25$다.

최종답 $\tfrac1{16}=0.0625$

A11 세 범주의 비율 ★★

예제 5.3 · 10분

세 범주의 확률이 $\mathbf p=(0.5,0.3,0.2)$이고 $n$번의 독립 시행에서 비율 $\hat p_1,\hat p_2,\hat p_3$을 얻는다. (a) $\sqrt n(\hat p_1-\hat p_2-0.2)$의 극한분포의 분산을 구하라. (b) $\sqrt n\hat p_1$과 $\sqrt n\hat p_2$의 극한 공분산을 구하라.

힌트

극한 공분산행렬은 $\mathrm{diag}(\mathbf p)-\mathbf p\mathbf p\T$이다. (a)는 $\mathbf a=(1,-1,0)$에 대한 $\mathbf a\T\Sigma\mathbf a$.

풀이

$\Sigma_{\mathbf p}$의 성분은 $\Sigma_{11}=0.5\cdot0.5=0.25$, $\Sigma_{22}=0.3\cdot0.7=0.21$, $\Sigma_{12}=-0.5\cdot0.3=-0.15$이다. (a) $\mathbf a=(1,-1,0)$이면 $\mathbf a\T\Sigma\mathbf a=0.25+0.21-2(-0.15)=0.76$이다. (b) $-0.15$이다. 한 범주의 비율이 크면 나머지는 작아질 수밖에 없어 공분산이 음수다.

최종답 (a) $0.76$ (b) $-0.15$

A12 지수 꼬리의 중요도 표집 ★★

정리 6.6 · 12분

$X\sim\mathrm{Exp}(1)$에서 $\theta=P(X>3)=e^{-3}$을 추정한다. 제안분포는 평균 3인 지수분포 $g(y)=\tfrac13e^{-y/3}$이고 $h=1\{y>3\}$이다. (a) 가중치 $w=f/g$를 쓰고 $E_g[h^2w^2]$을 구하라. (b) 한 표본의 분산의 비 $\tfrac{\theta(1-\theta)}{E_g[h^2w^2]-\theta^2}$를 구하라(소수 둘째 자리까지).

힌트

$w(y)=3e^{-2y/3}$이다. $E_g[h^2w^2]=\int_3^\infty9e^{-4y/3}\cdot\tfrac13e^{-y/3}\,dy$.

풀이

(a) $w(y)=\tfrac{e^{-y}}{\frac13e^{-y/3}}=3e^{-2y/3}$이고

$$E_g[h^2w^2]=\int_3^\infty9e^{-4y/3}\cdot\tfrac13e^{-y/3}\,dy=3\int_3^\infty e^{-5y/3}dy=3\cdot\tfrac35e^{-5}=\tfrac95e^{-5}=0.01213 .$$

(b) 중요도 표집 한 표본의 분산은 $0.01213-e^{-6}=0.00965$이고, 보통 Monte Carlo는 $e^{-3}(1-e^{-3})=0.04731$이므로 비는 $4.90$이다. 같은 정확도에 표본이 다섯 배쯤 적게 든다.

최종답 (a) $\tfrac95e^{-5}\approx0.01213$ (b) $\approx4.90$

A13 Berry–Esseen 한계 ★

3.3절의 상자 · 6분

공정한 동전($\mathrm{Bernoulli}(\tfrac12)$) $n=100$번의 표준화한 합에 대해 Berry–Esseen 상한 $C\rho/(\sigma^3\sqrt n)$을 $C=0.4748$로 구하라.

힌트

$|X-\tfrac12|$은 언제나 $\tfrac12$이다.

풀이

$|X-\tfrac12|=\tfrac12$이므로 $\rho=\tfrac18$, $\sigma=\tfrac12$, $\rho/\sigma^3=1$이다. 상한은 $0.4748/\sqrt{100}=0.04748$이다. 실제 최대 오차는 이항의 점프 때문에 약 $0.04$로 상한에 가깝다. 이산분포는 분포함수가 뛰므로 연속성 보정 없이는 오차가 $1/\sqrt n$보다 빨리 줄지 않는다.

최종답 $0.04748$

A14 반대 변량의 이득 ★★

예제 6.8 · 10분

$h(u)=u^2$, $U\sim\mathrm U(0,1)$이다. (a) $\Var h(U)$, (b) $\Cov\bigl(h(U),h(1-U)\bigr)$, (c) $\Var\tfrac{h(U)+h(1-U)}2$를 구하라. 독립인 난수 두 개의 평균과 비교하면 분산이 몇 배 줄었나?

힌트

$EU^2=\tfrac13$, $EU^4=\tfrac15$, $E[U^2(1-U)^2]=\int_0^1u^2(1-u)^2du=\tfrac1{30}$.

풀이

(a) $\tfrac15-\tfrac19=\tfrac4{45}$. (b) $1-U$도 $\mathrm U(0,1)$이므로 $Eh(1-U)=\tfrac13$이고 $\Cov=\tfrac1{30}-\tfrac19=-\tfrac7{90}$. (c) $\tfrac12\bigl(\tfrac4{45}-\tfrac7{90}\bigr)=\tfrac12\cdot\tfrac1{90}=\tfrac1{180}$. 독립인 두 난수의 평균은 $\tfrac4{45}\cdot\tfrac12=\tfrac8{180}$이므로 8배 줄었다. $h$가 $[0,1]$에서 증가함수이므로 공분산이 음수다(노트 연습 6.5).

최종답 (a) $\tfrac4{45}$ (b) $-\tfrac7{90}$ (c) $\tfrac1{180}$

워크북 PDF풀이판 PDF답 확인