11회 · 충분성 · 워크북

A. 계산 드릴

정의와 공식을 손으로 돌린다. 답이 수나 식으로 떨어지므로 다 풀면 뒤의 최종답이나 노트북의 check()로 맞춰 본다. 계산기는 마지막 수치 계산에만 쓴다.

A1 조건부분포에서 모수가 사라진다 ★

정의 1.1, 예제 1.2 · 8분

(a) $X_1,\dots,X_5\iid$ Bernoulli$(p)$, $T=\sum X_i$이다. $P(\X=(1,1,0,1,0)\mid T=3)$을 구하고 $p$가 사라짐을 확인하라. (b) $X_1,\allowbreak X_2,\allowbreak X_3\iid\mathrm{Poi}(\lambda)$, $T=\sum X_i$이다. $P(\X=(2,1,1)\mid T=4)$를 구하라.

힌트

(a) 분자는 $p^3(1-p)^2$, 분모는 $T\sim\mathrm b(5,p)$의 확률이다. (b) 분모는 $T\sim\mathrm{Poi}(3\lambda)$의 확률이다(4회 정리 2.4).

풀이

(a) $\{\X=(1,\allowbreak 1,\allowbreak 0,\allowbreak 1,\allowbreak 0)\}\subset\{T=3\}$이므로 조건부확률은 $\dfrac{p^3(1-p)^2}{\binom53p^3(1-p)^2}=\dfrac1{10}$이다. 성공이 세 번인 열 10개가 모두 같은 확률이다.

(b) 4회 정리 2.4로 $T\sim\mathrm{Poi}(3\lambda)$이므로

$$\frac{\frac{e^{-\lambda}\lambda^2}{2!}\cdot e^{-\lambda}\lambda\cdot e^{-\lambda}\lambda}{\frac{e^{-3\lambda}(3\lambda)^4}{4!}}=\frac{4!}{2!\,1!\,1!}\Bigl(\frac13\Bigr)^4=\frac{12}{81}=\frac4{27} .$$

다항분포 $\mathrm M(4;\tfrac13,\allowbreak \tfrac13,\allowbreak \tfrac13)$의 확률이다(노트 연습 1.1).

최종답 (a) $\tfrac1{10}$ (b) $\tfrac4{27}$

A2 Poisson 표본의 UMVUE 값 ★

정리 2.1, 3.3 · 8분

$X_1,\allowbreak \dots,\allowbreak X_4\iid\mathrm{Poi}(\lambda)$에서 $T=\sum X_i=6$을 관측했다. (a) $e^{-\lambda}=P(X=0)$의 UMVUE의 값을 구하라. (b) $P(X=2)=\tfrac12\lambda^2e^{-\lambda}$의 UMVUE를 $1\{X_1=2\}$에 $T$로 조건을 걸어 구하고, 그 값을 계산하라.

힌트

$T=t$가 주어지면 $X_1\sim\mathrm b(t,\tfrac1n)$이다(노트 연습 1.1). $T=\sum X_i$는 완비충분이다(정리 4.5).

풀이

$T$는 완비충분통계량이고(정리 4.5), $T=t$가 주어지면 $X_1\sim\mathrm b(t,\tfrac14)$이다. Lehmann–Scheffé(정리 3.3)로 불편추정량에 $T$로 조건을 건 것이 UMVUE다.

(a) $P(X_1=0\mid T)=(\tfrac34)^T$이고 $T=6$이면 $\tfrac{729}{4096}\approx0.178$이다.

(b) $E\bigl[1\{X_1=2\}\bigm|T\bigr]=\binom T2\bigl(\tfrac14\bigr)^2\bigl(\tfrac34\bigr)^{T-2}$이다. $T=6$이면 $15\cdot\tfrac1{16}\cdot\tfrac{81}{256}=\tfrac{1215}{4096}\approx0.297$이다.

최종답 (a) $(\tfrac34)^6=\tfrac{729}{4096}\approx0.178$ (b) $\tfrac{1215}{4096}\approx0.297$

A3 Bernoulli의 UMVUE ★

예제 2.4, 정리 3.3 · 6분

$X_1,\dots,X_{10}\iid$ Bernoulli$(p)$에서 $T=\sum X_i=4$를 관측했다. (a) $p^2$의 UMVUE의 값, (b) $p(1-p)$의 UMVUE의 값을 구하라. 각각을 MLE $\hat p^2=0.16$, $\hat p(1-\hat p)=0.24$와 비교하라.

힌트

$T=t$가 주어지면 성공 $t$개의 자리는 모든 배치가 같은 확률이다. $X_1X_2$와 $X_1(1-X_2)$에 조건을 건다.

풀이

$T$는 완비충분이다(예제 3.2(a)). (a) $E(X_1X_2\mid T=t)=\tfrac{t(t-1)}{n(n-1)}=\tfrac{12}{90}=\tfrac2{15}\approx0.133$. (b) $E(X_1(1-X_2)\mid T=t)=\tfrac{t(n-t)}{n(n-1)}=\tfrac{24}{90}=\tfrac4{15}\approx0.267$. UMVUE는 $p^2$에서 MLE보다 작고, $p(1-p)$에서 MLE보다 크다. 둘 다 MLE의 치우침($E\hat p^2=p^2+\tfrac{p(1-p)}n$)을 되돌리는 방향이다.

최종답 (a) $\tfrac2{15}$ (b) $\tfrac4{15}$

A4 균등분포의 UMVUE ★★

예제 3.2(c), 정리 3.3 · 8분

$X_1,\allowbreak \dots,\allowbreak X_4\iid\mathrm U(0,\allowbreak \theta)$에서 $1.2,\ 3.1,\ 0.7,\ 2.5$를 얻었다. (a) $\theta$의 UMVUE의 값을 구하라. (b) $1/\theta$의 UMVUE를 $c/X_{(n)}$ 꼴에서 찾고, 그 값을 구하라.

힌트

$X_{(n)}$의 밀도는 $nt^{n-1}/\theta^n$이고 완비충분이다. $E\,X_{(n)}^{-1}$을 적분으로 구한다. $n\ge2$가 필요하다.

풀이

$X_{(n)}$은 완비충분이다(예제 3.2(c)). (a) $E X_{(n)}=\tfrac n{n+1}\theta$이므로 $\tfrac{n+1}nX_{(n)}=\tfrac54\cdot3.1=3.875$이다.

(b) $E X_{(n)}^{-1}=\int_0^\theta t^{-1}\tfrac{nt^{n-1}}{\theta^n}dt=\tfrac n{n-1}\cdot\tfrac1\theta$ ($n\ge2$)이므로 $\tfrac{n-1}{n}X_{(n)}^{-1}$이 불편이고, 완비충분통계량의 함수이므로 UMVUE다. 값은 $\tfrac34\cdot\tfrac1{3.1}=\tfrac{15}{62}\approx0.242$이다. (a)의 역수 $1/3.875=0.258$과 다르다. UMVUE는 일대일 변환에 대해 불변이 아니다.

최종답 (a) $3.875$ (b) $\tfrac{15}{62}\approx0.242$

A5 독일 전차 ★

예제 2.3, 3.4(d) · 8분

$\{1,\dots,N\}$에서 비복원으로 뽑은 일련번호 $19,\ 40,\ 42,\ 60$을 얻었다. (a) $N$의 UMVUE의 값과 (b) 적률법 추정값 $2\bar X-1$을 구하라. (a)가 (b)를 Rao–Blackwell화한 것임을 한 줄로 말하라.

힌트

UMVUE는 $\tfrac{k+1}kM-1$이다. 예제 2.3의 조건부 평균의 계산을 떠올린다.

풀이

(a) $k=4$, $M=60$이므로 $\tfrac54\cdot60-1=74$. (b) $\bar X=40.25$이므로 $2\bar X-1=79.5$. 예제 2.3에서 $E(2\bar X-1\mid M=m)=\tfrac{k+1}km-1$이었으므로 (a)는 (b)에 충분통계량 $M$으로 조건을 건 것이고, $M$이 완비이므로 UMVUE다(연습 3.3).

최종답 (a) $74$ (b) $79.5$

A6 기하분포의 로그분배함수 ★★

정의 4.1, 정리 4.3 · 12분

$P(X=x)=p(1-p)^{x-1}$ ($x=1,2,\dots$)를 자연모수 $\eta=\log(1-p)$, $T(x)=x$, $h(x)=1$인 지수족으로 쓴다. (a) $A(\eta)$를 구하라. (b) $A'(\eta)$로 $p=\tfrac14$에서 $EX$를, (c) $A''(\eta)$로 $\Var X$를 구하라.

힌트

$e^{A(\eta)}=\sum_{x\ge1}e^{\eta x}$이다($h=1$이므로). 기하급수 [T5]. $e^\eta=1-p$로 되돌린다.

풀이

(a) $\sum_xe^{\eta x-A(\eta)}=1$이므로 $e^{A(\eta)}=\sum_{x\ge1}e^{\eta x}=\tfrac{e^\eta}{1-e^\eta}$ ($\eta<0$), 곧 $A(\eta)=\eta-\log(1-e^\eta)$이다. 확인: $e^{\eta x-A(\eta)}=(1-p)^x\cdot\tfrac{p}{1-p}=p(1-p)^{x-1}$.

(b) $A'(\eta)=1+\tfrac{e^\eta}{1-e^\eta}=\tfrac1{1-e^\eta}=\tfrac1p$이므로 $p=\tfrac14$에서 $EX=4$.

(c) $A''(\eta)=\tfrac{e^\eta}{(1-e^\eta)^2}=\tfrac{1-p}{p^2}$이므로 $\Var X=\tfrac{3/4}{1/16}=12$.

최종답 (a) $A(\eta)=\eta-\log(1-e^{\eta})$ (b) $4$ (c) $12$

A7 두 모수화의 정보 ★

따름정리 4.4 · 8분

Bernoulli$(p)$, $p=0.2$에서 (a) 자연모수 $\eta=\log\tfrac p{1-p}$에 대한 한 관측의 정보 $I(\eta)$와 (b) $p$에 대한 정보 $I(p)$를 구하라. 두 값의 관계를 $\tfrac{d\eta}{dp}$로 설명하라.

힌트

(a)는 $A''(\eta)$이다. (b)는 9회의 Bernoulli 정보 $\tfrac1{p(1-p)}$이다. 변환 규칙은 $I(p)=I(\eta)\bigl(\tfrac{d\eta}{dp}\bigr)^2$이다.

풀이

(a) 따름정리 4.4로 $I(\eta)=A''(\eta)=p(1-p)=0.16$. (b) $I(p)=\tfrac1{p(1-p)}=6.25$. $\tfrac{d\eta}{dp}=\tfrac1{p(1-p)}$이므로 $I(\eta)\bigl(\tfrac{d\eta}{dp}\bigr)^2=p(1-p)\cdot\tfrac1{p^2(1-p)^2}=I(p)$이다(9회 연습 2.2의 변환 규칙). 정보는 모수의 단위에 따라 달라진다.

최종답 (a) $0.16$ (b) $6.25$

A8 지수 표본의 최댓값의 몫 ★★

정리 5.2 · 10분

$X_1,\dots,X_4\iid$ Exp(평균 $\theta$)이다. $E X_{(n)}=\theta\bigl(1+\tfrac12+\cdots+\tfrac1n\bigr)$을 써서 $E\bigl[X_{(4)}/\sum_iX_i\bigr]$를 구하라.

힌트

$\sum X_i$는 완비충분이고 $X_{(4)}/\sum X_i$는 척도를 바꿔도 같다. Basu로 둘은 독립이다. $X_{(4)}=\tfrac{X_{(4)}}{\sum X_i}\cdot\sum X_i$의 기댓값을 쓴다.

풀이

$S=\sum X_i$는 1-모수 지수족의 완비충분통계량이고(정리 4.5), $R=X_{(4)}/S$는 $X_i\mapsto cX_i$에 대해 변하지 않으므로 분포가 $\theta$에 무관한 보조통계량이다. Basu(정리 5.2)로 $R\perp S$이므로 $EX_{(4)}=E[RS]=ER\cdot ES$이고

$$ER=\frac{\theta(1+\frac12+\frac13+\frac14)}{4\theta}=\frac{25/12}4=\frac{25}{48}\approx0.521 .$$

최종답 $\tfrac{25}{48}\approx0.521$

A9 균등 표본의 순서통계량의 몫 ★

예제 5.5(b) · 8분

$X_1,\allowbreak \dots,\allowbreak X_5\iid\mathrm U(0,\allowbreak \theta)$이다. $E X_{(k)}=\tfrac k{n+1}\theta$를 써서 $E\bigl[X_{(2)}/X_{(5)}\bigr]$를 구하라.

힌트

예제 5.5(b)와 같다. $X_{(5)}$는 완비충분, $X_{(2)}/X_{(5)}$는 보조다.

풀이

$X_{(5)}$는 완비충분이고 $X_{(2)}/X_{(5)}$는 척도에 불변이므로 보조다. Basu로 독립이므로 $EX_{(2)}=E\tfrac{X_{(2)}}{X_{(5)}}\,EX_{(5)}$이고 $E\tfrac{X_{(2)}}{X_{(5)}}=\tfrac{2\theta/6}{5\theta/6}=\tfrac25$이다.

최종답 $\tfrac25$

A10 UMVUE의 분산과 Cramér–Rao 한계 ★★

정리 2.1, 9회 정리 2.4 · 10분

$X_1,\allowbreak \dots,\allowbreak X_{10}\iid\mathrm{Poi}(\lambda)$, $\lambda=1$에서 $e^{-\lambda}$의 UMVUE $(1-\tfrac1n)^T$를 생각한다. 확률생성함수 $E s^T=e^{n\lambda(s-1)}$을 써서 (a) $\Var\bigl((1-\tfrac1n)^T\bigr)$, (b) Cramér–Rao 한계 $\tfrac{\tau'(\lambda)^2}{nI(\lambda)}$, (c) 둘의 비를 구하라.

힌트

$E(1-\tfrac1n)^{2T}$은 $s=(1-\tfrac1n)^2$에서의 확률생성함수다. Poisson 한 관측의 정보는 $1/\lambda$이다.

풀이

(a) $E(1-\tfrac1n)^T=e^{-\lambda}$, $E(1-\tfrac1n)^{2T}=e^{n\lambda((1-1/n)^2-1)}=e^{-2\lambda+\lambda/n}$이므로 분산은 $e^{-2\lambda}(e^{\lambda/n}-1)=e^{-2}(e^{0.1}-1)\approx0.01423$이다. (b) $\tau'=-e^{-\lambda}$, $I=1/\lambda$이므로 $\tfrac{\lambda e^{-2\lambda}}n=\tfrac{e^{-2}}{10}\approx0.01353$이다. (c) 비는 $\tfrac{e^{\lambda/n}-1}{\lambda/n}=10(e^{0.1}-1)\approx1.0517$이다. UMVUE는 한계에 5% 못 미친다. 정리 4.6대로 $e^{-\lambda}$는 $E T$의 일차함수가 아니어서 한계에 닿을 수 없다.

최종답 (a) $e^{-2}(e^{0.1}-1)\approx0.01423$ (b) $\tfrac{e^{-2}}{10}\approx0.01353$ (c) $10(e^{0.1}-1)\approx1.0517$

A11 모수가 두 개뿐이면 완비가 아니다 ★★

정의 3.1 · [T2] · 10분

$X_1,X_2\iid$ Bernoulli$(p)$이고 모수공간이 $p\in\{\tfrac14,\tfrac34\}$ 두 점뿐이다. $T=X_1+X_2$의 함수 $g$ 가운데 두 $p$에서 모두 $E_pg(T)=0$인 것을 $g(0)=1$로 정규화해 찾아라. (a) $g(1)$과 (b) $g(2)$를 구하라.

힌트

$g(0)(1-p)^2+2g(1)p(1-p)+g(2)p^2=0$을 두 $p$에 대해 쓰면 미지수 세 개에 식 두 개다. 두 식을 빼 본다.

풀이

$p=\tfrac14$: $9g(0)+6g(1)+g(2)=0$. $p=\tfrac34$: $g(0)+6g(1)+9g(2)=0$ (양변에 16을 곱했다). 빼면 $8g(0)-8g(2)=0$이므로 $g(2)=g(0)=1$이고, 첫 식에서 $10+6g(1)=0$, 곧 $g(1)=-\tfrac53$이다. 0이 아닌 $g(T)$의 평균이 모수공간 전체에서 0이므로 이 모수공간에서 $T$는 완비가 아니다. 모수공간이 $(0,1)$이면 예제 3.2(a)로 완비다.

최종답 (a) $g(1)=-\tfrac53$ (b) $g(2)=1$

A12 Rayleigh 분포의 MLE ★★

정리 4.3, 따름정리 4.4 · 8분

Rayleigh 밀도 $f(x;\theta)=\tfrac x\theta e^{-x^2/(2\theta)}$ ($x>0$)를 $T(x)=x^2$인 지수족으로 쓰고, $A'(\eta)=E X^2$를 구하라. 자료 $1,\ 2,\ 2,\ 3$에서 가능도 방정식 “충분통계량의 평균 = 모형의 평균”으로 $\hat\theta$를 구하라.

힌트

$\eta=-\tfrac1{2\theta}$로 두면 $f=x\exp\bigl(\eta x^2+\log(-2\eta)\bigr)$이다.

풀이

$\eta=-\tfrac1{2\theta}$이면 $f(x)=x\exp\bigl(\eta x^2-A(\eta)\bigr)$, $A(\eta)=-\log(-2\eta)$이다. $A'(\eta)=-\tfrac1\eta=2\theta$이므로 $EX^2=2\theta$다. 따름정리 4.4(c)로 $\tfrac1n\sum x_i^2=2\hat\theta$이고, $\sum x_i^2=1+4+4+9=18$이므로 $\hat\theta=\tfrac{18}{8}=\tfrac94$이다.

최종답 $\hat\theta=\tfrac94$

A13 오염 정규에서 평균편차의 효율 ★

명제 7.1 · 10분

$X\sim(1-\varepsilon)\N(0,\allowbreak 1)+\varepsilon\N(0,\allowbreak 9)$, $\varepsilon=0.02$에서 $\mu_2$, $\mu_4$, $\nu_1$을 구하고, 명제 7.1의 식으로 평균편차의 상대효율을 소수 셋째 자리까지 구하라.

힌트

$\mu_2=1+8\varepsilon$, $\mu_4=3(1+80\varepsilon)$, $\nu_1=\sqrt{2/\pi}(1+2\varepsilon)$. 효율은 $\tfrac14(\mu_4/\mu_2^2-1)$을 $\mu_2/\nu_1^2-1$로 나눈 것이다.

풀이

$\mu_2=1.16$, $\mu_4=3\cdot2.6=7.8$, $\nu_1=\sqrt{2/\pi}\cdot1.04=0.8298$. $\log s$의 점근분산은 $\tfrac14(7.8/1.3456-1)=1.1992$, $\log d$의 점근분산은 $1.16/0.68858-1=0.6846$이므로 효율은 $1.1992/0.6846\approx1.751$이다. 50개에 하나꼴의 큰 오차로 평균편차가 표준편차보다 75% 효율적이 된다.

최종답 $\approx1.751$

A14 “0인가 아닌가”가 담는 정보 ★★

명제 1.7 · 10분

$X\sim\mathrm{Poi}(\lambda)$ 하나에서 $T=1\{X=0\}$만 기록한다. (a) $T$의 정보 $I_T(\lambda)$를 구하라(답에는 $\lambda$를 lam으로 쓴다). (b) $\lambda=2$에서 $I_T/I_X$를 구하라.

힌트

$T\sim$ Bernoulli$(q(\lambda))$, $q=e^{-\lambda}$이다. Bernoulli 정보의 변환 규칙 $I_T=\tfrac{q'(\lambda)^2}{q(1-q)}$. $I_X=1/\lambda$.

풀이

(a) $q=e^{-\lambda}$, $q'=-e^{-\lambda}$이므로 $I_T=\dfrac{e^{-2\lambda}}{e^{-\lambda}(1-e^{-\lambda})}=\dfrac1{e^\lambda-1}$이다. (b) $I_X=1/\lambda$이므로 비는 $\tfrac\lambda{e^\lambda-1}$이고 $\lambda=2$에서 $\tfrac2{e^2-1}\approx0.313$이다. $\lambda\to0$이면 비가 1로 간다. 사건이 드물면 “0인가 아닌가”가 거의 모든 정보를 담는다. 명제 1.7대로 비는 1보다 작다.

최종답 (a) $I_T(\lambda)=\tfrac1{e^\lambda-1}$ (b) $\tfrac2{e^2-1}\approx0.313$

워크북 PDF풀이판 PDF답 확인