11회 · 충분성 · 워크북

C. 증명 문제

노트의 정리를 변형하고, 일반화하고, 반례로 경계를 확인한다. 증명은 노트의 단계형 모양으로 쓴다. 한 줄에 한 단계, 줄마다 근거.

C1 충분하지 않은 통계량에 조건을 걸면 ★

[T2] · 정리 2.1 · 15분

$X_1,X_2\iid\N(\theta,1)$이고 $W=\bar X$이다.

1. (a)

   $T=X_1$이 $\theta$의 충분통계량이 아님을 $X_2$의 조건부분포로 보여라.

2. (b)

   $E(W\mid X_1)$을 구하고, 그것이 추정량이 아닌 이유를 말하라.

3. (c)

   $\Var E(W\mid X_1)<\Var W$임을 확인하라. 정리 2.1의 어느 부분이 성립하고 어느 부분이 깨지는가?

힌트

$X_1$과 $X_2$는 독립이므로 $X_2\mid X_1=x_1\sim\N(\theta,\allowbreak 1)$이다.

풀이

(a) 독립이므로 $X_1=x_1$이 주어질 때 $(X_1,X_2)$의 조건부분포는 $X_1=x_1$에 점질량, $X_2\sim\N(\theta,1)$이다. 이것은 $\theta$에 의존하므로 정의 1.1로 $X_1$은 충분하지 않다.

(b) $E(\bar X\mid X_1)=\tfrac12\bigl(X_1+E(X_2\mid X_1)\bigr)=\tfrac{X_1+\theta}2$이다. 계산하려면 $\theta$를 알아야 하므로 통계량이 아니다.

(c) $\Var\tfrac{X_1+\theta}2=\tfrac14<\tfrac12=\Var\bar X$이다. 정리 2.1의 (b)(평균 $\theta$)와 (c)(분산 감소)는 반복기댓값과 전분산 공식만 쓰므로 성립한다. 깨지는 것은 (a)뿐이고, 그것이 충분성을 쓰는 유일한 곳이다.

C2 굽은 정규족 ★★

[T2] · 정리 1.6, 4.5 · 20분

$X_1,\allowbreak \dots,\allowbreak X_n\iid\N(\theta,\allowbreak \theta^2)$, $\theta>0$, $n\ge2$이다.

1. (a)

   $\bigl(\sum X_i,\allowbreak \ \sum X_i^2\bigr)$가 최소충분통계량임을 정리 1.6으로 보여라. 모수는 하나인데 통계량은 2차원이다.

2. (b)

   $E\bar X^2$과 $ES^2$을 구하고, 모든 $\theta$에서 평균이 0이지만 0이 아닌 함수 $g(\bar X,S^2)$을 찾아 이 통계량이 완비가 아님을 보여라.

3. (c)

   정리 4.5가 여기에 쓰이지 않는 이유를 자연모수의 모양으로 설명하라.

힌트

(a) 로그 가능도비는 $-\tfrac1{2\theta^2}(\sum x_i^2-\sum y_i^2)+\tfrac1\theta(\sum x_i-\sum y_i)$이다. $1/\theta$와 $1/\theta^2$은 일차종속이 아니다. (b) $E\bar X^2=\theta^2+\theta^2/n$.

풀이

(a) $\log\tfrac{f(\x;\theta)}{f(\y;\theta)}=-\tfrac1{2\theta^2}\bigl(\sum x_i^2-\sum y_i^2\bigr)+\tfrac1\theta\bigl(\sum x_i-\sum y_i\bigr)$이다. 이것이 모든 $\theta>0$에서 상수이려면 $u=1/\theta$의 다항식 $-\tfrac a2u^2+bu$가 상수여야 하므로 $a=b=0$, 곧 두 합이 같아야 한다. 거꾸로 두 합이 같으면 비는 1이다. 정리 1.6으로 최소충분이다.

(b) $E\bar X^2=\Var\bar X+(E\bar X)^2=\tfrac{\theta^2}n+\theta^2=\tfrac{n+1}n\theta^2$이고 $ES^2=\theta^2$이다(6회 정리 1.1). 따라서 $g=\tfrac n{n+1}\bar X^2-S^2$은 모든 $\theta$에서 평균이 0이다. $g$는 연속분포를 갖는 확률변수이므로 확률 1로 0일 수 없다. 완비가 아니다.

(c) 자연모수 $(\eta_1,\allowbreak \eta_2)=(\tfrac1\theta,\allowbreak -\tfrac1{2\theta^2})$는 $\eta_2=-\tfrac12\eta_1^2$인 곡선 위만 움직인다. $\R^2$의 열린 집합을 포함하지 않으므로 정리 4.5의 가정이 성립하지 않는다. 이런 족을 “굽은 지수족”이라 한다.

C3 이동한 지수분포의 UMVUE ★★

[T6] · 정리 1.3, 3.3 · 20분

$X_1,\allowbreak \dots,\allowbreak X_n\iid f(x;\theta)=e^{-(x-\theta)}$ ($x>\theta$)이다.

1. (a)

   $X_{(1)}$이 충분통계량임을 인수분해 정리로 보여라.

2. (b)

   $P(X_{(1)}-\theta>u)=e^{-nu}$ ($u>0$)임을 보여라.

3. (c)

   $X_{(1)}$이 완비임을 보여라.

4. (d)

   $\theta$의 UMVUE를 구하고, $n=5$, $X_{(1)}=2.3$일 때 그 값을 구하라.

힌트

(a) $f=e^{n\theta-\sum x_i}1\{x_{(1)}>\theta\}$. (c) $\int_\theta^\infty g(t)e^{-nt}dt=0$이 모든 $\theta$에서 성립하면 $\theta$로 미분한다(미적분의 기본정리).

풀이

(a) $\prod f(x_i;\theta)=e^{n\theta}1\{x_{(1)}>\theta\}\cdot e^{-\sum x_i}$이므로 정리 1.3으로 $X_{(1)}$이 충분하다.

(b) 독립으로 $P(X_{(1)}>\theta+u)=\prod_iP(X_i>\theta+u)=(e^{-u})^n$이다. 따라서 $X_{(1)}$의 밀도는 $ne^{-n(t-\theta)}$ ($t>\theta$)이다.

(c) 모든 $\theta$에서 $E_\theta g(X_{(1)})=ne^{n\theta}\int_\theta^\infty g(t)e^{-nt}dt=0$이면 $G(\theta)=\int_\theta^\infty g(t)e^{-nt}dt=0$이 모든 $\theta$에서 성립한다. $G$는 상수 0이므로 미적분의 기본정리로 거의 모든 $\theta$에서 $G'(\theta)=-g(\theta)e^{-n\theta}=0$, 곧 $g=0$ (거의 어디서나)이고 $P_\theta(g(X_{(1)})=0)=1$이다. (적분가능성은 $E_\theta|g(X_{(1)})|<\infty$에서 나온다 [T6].)

(d) (b)로 $EX_{(1)}=\theta+\tfrac1n$이므로 $X_{(1)}-\tfrac1n$은 완비충분통계량의 불편 함수, 곧 UMVUE다(정리 3.3). 값은 $2.3-0.2=2.1$이다.

최종답 (d) $2.1$

C4 치우친 추정량의 Rao–Blackwell화 ★

정리 2.1 · 15분

$W$가 $\tau(\theta)$의 추정량이고(불편일 필요는 없다) $\Var_\theta W<\infty$, $T$가 충분통계량이다. $\varphi(T)=E(W\mid T)$이면 모든 $\theta$에서

$$E_\theta\bigl(\varphi(T)-\tau(\theta)\bigr)^2\le E_\theta\bigl(W-\tau(\theta)\bigr)^2$$

임을 보여라. 평균제곱오차를 분산과 치우침으로 나누어 설명하라.

힌트

$E_\theta\varphi(T)=E_\theta W$이므로 두 추정량의 치우침은 같다. 평균제곱오차 $=$ 분산 $+$ 치우침$^2$.

풀이

반복기댓값으로 $E_\theta\varphi(T)=E_\theta W$이므로 두 추정량의 치우침 $b(\theta)=E_\theta W-\tau(\theta)$가 같다. 전분산 공식으로 $\Var_\theta\varphi(T)\le\Var_\theta W$이다. 평균제곱오차는 분산 $+$ $b(\theta)^2$이므로 부등식이 나온다. 충분성은 $\varphi$가 통계량이라는 데만 쓰인다. 노트 연습 2.4(볼록 손실)는 이것을 볼록 손실로 넓힌 것이다.

C5 정규 표본의 범위 ★★

정리 5.2 · 20분

$X_1,\allowbreak \dots,\allowbreak X_n\iid\N(\mu,\allowbreak \sigma^2)$이고 $R=X_{(n)}-X_{(1)}$은 범위다.

1. (a)

   $\sigma$를 고정하고 $\bar X\perp R$임을 보여라.

2. (b)

   두 모수가 모두 미지일 때 $R/S$가 $(\bar X,S)$와 독립임을 보이고, $E(R/S)=ER/ES$를 얻어라.

3. (c)

   $R$과 $S$는 독립이 아니다. $\Cov(R,S)=E(R/S)\Var S>0$을 보여라.

힌트

(a) $R$은 $X_i-\mu$들만의 함수다. (b) $(\bar X,S)$는 완비충분(정리 4.5), $R/S$는 위치와 척도를 바꿔도 같다. (c) $RS=(R/S)S^2$에 (b)를 쓴다.

풀이

(a) $\sigma$를 고정하면 $\bar X$는 $\mu$의 완비충분통계량이다(정리 4.5, 1-모수 정규). $R=\max_i(X_i-\mu)-\min_i(X_i-\mu)$은 $\N(0,\sigma^2)$ 표본만의 함수이므로 분포가 $\mu$에 무관한 보조통계량이다. Basu로 독립이고, 모든 $\sigma$에서 그렇다.

(b) $(\bar X,S)$는 $(\mu,\sigma)$의 완비충분통계량이다(정리 4.5). $X_i\mapsto a+bX_i$ ($b>0$)이면 $R$과 $S$가 모두 $b$배가 되므로 $R/S$는 변하지 않고, 분포가 $(\mu,\sigma)$에 무관하다. Basu로 독립이고, $ER=E[(R/S)S]=E(R/S)\,ES$이다.

(c) (b)로 $E[RS]=E[(R/S)S^2]=E(R/S)\,ES^2$이고 $ER\,ES=E(R/S)(ES)^2$이다. 빼면 $\Cov(R,\allowbreak S)=E(R/S)\bigl(ES^2-(ES)^2\bigr)=E(R/S)\Var S>0$이다. 둘 다 척도 $\sigma$를 따라 움직이므로 양의 상관이다. $\sigma$를 고정해도 $S$는 보조가 아니므로 Basu를 쓸 수 없다.

C6 충분통계량의 함수 ★★

[T2] · 정리 1.3 · 15분

1. (a)

   $T$가 충분하고 어떤 통계량 $U$와 함수 $r$로 $T=r(U)$이면 $U$도 충분함을 보여라.

2. (b)

   충분통계량의 일대일 함수는 충분함을 보여라.

3. (c)

   반례: $X_i\iid\N(\mu,\sigma^2)$에서 두 모수가 모두 미지이면 $\bar X$ 하나는 충분하지 않음을 $\Var(X_1\mid\bar X)$로 보여라.

힌트

(a) 인수분해 $f=g(T;\theta)h=g(r(U);\theta)h$. (c) $(X_1,\bar X)$는 결합정규이고 $\Var(X_1\mid\bar X)=\sigma^2\tfrac{n-1}n$이다(5회 정리 C).

풀이

(a) 정리 1.3으로 $f(\x;\theta)=g(T(\x);\theta)h(\x)=\tilde g(U(\x);\theta)h(\x)$, $\tilde g=g(r(\cdot);\theta)$이다. 다시 정리 1.3으로 $U$는 충분하다. (b) $U=s(T)$이고 $s$가 일대일이면 $T=s^{-1}(U)$이므로 (a)에 $r=s^{-1}$을 쓴다. (c) $(X_1,\bar X)$는 결합정규이고 $\Cov(X_1,\bar X)=\sigma^2/n$이므로 $\Var(X_1\mid\bar X)=\sigma^2-\tfrac{(\sigma^2/n)^2}{\sigma^2/n}=\sigma^2\tfrac{n-1}n$이다. $\bar X$가 주어진 $\X$의 조건부분포가 $\sigma$에 의존하므로 정의 1.1로 충분하지 않다. 충분통계량 $(\bar X,S^2)$의 함수 $\bar X$는 충분성을 잃는다.

C7 평균모수와 Cramér–Rao 한계 ★★

정리 4.3, 4.6 · 20분

1-모수 지수족 $f(x;\eta)=h(x)\exp\bigl(\eta T(x)-A(\eta)\bigr)$에서 $\Var_\eta T>0$이고, 평균모수를 $\mu=A'(\eta)$라 하자.

1. (a)

   $\mu$가 $\eta$의 순증가함수임을 보여라.

2. (b)

   $\mu$에 대한 한 관측의 정보가 $I(\mu)=1/\Var T$임을 보여라.

3. (c)

   $\bar T=\tfrac1n\sum T(X_i)$가 $\mu$의 불편추정량이고 분산이 Cramér–Rao 한계와 같음을 보여라. 정리 4.6과 어떻게 맞는가?

힌트

(a) $\tfrac{d\mu}{d\eta}=A''(\eta)=\Var T$. (b) 변환 규칙 $I(\mu)=I(\eta)\bigl(\tfrac{d\eta}{d\mu}\bigr)^2$.

풀이

(a) 정리 4.3으로 $\tfrac{d\mu}{d\eta}=A''(\eta)=\Var_\eta T>0$이므로 순증가다. 그래서 $\mu$로 모수를 바꿔 쓸 수 있다. (b) 따름정리 4.4로 $I(\eta)=A''(\eta)$이고, 9회 연습 2.2의 변환 규칙으로 $I(\mu)=I(\eta)\bigl(\tfrac{d\eta}{d\mu}\bigr)^2=A''(\eta)\cdot\tfrac1{A''(\eta)^2}=\tfrac1{\Var T}$이다. (c) $E\bar T=A'(\eta)=\mu$이고 $\Var\bar T=\tfrac{\Var T}n=\tfrac1{nI(\mu)}$이다. $\tau(\mu)=\mu$에 대한 한계 $\tfrac1{nI(\mu)}$와 같다. 정리 4.6은 한계에 닿는 통계량이 지수족의 자연 충분통계량의 일차함수라고 말했고, $\bar T$가 바로 그것이다.

C8 UMVUE는 0의 불편추정량과 상관이 없다 ★★★

[T4] · 정리 3.3 · 20분

$W$는 $\tau(\theta)$의 불편추정량이고 분산이 유한하다. $\mathcal U$를 0의 불편추정량($E_\theta U=0$, 모든 $\theta$) 가운데 분산이 유한한 것의 모임이라 하자.

1. (a)

   $W$가 UMVUE이면 모든 $U\in\mathcal U$와 $\theta$에서 $\Cov_\theta(W,U)=0$임을 보여라.

2. (b)

   거꾸로 모든 $U\in\mathcal U$와 $\theta$에서 $\Cov_\theta(W,U)=0$이면 $W$가 UMVUE임을 보여라.

3. (c)

   완비충분통계량 $T$가 있으면 $\mathcal U$에서 $T$의 함수는 0뿐이다. 이것과 (b)가 Lehmann–Scheffé 정리와 어떻게 이어지는지 말하라.

힌트

(a) $W_a=W+aU$도 불편이다. $\Var W_a$는 $a$의 이차식이다. $\Cov\ne0$인 $\theta_0$에서 $a=-\Cov/\Var U$로 두어 귀류 [T2]. (b) 다른 불편추정량 $W'$에 $U=W'-W$.

풀이

(a) $U\in\mathcal U$, $a\in\R$이면 $W_a=W+aU$는 불편이고 $\Var_\theta W_a=\Var_\theta W+2a\Cov_\theta(W,\allowbreak U)+a^2\Var_\theta U$이다. 어떤 $\theta_0$에서 $c=\Cov_{\theta_0}(W,U)\ne0$이라 하자($\Var_{\theta_0}U>0$이다). $a=-c/\Var_{\theta_0}U$로 두면 $\Var_{\theta_0}W_a=\Var_{\theta_0}W-c^2/\Var_{\theta_0}U<\Var_{\theta_0}W$이므로 $W$가 UMVUE라는 데 모순이다.

(b) $W'$이 분산이 유한한 불편추정량이면 $U=W'-W\in\mathcal U$이고 $\Var W'=\Var W+\Var U+2\Cov(W,\allowbreak U)=\Var W+\Var U\ge\Var W$이다. 분산이 무한인 $W'$에서는 자명하다.

(c) $W=\varphi(T)$이고 $U\in\mathcal U$이면 $\Cov(\varphi(T),\allowbreak U)=E[\varphi(T)U]=E[\varphi(T)E(U\mid T)]$이다. $E(U\mid T)$는 평균이 언제나 0인 $T$의 함수이므로 완비성으로 0이다. 따라서 (b)로 $\varphi(T)$는 UMVUE이고, 이것이 Lehmann–Scheffé 정리의 다른 증명이다.

C9 정보를 보존하면 충분하다 ★★★

[T6] · 명제 1.7 · 25분

이산 표본이고 9회의 정칙조건이 성립하며, 모수공간 $\Omega$는 구간이다. 모든 $\theta$에서 $I_T(\theta)=I_{\X}(\theta)<\infty$이면 $T$가 충분함을 보여라. (명제 1.7의 역)

힌트

연습 1.6의 (b)에서 등호이면 $E\Var(s_{\X}\mid T)=0$이다. 그러면 $s_{\X}(\x;\theta)=s_T(T(\x);\theta)$이고, 이것은 $\partial_\theta\log P_\theta(\X=\x\mid T=T(\x))=0$이라는 뜻이다.

풀이

노트 연습 1.6의 (a)(b)로 $I_{\X}=I_T+E_\theta\Var(s_{\X}\mid T)$이므로 등호이면 $E_\theta\Var(s_{\X}\mid T)=0$이다. 따라서 확률이 양수인 모든 $\x$에서 $s_{\X}(\x;\theta)=E[s_{\X}\mid T=T(\x)]=s_T(T(\x);\theta)$이다. $t=T(\x)$이면

$$\frac{\partial}{\partial\theta}\log P_\theta(\X=\x\mid T=t)=\frac{\partial}{\partial\theta}\bigl(\log f(\x;\theta)-\log P_\theta(T=t)\bigr)=s_{\X}(\x;\theta)-s_T(t;\theta)=0$$

이 모든 $\theta\in\Omega$에서 성립한다. 구간 위에서 도함수가 0인 함수는 상수이므로 조건부확률은 $\theta$에 의존하지 않고, 정의 1.1로 $T$는 충분하다. $\Omega$가 구간이 아니면(예: 두 점) 도함수가 0이어도 상수일 필요가 없다 [T2].

워크북 PDF풀이판 PDF답 확인