11회 · 충분성 · 워크북

B. 빈칸 증명

노트의 단계형 증명을 책을 덮고 다시 쓴다. 같은 정리를 여러 번 만나며 도움이 줄어든다. 1 단계는 주어지고 근거만 빈칸이다. 2 단계의 이름만 주어진다. 3 전략만 주어진다. 근거에는 정의나 정리의 번호, 앞 회차의 정리, 도구 번호를 쓴다.

B1 인수분해 정리, 근거 채우기 ★★

1 · 정리 1.3 · 20분

이산 표본에서 $T$가 충분통계량일 필요충분조건은 $f(\x;\theta)=g(T(\x);\theta)h(\x)$인 것이다. 각 단계의 근거를 써라.

($\Rightarrow$)

1. $t=T(\x)$이면 $\{\X=\x\}\subset\{T=t\}$이다.왜?$T$는 $\X$의 함수

2. $P_\theta(T=t)>0$이면 $f(\x;\theta)=P_\theta(T=t)\,P_\theta(\X=\x\mid T=t)$이다.왜?1, 1회 정리 5.3

3. 둘째 인수 $h(\x)=P(\X=\x\mid T=T(\x))$는 $\theta$에 의존하지 않는다.왜?충분성, 정의 1.1

4. $g(t;\theta)=P_\theta(T=t)$로 두면 $f(\x;\theta)=g(T(\x);\theta)\,h(\x)$이다.왜?2 3

($\Leftarrow$)

1. $T(\x)=t$, $P_\theta(T=t)>0$이면 $P_\theta(T=t)=g(t;\theta)\sum_{\y:\,T(\y)=t}h(\y)$이다.왜?가산가법성, 인수분해 가정

2. $P_\theta(\X=\x\mid T=t)=\dfrac{g(t;\theta)h(\x)}{g(t;\theta)\sum_{\y}h(\y)}=\dfrac{h(\x)}{\sum_{\y:\,T(\y)=t}h(\y)}$이다.왜?1회 정의 5.1, 1

3. 오른쪽에 $\theta$가 없으므로 $T$는 충분하다.왜?정의 1.1

힌트

근거는 짧게 쓴다. 예: “1회 정리 5.3”, “정의 1.1”. ($\Leftarrow$)의 첫 단계는 $\{T=t\}$를 서로소인 사건 $\{\X=\y\}$로 쪼갠 것이다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 1.3의 단계형 증명과 같다. ($\Leftarrow$)의 둘째 단계에서 $g(t;\theta)$를 약분하려면 $g(t;\theta)>0$이어야 하고, $P_\theta(T=t)>0$과 첫째 단계가 그것을 준다. ($\Rightarrow$)에서 $P_\theta(T=t)=0$이면 $f(\x;\theta)=0$이므로 $g(t;\theta)=0$으로 두면 된다.

B2 Rao–Blackwell, 근거 채우기 ★★

1 · 정리 2.1 · 15분

$W$가 $\tau(\theta)$의 불편추정량이고 $\Var_\theta W<\infty$, $T$가 충분통계량이면 $\varphi(T)=E(W\mid T)$는 통계량이고 불편이며 $\Var\varphi(T)\le\Var W$이다. 근거를 채워라.

1. $T=t$가 주어질 때 $\X$의 조건부분포는 $\theta$에 의존하지 않는다.왜?정의 1.1

2. $\varphi(t)=E(w(\X)\mid T=t)$는 $\theta$ 없이 계산된다.왜?1, 조건부분포의 평균

3. $E_\theta\varphi(T)=E_\theta W=\tau(\theta)$이다.왜?3회 정리 2.5

4. $\Var_\theta W=\Var_\theta\varphi(T)+E_\theta\Var(W\mid T)$이다.왜?3회 정리 2.6, $\Var W<\infty$

5. $\Var_\theta\varphi(T)\le\Var_\theta W$이다.왜?$\Var(W\mid T)\ge0$

6. 등호이면 $E_\theta(W-\varphi(T))^2=0$, 곧 $W=\varphi(T)$ (확률 1)이다.왜?2회 따름정리 5.6

힌트

충분성은 한 단계에서만 쓰인다. 어느 단계인지 먼저 찾는다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 2.1의 단계형 증명과 같다. 충분성은 첫째 단계에서만 쓰인다. 충분하지 않은 $T$로 조건을 걸어도 셋째–다섯째 단계는 그대로 성립하지만, 둘째 단계가 깨져 $\varphi$가 $\theta$를 포함할 수 있다.

B3 Basu의 정리, 근거 채우기 ★★

1 · 정리 5.2 · 15분

$T$가 완비충분통계량이고 $V$가 보조통계량이면 $T\perp V$이다. 근거를 채워라.

1. $p_B=P_\theta(V\in B)$는 $\theta$에 의존하지 않는다.왜?$V$는 보조, 정의 5.1

2. $\eta(T)=P(V\in B\mid T)$는 $\theta$를 포함하지 않는 $T$의 함수다.왜?$T$는 충분, 정의 1.1

3. 모든 $\theta$에서 $E_\theta[\eta(T)-p_B]=0$이다.왜?3회 정리 2.5, 1

4. 모든 $\theta$에서 $\eta(T)=p_B$ (확률 1)이다.왜?$T$의 완비성, 정의 3.1

5. $P_\theta(T\in C,\allowbreak \,V\in B)=E_\theta[1\{T\in C\}\eta(T)]=p_BP_\theta(T\in C)$이다.왜?반복기댓값, 4

힌트

완비성은 “모든 $\theta$에서 평균이 0인 $T$의 함수는 0”이다. 그 함수가 무엇인지 찾는다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 5.2의 단계형 증명과 같다. 넷째 단계에서 완비성을 쓰는 함수는 $g(T)=\eta(T)-p_B$이고, 이것이 $T$만의 함수라는 것(둘째 단계, 충분성)과 그 평균이 $\theta$에 무관한 0이라는 것(첫째와 셋째 단계, 보조성)이 함께 필요하다.

B4 인수분해 정리, 단계의 이름만 ★★

2 · 정리 1.3 · 25분

이산 표본에서 정리 1.3의 두 방향을 증명하라. 단계의 이름만 주어진다. 각 단계 아래에 식과 근거를 써라.

1. ($\Rightarrow$) $\{\X=\x\}$와 $\{T=t\}$의 관계

2. 결합확률을 곱셈법칙으로 쪼갠다

3. 충분성으로 $h$를 정하고 $g$를 정한다

4. ($\Leftarrow$) $P_\theta(T=t)$를 $g$와 $h$로 쓴다

5. 조건부확률을 계산하고 $g$를 약분한다

6. $P_\theta(T=t)=0$인 경우를 처리한다

힌트

B1을 다시 보지 말고 쓴다. 약분의 조건 $g(t;\theta)>0$이 어디서 오는지 밝힌다.

풀이

1. $t=T(\x)$이면 $\{\X=\x\}\subset\{T=t\}$.$T$는 $\X$의 함수

2. $f(\x;\theta)=P_\theta(T=t)\,P_\theta(\X=\x\mid T=t)$.1회 정리 5.3

3. $h(\x)=P(\X=\x\mid T=T(\x))$는 $\theta$에 무관하고, $g(t;\theta)=P_\theta(T=t)$.정의 1.1

4. $P_\theta(T=t)=\sum_{T(\y)=t}g(t;\theta)h(\y)=g(t;\theta)\sum_{T(\y)=t}h(\y)$.가산가법성

5. $P_\theta(\X=\x\mid T=t)=h(\x)/\sum_{T(\y)=t}h(\y)$, $\theta$가 없다.1회 정의 5.1

6. $P_\theta(T=t)=0$이면 ($\Rightarrow$)에서 $f(\x;\theta)=0$이므로 $g(t;\theta)=0$으로 둔다. ($\Leftarrow$)에서는 조건부확률을 정의하지 않는다.1회 정의 5.1

B5 Rao–Blackwell, 단계의 이름만 ★★

2 · 정리 2.1 · 25분

정리 2.1의 (a)–(c)를 증명하라.

1. (a) 충분성으로 $\varphi$가 통계량임을 보인다

2. (b) 반복기댓값으로 불편성을 보인다

3. (c) 전분산 공식을 쓴다

4. 조건부분산이 음이 아님을 쓴다

5. 등호 조건을 분석한다

힌트

등호 조건에서는 $E\Var(W\mid T)=E(W-\varphi(T))^2$을 반복기댓값으로 보인다.

풀이

1. $\X\mid T=t$의 분포가 $\theta$에 무관하므로 $\varphi(t)=E(W\mid T=t)$도 $\theta$에 무관하다.정의 1.1

2. $E_\theta\varphi(T)=E_\theta W=\tau(\theta)$.3회 정리 2.5

3. $\Var W=\Var E(W\mid T)+E\Var(W\mid T)$.3회 정리 2.6

4. $E\Var(W\mid T)\ge0$이므로 $\Var\varphi(T)\le\Var W$.조건부분산 $\ge0$

5. $\Var(W\mid T)=E[(W-\varphi(T))^2\mid T]$이므로 등호이면 $E(W-\varphi(T))^2=0$이고 $W=\varphi(T)$ (확률 1).반복기댓값, 2회 따름정리 5.6

B6 인수분해 정리, 전략만 ★★

3 · 정리 1.3 · 30분

이산 표본에서 정리 1.3을 증명하라.

전략 ($\Rightarrow$)는 결합확률을 “$T$의 확률 × $T$가 주어진 조건부확률”로 쪼갠다. ($\Leftarrow$)는 조건부확률을 계산해 $g$를 약분한다.

힌트

단계는 일곱이다. 다 쓴 뒤 $P_\theta(T=t)=0$인 경우를 따로 처리했는지 확인한다.

풀이

B4의 풀이와 같다. 이 증명은 이산 표본에서만 성립한다. 연속 표본에서는 $\{T=t\}$의 확률이 0이어서 조건부분포를 정의하는 데 측도론이 필요하다(노트 1.1절의 상자). C6에서는 이 정리를 써서 충분통계량의 일대일 함수도 충분함을 보인다.

B7 Basu의 정리, 전략만 ★★

3 · 정리 5.2 · 30분

정리 5.2를 증명하라.

전략 사건 $\{V\in B\}$의 조건부확률 $\eta(T)$를 만든다. 그 평균이 모든 $\theta$에서 같은 상수이므로 완비성으로 $\eta(T)$ 자체가 그 상수다.

힌트

다 쓴 뒤, 보조성·충분성·완비성이 각각 어느 단계에서 쓰였는지 표시한다. 셋 가운데 하나라도 빠지면 어느 단계가 무너지는가?

풀이

B3의 풀이와 같다. 보조성은 $p_B$가 $\theta$에 무관하다는 데, 충분성은 $\eta(T)$가 통계량이라는 데, 완비성은 $\eta(T)=p_B$를 끌어내는 데 쓰인다. 완비성이 빠지면 노트 5절의 가정 주의처럼 $\mathrm U(\theta,\theta+1)$에서 최소충분통계량과 범위가 독립이 아니다. 충분성이 빠지면 $\eta(T)$가 $\theta$를 포함해 완비성을 쓸 대상이 없다.

워크북 PDF풀이판 PDF답 확인