11회 · 충분성 · 노트

3 완비성과 Lehmann–Scheffé — 가장 좋은 불편추정량

Rao–Blackwell은 “충분통계량의 함수로 바꾸면 나빠지지 않는다”고 말했다. 그런데 충분통계량의 함수인 불편추정량이 여럿이면 어느 것이 최선인가? 하나뿐이면 그것이 답이다. 하나뿐이게 하는 성질이 완비성이다.

3.1 완비성

정의 3.1 (완비통계량) 모든 $\theta\in\Omega$에서 $E_\theta g(T)=0$이면 $P_\theta(g(T)=0)=1$ (모든 $\theta$)이 되는 통계량 $T$를 완비라 한다.

“평균이 언제나 0인 $T$의 함수는 0뿐이다.” 같은 말로, $T$의 함수 가운데 $\tau(\theta)$의 불편추정량은 많아야 하나다. 두 개 $\varphi_1(T),\varphi_2(T)$가 있으면 그 차의 평균이 언제나 0이기 때문이다.

예제 3.2 (완비인 것과 아닌 것) 

1. (a)

   이항. $T\sim\mathrm b(n,p)$이고 $\sum_{t=0}^ng(t)\binom ntp^t(1-p)^{n-t}=0$이 모든 $p\in(0,1)$에서 성립하면, $(1-p)^n$으로 나누고 $r=p/(1-p)$로 쓴 $\sum_tg(t)\binom ntr^t$는 모든 $r>0$에서 0인 다항식이므로 계수가 모두 0, 곧 $g\equiv0$이다.

2. (b)

   Poisson. $\sum_tg(t)\tfrac{e^{-\mu}\mu^t}{t!}=0$ ($\mu>0$)이면 멱급수 $\sum g(t)\mu^t/t!$이 0이므로 계수가 모두 0이다(연습 3.1).

3. (c)

   균등의 최댓값. $X_{(n)}$의 밀도는 $nt^{n-1}/\theta^n$ ($0<t<\theta$)이다. $\int_0^\theta g(t)t^{n-1}dt=0$이 모든 $\theta$에서 성립하면 $\theta$로 미분해 $g(\theta)\theta^{n-1}=0$, 곧 $g=0$이다.

4. (d)

   완비가 아닌 것. $\mathrm U(\theta,\theta+1)$에서 범위 $R=X_{(n)}-X_{(1)}$의 분포는 $\theta$에 무관하므로 $g(T)=R-E R$은 평균이 언제나 0이지만 0이 아니다. 최소충분통계량 $(X_{(1)},X_{(n)})$은 완비가 아니다.

3.2 Lehmann–Scheffé 정리

정리 3.3 (Lehmann–Scheffé (1950)) $T$가 완비충분통계량이고 $\varphi(T)$가 $\tau(\theta)$의 불편추정량이면, $\varphi(T)$는 $\tau(\theta)$의 유일한 균등최소분산 불편추정량(UMVUE)이다. 곧 모든 불편추정량 $W$와 모든 $\theta$에서 $\Var_\theta\varphi(T)\le\Var_\theta W$이다.

증명 전략 아무 불편추정량 $W$를 Rao–Blackwell로 $T$의 함수로 바꾼다. 완비성으로 그 함수는 $\varphi(T)$와 같다. 유일성은 Rao–Blackwell의 등호 조건에서 나온다.

1. $W$가 $\tau(\theta)$의 불편추정량이고 분산이 유한하다고 하자. $\psi(T)=E(W\mid T)$는 $T$의 함수인 불편추정량이고 $\Var_\theta\psi(T)\le\Var_\theta W$이다.정리 2.1

2. $g(T)=\psi(T)-\varphi(T)$이면 모든 $\theta$에서 $E_\theta g(T)=\tau(\theta)-\tau(\theta)=0$이다.둘 다 불편

3. 따라서 모든 $\theta$에서 $\psi(T)=\varphi(T)$ (확률 1)이다.$T$의 완비성, 정의 3.1

4. $\Var_\theta\varphi(T)=\Var_\theta\psi(T)\le\Var_\theta W$이다.1 3

5. 유일성. $W'$도 UMVUE이면 1–3을 $W'$에 써서 $E(W'\mid T)=\varphi(T)$이고, UMVUE의 정의와 4로 $\Var_\theta W'=\Var_\theta\varphi(T)$이다.1–4

6. 정리 2.1(c)의 등호 조건으로 $W'=E(W'\mid T)=\varphi(T)$ (확률 1)이다.정리 2.1(c)

조건 확인 분산이 무한인 불편추정량에서는 4의 부등식이 자명하다. 분산이 유한한 불편추정량이 하나라도 있으면 4로 $\Var_\theta\varphi(T)$도 유한하다. 완비성은 모든 $\theta$에서 $E_\theta g(T)=0$일 때 쓰인다. 모수공간의 일부에서만 불편이면 쓸 수 없다.

정리는 UMVUE를 찾는 두 길을 준다. (1) 완비충분통계량의 함수 가운데 불편인 것을 직접 찾는다. (2) 아무 불편추정량에 완비충분통계량으로 조건을 건다(Rao–Blackwell).

예제 3.4 (UMVUE들) 

1. (a)

   Poisson의 $e^{-\lambda}$: $(1-\tfrac1n)^T$ (예제 2.2). $T=\sum X_i\sim\mathrm{Poi}(n\lambda)$는 완비충분이다.

2. (b)

   정규의 $\sigma^2$: $S^2$. $(\bar X,S^2)$가 완비충분이고(4절) $E S^2=\sigma^2$이다(6회 정리 1.1). 9회 예제 2.6에서 $S^2$은 Cramér–Rao 한계에 닿지 않았다(효율 $\tfrac{n-1}n$). 그래도 불편추정량 가운데에서는 최선이다. 한계 자체가 이룰 수 없는 값이었다.

3. (c)

   균등 $\mathrm U(0,\theta)$의 $\theta$: $\tfrac{n+1}nX_{(n)}$ (예제 3.2(c)). 9회 연습 2.4에서 Cramér–Rao “한계”보다 작았던 추정량이다. 그 한계는 정칙조건이 깨져서 무의미했지만, Lehmann–Scheffé는 정칙조건이 필요 없다.

4. (d)

   독일 전차: $\hat N=\tfrac{k+1}kM-1$. $M$은 완비충분이다(연습 3.3). 8회의 약속이 여기서 지켜진다.

가정 주의 UMVUE는 불편추정량 가운데 최선일 뿐이다. 평균제곱오차로 재면 치우친 추정량이 이길 수 있다. 9회 예제 2.6에서 $\sigma^2$의 MLE($n$으로 나눔)가 $S^2$을 이겼다. Poisson의 $e^{-\lambda}$도 그렇다. $n=20$, $\lambda=0.7$에서 MLE $e^{-\bar X}$는 위로 0.009만큼 치우쳤지만 평균제곱오차가 0.00872로 UMVUE의 분산 0.00878보다 조금 작다. $\lambda$가 0.83보다 크면 순서가 뒤집힌다. 어느 쪽도 모든 $\lambda$에서 이기지는 않는다. 7절에서는 UMVUE가 터무니없는 값을 내는 예를 본다.

연습문제

연습 3.1 (Poisson의 완비성 ★★) $T\sim\mathrm{Poi}(\mu)$, $\mu>0$이 완비임을 멱급수의 유일성으로 보여라. 정의역을 $\mu\in\{1,2\}$ 두 점으로 줄이면 완비가 아님을 보여라.

풀이

$\sum_tg(t)\mu^t/t!=0$ (모든 $\mu>0$)이면 이 멱급수가 0이므로 계수 $g(t)/t!$가 모두 0이다. $\mu\in\{1,2\}$이면 $g$를 $t=0,1,2$에서만 0이 아니게 두어 $g(0)+g(1)+\tfrac12g(2)=0$, $g(0)+2g(1)+2g(2)=0$을 풀면 $g=(1,-\tfrac32,1)$이 나온다. 0이 아닌데 평균이 두 점에서 모두 0이다.

연습 3.2 (균등의 UMVUE ★★) $\mathrm U(0,\theta)$에서 $\theta^2$의 UMVUE를 구하라. ($E X_{(n)}^2=\tfrac n{n+2}\theta^2$)

풀이

$E X_{(n)}^2=\int_0^\theta t^2\tfrac{nt^{n-1}}{\theta^n}dt=\tfrac n{n+2}\theta^2$이므로 $\tfrac{n+2}nX_{(n)}^2$은 완비충분통계량의 불편 함수, 곧 UMVUE다.

연습 3.3 (전차의 완비성 ★★★) $\{1,\dots,N\}$에서 비복원으로 $k$개를 뽑은 최댓값 $M$의 분포 $P(M=m)=\binom{m-1}{k-1}/\binom Nk$에서 $M$이 $N\in\{k,k+1,\dots\}$에 대해 완비임을 보여라. ($N=k$부터 차례로 $g(k)=g(k+1)=\cdots=0$을 끌어내라.)

풀이

$\sum_{m=k}^Ng(m)\binom{m-1}{k-1}=0$이 모든 $N\ge k$에서 성립한다. $N=k$이면 $g(k)=0$. $N=k+1$이면 $g(k)\cdot1+g(k+1)\binom k{k-1}=0$에서 $g(k+1)=0$. 이렇게 차례로 $g\equiv0$이다. $\hat N=\tfrac{k+1}kM-1$은 불편이므로(8회 정리 1.6) UMVUE다.

연습 3.4 (Bernoulli의 분산 ★) Bernoulli 표본에서 $p(1-p)$의 UMVUE가 $\tfrac{T(n-T)}{n(n-1)}=\tfrac n{n-1}\hat p(1-\hat p)$임을 보여라. 정규의 $S^2$에서 $n-1$로 나누는 것과 같은 보정이다.

풀이

$E[T(n-T)]=nET-ET^2=n^2p-\bigl(np(1-p)+n^2p^2\bigr)=n(n-1)p(1-p)$이므로 $\tfrac{T(n-T)}{n(n-1)}$은 불편이고 완비충분통계량 $T$의 함수다.

이 절을 PDF로 보기 (10쪽)노트북 3절

이 회차에서 읽은 절 0개 · 회차 차례