수리통계학

테마

11회 · 충분성 · 노트

2 Rao–Blackwell — 조건을 걸면 좋아진다 ​

역사 C. R. Rao는 1945년 스물다섯 살에 쓴 논문에서 9회의 Cramér–Rao 부등식과 함께 이 정리를 증명했다. David Blackwell은 1947년 따로 같은 결과를 얻었다. Kolmogorov(1950)도 같은 생각에 이르렀다. 증명은 3회의 전분산 공식 한 줄이다.

2.1 정리 ​

정리 2.1 (Rao–Blackwell) WW가 τ(θ)\tau(\theta)의 불편추정량이고 Var⁡θW<∞\Var_\theta W<\infty, TT가 충분통계량이면 φ(T)=E(W∣T)\varphi(T)=E(W\mid T)는

  1. (a)

    θ\theta를 포함하지 않는 통계량이고,

  2. (b)

    τ(θ)\tau(\theta)의 불편추정량이며,

  3. (c)

    모든 θ\theta에서 Var⁡θφ(T)≤Var⁡θW\Var_\theta\varphi(T)\le\Var_\theta W이다. 등호는 W=φ(T)W=\varphi(T) (확률 1)일 때뿐이다.

증명 전략 (a)는 충분성의 정의 그 자체다. (b)는 반복기댓값, (c)는 전분산 공식이다. 충분성은 (a)에서만 쓰인다.

(a)

  1. W=w(X)W=w(\X)이고, T=tT=t가 주어질 때 X\X의 조건부분포는 θ\theta에 의존하지 않는다.정의 1.1

  2. φ(t)=E(w(X)∣T=t)\varphi(t)=E(w(\X)\mid T=t)는 그 조건부분포의 평균이므로 θ\theta 없이 계산된다.1, 3회 2절

(b)

  1. Eθφ(T)=Eθ[E(W∣T)]=EθW=τ(θ)E_\theta\varphi(T)=E_\theta\bigl[E(W\mid T)\bigr]=E_\theta W=\tau(\theta)이다.3회 정리 2.5, WW는 불편

(c)

  1. 전분산 공식을 WW와 TT에 쓴다.

    Var⁡θW=Var⁡θE(W∣T)+EθVar⁡(W∣T)=Var⁡θφ(T)+EθVar⁡(W∣T).\Var_\theta W=\Var_\theta E(W\mid T)+E_\theta\Var(W\mid T)=\Var_\theta\varphi(T)+E_\theta\Var(W\mid T) .
    3회 정리 2.6

  2. Var⁡(W∣T)≥0\Var(W\mid T)\ge0이므로 Var⁡θφ(T)≤Var⁡θW\Var_\theta\varphi(T)\le\Var_\theta W이다.조건부분산은 음이 아니다

  3. 등호이면 EθVar⁡(W∣T)=Eθ(W−φ(T))2=0E_\theta\Var(W\mid T)=E_\theta\bigl(W-\varphi(T)\bigr)^2=0이다.1, 반복기댓값

  4. 따라서 W=φ(T)W=\varphi(T) (확률 1)이다. 거꾸로 W=φ(T)W=\varphi(T)이면 등호는 자명하다.2회 따름정리 5.6

조건 확인 전분산 공식은 EθW2<∞E_\theta W^2<\infty일 때 성립하고, 가정 Var⁡θW<∞\Var_\theta W<\infty가 그것이다. 이 가정은 모든 θ\theta에서 필요하다. 충분하지 않은 TT를 쓰면 1에서 φ\varphi가 θ\theta를 포함할 수 있다. (b)와 (c)는 그대로 성립한다.

충분하지 않은 통계량에 조건을 걸면 (b)와 (c)는 여전히 성립하지만 E(W∣T)E(W\mid T)에 θ\theta가 남아 추정량이 아니다. 정리는 “어떤 불편추정량이든 충분통계량의 함수로 바꾸면 나빠지지 않는다”고 말한다. 그래서 좋은 추정량은 충분통계량 안에서만 찾으면 된다.

2.2 예 ​

예제 2.2 (한 해에 아무도 죽지 않을 확률) Xi∼iidPoi(λ)X_i\iid\mathrm{Poi}(\lambda)에서 τ=P(X=0)=e−λ\tau=P(X=0)=e^{-\lambda}를 추정한다. 가장 단순한 불편추정량은 W=1{X1=0}W=1\{X_1=0\}이다. 관측 하나만 보고 0이면 1, 아니면 0이다. T=∑XiT=\sum X_i가 주어지면 X1∣T=t∼b(t,1n)X_1\mid T=t\sim\mathrm b(t,\allowbreak \tfrac1n)이므로(연습 1.1)

φ(T)=P(X1=0∣T)=(1−1n)T.\varphi(T)=P(X_1=0\mid T)=\Bigl(1-\frac1n\Bigr)^{T}.

n=20n=20, λ=0.7\lambda=0.7이면 Var⁡W=e−λ(1−e−λ)=0.250\Var W=e^{-\lambda}(1-e^{-\lambda})=0.250이 Var⁡φ(T)=e−2λ(eλ/n−1)=0.0088\Var\varphi(T)=e^{-2\lambda}(e^{\lambda/n}-1)=0.0088로 28분의 1이 된다(연습 2.1). 기병대(280군단–해, 196명)에서는 (279/280)196=0.4960(279/280)^{196}=0.4960이다. MLE e−xˉ=0.4966e^{-\bar x}=0.4966과 관측 비율 144/280=0.514144/280=0.514와 비교하라.

예제 2.3 (독일 전차의 Rao–Blackwell화) 8회에서 {1,…,N}\{1,\dots,N\}에서 비복원으로 뽑은 kk개의 일련번호로 NN을 추정했다. 적률법 W=2Xˉ−1W=2\bar X-1은 불편이다. 충분통계량은 최댓값 MM이다(예제 1.4(c)의 이산판). M=mM=m이 주어지면 나머지 k−1k-1개는 {1,…,m−1}\{1,\dots,m-1\}에서 비복원으로 뽑은 것이므로 그 평균의 기댓값은 m/2m/2이고

E(2Xˉ−1∣M=m)=2k(m+(k−1)m2)−1=k+1km−1.E(2\bar X-1\mid M=m)=\frac2k\Bigl(m+(k-1)\frac m2\Bigr)-1=\frac{k+1}km-1 .

적률법에 조건을 걸었더니 8회 정리 1.6의 추정량 N^\hat N이 나왔다. N=300N=300, k=5k=5에서 표준편차는 77에서 50으로 준다. 3절에서 N^\hat N이 모든 불편추정량 가운데 최선임을 보인다.

예제 2.4 (성공 확률의 제곱) Bernoulli 표본에서 p2p^2의 불편추정량 W=X1X2W=X_1X_2에 T=∑XiT=\sum X_i로 조건을 걸면 E(X1X2∣T=t)=t(t−1)n(n−1)E(X_1X_2\mid T=t)=\tfrac{t(t-1)}{n(n-1)}(두 자리가 모두 성공일 확률, 비복원)이다. 같은 방법으로 p(1−p)p(1-p)의 불편추정량은 T(n−T)n(n−1)\tfrac{T(n-T)}{n(n-1)}이다.

연습문제

연습 2.1 (분산의 계산 ★★) T∼Poi(nλ)T\sim\mathrm{Poi}(n\lambda)일 때 E sT=enλ(s−1)E\,s^T=e^{n\lambda(s-1)}(확률생성함수)을 써서 Var⁡((1−1n)T)=e−2λ(eλ/n−1)\Var\bigl((1-\tfrac1n)^T\bigr)=e^{-2\lambda}(e^{\lambda/n}-1)임을 보여라. Cramér–Rao 한계 λe−2λn\tfrac{\lambda e^{-2\lambda}}n(9회 정리 2.4, k(λ)=e−λk(\lambda)=e^{-\lambda})보다 크지만 n→∞n\to\infty에서 비가 1로 감을 보여라.

풀이

E(1−1n)T=enλ(−1/n)=e−λE(1-\tfrac1n)^{T}=e^{n\lambda(-1/n)}=e^{-\lambda}, E(1−1n)2T=enλ((1−1/n)2−1)=e−2λ+λ/nE(1-\tfrac1n)^{2T}=e^{n\lambda((1-1/n)^2-1)}=e^{-2\lambda+\lambda/n}이므로 분산은 e−2λ(eλ/n−1)e^{-2\lambda}(e^{\lambda/n}-1). 한계는 k′(λ)2/(n/λ)=λe−2λ/nk'(\lambda)^2/(n/\lambda)=\lambda e^{-2\lambda}/n이고 비는 eλ/n−1λ/n>1\tfrac{e^{\lambda/n}-1}{\lambda/n}>1, n→∞n\to\infty에서 1로 간다.

연습 2.2 (전차의 조건부 평균 ★★) 예제 2.3에서 M=mM=m이 주어질 때 나머지 k−1k-1개가 {1,…,m−1}\{1,\dots,m-1\}의 크기 k−1k-1인 부분집합 가운데 균등하게 뽑힌다는 것을 보이고, 각 원소의 평균이 m/2m/2임을 확인하라.

풀이

최댓값이 mm인 표본(크기 kk인 부분집합)은 mm과 {1,…,m−1}\{1,\dots,m-1\}의 크기 k−1k-1인 부분집합으로 일대일 대응하고, 각 표본의 확률은 1/(Nk)1/\binom Nk로 같다. 그러므로 M=mM=m이 주어지면 나머지는 (m−1k−1)\binom{m-1}{k-1}개의 부분집합 가운데 균등하다. 대칭으로 각 원소의 주변분포는 {1,…,m−1}\{1,\dots,m-1\} 위의 균등분포이고 평균은 m/2m/2이다.

연습 2.3 (정규의 꼬리확률 ★★) Xi∼iidN(θ,1)X_i\iid\N(\theta,1)에서 Φ(c−θ)=P(X≤c)\Phi(c-\theta)=P(X\le c)의 불편추정량 1{X1≤c}1\{X_1\le c\}에 Xˉ\bar X로 조건을 걸면 Φ(c−Xˉ(n−1)/n)\Phi\bigl(\tfrac{c-\bar X}{\sqrt{(n-1)/n}}\bigr)임을 보여라. (X1−Xˉ∼N(0,n−1n)X_1-\bar X\sim\N(0,\allowbreak \tfrac{n-1}n)이 Xˉ\bar X와 독립이다.)

풀이

(X1−Xˉ,Xˉ)(X_1-\bar X,\bar X)는 결합정규이고 Cov⁡(X1−Xˉ,Xˉ)=1n−1n=0\Cov(X_1-\bar X,\allowbreak \bar X)=\tfrac1n-\tfrac1n=0이므로 독립이다(5회 정리 B). X1−Xˉ∼N(0,n−1n)X_1-\bar X\sim\N(0,\allowbreak \tfrac{n-1}n)이므로 P(X1≤c∣Xˉ)=P(X1−Xˉ≤c−Xˉ∣Xˉ)=Φ(c−Xˉ(n−1)/n)P(X_1\le c\mid\bar X)=P(X_1-\bar X\le c-\bar X\mid\bar X)=\Phi\bigl(\tfrac{c-\bar X}{\sqrt{(n-1)/n}}\bigr).

연습 2.4 (볼록 손실 ★★) 손실 L(θ,a)L(\theta,a)가 aa에 대해 볼록이면 EθL(θ,E(W∣T))≤EθL(θ,W)E_\theta L(\theta,\allowbreak E(W\mid T))\le E_\theta L(\theta,\allowbreak W)임을 조건부 Jensen 부등식으로 보여라. 정리 2.1는 제곱손실의 경우다.

풀이

조건부 Jensen으로 L(θ,E(W∣T))≤E[L(θ,W)∣T]L(\theta,\allowbreak E(W\mid T))\le E[L(\theta,\allowbreak W)\mid T]이고, 양변의 기댓값을 취한다.

이 절을 PDF로 보기 (7쪽)노트북 2절
이 회차에서 읽은 절 0개 · 회차 차례