9회 · 최대가능도 · 노트

2 Fisher 정보와 Cramér–Rao 한계

2.1 점수와 정보

증명 없이 쓰는 사실 (정칙조건) 이 절과 다음 절은 다음을 가정한다. (R1) 받침 $\{x:f(x;\theta)>0\}$이 $\theta$에 의존하지 않는다. (R2) 참값 $\theta_0$는 모수공간의 내점이다. (R3) $f(x;\theta)$는 $\theta$에 대해 세 번 미분가능하다. (R4) $\int f(x;\theta)\,dx=1$을 $\theta$에 대해 적분 기호 안에서 두 번 미분할 수 있다. (R5) $\theta_0$의 근방에서 $\bigl|\tfrac{\partial^3}{\partial\theta^3}\log f(x;\theta)\bigr|\le M(x)$이고 $E_{\theta_0}M(X)<\infty$. (R4)는 지배수렴 정리로 정당화되며, 지수족(11회)을 비롯한 보통의 모형이 만족한다. 균등분포 $\mathrm U(0,\theta)$는 (R1)을 깬다.

정의 2.1 (점수와 Fisher 정보) 한 관측의 점수는 $s(x;\theta)=\tfrac{\partial}{\partial\theta}\log f(x;\theta)$이고, $X$의 Fisher 정보는 $I(\theta)=E_\theta\bigl[s(X;\theta)^2\bigr]$이다.

정리 2.2 (점수의 평균과 정보의 두 표현) 정칙조건 아래

$$E_\theta\,s(X;\theta)=0,\qquad I(\theta)=\Var_\theta s(X;\theta)=-E_\theta\Bigl[\frac{\partial^2}{\partial\theta^2}\log f(X;\theta)\Bigr].$$

iid 표본 $n$개의 정보는 $nI(\theta)$이다.

증명 전략 항등식 $\int f(x;\theta)\,dx=1$을 $\theta$에 대해 두 번 미분하고, 미분과 적분의 순서를 바꾼다(R4). 한 번 미분하면 점수의 평균이, 두 번 미분하면 정보의 두 표현이 나온다.

1. 받침 위에서 $\tfrac{\partial f}{\partial\theta}=\tfrac{\partial\log f}{\partial\theta}\,f=s\,f$이다.로그의 미분

2. $1=\int f\,dx$를 미분하면

   $$0=\frac{d}{d\theta}\int f\,dx=\int\frac{\partial f}{\partial\theta}\,dx=\int s\,f\,dx=E_\theta\,s(X;\theta) .$$

   (R4) [T6], 1

3. 곱의 미분과 1로 $\tfrac{\partial}{\partial\theta}(s\,f)=\tfrac{\partial s}{\partial\theta}f+s\tfrac{\partial f}{\partial\theta}=\bigl(\tfrac{\partial^2\log f}{\partial\theta^2}+s^2\bigr)f$이다.곱의 미분

4. 2의 $0=\int s\,f\,dx$를 다시 미분하면

   $$0=\int\frac{\partial}{\partial\theta}(s\,f)\,dx=E_\theta\Bigl[\frac{\partial^2}{\partial\theta^2}\log f(X;\theta)\Bigr]+E_\theta\bigl[s^2\bigr] .$$

   (R4), 3

5. $E\,s=0$이므로 $E\,s^2=\Var s$이고, 4로 $I(\theta)=\Var s=-E\,\tfrac{\partial^2}{\partial\theta^2}\log f$이다.2 4

6. 표본의 점수는 $\ell'(\theta)=\sum_is(X_i;\theta)$이고 항들이 독립이므로 $\Var\ell'(\theta)=nI(\theta)$이다.2회 정리 2.8

조건 확인 2와 4에서 바꾼 순서가 정칙조건 (R4)다. 충분조건은 $\theta$의 근방에서 $|\partial f/\partial\theta|$와 $|\partial(sf)/\partial\theta|$가 $\theta$에 무관한 적분가능한 함수로 눌리는 것이다(도구 상자 T6의 적분 기호 아래의 미분). (R1)도 여기서 쓰인다. 받침이 $\theta$에 의존하면 적분의 끝이 움직여 경계항이 생긴다. $\mathrm U(0,\theta)$이면 $\tfrac{d}{d\theta}\int_0^\theta\tfrac1\theta\,dx=0$인데 $\int_0^\theta\tfrac{\partial}{\partial\theta}\tfrac1\theta\,dx=-\tfrac1\theta$이다.

두 표현은 두 가지 그림을 준다. $\Var s$는 “점수가 자료에 따라 얼마나 흔들리는가”, 곧 자료가 $\theta$에 대해 얼마나 민감한가이고, $-E\ell''$는 “로그가능도의 꼭대기가 얼마나 뾰족한가”다. 뾰족할수록 $\theta$를 정확히 짚는다.

예제 2.3 (정보의 예) 

모형	점수 $s(x;\theta)$	$I(\theta)$	$1/(nI)$
Bernoulli$(p)$	$\tfrac xp-\tfrac{1-x}{1-p}$	$\tfrac1{p(1-p)}$	$\tfrac{p(1-p)}n$
Poisson$(\lambda)$	$\tfrac x\lambda-1$	$\tfrac1\lambda$	$\tfrac\lambda n$
$\N(\mu,\sigma^2)$, $\mu$	$\tfrac{x-\mu}{\sigma^2}$	$\tfrac1{\sigma^2}$	$\tfrac{\sigma^2}n$
$\N(\mu,\sigma^2)$, $\sigma^2$	$-\tfrac1{2\sigma^2}+\tfrac{(x-\mu)^2}{2\sigma^4}$	$\tfrac1{2\sigma^4}$	$\tfrac{2\sigma^4}n$
Cauchy 위치 $\theta$	$\tfrac{2(x-\theta)}{1+(x-\theta)^2}$	$\tfrac12$	$\tfrac2n$

마지막 열이 다음 정리의 한계다. 처음 셋은 표본평균의 분산과 같다.

2.2 Cramér–Rao 한계

정리 2.4 (Cramér–Rao 부등식) 정칙조건 아래 통계량 $T=T(\X)$의 평균이 $E_\theta T=k(\theta)$이고 분산이 유한하면

$$\Var_\theta T\ \ge\ \frac{k'(\theta)^2}{nI(\theta)} .$$

특히 $T$가 $\theta$의 불편추정량이면 $\Var_\theta T\ge\dfrac1{nI(\theta)}$이다.

증명 전략 $T$와 표본의 점수 $\ell'(\theta)$의 공분산이 $k'(\theta)$임을 보이고, 공분산에 Cauchy–Schwarz 부등식을 쓴다.

1. $k(\theta)=E_\theta T=\int T(\x)\,L(\theta;\x)\,d\x$이다.기댓값의 정의

2. 미분과 적분의 순서를 바꾸고 $\tfrac{\partial L}{\partial\theta}=\ell'(\theta)\,L$을 쓰면

   $$k'(\theta)=\int T(\x)\frac{\partial L}{\partial\theta}\,d\x=\int T(\x)\,\ell'(\theta)\,L\,d\x=E_\theta\bigl[T\,\ell'(\theta)\bigr] .$$

   (R4) [T6]

3. $E_\theta\ell'(\theta)=0$이므로 $E_\theta[T\ell'(\theta)]=\Cov\bigl(T,\allowbreak \ell'(\theta)\bigr)=\Cov\bigl(T-k(\theta),\allowbreak \ell'(\theta)\bigr)$이다.정리 2.2

4. $k'(\theta)^2=\Cov(T-k,\allowbreak \ell')^2\le\Var T\cdot\Var\ell'(\theta)$이다.Cauchy–Schwarz, 3회 정리 4.4

5. $\Var\ell'(\theta)=nI(\theta)>0$으로 나누면 부등식이다. 불편이면 $k(\theta)=\theta$, $k'(\theta)=1$이다.정리 2.2

조건 확인 2에서 순서를 바꾸는 함수는 $L$이 아니라 $T\cdot L$이다. 엄밀하게는 $\theta$의 근방에서 $|T(\x)\,\partial L/\partial\theta|$가 적분가능한 함수로 눌려야 한다(T6). (R4)는 $T\equiv1$인 경우만 말하므로 이것은 $T$에 대한 추가 가정이다. 받침이 $\theta$에 의존하면 2가 깨진다(연습 2.4).

증명은 Cauchy–Schwarz 한 줄이다. 등호는 $T-k(\theta)$가 점수 $\ell'(\theta)$의 상수배일 때뿐이다. 그런 $T$가 있으면 한계를 정확히 이루는 효율적인 추정량이고, 11회에서 그런 모형이 지수족뿐임을 본다.

정의 2.5 (효율) $\theta$의 불편추정량 $T$의 효율은 $\dfrac{1/(nI(\theta))}{\Var_\theta T}\le1$이고, 효율이 1이면 효율적이라 한다. 두 추정량의 효율의 비를 상대효율이라 한다.

예제 2.6 (한계에 닿는 것과 닿지 않는 것) (a) Poisson의 $\bar X$는 $\Var=\lambda/n=1/(nI)$이므로 효율적이다. Bernoulli의 $\hat p$, 정규 평균의 $\bar X$도 그렇다. (b) 정규 분산의 불편추정량 $S^2$은 $\Var S^2=\tfrac{2\sigma^4}{n-1}$(6회 따름정리 2.3)로 한계 $\tfrac{2\sigma^4}n$보다 크다. 효율은 $\tfrac{n-1}n$이다. (c) 한계는 불편추정량에 대한 것이다. MLE $\hat\sigma^2$($n$으로 나눈 것)는 치우쳐 있지만 평균제곱오차가 $\tfrac{(2n-1)\sigma^4}{n^2}$로 $S^2$의 $\tfrac{2\sigma^4}{n-1}$보다 작다. $n=10$이면 $0.19\sigma^4$와 $0.22\sigma^4$이다(6회 연습 1.4). 평균제곱오차는 분산과 치우침의 제곱의 합이고, 치우침을 조금 허락하면 분산을 더 줄일 수 있다. 16회의 수축 추정이 이 생각을 극단까지 밀고 간다.

연습문제

연습 2.1 (정보의 계산 ★) 예제 2.3의 표에서 Poisson, 정규 분산, Cauchy의 정보를 두 표현으로 각각 계산해 같음을 확인하라. (Cauchy: $\int\tfrac{4u^2}{(1+u^2)^2}\cdot\tfrac{du}{\pi(1+u^2)}=\tfrac12$.)

풀이

Poisson: $\Var(\tfrac X\lambda-1)=\tfrac\lambda{\lambda^2}$, $-E(-\tfrac X{\lambda^2})=\tfrac1\lambda$. 정규 분산: $\Var s=\tfrac{\Var(X-\mu)^2}{4\sigma^8}=\tfrac{2\sigma^4}{4\sigma^8}$, $-E\bigl[\tfrac1{2\sigma^4}-\tfrac{(X-\mu)^2}{\sigma^6}\bigr]=\tfrac1{2\sigma^4}$. Cauchy: $Es^2=\tfrac4\pi\int\tfrac{u^2}{(1+u^2)^3}du=\tfrac4\pi\cdot\tfrac\pi8=\tfrac12$이고, $-E\tfrac{\partial^2}{\partial\theta^2}\log f=E\tfrac{2(1-u^2)}{(1+u^2)^2}=\tfrac2\pi\bigl(\int\tfrac{du}{(1+u^2)^3}-\int\tfrac{u^2du}{(1+u^2)^3}\bigr)=\tfrac2\pi\bigl(\tfrac{3\pi}8-\tfrac\pi8\bigr)=\tfrac12$.

연습 2.2 (모수를 바꾸면 ★★) $\eta=g(\theta)$로 모수를 바꾸면 정보가 $I^*(\eta)=I(\theta)/g'(\theta)^2$임을 보여라. Bernoulli의 로그 오즈 $\eta=\log\tfrac p{1-p}$의 정보는 $p(1-p)$이다. 7회 예제 4.5의 델타 방법과 같은 답인가?

풀이

연쇄법칙으로 $\tfrac{\partial}{\partial\eta}\log f=s(\theta)\tfrac{d\theta}{d\eta}=\tfrac{s(\theta)}{g'(\theta)}$이므로 $I^*(\eta)=\tfrac{I(\theta)}{g'(\theta)^2}$. 로그 오즈이면 $g'(p)=\tfrac1{p(1-p)}$이므로 $I^*=\tfrac1{p(1-p)}\cdot p^2(1-p)^2=p(1-p)$, $\hat\eta$의 점근분산 $\tfrac1{np(1-p)}$는 7회 예제 4.5와 같다.

연습 2.3 (지수 비율의 한계 ★★) $\mathrm{Exp}$ (비율 $\lambda$)에서 $\lambda$의 불편추정량 $\tfrac{n-1}{n\bar X}$의 분산이 $\tfrac{\lambda^2}{n-2}$임을 보이고($\sum X_i\sim\Gamma(n,\allowbreak 1/\lambda)$, 4회 연습 3.4), Cramér–Rao 한계 $\tfrac{\lambda^2}n$과 비교하라.

풀이

$S=\sum X_i\sim\Gamma(n,\allowbreak 1/\lambda)$에서 $E\tfrac1S=\tfrac\lambda{n-1}$, $E\tfrac1{S^2}=\tfrac{\lambda^2}{(n-1)(n-2)}$이므로 $\Var\tfrac{n-1}S=(n-1)^2\bigl[\tfrac{\lambda^2}{(n-1)(n-2)}-\tfrac{\lambda^2}{(n-1)^2}\bigr]=\tfrac{\lambda^2}{n-2}$. 비율의 정보는 $I=\tfrac1{\lambda^2}$이므로 한계는 $\tfrac{\lambda^2}n$이고 효율은 $\tfrac{n-2}n$이다.

연습 2.4 (균등분포에서는 ★★) $\mathrm U(0,\theta)$에서 $\tfrac{n+1}nX_{(n)}$은 불편이고 분산이 $\tfrac{\theta^2}{n(n+2)}$임을 보여라. “정보” $E[s^2]=\tfrac1{\theta^2}$로 만든 한계 $\tfrac{\theta^2}n$보다 훨씬 작다. 정리 2.4의 증명이 어디서 무너지는가?

풀이

$EX_{(n)}=\tfrac{n\theta}{n+1}$, $\Var X_{(n)}=\tfrac{n\theta^2}{(n+1)^2(n+2)}$이므로 $\Var\tfrac{n+1}nX_{(n)}=\tfrac{\theta^2}{n(n+2)}$. 증명이 무너지는 곳은 $\int_0^\theta f(x;\theta)dx=1$을 미분하는 단계다. 적분의 위끝이 $\theta$여서 경계항 $f(\theta;\theta)=\tfrac1\theta$가 생기고, 점수의 평균이 $-\tfrac1\theta\ne0$이다.

이 절을 PDF로 보기 (7쪽)노트북 2절

이 회차에서 읽은 절 0개 · 회차 차례