9회 · 최대가능도 · 노트

4 계산 — Newton–Raphson과 Fisher 채점

닫힌 꼴의 MLE는 드물다. Cauchy 위치, 감마의 모양, 로지스틱 회귀(13회)의 가능도 방정식은 수치로 풀어야 한다.

4.1 두 반복법

알고리즘 4.1 (Newton–Raphson과 Fisher 채점) 시작값 $\theta^{(0)}$에서 $t=0,1,2,\dots$에 대해

$$\text{Newton–Raphson:}\quad\theta^{(t+1)}=\theta^{(t)}-\frac{\ell'(\theta^{(t)})}{\ell''(\theta^{(t)})},\qquad \text{Fisher 채점:}\quad\theta^{(t+1)}=\theta^{(t)}+\frac{\ell'(\theta^{(t)})}{nI(\theta^{(t)})}$$

를 $|\theta^{(t+1)}-\theta^{(t)}|$가 충분히 작아질 때까지 되풀이한다.

Newton–Raphson은 로그가능도를 지금의 점에서 2차식으로 어림해 그 꼭대기로 옮겨 간다. 참값 근처에서는 오차가 매 단계 제곱으로 줄지만(이차 수렴), $\ell''>0$인 곳(골짜기)에서 시작하면 반대로 간다. Fisher 채점은 관측된 곡률 $-\ell''$ 대신 그 기댓값 $nI$를 쓴다. $nI>0$이므로 언제나 오르막 방향으로 가고, 지수족에서는 두 방법이 같다. 다변수이면 나눗셈이 정보 행렬의 역행렬 곱이 된다.

명제 4.2 (한 걸음 추정량) $\tilde\theta_n$이 $\sqrt n(\tilde\theta_n-\theta_0)$가 확률적으로 유계인 추정량(예: 표본중앙값)이면, 그것에서 Fisher 채점을 한 번만 한 $\hat\theta^{(1)}_n=\tilde\theta_n+\tfrac{\ell'(\tilde\theta_n)}{nI(\tilde\theta_n)}$은 MLE와 같은 극한분포 $\N(0,1/I(\theta_0))$를 갖는다.

증명 전략 $\ell'(\tilde\theta_n)$을 $\theta_0$ 둘레에서 평균값 정리로 전개해 $\sqrt n(\hat\theta^{(1)}_n-\theta_0)$를 두 항으로 나눈다. 첫 항은 “확률적으로 유계 × 0으로 가는 것”이고 [T8], 둘째 항은 정리 3.1의 분자를 $I$로 나눈 것이다. 단계별 증명은 연습 4.4(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

좋은 시작점에서 한 걸음이면 충분하다. Cauchy에서 중앙값으로 시작한 한 걸음 추정량의 $n\Var$는 $n=51$에서 2.13으로 MLE의 2.11과 거의 같고, 출발점인 중앙값의 2.62보다 훨씬 작다.

4.2 가능도가 봉우리를 여럿 가질 때

예제 4.3 (Cauchy 표본의 두 봉우리) 표본 $(-4.2,\allowbreak \ -2.8,\allowbreak \ 0.3,\allowbreak \ 0.8,\allowbreak \ 1.1,\allowbreak \ 9.5,\allowbreak \ 12.1)$의 Cauchy 위치 로그가능도는 $\theta=0.62$와 $\theta=9.31$에서 두 극대를 갖는다(그림 4.1). 오른쪽의 두 관측이 작은 봉우리를 만들고, 두 봉우리 사이 $\theta=7.53$에 골짜기(극소)가 있다. $[-6,15]$에서 고르게 고른 시작점 211개로 Newton–Raphson을 돌리면 전역 최대 0.62에 닿는 것은 15개뿐이고, 그 가운데 14개는 중앙값 0.8 근처의 $[0,\,1.3]$에서 출발했다. 82개는 골짜기의 극소점 7.53에 멈추고(Newton은 $\ell'=0$인 점을 찾을 뿐 극대와 극소를 구별하지 못한다), 100개는 발산하거나 수렴하지 않는다. Fisher 채점은 $nI>0$ 때문에 언제나 오르막으로 가므로 모든 시작점이 자기가 속한 봉우리(7.53의 왼쪽이면 0.62, 오른쪽이면 9.31)에 닿는다. 시작점을 중앙값으로 잡고, 여러 시작점에서 돌려 가장 높은 봉우리를 고르는 것이 표준적인 처방이다. Cauchy 위치 가능도의 극대는 $n$개까지 생길 수 있다(Barnett, 1966).

그림 4.1 왼쪽: 일곱 개의 Cauchy 관측(점)과 로그가능도. 봉우리 둘(0.62, 9.31)과 골짜기 하나(7.53)가 있다. 오른쪽: 시작점에 따른 도착점. Newton–Raphson(위)은 중앙값 근처에서만 전역 최대에 닿고 넓은 범위에서 골짜기에 멈추거나 발산한다(회색 ×). Fisher 채점(아래)은 언제나 시작점이 속한 봉우리에 닿는다.

4.3 적률법 대 최대가능도

예제 4.4 (감마의 모양) 감마$(\alpha,\beta)$에서 적률법(4회 6절)은 $\hat\alpha_{\mathrm{MM}}=\bar x^2/s^2$이고, MLE는 $\beta$를 소거한 방정식 $\log\alpha-\psi(\alpha)=\log\bar x-\overline{\log x}$를 Newton–Raphson으로 푼다($\psi$는 digamma 함수). $\alpha=2$에서 점근분산은 적률법 $\tfrac{2\alpha(\alpha+1)}n=\tfrac{12}n$, MLE $\tfrac{6.90}n$이므로(연습 3.3) 적률법의 효율은 0.58이다. 시뮬레이션에서 $n\Var$는 $n=200$이면 12.1과 7.3, $n=1000$이면 12.0과 7.0으로 극한값에 다가간다. Pearson의 적률법은 계산이 쉽지만 정보의 40%를 버린다. 4회에서 미뤄 둔 비교의 답이다.

연습문제

연습 4.1 (Poisson의 Newton ★) Poisson에서 Newton–Raphson의 한 걸음이 $\theta^{(1)}=2\theta^{(0)}-\tfrac{(\theta^{(0)})^2}{\bar x}$임을 보이고, 시작값이 $2\bar x$보다 크면 음수로 튕겨 나감을 보여라. Fisher 채점은 한 걸음에 $\bar x$에 닿는다.

풀이

$\ell'(\theta)=n(\tfrac{\bar x}\theta-1)$, $\ell''(\theta)=-\tfrac{n\bar x}{\theta^2}$이므로 $\theta^{(1)}=\theta^{(0)}+(\tfrac{\bar x}{\theta^{(0)}}-1)\tfrac{(\theta^{(0)})^2}{\bar x}=2\theta^{(0)}-\tfrac{(\theta^{(0)})^2}{\bar x}$. $\theta^{(0)}>2\bar x$이면 음수다. Fisher 채점은 $nI=n/\theta$이므로 $\theta^{(1)}=\theta^{(0)}+(\tfrac{\bar x}{\theta^{(0)}}-1)\theta^{(0)}=\bar x$.

연습 4.2 (이차 수렴 ★★) $\ell'$가 세 번 미분가능하고 $\ell''(\hat\theta)\ne0$이면 Newton–Raphson의 오차 $e_t=\theta^{(t)}-\hat\theta$가 $e_{t+1}\approx\tfrac{\ell'''(\hat\theta)}{2\ell''(\hat\theta)}e_t^2$을 만족함을 보여라.

풀이

$e=e_t$로 쓰면 $\ell'(\theta_t)=\ell''(\hat\theta)e+\tfrac12\ell'''(\hat\theta)e^2+O(e^3)$, $\ell''(\theta_t)=\ell''(\hat\theta)+\ell'''(\hat\theta)e+O(e^2)$이므로 $\tfrac{\ell'(\theta_t)}{\ell''(\theta_t)}=e+\tfrac{\ell'''}{2\ell''}e^2-\tfrac{\ell'''}{\ell''}e^2+O(e^3)$. $e_{t+1}=e_t-\tfrac{\ell'}{\ell''}=\tfrac{\ell'''(\hat\theta)}{2\ell''(\hat\theta)}e_t^2+O(e_t^3)$.

연습 4.3 (적률법의 분산 ★★★) 감마$(\alpha,1)$에서 $\hat\alpha_{\mathrm{MM}}=\bar X^2/S^2$의 점근분산이 $\tfrac{2\alpha(\alpha+1)}n$임을 다변량 델타 방법(7회 정리 5.4)으로 보여라. (감마의 3차, 4차 중심적률은 $2\alpha$, $3\alpha^2+6\alpha$.)

풀이

$\Gamma(\alpha,1)$에서 $\Var X=\alpha$, $\mu_3=2\alpha$, $\mu_4=3\alpha^2+6\alpha$이므로 $(\bar X,S^2)$의 점근 공분산은 $\smat{\alpha&2\alpha\\2\alpha&\mu_4-\alpha^2}=\smat{\alpha&2\alpha\\2\alpha&2\alpha^2+6\alpha}$ (7회 정리 5.2와 예제 5.5). $g(a,b)=a^2/b$의 기울기는 $(\alpha,\alpha)$에서 $(2,-1)$이므로 분산은 $4\alpha-2\cdot2\cdot2\alpha+2\alpha^2+6\alpha=2\alpha(\alpha+1)$.

연습 4.4 (한 걸음 추정량: 증명 ★★ 유도형) 명제 4.2을 다음 순서로 증명하라.

1. (a)

   평균값 정리로 $\ell'(\tilde\theta_n)=\ell'(\theta_0)+(\tilde\theta_n-\theta_0)\ell''(\theta_n^*)$인 $\theta_n^*$가 $\tilde\theta_n$과 $\theta_0$ 사이에 있음을 보여라.

2. (b)

   (a)를 $\hat\theta^{(1)}_n$의 정의에 넣어 다음을 보여라.

   $$\sqrt n(\hat\theta^{(1)}_n-\theta_0)=\sqrt n(\tilde\theta_n-\theta_0)\Bigl(1-\frac{-n^{-1}\ell''(\theta_n^*)}{I(\tilde\theta_n)}\Bigr)+\frac{n^{-1/2}\ell'(\theta_0)}{I(\tilde\theta_n)}$$
3. (c)

   $-n^{-1}\ell''(\theta_n^*)\xrightarrow{P}I(\theta_0)$와 $I(\tilde\theta_n)\xrightarrow{P}I(\theta_0)$를 보여라($I$는 연속). 정리 3.1의 증명 가운데 어느 단계를 되풀이하는가?

4. (d)

   첫 항이 $\xrightarrow{P}0$이고(7회 정리 2.5) 둘째 항이 $\N(0,1/I(\theta_0))$로 감을 보여 결론을 내려라.

5. (e)

   시작점이 $n^{1/4}(\tilde\theta_n-\theta_0)$만 확률적으로 유계이면 (d)의 어디가 무너지는가?

풀이

(a) $\ell'$가 미분가능하므로 $\tilde\theta_n$과 $\theta_0$ 사이에서 평균값 정리를 쓴다. (b) $\hat\theta^{(1)}_n-\theta_0=(\tilde\theta_n-\theta_0)+\tfrac{\ell'(\theta_0)+(\tilde\theta_n-\theta_0)\ell''(\theta_n^*)}{nI(\tilde\theta_n)}$이다. $\tilde\theta_n-\theta_0$의 항을 묶고 $\sqrt n$을 곱하면 주어진 식이다. (c) $|\theta_n^*-\theta_0|\le|\tilde\theta_n-\theta_0|\xrightarrow{P}0$이므로 정리 3.1의 증명 4 5(평균값 정리로 $\ell''(\theta_n^*)$를 $\ell''(\theta_0)$와 $\ell'''$ 항으로 나눈다)로 $-n^{-1}\ell''(\theta_n^*)\xrightarrow{P}I(\theta_0)$이다. $I$가 연속이므로 연속사상 정리로 $I(\tilde\theta_n)\xrightarrow{P}I(\theta_0)$이다. (d) (c)로 괄호 안은 $1-\tfrac{I(\theta_0)+o_P(1)}{I(\theta_0)+o_P(1)}\xrightarrow{P}0$이고, $\sqrt n(\tilde\theta_n-\theta_0)$는 확률적으로 유계이므로 곱은 $\xrightarrow{P}0$이다(7회 정리 2.5). 둘째 항은 정리 3.1의 증명 3과 Slutsky 정리로 $\tfrac1{I(\theta_0)}\N(0,\allowbreak I(\theta_0))=\N(0,\allowbreak 1/I(\theta_0))$이다. 다시 Slutsky로 합친다. (e) 그러면 첫 항은 $n^{1/4}(\tilde\theta_n-\theta_0)\cdot n^{1/4}\cdot o_P(1)$이고, $n^{1/4}$배를 이기려면 괄호가 $n^{-1/4}$보다 빨리 0으로 가야 한다. 괄호는 대략 $\tilde\theta_n-\theta_0$의 크기로 가므로 곱은 $O_P(1)\cdot n^{1/4}\cdot O_P(n^{-1/4})=O_P(1)$이 되어 0으로 가지 않을 수 있다. 시작점이 $\sqrt n$의 속도로 맞아야 한 걸음으로 충분하다.

이 절을 PDF로 보기 (15쪽)노트북 4절

이 회차에서 읽은 절 0개 · 회차 차례