10회 · 숨은 변수와 EM · 노트

1 여러 모수의 가능도

역사 Pearson의 게는 모수가 다섯 개였다. Fisher(1922)는 통계학의 수학적 기초에서 Pearson의 적률법이 모수가 여럿일 때 비효율적일 수 있음을 지적하고, 최대가능도로 모든 모수를 한꺼번에 추정하자고 했다. 여러 모수의 정보는 행렬이 되고, 관심 없는 모수(귀찮은 모수, nuisance parameter)를 모르는 대가가 그 행렬의 역행렬에 나타난다. 9회 3절의 상자에서 미뤄 둔 증명을 여기서 한다.

1.1 정보 행렬과 점근정규성

정의 1.1 (점수 벡터와 정보 행렬) $\boldsymbol\theta\in\R^p$일 때 한 관측의 점수 벡터는 $\mathbf s(x;\boldsymbol\theta)=\nabla_{\boldsymbol\theta}\log f(x;\boldsymbol\theta)$이고, 정보 행렬은 $p\times p$ 행렬 $I(\boldsymbol\theta)=E_{\boldsymbol\theta}\bigl[\mathbf s(X;\boldsymbol\theta)\,\mathbf s(X;\boldsymbol\theta)\T\bigr]$이다.

정리 1.2 (정보 행렬의 두 표현) 9회 2.1절의 정칙조건을 각 성분에 대해 가정하면 $E\,\mathbf s=\mathbf 0$이고

$$I(\boldsymbol\theta)=\Cov_{\boldsymbol\theta}\mathbf s(X;\boldsymbol\theta)=-E_{\boldsymbol\theta}\bigl[\nabla^2_{\boldsymbol\theta}\log f(X;\boldsymbol\theta)\bigr].$$

iid 표본 $n$개의 정보 행렬은 $nI(\boldsymbol\theta)$이다.

증명 전략 9회 정리 2.2의 증명을 성분별로 한다. $\int f\,dx=1$을 $\theta_j$로 한 번, 다시 $\theta_k$로 한 번 미분하고 기댓값으로 읽는다 [T6]. 단계별 증명은 연습 1.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

$I(\boldsymbol\theta)$는 공분산 행렬이므로 양의 준정부호다. 이 절에서는 참값에서 양의 정부호라고 가정한다. 그렇지 않으면 어떤 방향 $\mathbf a$에서 $\mathbf a\T\mathbf s=0$이어서, 그 방향으로 모수를 움직여도 자료의 분포가 (국소적으로) 변하지 않는다. 식별가능성이 국소적으로 깨진 것이다.

정리 1.3 (여러 모수의 점근정규성) 정칙조건(각 성분에 대한 9회 (R1)–(R5))과 $I(\boldsymbol\theta_0)\succ0$ 아래에서, $\hat{\boldsymbol\theta}_n$이 가능도 방정식 $\nabla\ell(\boldsymbol\theta)=\mathbf 0$의 일치하는 근이면

$$\sqrt n\,(\hat{\boldsymbol\theta}_n-\boldsymbol\theta_0)\ \xrightarrow{D}\ \N_p\bigl(\mathbf 0,\ I(\boldsymbol\theta_0)^{-1}\bigr).$$

증명 전략 가능도 방정식을 참값 주위에서 전개해 $\sqrt n\,(\hat{\boldsymbol\theta}_n-\boldsymbol\theta_0)$를 “곡률의 역행렬 × 점수의 합”으로 쓴다. 점수의 합에는 중심극한정리를, 곡률에는 대수의 법칙을 쓰고 Slutsky로 잇는다. 벡터 함수에는 성분마다 다른 중간점이 필요하므로 평균값 정리 대신 적분형 전개를 쓴다.

1. $\mathbf d=\hat{\boldsymbol\theta}_n-\boldsymbol\theta_0$로 두면

   $$\mathbf 0=\nabla\ell(\hat{\boldsymbol\theta}_n)=\nabla\ell(\boldsymbol\theta_0)+H_n\mathbf d,\qquad H_n=\int_0^1\nabla^2\ell(\boldsymbol\theta_0+u\mathbf d)\,du .$$

   미적분의 기본정리, 성분마다

2. $n^{-1/2}\nabla\ell(\boldsymbol\theta_0)=n^{-1/2}\sum_i\mathbf s(X_i;\boldsymbol\theta_0)\xrightarrow{D}\N_p\bigl(\mathbf 0,\allowbreak I(\boldsymbol\theta_0)\bigr)$이다. 점수는 iid이고 평균 $\mathbf 0$, 공분산 $I(\boldsymbol\theta_0)$이다.정리 1.2, 7회 정리 5.2

3. $-n^{-1}\nabla^2\ell(\boldsymbol\theta_0)\xrightarrow{P}I(\boldsymbol\theta_0)$이다. 성분마다 평균이 $I_{jk}(\boldsymbol\theta_0)$인 iid의 평균이다.정리 1.2, 7회 정리 1.6

4. (R5)의 셋째 미분 상계로, $C$가 $p$에만 의존하는 상수일 때

   $$\bigl\|n^{-1}H_n-n^{-1}\nabla^2\ell(\boldsymbol\theta_0)\bigr\|\le\Bigl(\tfrac1n\textstyle\sum_iM(X_i)\Bigr)\cdot C\|\mathbf d\|\xrightarrow{P}0 .$$

   $\mathbf d\xrightarrow{P}\mathbf 0$, 7회 정리 1.6

5. $-n^{-1}H_n\xrightarrow{P}I(\boldsymbol\theta_0)$이다.3 4, 7회 따름정리 1.4

6. 확률이 1로 가는 사건 위에서 $-n^{-1}H_n$이 가역이고 $(-n^{-1}H_n)^{-1}\xrightarrow{P}I(\boldsymbol\theta_0)^{-1}$이다. 행렬의 역은 가역인 점에서 연속이다.7회 정리 1.3

7. 1을 풀어 2와 6을 잇는다.

   $$\sqrt n\,\mathbf d=\bigl(-n^{-1}H_n\bigr)^{-1}n^{-1/2}\nabla\ell(\boldsymbol\theta_0)\xrightarrow{D}\N_p\bigl(\mathbf 0,\ I^{-1}I\,I^{-1}\bigr)=\N_p(\mathbf 0,I^{-1}) .$$

   7회 정리 4.2, 5회 정리 3.8

조건 확인 (R1)–(R5)는 2에서 점수의 평균이 $\mathbf 0$이 되게(적분 기호 아래의 미분 [T6]), 4에서 참값의 한 근방에서 $|\partial^3\log f|\le M(x)$, $EM(X)<\infty$가 되게 한다. 일치성 $\mathbf d\xrightarrow{P}\mathbf 0$은 정리의 가정이다. $I(\boldsymbol\theta_0)\succ0$은 6의 가역성에 쓰인다.

따름정리 1.4 (신뢰영역과 함수) (a) $n(\hat{\boldsymbol\theta}_n-\boldsymbol\theta_0)\T I(\hat{\boldsymbol\theta}_n)(\hat{\boldsymbol\theta}_n-\boldsymbol\theta_0)\xrightarrow{D}\chi^2(p)$이므로, 이 이차형식이 $\chi^2_{p,\alpha}$ 이하인 $\boldsymbol\theta_0$들이 근사 $100(1-\alpha)\%$ 신뢰타원체다. (b) $g:\R^p\to\R$가 미분가능하고 $\nabla g(\boldsymbol\theta_0)\ne\mathbf 0$이면 $\sqrt n\bigl(g(\hat{\boldsymbol\theta}_n)-g(\boldsymbol\theta_0)\bigr)\xrightarrow{D}\N\bigl(0,\allowbreak \ \nabla g\T I^{-1}\nabla g\bigr)$.

증명 전략 (a)는 극한 분포 $\N_p(\mathbf 0,I^{-1})$를 $I^{1/2}$로 표준화해 독립 표준정규의 제곱합으로 바꾸고, $I(\hat{\boldsymbol\theta}_n)$을 Slutsky로 바꿔 넣는다. (b)는 다변량 델타 방법이다. 단계별 증명은 연습 1.7(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

1.2 귀찮은 모수의 대가

모수를 $\boldsymbol\theta=(\boldsymbol\psi,\allowbreak \boldsymbol\lambda)$로 나눈다. $\boldsymbol\psi\in\R^r$이 관심 모수, $\boldsymbol\lambda$가 귀찮은 모수다. 정보 행렬과 그 역행렬도 같은 꼴로 나눠 $I=\smat{I_{\psi\psi}&I_{\psi\lambda}\\I_{\lambda\psi}&I_{\lambda\lambda}}$, $I^{-1}=\smat{I^{\psi\psi}&I^{\psi\lambda}\\I^{\lambda\psi}&I^{\lambda\lambda}}$로 쓴다.

보조정리 1.5 (블록 역행렬과 Schur 보수) $I\succ0$이면 $I^{\psi\psi}=\bigl(I_{\psi\psi}-I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}\bigr)^{-1}$이다. 또 모든 $\mathbf u\in\R^r$에 대해

$$\min_{\mathbf v}\ \begin{pmatrix}\mathbf u\\\mathbf v\end{pmatrix}\T I\begin{pmatrix}\mathbf u\\\mathbf v\end{pmatrix}=\mathbf u\T\bigl(I_{\psi\psi}-I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}\bigr)\mathbf u ,$$

최소점은 $\mathbf v=-I_{\lambda\lambda}^{-1}I_{\lambda\psi}\mathbf u$이다.

증명 전략 이차형식을 $\mathbf v$에 대해 완전제곱한다. 남는 항이 Schur 보수이고, 블록 역행렬은 곱해서 확인한다.

1. $I_{\lambda\lambda}\succ0$이므로 가역이다. $S=I_{\psi\psi}-I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}$로 둔다.$I\succ0$의 주대각 블록

2. $I$가 대칭이므로 $I_{\psi\lambda}=I_{\lambda\psi}\T$이고

   $$\begin{pmatrix}\mathbf u\\\mathbf v\end{pmatrix}\T I\begin{pmatrix}\mathbf u\\\mathbf v\end{pmatrix}=\mathbf u\T I_{\psi\psi}\mathbf u+2\mathbf v\T I_{\lambda\psi}\mathbf u+\mathbf v\T I_{\lambda\lambda}\mathbf v . \tag*{\htmlClass{reason}{\text{블록 곱셈}}}$$

3. $\mathbf w=\mathbf v+I_{\lambda\lambda}^{-1}I_{\lambda\psi}\mathbf u$로 두면 2의 오른쪽은 $\mathbf u\T S\mathbf u+\mathbf w\T I_{\lambda\lambda}\mathbf w$이다.완전제곱, 전개해 확인 [T4]

4. $\mathbf w\T I_{\lambda\lambda}\mathbf w\ge0$이고 등호는 $\mathbf w=\mathbf 0$, 곧 $\mathbf v=-I_{\lambda\lambda}^{-1}I_{\lambda\psi}\mathbf u$일 때뿐이다. 따라서 최솟값은 $\mathbf u\T S\mathbf u$이다.$I_{\lambda\lambda}\succ0$

5. $\mathbf u\ne\mathbf 0$이면 $\mathbf u\T S\mathbf u$는 영이 아닌 벡터에서의 $I$의 이차형식이므로 양수다. 곧 $S\succ0$이고 가역이다.4, $I\succ0$

6. $I\smat{S^{-1}\\-I_{\lambda\lambda}^{-1}I_{\lambda\psi}S^{-1}}=\smat{\mathbf 1_r\\\mathbf 0}$이므로 이것이 $I^{-1}$의 첫 블록 열이고, $I^{\psi\psi}=S^{-1}$이다.블록 곱셈(연습 1.2)

정리 1.6 (귀찮은 모수는 분산을 키운다) $I\succ0$이면 $I^{\psi\psi}\succeq I_{\psi\psi}^{-1}$이고, 등호는 $I_{\psi\lambda}=\mathbf 0$일 때뿐이다. 곧 $\boldsymbol\lambda$를 모를 때 $\hat{\boldsymbol\psi}$의 점근분산 $I^{\psi\psi}/n$은 $\boldsymbol\lambda$를 알 때의 $I_{\psi\psi}^{-1}/n$보다 작지 않다.

증명 전략 Schur 보수 $S$가 $I_{\psi\psi}$보다 작음을 보이고, 양의 정부호 행렬에서 역행렬을 취하면 순서가 뒤집힘을 쓴다.

1. 모든 $\mathbf u$에서 $\mathbf u\T I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}\mathbf u=(I_{\lambda\psi}\mathbf u)\T I_{\lambda\lambda}^{-1}(I_{\lambda\psi}\mathbf u)\ge0$이다.$I_{\lambda\lambda}^{-1}\succ0$

2. 따라서 $S=I_{\psi\psi}-I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}\preceq I_{\psi\psi}$이다.1

3. $A\succeq B\succ0$이면 $A^{-1}\preceq B^{-1}$이다. $B^{-1/2}AB^{-1/2}\succeq\mathbf 1$의 고유값은 모두 1 이상이므로 그 역행렬 $B^{1/2}A^{-1}B^{1/2}$의 고유값은 모두 1 이하이고, 양쪽에 $B^{-1/2}$를 곱해도 순서가 유지된다.고유분해, 합동변환

4. $I^{\psi\psi}=S^{-1}\succeq I_{\psi\psi}^{-1}$이다.보조정리 1.5, 2 3

5. 등호이면 $S=I_{\psi\psi}$이므로 모든 $\mathbf u$에서 1의 값이 0이고, $I_{\lambda\lambda}^{-1}\succ0$이므로 $I_{\lambda\psi}\mathbf u=\mathbf 0$, 곧 $I_{\lambda\psi}=\mathbf 0$이다. 거꾸로 $I_{\lambda\psi}=\mathbf 0$이면 $S=I_{\psi\psi}$이다.1

$I_{\psi\lambda}=\mathbf 0$이면 두 모수가 직교한다고 한다. 정규의 $(\mu,\sigma^2)$은 직교한다(9회 연습 3.4). 그래서 $\sigma^2$을 몰라도 $\bar X$의 점근분산은 그대로다. 감마의 $(\alpha,\beta)$는 직교하지 않는다. $\alpha=2$에서 $\beta$를 알면 $\hat\alpha$의 점근분산이 $1/\psi'(2)=1.55$를 $n$으로 나눈 것이지만, 모르면 $6.90/n$으로 4.4배가 된다(9회 연습 3.3). 정규 혼합에서는 비율과 평균, 분산이 서로 강하게 얽혀 있어서 이 대가가 아주 크다(5절).

1.3 프로파일 가능도

정의 1.7 (프로파일 가능도) $\boldsymbol\psi$를 고정하고 귀찮은 모수에 대해 최대화한

$$\ell_p(\boldsymbol\psi)=\sup_{\boldsymbol\lambda}\ell(\boldsymbol\psi,\boldsymbol\lambda)=\ell\bigl(\boldsymbol\psi,\hat{\boldsymbol\lambda}_{\boldsymbol\psi}\bigr)$$

을 $\boldsymbol\psi$의 프로파일 로그가능도라 한다. $\hat{\boldsymbol\lambda}_{\boldsymbol\psi}$는 $\boldsymbol\psi$를 고정했을 때의 MLE다.

$\ell_p$의 최대점은 $\hat{\boldsymbol\psi}$이다(전체 최대점의 $\boldsymbol\psi$ 성분). 산의 능선을 따라 걸으며 높이를 재는 것과 같다. 정규 혼합처럼 모수가 많은 모형에서 한 모수의 불확실성을 보는 가장 간단한 그림이다.

정리 1.8 (귀찮은 모수가 있을 때의 Wilks 정리) 정리 1.3의 조건과 $H_0:\boldsymbol\psi=\boldsymbol\psi_0$ 아래에서, 제약된 MLE $\hat{\boldsymbol\lambda}_{\boldsymbol\psi_0}$도 일치하면

$$\Lambda=2\bigl[\ell(\hat{\boldsymbol\theta}_n)-\ell_p(\boldsymbol\psi_0)\bigr]\ \xrightarrow{D}\ \chi^2(r).$$

증명 전략 MLE 주위의 이차 전개로 로그가능도를 이차형식으로 바꾼다. 귀찮은 모수에 대한 최대화는 그 이차형식의 최소화이고, 보조정리 1.5가 답을 준다.

1. $\hat{\boldsymbol\theta}=\hat{\boldsymbol\theta}_n$에서 $\nabla\ell=\mathbf 0$이므로, $\|\boldsymbol\theta-\hat{\boldsymbol\theta}\|\le K/\sqrt n$인 $\boldsymbol\theta$들 위에서 균등하게

   $$\ell(\boldsymbol\theta)=\ell(\hat{\boldsymbol\theta})-\tfrac n2(\boldsymbol\theta-\hat{\boldsymbol\theta})\T I(\boldsymbol\theta_0)(\boldsymbol\theta-\hat{\boldsymbol\theta})+o_P(1) .$$

   적분형 Taylor [T8], 정리 1.3의 3–5

2. $H_0$ 아래에서 $\hat{\boldsymbol\psi}-\boldsymbol\psi_0=O_P(n^{-1/2})$이고, 제약된 최대점 $(\boldsymbol\psi_0,\allowbreak \hat{\boldsymbol\lambda}_{\boldsymbol\psi_0})$도 $\hat{\boldsymbol\theta}$에서 $O_P(n^{-1/2})$ 안에 있다.정리 1.3, 같은 전개

3. 따라서 $\boldsymbol\lambda$에 대한 최대화는 1의 이차형식을 $\mathbf v=\boldsymbol\lambda-\hat{\boldsymbol\lambda}$에 대해 최소화하는 것이다. $\mathbf u=\boldsymbol\psi_0-\hat{\boldsymbol\psi}$로 두면

   $$\ell_p(\boldsymbol\psi_0)=\ell(\hat{\boldsymbol\theta})-\tfrac n2\min_{\mathbf v}\begin{pmatrix}\mathbf u\\\mathbf v\end{pmatrix}\T I\begin{pmatrix}\mathbf u\\\mathbf v\end{pmatrix}+o_P(1) .$$

   1 2

4. 최솟값은 $\mathbf u\T S\mathbf u$이고 $S=(I^{\psi\psi})^{-1}$이다.보조정리 1.5

5. $\Lambda=2[\ell(\hat{\boldsymbol\theta})-\ell_p(\boldsymbol\psi_0)]=n(\hat{\boldsymbol\psi}-\boldsymbol\psi_0)\T S(\hat{\boldsymbol\psi}-\boldsymbol\psi_0)+o_P(1)$이다.3 4

6. $\sqrt n(\hat{\boldsymbol\psi}-\boldsymbol\psi_0)\xrightarrow{D}\N_r(\mathbf 0,\allowbreak I^{\psi\psi})$이다.정리 1.3의 앞 $r$개 성분

7. $\N_r(\mathbf 0,I^{\psi\psi})$를 $S^{1/2}$로 표준화하면 $\Lambda\xrightarrow{D}\chi^2(r)$이다.따름정리 1.4(a)의 논증, 7회 정리 4.2

조건 확인 1의 균등한 전개에는 정리 1.3의 셋째 미분 상계가 참값의 한 근방 전체에서 필요하다. 제약된 MLE의 일치성은 정리의 가정이고, 이것이 2를 준다.

자유도는 “고정한 모수의 수” $r$이다. 귀찮은 모수는 자유도를 쓰지 않는다. 그 대가는 이미 $S=(I^{\psi\psi})^{-1}\preceq I_{\psi\psi}$, 곧 더 넓은 구간으로 치렀다.

예제 1.9 (정규 평균의 프로파일 가능도는 $t$ 검정이다) $X_i\iid\N(\mu,\sigma^2)$에서 $\mu$를 고정하면 $\hat\sigma^2_\mu=\tfrac1n\sum(x_i-\mu)^2=\hat\sigma^2+(\bar x-\mu)^2$이고 $\ell_p(\mu)=-\tfrac n2\log\hat\sigma^2_\mu-\tfrac n2$이다. 따라서

$$\Lambda(\mu_0)=n\log\Bigl(1+\frac{(\bar x-\mu_0)^2}{\hat\sigma^2}\Bigr)=n\log\Bigl(1+\frac{t^2}{n-1}\Bigr),\qquad t=\frac{\bar x-\mu_0}{s/\sqrt n}.$$

$\Lambda$는 $|t|$의 증가함수이므로 가능도비 검정은 6회의 $t$ 검정과 같은 기각역을 갖는다. 다만 임계값을 $\chi^2(1)$에서 가져오면 근사, $t(n-1)$에서 가져오면 정확하다. 9회 예제 6.2의 Michelson 구간이 이 계산이었다.

가정 주의 프로파일 가능도는 진짜 가능도가 아니다. 귀찮은 모수를 그 MLE로 바꿔 넣었으므로 프로파일 점수 $\tfrac{d}{d\psi}\ell_p$의 기댓값이 정확히 0이 아니고, 그 치우침은 귀찮은 모수 하나당 $O(1)$씩 쌓인다. 귀찮은 모수의 수가 고정되어 있으면 $\sqrt n$ 척도에서 사라지지만, 9회의 Neyman–Scott처럼 자료와 함께 늘면 프로파일 가능도의 최대점이 일치하지 않는다. 7절에서 귀찮은 모수를 “숨은 변수”로 바꿔 이 문제를 푼다.

연습문제

연습 1.1 (정규의 정보 행렬 ★) $\N(\mu,\sigma^2)$을 $(\mu,\sigma)$로 모수화하면 정보 행렬이 $\diag(1/\sigma^2,\allowbreak \ 2/\sigma^2)$임을 보여라. 9회 연습 2.2의 변환 규칙($\sigma^2\mapsto\sigma$)과 맞는가?

풀이

$\log f=-\log\sigma-\tfrac{(x-\mu)^2}{2\sigma^2}+$상수에서 $s_\mu=\tfrac{x-\mu}{\sigma^2}$, $s_\sigma=-\tfrac1\sigma+\tfrac{(x-\mu)^2}{\sigma^3}$이다. $E s_\mu^2=\tfrac1{\sigma^2}$, $E s_\sigma^2=\tfrac{1}{\sigma^2}E(Z^2-1)^2=\tfrac2{\sigma^2}$, $E s_\mu s_\sigma=\tfrac1{\sigma^3}E[Z(Z^2-1)]=0$이다. 변환 규칙으로는 $\eta=\sigma^2$의 정보 $\tfrac1{2\sigma^4}$에서 $I(\sigma)=I(\eta)\bigl(\tfrac{d\eta}{d\sigma}\bigr)^2=\tfrac1{2\sigma^4}\cdot4\sigma^2=\tfrac2{\sigma^2}$로 같다(9회 연습 2.2의 식을 거꾸로 쓴 것).

연습 1.2 (블록 역행렬 ★) 보조정리 1.5의 블록 역행렬 공식을 $I\cdot I^{-1}$의 첫 블록 열을 곱해 확인하라.

풀이

첫 블록 행: $I_{\psi\psi}S^{-1}-I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}S^{-1}=SS^{-1}=\mathbf 1$. 둘째 블록 행: $I_{\lambda\psi}S^{-1}-I_{\lambda\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}S^{-1}=\mathbf 0$.

연습 1.3 (변동계수 ★★) 정규 표본에서 변동계수 $c=\sigma/\mu$의 MLE $\hat c=\hat\sigma/\bar X$의 점근분산이 $\tfrac{c^2(c^2+1/2)}n$임을 따름정리 1.4(b)로 보여라.

풀이

$(\mu,\sigma)$의 $I^{-1}=\diag(\sigma^2,\allowbreak \sigma^2/2)$이고 $\nabla c=(-\sigma/\mu^2,\allowbreak \ 1/\mu)$이므로 $\nabla c\T I^{-1}\nabla c=\tfrac{\sigma^4}{\mu^4}+\tfrac{\sigma^2}{2\mu^2}=c^2(c^2+\tfrac12)$.

연습 1.4 (감마의 프로파일 가능도 ★★) 감마$(\alpha,\beta)$에서 $\alpha$를 고정한 $\beta$의 MLE가 $\bar x/\alpha$이고, $\ell_p(\alpha)=n\bigl[(\alpha-1)\overline{\log x}-\log\Gamma(\alpha)-\alpha\log(\bar x/\alpha)-\alpha\bigr]$임을 보여라. $\ell_p'(\alpha)=0$이 9회 예제 4.4의 방정식 $\log\alpha-\psi(\alpha)=\log\bar x-\overline{\log x}$임을 확인하라.

풀이

$\ell=n[(\alpha-1)\overline{\log x}-\log\Gamma(\alpha)-\alpha\log\beta]-\sum x_i/\beta$에서 $\partial_\beta\ell=-n\alpha/\beta+\sum x_i/\beta^2=0$이므로 $\hat\beta_\alpha=\bar x/\alpha$. 넣으면 $\ell_p(\alpha)=n[(\alpha-1)\overline{\log x}-\log\Gamma(\alpha)-\alpha\log(\bar x/\alpha)-\alpha]$. 미분하면 $\overline{\log x}-\psi(\alpha)-\log\bar x+\log\alpha+1-1=0$.

연습 1.5 (두 표본의 평균 차 ★★) $X_i\iid\N(\mu_1,\sigma^2)$ ($i\le m$), $Y_j\iid\N(\mu_2,\sigma^2)$ ($j\le n$)에서 $\psi=\mu_1-\mu_2$의 프로파일 가능도비가 $(m+n)\log\bigl(1+\tfrac{t^2}{m+n-2}\bigr)$임을 보여라. $t$는 합동분산을 쓴 두 표본 $t$ 통계량이다(6회).

풀이

$\mu_1-\mu_2=\psi$를 고정하면 $\mu_2=\lambda$, $\mu_1=\lambda+\psi$이고 $\sigma^2$의 MLE는 잔차 제곱합$/(m+n)$이다. $\lambda$에 대해 최소화한 잔차 제곱합은 $\mathrm{SSW}+\tfrac{mn}{m+n}(\bar x-\bar y-\psi)^2$($\mathrm{SSW}$는 두 표본 안의 제곱합)이므로 $\Lambda=(m+n)\log\bigl(1+\tfrac{mn}{m+n}\tfrac{(\bar x-\bar y-\psi_0)^2}{\mathrm{SSW}}\bigr)=(m+n)\log\bigl(1+\tfrac{t^2}{m+n-2}\bigr)$이다. $t^2=\tfrac{(\bar x-\bar y-\psi_0)^2}{s_p^2(1/m+1/n)}$, $s_p^2=\mathrm{SSW}/(m+n-2)$.

연습 1.6 (정보 행렬의 두 표현 증명 ★ 유도형) 정리 1.2를 다음 순서로 증명하라. 미분과 적분의 순서를 바꾸는 곳마다 9회의 정칙조건 가운데 무엇을 쓰는지 밝혀라.

1. (a)

   $\int f(x;\boldsymbol\theta)\,dx=1$을 $\theta_j$로 미분해 $E_{\boldsymbol\theta}s_j=0$을 보여라.

2. (b)

   (a)의 식 $\int s_jf\,dx=0$을 다시 $\theta_k$로 미분해 $E\bigl[\tfrac{\partial^2\log f}{\partial\theta_j\partial\theta_k}\bigr]+E[s_js_k]=0$을 보여라.

3. (c)

   (a)로 $E\,\mathbf s\mathbf s\T=\Cov\mathbf s$임을 보이고 두 표현을 얻어라.

4. (d)

   iid 표본의 점수는 $\sum_i\mathbf s(X_i;\boldsymbol\theta)$이다. 독립인 벡터의 합의 공분산이 더해짐을 써서 정보 행렬이 $nI(\boldsymbol\theta)$임을 보여라.

풀이

(a) 정칙조건(9회 (R2)–(R3)의 성분판)이 $\int f\,dx$를 적분 기호 아래에서 미분하게 해 준다. $0=\partial_j\int f\,dx=\int\partial_jf\,dx=\int(\partial_j\log f)f\,dx=E s_j$. (b) $\int s_jf\,dx=0$을 다시 $\theta_k$로 미분하면 $0=\int(\partial_k s_j)f\,dx+\int s_j(\partial_kf)\,dx=E\bigl[\tfrac{\partial^2\log f}{\partial\theta_j\partial\theta_k}\bigr]+E[s_js_k]$이다. $\partial_kf=s_kf$를 썼다. (c) $E\,\mathbf s=\mathbf 0$이므로 $\Cov\mathbf s=E\,\mathbf s\mathbf s\T-E\mathbf s\,E\mathbf s\T=E\,\mathbf s\mathbf s\T=I(\boldsymbol\theta)$이고, (b)를 행렬로 쓰면 $I(\boldsymbol\theta)=-E\nabla^2\log f$이다. (d) 표본의 로그가능도는 $\sum_i\log f(X_i;\boldsymbol\theta)$이므로 점수는 $\sum_i\mathbf s(X_i;\boldsymbol\theta)$이다. 독립인 벡터의 합의 공분산은 공분산의 합이므로(3회) $nI(\boldsymbol\theta)$이다.

연습 1.7 (신뢰영역과 함수의 증명 ★★ 유도형) 따름정리 1.4를 다음 순서로 증명하라. $I=I(\boldsymbol\theta_0)$로 쓴다.

1. (a)

   $\mathbf W\sim\N_p(\mathbf 0,\allowbreak I^{-1})$이면 $I^{1/2}\mathbf W\sim\N_p(\mathbf 0,\allowbreak \mathbf 1)$이고 $\mathbf W\T I\mathbf W\sim\chi^2(p)$임을 보여라(5회 정리 3.8, 정리 3.17).

2. (b)

   $\sqrt n(\hat{\boldsymbol\theta}_n-\boldsymbol\theta_0)\xrightarrow{D}\mathbf W$와 $I(\hat{\boldsymbol\theta}_n)\xrightarrow{P}I$에서 (a)의 이차형식이 $\chi^2(p)$로 분포수렴함을 보여라. $I(\cdot)$의 연속성은 어디서 쓰는가?

3. (c)

   (b)의 식에서 $\boldsymbol\theta_0$을 미지수로 보고 근사 신뢰타원체를 얻어라.

4. (d)

   7회 정리 5.4(다변량 델타 방법)를 $g$에 써서 따름정리의 (b)를 보여라. $\nabla g(\boldsymbol\theta_0)\ne\mathbf 0$은 어디에 필요한가?

풀이

(a) $I^{1/2}$는 대칭 제곱근이다(5회 보조정리 3.2). 5회 정리 3.8로 $I^{1/2}\mathbf W\sim\N_p(\mathbf 0,\allowbreak I^{1/2}I^{-1}I^{1/2})=\N_p(\mathbf 0,\allowbreak \mathbf 1)$이므로 성분이 독립인 표준정규이고, $\mathbf W\T I\mathbf W=\|I^{1/2}\mathbf W\|^2\sim\chi^2(p)$이다(5회 정리 3.17). (b) $I(\cdot)$이 $\boldsymbol\theta_0$에서 연속이고 $\hat{\boldsymbol\theta}_n\xrightarrow{P}\boldsymbol\theta_0$이므로 연속사상정리(7회 정리 1.3)로 $I(\hat{\boldsymbol\theta}_n)\xrightarrow{P}I$이다. $\sqrt n\mathbf d_n=\sqrt n(\hat{\boldsymbol\theta}_n-\boldsymbol\theta_0)$로 쓰면 $\mathbf d_n\T I(\hat{\boldsymbol\theta}_n)\mathbf d_n\cdot n=\sqrt n\mathbf d_n\T I\sqrt n\mathbf d_n+\sqrt n\mathbf d_n\T\bigl(I(\hat{\boldsymbol\theta}_n)-I\bigr)\sqrt n\mathbf d_n$이고, 둘째 항은 $O_P(1)\cdot o_P(1)\cdot O_P(1)=o_P(1)$이다(7회 정리 2.5). 첫째 항은 연속사상정리로 $\mathbf W\T I\mathbf W\sim\chi^2(p)$로 분포수렴하고, Slutsky(7회 정리 4.2)로 합도 그렇다. (c) $P\bigl(n(\hat{\boldsymbol\theta}_n-\boldsymbol\theta_0)\T I(\hat{\boldsymbol\theta}_n)(\hat{\boldsymbol\theta}_n-\boldsymbol\theta_0)\le\chi^2_{p,\alpha}\bigr)\to1-\alpha$이므로, 이 부등식을 만족하는 $\boldsymbol\theta_0$의 집합이 근사 $100(1-\alpha)\%$ 신뢰영역이다. $I(\hat{\boldsymbol\theta}_n)$이 고정된 양의 정부호 행렬이므로 그 집합은 $\hat{\boldsymbol\theta}_n$을 중심으로 한 타원체다. (d) 7회 정리 5.4로 $\sqrt n\bigl(g(\hat{\boldsymbol\theta}_n)-g(\boldsymbol\theta_0)\bigr)\xrightarrow{D}\nabla g\T\mathbf W\sim\N(0,\allowbreak \nabla g\T I^{-1}\nabla g)$이다. $\nabla g(\boldsymbol\theta_0)\ne\mathbf 0$이어야 이 분산이 양수이고 극한이 퇴화하지 않는다. $\nabla g=\mathbf 0$이면 일차항이 사라져 이차 전개가 필요하다.

이 절을 PDF로 보기 (3쪽)노트북 1절

이 회차에서 읽은 절 0개 · 회차 차례