수리통계학

테마

10회 · 숨은 변수와 EM · 워크북

C. 증명 문제 ​

노트의 정리를 변형하고, 일반화하고, 반례로 경계를 확인한다. 증명은 노트의 단계형 모양으로 쓴다. 한 줄에 한 단계, 줄마다 근거.

C1 감마의 직교 모수 ★★ ​

[T6] · 정리 1.2, 1.6 · 20분

감마분포(모양 α\alpha, 척도 β\beta)의 로그밀도는 log⁡f=−log⁡Γ(α)−αlog⁡β+(α−1)log⁡x−x/β\log f=-\log\Gamma(\alpha)-\alpha\log\beta+(\alpha-1)\log x-x/\beta이고 평균은 m=αβm=\alpha\beta이다.

  1. (a)

    모수 (α,β)(\alpha,\beta)에서 Iαβ=1/β≠0I_{\alpha\beta}=1/\beta\ne0임을 보여라.

  2. (b)

    모수를 (α,m)(\alpha,m)으로 바꾸면 Iαm=0I_{\alpha m}=0, 곧 두 모수가 직교함을 보여라.

  3. (c)

    ψ′(2)=π2/6−1\psi'(2)=\pi^2/6-1이다. α=2\alpha=2에서 n(α^−α)\sqrt n(\hat\alpha-\alpha)의 점근분산을 구하라. mm을 알 때와 모를 때 이 값은 어떻게 다른가?

힌트

(b) β=m/α\beta=m/\alpha를 넣고 ∂mlog⁡f=α(x−m)/m2\partial_m\log f=\alpha(x-m)/m^2을 α\alpha로 미분한 뒤 기댓값을 취한다. (c) 직교이면 Iαα=1/IααI^{\alpha\alpha}=1/I_{\alpha\alpha}이다. IααI_{\alpha\alpha}는 (α,m)(\alpha,m) 모수에서 구한다.

풀이

(a) ∂α∂βlog⁡f=−1β\partial_\alpha\partial_\beta\log f=-\tfrac1\beta이므로 Iαβ=1βI_{\alpha\beta}=\tfrac1\beta.

(b) β=m/α\beta=m/\alpha를 넣으면 log⁡f=−log⁡Γ(α)−αlog⁡m+αlog⁡α+(α−1)log⁡x−αx/m\log f=-\log\Gamma(\alpha)-\alpha\log m+\alpha\log\alpha+(\alpha-1)\log x-\alpha x/m이다. ∂mlog⁡f=−αm+αxm2=α(x−m)m2\partial_m\log f=-\tfrac\alpha m+\tfrac{\alpha x}{m^2}=\tfrac{\alpha(x-m)}{m^2}이고, 이것을 α\alpha로 미분하면 x−mm2\tfrac{x-m}{m^2}이다. EX=mEX=m이므로 Iαm=−EX−mm2=0I_{\alpha m}=-E\tfrac{X-m}{m^2}=0이다.

(c) (α,m)(\alpha,m) 모수에서 ∂α2log⁡f=−ψ′(α)+1α\partial_\alpha^2\log f=-\psi'(\alpha)+\tfrac1\alpha이므로 Iαα=ψ′(α)−1αI_{\alpha\alpha}=\psi'(\alpha)-\tfrac1\alpha이다. 직교하므로 Iαα=1/IααI^{\alpha\alpha}=1/I_{\alpha\alpha}이고, α=2\alpha=2에서 1π2/6−3/2≈6.90\tfrac1{\pi^2/6-3/2}\approx6.90이다. 직교 모수에서는 mm을 알든 모르든 이 값이 같다(정리 1.6의 등호). 노트 1.2절의 “β\beta를 알면 1.55, 모르면 6.90”에서 6.90과 같은 값이다. β\beta를 아는 것과 mm을 아는 것은 다른 정보다.

최종답 (c) 1π2/6−3/2≈6.90\tfrac1{\pi^2/6-3/2}\approx6.90

C2 모수를 바꾸면 정보 행렬은 ★★ ​

[T6] · 정리 1.2, 1.3 · 15분

θ=h(η)\boldsymbol\theta=h(\boldsymbol\eta)가 미분가능한 일대일 변환이고 야코비 행렬 A=∂θ/∂η′A=\partial\boldsymbol\theta/\partial\boldsymbol\eta\T가 가역이다.

  1. (a)

    η\boldsymbol\eta의 점수가 A′sθA\T\mathbf s_{\boldsymbol\theta}이고 정보 행렬이 Iη=A′IθAI_{\boldsymbol\eta}=A\T I_{\boldsymbol\theta}A임을 보여라.

  2. (b)

    정리 1.3이 주는 η^\hat{\boldsymbol\eta}의 점근공분산 Iη−1I_{\boldsymbol\eta}^{-1}이, θ^\hat{\boldsymbol\theta}에 다변량 델타 방법을 써서 얻은 점근공분산과 같음을 보여라.

  3. (c)

    따름정리 1.4(a)의 이차형식 n(θ^−θ0)′I(θ0)(θ^−θ0)n(\hat{\boldsymbol\theta}-\boldsymbol\theta_0)\T I(\boldsymbol\theta_0)(\hat{\boldsymbol\theta}-\boldsymbol\theta_0)은 모수를 바꾸면 그대로인가? 일차 근사의 범위에서 답하라.

힌트

(a) 연쇄법칙. (b) η=h−1(θ)\boldsymbol\eta=h^{-1}(\boldsymbol\theta)의 야코비 행렬은 A−1A^{-1}이다.

풀이

(a) 연쇄법칙으로 ∂log⁡f/∂ηj=∑k(∂log⁡f/∂θk)(∂θk/∂ηj)\partial\log f/\partial\eta_j=\sum_k(\partial\log f/\partial\theta_k)(\partial\theta_k/\partial\eta_j), 곧 sη=A′sθ\mathbf s_{\boldsymbol\eta}=A\T\mathbf s_{\boldsymbol\theta}이다. Iη=Cov⁡(A′sθ)=A′IθAI_{\boldsymbol\eta}=\Cov(A\T\mathbf s_{\boldsymbol\theta})=A\T I_{\boldsymbol\theta}A이다(3회의 선형변환 규칙).

(b) 불변성(9회 정리 1.3)으로 η^=h−1(θ^)\hat{\boldsymbol\eta}=h^{-1}(\hat{\boldsymbol\theta})이고 h−1h^{-1}의 야코비 행렬은 A−1A^{-1}이다. 다변량 델타 방법(7회 정리 5.4)의 점근공분산은 A−1Iθ−1(A−1)′=(A′IθA)−1=Iη−1A^{-1}I_{\boldsymbol\theta}^{-1}(A^{-1})\T=(A\T I_{\boldsymbol\theta}A)^{-1}=I_{\boldsymbol\eta}^{-1}이다.

(c) e=θ^−θ0\mathbf e=\hat{\boldsymbol\theta}-\boldsymbol\theta_0로 쓰면 η^−η0≈A−1e\hat{\boldsymbol\eta}-\boldsymbol\eta_0\approx A^{-1}\mathbf e이므로 (η^−η0)′Iη(η^−η0)≈(A−1e)′A′IθA(A−1e)=e′Iθe(\hat{\boldsymbol\eta}-\boldsymbol\eta_0)\T I_{\boldsymbol\eta}(\hat{\boldsymbol\eta}-\boldsymbol\eta_0)\approx(A^{-1}\mathbf e)\T A\T I_{\boldsymbol\theta}A(A^{-1}\mathbf e)=\mathbf e\T I_{\boldsymbol\theta}\mathbf e이다. 일차 근사의 범위에서 같고, 유한 표본에서는 다르다. Wald 신뢰영역의 모양이 모수화에 따라 달라지는 이유가 이 근사의 오차다. 가능도비 통계량은 모수를 바꿔도 정확히 같다.

C3 EM은 MM 알고리즘이다 ★★ ​

보조정리 2.4, 정리 3.2 · 20분

G(θ∣θt)=ℓ(θt)+Q(θ∣θt)−Q(θt∣θt)G(\boldsymbol\theta\mid\boldsymbol\theta_t)=\ell(\boldsymbol\theta_t)+Q(\boldsymbol\theta\mid\boldsymbol\theta_t)-Q(\boldsymbol\theta_t\mid\boldsymbol\theta_t)로 둔다.

  1. (a)

    모든 θ\boldsymbol\theta에서 G(θ∣θt)≤ℓ(θ)G(\boldsymbol\theta\mid\boldsymbol\theta_t)\le\ell(\boldsymbol\theta)이고 G(θt∣θt)=ℓ(θt)G(\boldsymbol\theta_t\mid\boldsymbol\theta_t)=\ell(\boldsymbol\theta_t)임을 보여라. (GG를 ℓ\ell의 하한 함수(minorizer)라 한다.)

  2. (b)

    ℓ\ell의 하한 함수 G(⋅∣θt)G(\cdot\mid\boldsymbol\theta_t)가 무엇이든, G(θt+1∣θt)≥G(θt∣θt)G(\boldsymbol\theta_{t+1}\mid\boldsymbol\theta_t)\ge G(\boldsymbol\theta_t\mid\boldsymbol\theta_t)인 θt+1\boldsymbol\theta_{t+1}을 고르면 ℓ(θt+1)≥ℓ(θt)\ell(\boldsymbol\theta_{t+1})\ge\ell(\boldsymbol\theta_t)임을 보여라.

  3. (c)

    log⁡x≤x−1\log x\le x-1을 써서 ℓ(θ)=log⁡θ−θ2\ell(\theta)=\log\theta-\theta^2 (θ>0\theta>0)의 하한 함수를 하나 만들고, 그 하한 함수의 최대점을 다음 반복점으로 하는 알고리즘을 적어라.

힌트

(a) 보조정리 2.4로 ℓ(θ)−G(θ∣θt)=H(θt∣θt)−H(θ∣θt)\ell(\boldsymbol\theta)-G(\boldsymbol\theta\mid\boldsymbol\theta_t)=H(\boldsymbol\theta_t\mid\boldsymbol\theta_t)-H(\boldsymbol\theta\mid\boldsymbol\theta_t)이다. (c) log⁡θ=log⁡θt+log⁡(θ/θt)\log\theta=\log\theta_t+\log(\theta/\theta_t).

풀이

(a) 보조정리 2.4로 ℓ(θ)=Q(θ∣θt)−H(θ∣θt)\ell(\boldsymbol\theta)=Q(\boldsymbol\theta\mid\boldsymbol\theta_t)-H(\boldsymbol\theta\mid\boldsymbol\theta_t)이고 ℓ(θt)=Q(θt∣θt)−H(θt∣θt)\ell(\boldsymbol\theta_t)=Q(\boldsymbol\theta_t\mid\boldsymbol\theta_t)-H(\boldsymbol\theta_t\mid\boldsymbol\theta_t)이므로 ℓ(θ)−G(θ∣θt)=H(θt∣θt)−H(θ∣θt)=D(k(⋅∣y;θt)∥k(⋅∣y;θ))≥0\ell(\boldsymbol\theta)-G(\boldsymbol\theta\mid\boldsymbol\theta_t)=H(\boldsymbol\theta_t\mid\boldsymbol\theta_t)-H(\boldsymbol\theta\mid\boldsymbol\theta_t)=D\bigl(k(\cdot\mid\y;\boldsymbol\theta_t)\|k(\cdot\mid\y;\boldsymbol\theta)\bigr)\ge0이다. θ=θt\boldsymbol\theta=\boldsymbol\theta_t이면 0이다.

(b) ℓ(θt+1)≥G(θt+1∣θt)≥G(θt∣θt)=ℓ(θt)\ell(\boldsymbol\theta_{t+1})\ge G(\boldsymbol\theta_{t+1}\mid\boldsymbol\theta_t)\ge G(\boldsymbol\theta_t\mid\boldsymbol\theta_t)=\ell(\boldsymbol\theta_t). 차례로 하한 함수의 정의, θt+1\boldsymbol\theta_{t+1}의 선택, 닿는 점의 조건을 썼다.

(c) log⁡x≤x−1\log x\le x-1을 x=θt/θx=\theta_t/\theta에 쓰면 log⁡θtθ≤θtθ−1\log\tfrac{\theta_t}\theta\le\tfrac{\theta_t}\theta-1, 곧 log⁡θ≥log⁡θt+1−θtθ\log\theta\ge\log\theta_t+1-\tfrac{\theta_t}\theta이다. 따라서 G(θ∣θt)=log⁡θt+1−θtθ−θ2≤ℓ(θ)G(\theta\mid\theta_t)=\log\theta_t+1-\tfrac{\theta_t}\theta-\theta^2\le\ell(\theta)이고 θ=θt\theta=\theta_t에서 같다. GG를 최대화하면 θtθ2=2θ\tfrac{\theta_t}{\theta^2}=2\theta, 곧 θt+1=(θt/2)1/3\theta_{t+1}=(\theta_t/2)^{1/3}이다. 고정점은 θ3=θ/2\theta^3=\theta/2, θ=1/2\theta=1/\sqrt2이고 ℓ′(θ)=1θ−2θ=0\ell'(\theta)=\tfrac1\theta-2\theta=0의 근과 같다.

C4 완전 자료가 지수족일 때 ★★ ​

명제 2.5, 따름정리 3.4 · 20분

완전 자료의 밀도가 f(y,z;η)=h(y,z)exp⁡(η′T(y,z)−A(η))f(\y,\allowbreak \z;\boldsymbol\eta)=h(\y,\allowbreak \z)\exp\bigl(\boldsymbol\eta\T T(\y,\allowbreak \z)-A(\boldsymbol\eta)\bigr)이다. ∇A(η)=EηT\nabla A(\boldsymbol\eta)=E_{\boldsymbol\eta}T임은 받아들인다.

  1. (a)

    Q(η∣ηt)=η′Eηt[T∣y]−A(η)+Q(\boldsymbol\eta\mid\boldsymbol\eta_t)=\boldsymbol\eta\T E_{\boldsymbol\eta_t}[T\mid\y]-A(\boldsymbol\eta)+(η\boldsymbol\eta에 무관한 항)임을 보여라.

  2. (b)

    M 단계가 방정식 EηT=Eηt[T∣y]E_{\boldsymbol\eta}T=E_{\boldsymbol\eta_t}[T\mid\y]를 푸는 것임을 보여라.

  3. (c)

    관측 점수가 ∇ℓ(η)=Eη[T∣y]−EηT\nabla\ell(\boldsymbol\eta)=E_{\boldsymbol\eta}[T\mid\y]-E_{\boldsymbol\eta}T임을 보이고, EM의 고정점이 가능도 방정식의 근임을 결론지어라.

  4. (d)

    노트 예제 2.2(b)의 유전 연관 자료에서 TT와 E 단계를 적어라.

힌트

(c)는 명제 2.5: 관측 점수는 완전 자료 점수 T−∇AT-\nabla A의 조건부 기댓값이다.

풀이

(a) log⁡f=log⁡h+η′T−A(η)\log f=\log h+\boldsymbol\eta\T T-A(\boldsymbol\eta)를 k(⋅∣y;ηt)k(\cdot\mid\y;\boldsymbol\eta_t)로 평균하면 E[log⁡h∣y]+η′Eηt[T∣y]−A(η)E[\log h\mid\y]+\boldsymbol\eta\T E_{\boldsymbol\eta_t}[T\mid\y]-A(\boldsymbol\eta)이다. 첫 항은 η\boldsymbol\eta에 무관하다.

(b) (a)를 η\boldsymbol\eta로 미분해 0으로 두면 ∇A(η)=Eηt[T∣y]\nabla A(\boldsymbol\eta)=E_{\boldsymbol\eta_t}[T\mid\y], 곧 EηT=Eηt[T∣y]E_{\boldsymbol\eta}T=E_{\boldsymbol\eta_t}[T\mid\y]이다. AA는 볼록이므로(∇2A=Cov⁡T⪰0\nabla^2A=\Cov T\succeq0) 이 1계 조건이 최대점을 준다. 완전 자료의 MLE 방정식 EηT=TE_{\boldsymbol\eta}T=T에서 TT를 조건부 기댓값으로 바꾼 것이다.

(c) 완전 자료 점수는 T−∇A(η)T-\nabla A(\boldsymbol\eta)이므로 명제 2.5로 ∇ℓ(η)=Eη[T∣y]−∇A(η)\nabla\ell(\boldsymbol\eta)=E_{\boldsymbol\eta}[T\mid\y]-\nabla A(\boldsymbol\eta)이다. 고정점 η∗\boldsymbol\eta^*에서 (b)는 ∇A(η∗)=Eη∗[T∣y]\nabla A(\boldsymbol\eta^*)=E_{\boldsymbol\eta^*}[T\mid\y]이고, 이것이 ∇ℓ(η∗)=0\nabla\ell(\boldsymbol\eta^*)=\mathbf 0이다.

(d) 완전 자료는 이항 모형 “x2+y4x_2+y_4번 성공, y2+y3y_2+y_3번 실패”이므로 자연모수 η=log⁡θ1−θ\eta=\log\tfrac\theta{1-\theta}에 대해 T=x2+y4T=x_2+y_4이다. E 단계는 E[T∣y]=125θt2+θt+34E[T\mid\y]=125\tfrac{\theta_t}{2+\theta_t}+34이고, M 단계는 (x2+y4+y2+y3)θ=E[T∣y](x_2+y_4+y_2+y_3)\theta=E[T\mid\y]를 푼다. x2x_2가 TT와 시행 수에 함께 들어가므로 노트의 M 단계 θt+1=x2(t)+34x2(t)+72\theta_{t+1}=\tfrac{x_2^{(t)}+34}{x_2^{(t)}+72}가 된다.

C5 식별되지 않는 혼합 ★★ ​

[T2] · 정리 1.3 · 15분

  1. (a)

    두 Bernoulli의 혼합 π Ber(p1)+(1−π)Ber(p2)\pi\,\mathrm{Ber}(p_1)+(1-\pi)\mathrm{Ber}(p_2)는 Ber(πp1+(1−π)p2)\mathrm{Ber}(\pi p_1+(1-\pi)p_2)와 같음을 보이고, 서로 다른 모수 (π,p1,p2)(\pi,p_1,p_2)가 같은 분포를 주는 예를 들어라.

  2. (b)

    (a)의 모형에서 정보 행렬이 모든 점에서 특이함을 보여라. 정리 1.3의 어느 가정이 깨지는가?

  3. (c)

    이항 b(2,p)\mathrm b(2,p) 두 개의 혼합은 모수가 셋이다. 관측 가능한 확률은 몇 개의 자유도를 갖는가? 이 모형도 식별되지 않음을 보여라.

힌트

(b) 밀도가 pˉ=πp1+(1−π)p2\bar p=\pi p_1+(1-\pi)p_2 하나를 통해서만 모수에 의존하면 점수 벡터는 ∇pˉ\nabla\bar p에 평행하다.

풀이

(a) P(X=1)=πp1+(1−π)p2P(X=1)=\pi p_1+(1-\pi)p_2이므로 혼합은 Ber(pˉ)\mathrm{Ber}(\bar p)다. (12,0.2,0.6)(\tfrac12,0.2,0.6), (12,0.6,0.2)(\tfrac12,0.6,0.2), (1,0.4,p2)(1,0.4,p_2)(p2p_2는 아무 값)는 모두 Ber(0.4)\mathrm{Ber}(0.4)를 준다.

(b) log⁡f=xlog⁡pˉ+(1−x)log⁡(1−pˉ)\log f=x\log\bar p+(1-x)\log(1-\bar p)이므로 점수는 x−pˉpˉ(1−pˉ)∇pˉ\tfrac{x-\bar p}{\bar p(1-\bar p)}\nabla\bar p이다. 정보 행렬은 1pˉ(1−pˉ)∇pˉ∇pˉ′\tfrac1{\bar p(1-\bar p)}\nabla\bar p\nabla\bar p\T로 계수가 1이고, 3×33\times3 행렬로서 특이하다. 정리 1.3의 I(θ0)≻0I(\boldsymbol\theta_0)\succ0이 깨진다. ∇pˉ\nabla\bar p에 수직인 방향으로 모수를 움직여도 분포가 변하지 않는다.

(c) 관측값은 {0,1,2}\{0,1,2\}이고 확률의 합이 1이므로 자유도는 2다. 모수 셋을 자유도 둘로 보내는 매끄러운 사상은 일대일일 수 없다. 구체적으로, 성공확률 PP가 p1p_1(확률 π\pi)이나 p2p_2인 확률변수라 하면 P(X=0)=E(1−P)2P(X=0)=E(1-P)^2, P(X=1)=2E[P(1−P)]P(X=1)=2E[P(1-P)], P(X=2)=EP2P(X=2)=EP^2이므로 관측 분포는 EPEP와 EP2EP^2에만 의존한다. (π,p1,p2)=(12,0.2,0.6)(\pi,\allowbreak p_1,\allowbreak p_2)=(\tfrac12,\allowbreak 0.2,\allowbreak 0.6)과 (0.2, 0, 0.5)(0.2,\ 0,\ 0.5)는 모두 EP=0.4EP=0.4, EP2=0.2EP^2=0.2이므로 같은 분포를 준다.

C6 프로파일 점수의 치우침 ★★ ​

정의 1.7 · 20분

X1,…,Xn∼iidN(μ,v)X_1,\dots,X_n\iid\N(\mu,v)에서 μ\mu를 귀찮은 모수로 둔 vv의 프로파일 로그가능도는 ℓp(v)=−n2log⁡v−SS2v\ell_p(v)=-\frac n2\log v-\frac{\mathrm{SS}}{2v}이다(SS=∑(Xi−Xˉ)2\mathrm{SS}=\sum(X_i-\bar X)^2, 상수 생략).

  1. (a)

    프로파일 점수 ℓp′(v)\ell_p'(v)의 기댓값을 vv의 식으로 구하라(check()에는 기호 v로). 진짜 점수의 기댓값과 무엇이 다른가?

  2. (b)

    ℓp\ell_p의 nn을 n−1n-1로 바꾼 ℓ~(v)=−n−12log⁡v−SS2v\tilde\ell(v)=-\frac{n-1}2\log v-\frac{\mathrm{SS}}{2v}의 점수는 기댓값이 0임을 보이고, 최대점이 S2S^2임을 보여라.

  3. (c)

    nn쌍의 관측 Xi1,Xi2∼iidN(μi,v)X_{i1},X_{i2}\iid\N(\mu_i,v)에서 μ1,…,μn\mu_1,\dots,\mu_n을 모두 귀찮은 모수로 두면 프로파일 점수의 기댓값이 −n2v-\frac n{2v}임을 보이고, 프로파일 가능도의 최대점이 v/2v/2로 감을 설명하라(노트 7절).

힌트

E SS=(n−1)vE\,\mathrm{SS}=(n-1)v(6회). (c)에서는 각 쌍 안의 제곱합 SSi=12(Xi1−Xi2)2\mathrm{SS}_i=\tfrac12(X_{i1}-X_{i2})^2의 기댓값이 vv다.

풀이

(a) ℓp′(v)=−n2v+SS2v2\ell_p'(v)=-\tfrac n{2v}+\tfrac{\mathrm{SS}}{2v^2}이고 E SS=(n−1)vE\,\mathrm{SS}=(n-1)v이므로 Eℓp′(v)=−n2v+n−12v=−12vE\ell_p'(v)=-\tfrac n{2v}+\tfrac{n-1}{2v}=-\tfrac1{2v}이다. 진짜 점수의 기댓값은 0이다(정리 1.2). 귀찮은 모수 하나를 추정해 넣은 대가가 O(1)O(1)의 치우침으로 나타난다.

(b) ℓ~′(v)=−n−12v+SS2v2\tilde\ell'(v)=-\tfrac{n-1}{2v}+\tfrac{\mathrm{SS}}{2v^2}의 기댓값은 0이고, 0으로 두면 v=SS/(n−1)=S2v=\mathrm{SS}/(n-1)=S^2이다. 이것이 제한 최대가능도(REML)의 가장 간단한 예다.

(c) 각 쌍에서 μi\mu_i의 프로파일 추정은 쌍의 평균이고 남는 제곱합은 SSi=12(Xi1−Xi2)2\mathrm{SS}_i=\tfrac12(X_{i1}-X_{i2})^2이다. E(Xi1−Xi2)2=2vE(X_{i1}-X_{i2})^2=2v이므로 E SSi=vE\,\mathrm{SS}_i=v이다. 관측이 2n2n개이므로 ℓp(v)=−nlog⁡v−∑iSSi2v\ell_p(v)=-n\log v-\tfrac{\sum_i\mathrm{SS}_i}{2v}이고

Eℓp′(v)=−nv+nv2v2=−n2v.E\ell_p'(v)=-\frac nv+\frac{nv}{2v^2}=-\frac n{2v} .

쌍마다 (a)의 −12v-\tfrac1{2v}가 하나씩 쌓인다. ℓp′(v)=0\ell_p'(v)=0의 근은 v^=12n∑iSSi\hat v=\tfrac1{2n}\sum_i\mathrm{SS}_i이고, 대수의 법칙으로 1n∑iSSi→Pv\tfrac1n\sum_i\mathrm{SS}_i\xrightarrow{P}v이므로 v^→Pv/2\hat v\xrightarrow{P}v/2이다.

최종답 (a) −12v-\tfrac1{2v}

C7 여러 모수의 점수 검정 ★★ ​

정리 1.2, 따름정리 1.4 · 15분

H0:θ=θ0H_0:\boldsymbol\theta=\boldsymbol\theta_0에서 점수 통계량 R=1n∇ℓ(θ0)′I(θ0)−1∇ℓ(θ0)R=\frac1n\nabla\ell(\boldsymbol\theta_0)\T I(\boldsymbol\theta_0)^{-1}\nabla\ell(\boldsymbol\theta_0)을 생각한다.

  1. (a)

    H0H_0 아래에서 R→Dχ2(p)R\xrightarrow{D}\chi^2(p)임을 보여라.

  2. (b)

    RR은 모수를 바꿔도(연습 C2의 θ=h(η)\boldsymbol\theta=h(\boldsymbol\eta)) 정확히 같은 값임을 보여라.

  3. (c)

    RR을 계산하는 데 MLE가 필요하지 않다는 것이 EM으로 맞추는 모형에서 왜 편리한지 설명하라.

힌트

(a) 정리 1.3의 2와 5회 정리 3.17. (b) sη=A′sθ\mathbf s_{\boldsymbol\eta}=A\T\mathbf s_{\boldsymbol\theta}, Iη=A′IθAI_{\boldsymbol\eta}=A\T I_{\boldsymbol\theta}A.

풀이

(a) U=n−1/2∇ℓ(θ0)→DNp(0,I)\mathbf U=n^{-1/2}\nabla\ell(\boldsymbol\theta_0)\xrightarrow{D}\N_p(\mathbf 0,\allowbreak I)(다변량 중심극한정리, 정리 1.3의 2)이고 R=U′I−1UR=\mathbf U\T I^{-1}\mathbf U는 U\mathbf U의 연속함수이므로 연속사상정리로 W′I−1W\mathbf W\T I^{-1}\mathbf W, W∼Np(0,I)\mathbf W\sim\N_p(\mathbf 0,\allowbreak I)로 분포수렴한다. I−1/2W∼Np(0,1)I^{-1/2}\mathbf W\sim\N_p(\mathbf 0,\allowbreak \mathbf 1)이므로 χ2(p)\chi^2(p)이다(5회 정리 3.17).

(b) ∇ηℓ=A′∇θℓ\nabla_{\boldsymbol\eta}\ell=A\T\nabla_{\boldsymbol\theta}\ell이고 Iη−1=A−1Iθ−1(A′)−1I_{\boldsymbol\eta}^{-1}=A^{-1}I_{\boldsymbol\theta}^{-1}(A\T)^{-1}이므로

∇ηℓ′Iη−1∇ηℓ=∇θℓ′AA−1Iθ−1(A′)−1A′∇θℓ=∇θℓ′Iθ−1∇θℓ.\nabla_{\boldsymbol\eta}\ell\T I_{\boldsymbol\eta}^{-1}\nabla_{\boldsymbol\eta}\ell=\nabla_{\boldsymbol\theta}\ell\T AA^{-1}I_{\boldsymbol\theta}^{-1}(A\T)^{-1}A\T\nabla_{\boldsymbol\theta}\ell=\nabla_{\boldsymbol\theta}\ell\T I_{\boldsymbol\theta}^{-1}\nabla_{\boldsymbol\theta}\ell .

근사 없이 같다.

(c) RR은 θ0\boldsymbol\theta_0에서의 점수와 정보만 쓴다. 숨은 자료가 있으면 점수는 명제 2.5로 E 단계 하나에서 얻고, 수렴이 느린 EM을 끝까지 돌리지 않아도 된다.

C8 비율만 모르는 혼합 ★★ ​

[T4] · 정리 3.2, 3.6 · 20분

두 성분의 밀도 f1f_1, f2f_2를 알고 비율 π\pi만 모르는 혼합 g=πf1+(1−π)f2g=\pi f_1+(1-\pi)f_2에서 관측 y1,…,yny_1,\dots,y_n이 주어졌다.

  1. (a)

    ℓ(π)=∑ilog⁡g(yi)\ell(\pi)=\sum_i\log g(y_i)가 [0,1][0,1]에서 오목임을 보여라.

  2. (b)

    EM의 반복이 πt+1=1n∑iπtf1(yi)πtf1(yi)+(1−πt)f2(yi)\pi_{t+1}=\frac1n\sum_i\frac{\pi_tf_1(y_i)}{\pi_tf_1(y_i)+(1-\pi_t)f_2(y_i)}임을 보여라.

  3. (c)

    ℓ′(1)≥0\ell'(1)\ge0이면 MLE가 π^=1\hat\pi=1임을 보이고, 그 조건을 ∑if2(yi)/f1(yi)≤n\sum_if_2(y_i)/f_1(y_i)\le n으로 바꿔 써라.

  4. (d)

    f1=N(0,1)f_1=\N(0,1), f2=N(2,1)f_2=\N(2,1), y=(0, 0.5, 2)y=(0,\ 0.5,\ 2)이면 π^\hat\pi는 경계에 있는가? EM을 노트북으로 돌려 π^\hat\pi를 소수 넷째 자리까지 구하라.

힌트

(a) ℓ′′(π)=−∑i(f1−f2)2g2≤0\ell''(\pi)=-\sum_i\tfrac{(f_1-f_2)^2}{g^2}\le0. (d) ℓ′(0)\ell'(0)과 ℓ′(1)\ell'(1)의 부호를 먼저 본다.

풀이

(a) ℓ′(π)=∑if1(yi)−f2(yi)g(yi)\ell'(\pi)=\sum_i\tfrac{f_1(y_i)-f_2(y_i)}{g(y_i)}, ℓ′′(π)=−∑i(f1−f2)2g2≤0\ell''(\pi)=-\sum_i\tfrac{(f_1-f_2)^2}{g^2}\le0이다.

(b) 이름표를 숨은 자료로 두면 명제 4.1의 비율 부분과 같다. 책임 ri=πtf1πtf1+(1−πt)f2r_i=\tfrac{\pi_tf_1}{\pi_tf_1+(1-\pi_t)f_2}의 평균이 새 비율이다.

(c) 오목함수이므로 ℓ′(1)≥0\ell'(1)\ge0이면 [0,1][0,1]에서 ℓ\ell은 증가하고 최대점은 1이다. ℓ′(1)=∑if1−f2f1=n−∑if2(yi)/f1(yi)\ell'(1)=\sum_i\tfrac{f_1-f_2}{f_1}=n-\sum_if_2(y_i)/f_1(y_i)이다.

(d) ℓ′(0)=∑(f1−f2)/f2=7.24>0\ell'(0)=\sum(f_1-f_2)/f_2=7.24>0, ℓ′(1)=n−∑f2/f1=−4.89<0\ell'(1)=n-\sum f_2/f_1=-4.89<0이므로 최대점은 내부에 있고 오목성으로 하나뿐이다. EM은 정리 3.2로 ℓ\ell을 늘리고 정류점이 하나뿐이므로 그 점으로 간다. π^=0.6625\hat\pi=0.6625이다.

최종답 (d) π^=0.6625\hat\pi=0.6625

C9 Poisson 혼합의 가능도는 유계다 ★ ​

[T2] · 명제 6.1 · 10분

  1. (a)

    Poisson 혼합 ∑kπk Poi(λk)\sum_k\pi_k\,\mathrm{Poi}(\lambda_k)의 로그가능도가 ∑ilog⁡max⁡λp(yi;λ)\sum_i\log\max_\lambda p(y_i;\lambda) 이하임을 보이고, 정규 혼합(명제 6.1)과 다른 이유를 설명하라.

  2. (b)

    y=(0,1,3)y=(0,1,3)일 때 이 상한 ∑ilog⁡max⁡λe−λλyiyi!\sum_i\log\max_\lambda\frac{e^{-\lambda}\lambda^{y_i}}{y_i!}을 구하라.

힌트

max⁡λe−λλy/y!\max_\lambda e^{-\lambda}\lambda^y/y!의 최대점은 λ=y\lambda=y이다(y=0y=0이면 λ→0\lambda\to0).

풀이

(a) πkp(yi;λk)≤πkmax⁡λp(yi;λ)\pi_kp(y_i;\lambda_k)\le\pi_k\max_\lambda p(y_i;\lambda)를 kk에 대해 더하면 g(yi)≤max⁡λp(yi;λ)≤1g(y_i)\le\max_\lambda p(y_i;\lambda)\le1이다. 정규 혼합의 밀도는 1/(2πσ)1/(\sqrt{2\pi}\sigma)로 끝없이 커질 수 있었다. 확률은 유계이고 밀도는 유계가 아니다. (b) 최댓값은 y=0y=0에서 1, y=1y=1에서 e−1e^{-1}, y=3y=3에서 276e−3\tfrac{27}6e^{-3}이므로 합은 −4+log⁡92≈−2.496-4+\log\tfrac92\approx-2.496이다. 두 성분으로 세 관측을 모두 완벽하게 맞출 수는 없으므로 이 상한에는 닿지 않는다.

최종답 (b) −4+log⁡92≈−2.496-4+\log\tfrac92\approx-2.496

워크북 PDF풀이판 PDF답 확인