수리통계학

테마

10회 · 숨은 변수와 EM · 워크북

B. 빈칸 증명 ​

노트의 단계형 증명을 책을 덮고 다시 쓴다. 같은 정리를 여러 번 만나며 도움이 줄어든다. 1 단계는 주어지고 근거만 빈칸이다. 2 단계의 이름만 주어진다. 3 전략만 주어진다. 근거에는 정리 번호, 앞 회차의 정리, 도구 번호를 쓴다.

B1 EM의 단조성, 근거 채우기 ★ ​

1 · 정리 3.2 · 15분

EM의 반복은 ℓ(θt+1)≥ℓ(θt)\ell(\boldsymbol\theta_{t+1})\ge\ell(\boldsymbol\theta_t)를 만족한다. 각 단계의 근거를 써라.

  1. ℓ(θt+1)−ℓ(θt)=[Q(θt+1∣θt)−Q(θt∣θt)]−[H(θt+1∣θt)−H(θt∣θt)]\ell(\boldsymbol\theta_{t+1})-\ell(\boldsymbol\theta_t)=\bigl[Q(\boldsymbol\theta_{t+1}\mid\boldsymbol\theta_t)-Q(\boldsymbol\theta_t\mid\boldsymbol\theta_t)\bigr]-\bigl[H(\boldsymbol\theta_{t+1}\mid\boldsymbol\theta_t)-H(\boldsymbol\theta_t\mid\boldsymbol\theta_t)\bigr]이다.왜?보조정리 2.4를 θ′=θt\boldsymbol\theta'=\boldsymbol\theta_t로 두 번

  2. 첫 괄호는 0 이상이다.왜?M 단계: θt+1\boldsymbol\theta_{t+1}은 Q(⋅∣θt)Q(\cdot\mid\boldsymbol\theta_t)의 최대점

  3. 둘째 괄호는 −D(k(⋅∣y;θt) ∥ k(⋅∣y;θt+1))-D\bigl(k(\cdot\mid\y;\boldsymbol\theta_t)\,\|\,k(\cdot\mid\y;\boldsymbol\theta_{t+1})\bigr)이다.왜?HH와 DD의 정의

  4. 둘째 괄호는 0 이하이다.왜?Gibbs 부등식, 2회 정리 8.3

  5. ℓ(θt+1)−ℓ(θt)≥0\ell(\boldsymbol\theta_{t+1})-\ell(\boldsymbol\theta_t)\ge0이다.왜?1 2 4

  6. 등호는 QQ가 늘지 않고 k(⋅∣y;θt+1)=k(⋅∣y;θt)k(\cdot\mid\y;\boldsymbol\theta_{t+1})=k(\cdot\mid\y;\boldsymbol\theta_t)일 때뿐이다.왜?Gibbs의 등호 조건

힌트

근거는 짧게 쓴다. 예: “보조정리 2.4”, “2회 정리 8.3”. 둘째 단계는 M 단계가 무엇을 하는지 쓴다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 3.2의 단계형 증명과 같다. 증명에서 M 단계가 쓰인 곳은 둘째 단계뿐이므로, QQ를 늘리기만 하는 일반화 EM에서도 결론은 그대로다(노트 연습 3.4).

B2 귀찮은 모수의 대가, 근거 채우기 ★★ ​

1 · 정리 1.6 · 20분

I≻0I\succ0이면 Iψψ⪰Iψψ−1I^{\psi\psi}\succeq I_{\psi\psi}^{-1}이고 등호는 Iψλ=0I_{\psi\lambda}=\mathbf 0일 때뿐이다. 근거를 채워라. S=Iψψ−IψλIλλ−1IλψS=I_{\psi\psi}-I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}이다.

  1. 모든 u\mathbf u에서 u′IψλIλλ−1Iλψu≥0\mathbf u\T I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}\mathbf u\ge0이다.왜?=(Iλψu)′Iλλ−1(Iλψu)=(I_{\lambda\psi}\mathbf u)\T I_{\lambda\lambda}^{-1}(I_{\lambda\psi}\mathbf u), Iλλ−1≻0I_{\lambda\lambda}^{-1}\succ0

  2. S⪯IψψS\preceq I_{\psi\psi}이다.왜?1과 SS의 정의

  3. A⪰B≻0A\succeq B\succ0이면 A−1⪯B−1A^{-1}\preceq B^{-1}이다.왜?B−1/2AB−1/2⪰1B^{-1/2}AB^{-1/2}\succeq\mathbf 1의 고유값

  4. Iψψ=S−1I^{\psi\psi}=S^{-1}이다.왜?보조정리 1.5

  5. Iψψ⪰Iψψ−1I^{\psi\psi}\succeq I_{\psi\psi}^{-1}이다.왜?2 3 4, S≻0S\succ0

  6. 등호이면 1의 값이 모든 u\mathbf u에서 0이므로 Iλψ=0I_{\lambda\psi}=\mathbf 0이다.왜?Iλλ−1≻0I_{\lambda\lambda}^{-1}\succ0

힌트

3은 행렬의 순서를 고유값의 순서로 바꾸는 단계다. 5에서 A=IψψA=I_{\psi\psi}, B=SB=S로 둔다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 1.6의 단계형 증명과 같다. 셋째 단계의 자세한 논증: C=B−1/2AB−1/2C=B^{-1/2}AB^{-1/2}는 대칭이고 C⪰1C\succeq\mathbf 1이므로 고유값이 모두 1 이상이다. C−1=B1/2A−1B1/2C^{-1}=B^{1/2}A^{-1}B^{1/2}의 고유값은 그 역수이므로 1 이하이고, C−1⪯1C^{-1}\preceq\mathbf 1이다. 양쪽에 B−1/2B^{-1/2}를 곱하면 A−1⪯B−1A^{-1}\preceq B^{-1}이다.

B3 잃어버린 정보의 원리, 근거 채우기 ★★ ​

1 · 정리 3.5 · 20분

J(θ)=Ic(θ∣y)−Im(θ∣y)J(\boldsymbol\theta)=I_c(\boldsymbol\theta\mid\y)-I_m(\boldsymbol\theta\mid\y)이고 Im=Cov⁡(∇log⁡f(y,Z;θ)∣y)I_m=\Cov(\nabla\log f(\y,\allowbreak \Z;\boldsymbol\theta)\mid\y)이다. 근거를 채워라.

  1. 모든 z\z에서 ℓ(θ)=log⁡f(y,z;θ)−log⁡k(z∣y;θ)\ell(\boldsymbol\theta)=\log f(\y,\allowbreak \z;\boldsymbol\theta)-\log k(\z\mid\y;\boldsymbol\theta)이다.왜?보조정리 2.4

  2. −∇2ℓ=−∇2log⁡f+∇2log⁡k-\nabla^2\ell=-\nabla^2\log f+\nabla^2\log k이다.왜?1을 두 번 미분

  3. J(θ)=Ic(θ∣y)−Im(θ∣y)J(\boldsymbol\theta)=I_c(\boldsymbol\theta\mid\y)-I_m(\boldsymbol\theta\mid\y)이다.왜?왼쪽은 z\z에 무관, kk로 평균

  4. −E[∇2log⁡k∣y]=Cov⁡(∇log⁡k∣y)-E[\nabla^2\log k\mid\y]=\Cov(\nabla\log k\mid\y)이다.왜?정리 1.2를 z\z의 밀도 kk에

  5. ∇log⁡k=∇log⁡f−∇ℓ(θ)\nabla\log k=\nabla\log f-\nabla\ell(\boldsymbol\theta)이다.왜?1을 한 번 미분

  6. Im=Cov⁡(∇log⁡f∣y)I_m=\Cov(\nabla\log f\mid\y)이다.왜?∇ℓ\nabla\ell은 z\z에 대해 상수

힌트

4에서 θ\boldsymbol\theta마다 k(⋅∣y;θ)k(\cdot\mid\y;\boldsymbol\theta)가 하나의 확률모형이라는 것을 쓴다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 3.5의 단계형 증명과 같다. 넷째 단계에는 ∫k dz=1\int k\,d\z=1을 적분 기호 아래에서 두 번 미분할 수 있다는 조건이 필요하다 [T6].

B4 EM의 단조성, 단계의 이름만 ★★ ​

2 · 정리 3.2 · 25분

정리 3.2를 증명하라. 단계의 이름만 주어진다. 각 단계 아래에 식과 근거를 써라.

  1. 가능도의 증가를 QQ의 차와 HH의 차로 나눈다

  2. QQ의 차의 부호를 정한다

  3. HH의 차를 Kullback–Leibler 발산으로 쓴다

  4. HH의 차의 부호를 정한다

  5. 결론과 등호 조건

힌트

B1에서 채운 근거를 다시 보지 말고 쓴다. 셋째 단계에서 기댓값이 어느 분포에 대한 것인지 적는다.

풀이

B1의 여섯 단계를 이름에 맞춰 쓰면 된다. 첫 단계는 ℓ(θ)=Q(θ∣θt)−H(θ∣θt)\ell(\boldsymbol\theta)=Q(\boldsymbol\theta\mid\boldsymbol\theta_t)-H(\boldsymbol\theta\mid\boldsymbol\theta_t)를 θt+1\boldsymbol\theta_{t+1}과 θt\boldsymbol\theta_t에서 빼는 것이다. 셋째 단계의 기댓값은 Z∼k(⋅∣y;θt)\Z\sim k(\cdot\mid\y;\boldsymbol\theta_t)에 대한 것이고, 그래서 발산은 D(k(⋅∣y;θt) ∥ k(⋅∣y;θt+1))D\bigl(k(\cdot\mid\y;\boldsymbol\theta_t)\,\|\,k(\cdot\mid\y;\boldsymbol\theta_{t+1})\bigr)의 순서다.

B5 귀찮은 모수의 대가, 단계의 이름만 ★★ ​

2 · 보조정리 1.5, 정리 1.6 · 25분

보조정리 1.5의 Iψψ=S−1I^{\psi\psi}=S^{-1}을 받아들이고 정리 1.6을 증명하라.

  1. IψλIλλ−1IλψI_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}가 양의 준정부호임을 보인다

  2. SS와 IψψI_{\psi\psi}의 순서

  3. 역행렬을 취하면 순서가 뒤집힘을 보인다

  4. 결론

  5. 등호 조건

힌트

셋째 단계는 B−1/2AB−1/2B^{-1/2}AB^{-1/2}의 고유값으로 한다.

풀이

B2의 풀이와 같다. 넷째 단계에서 S≻0S\succ0이 필요하다. 이것은 보조정리 1.5의 증명에서 u≠0\mathbf u\ne\mathbf 0이면 u′Su\mathbf u\T S\mathbf u가 영이 아닌 벡터에서의 II의 이차형식이라는 것으로 나온다.

B6 EM의 단조성, 전략만 ★★ ​

3 · 정리 3.2 · 30분

정리 3.2를 증명하라. 이번에는 명제 3.3(증거 하한)으로 증명하라.

전략 qt=k(⋅∣y;θt)q_t=k(\cdot\mid\y;\boldsymbol\theta_t)로 두면 하한 F(qt,⋅)\mathcal F(q_t,\cdot)가 θt\boldsymbol\theta_t에서 ℓ\ell에 닿는다. M 단계는 이 하한을 올리고, 하한은 어디서나 ℓ\ell 아래에 있다.

힌트

세 줄짜리 부등식 사슬 ℓ(θt+1)≥F(qt,θt+1)≥F(qt,θt)=ℓ(θt)\ell(\boldsymbol\theta_{t+1})\ge\mathcal F(q_t,\allowbreak \boldsymbol\theta_{t+1})\ge\mathcal F(q_t,\allowbreak \boldsymbol\theta_t)=\ell(\boldsymbol\theta_t)의 각 부등호와 등호에 근거를 단다.

풀이

  1. qt=k(⋅∣y;θt)q_t=k(\cdot\mid\y;\boldsymbol\theta_t)로 두면 F(qt,θt)=ℓ(θt)\mathcal F(q_t,\allowbreak \boldsymbol\theta_t)=\ell(\boldsymbol\theta_t)이다.명제 3.3의 등호 조건

  2. F(qt,θ)=Q(θ∣θt)−Eqtlog⁡qt\mathcal F(q_t,\allowbreak \boldsymbol\theta)=Q(\boldsymbol\theta\mid\boldsymbol\theta_t)-E_{q_t}\log q_t이고 둘째 항은 θ\boldsymbol\theta에 무관하다. 따라서 θt+1\boldsymbol\theta_{t+1}은 F(qt,⋅)\mathcal F(q_t,\cdot)의 최대점이고 F(qt,θt+1)≥F(qt,θt)\mathcal F(q_t,\allowbreak \boldsymbol\theta_{t+1})\ge\mathcal F(q_t,\allowbreak \boldsymbol\theta_t)이다.M 단계

  3. ℓ(θt+1)≥F(qt,θt+1)\ell(\boldsymbol\theta_{t+1})\ge\mathcal F(q_t,\allowbreak \boldsymbol\theta_{t+1})이다.명제 3.3

  4. 1–3을 이으면 ℓ(θt+1)≥ℓ(θt)\ell(\boldsymbol\theta_{t+1})\ge\ell(\boldsymbol\theta_t)이다.

첫 증명의 HH의 차는 둘째 증명에서 D(qt∥k(⋅∣y;θt+1))=ℓ(θt+1)−F(qt,θt+1)D(q_t\|k(\cdot\mid\y;\boldsymbol\theta_{t+1}))=\ell(\boldsymbol\theta_{t+1})-\mathcal F(q_t,\allowbreak \boldsymbol\theta_{t+1})로 나타난다. 두 증명은 같은 등식을 다르게 읽은 것이다.

B7 잃어버린 정보의 원리, 전략만 ★★★ ​

3 · 정리 3.5 · 35분

정리 3.5를 증명하라. 그다음 이 결과를 노트 예제 2.2(b)의 유전 연관 자료에 써서 Im=Var⁡(x2∣y)/θ2I_m=\Var(x_2\mid\y)/\theta^2임을 보여라.

전략 ℓ=log⁡f−log⁡k\ell=\log f-\log k를 두 번 미분하고 숨은 자료의 조건부분포로 평균한다. 둘째 등식은 kk가 z\z의 밀도라는 것과 정리 1.2의 두 표현이다.

힌트

유전 연관 자료의 완전 자료 점수는 x2+34θ−381−θ\tfrac{x_2+34}\theta-\tfrac{38}{1-\theta}이고, y\y가 주어지면 확률변수는 x2x_2뿐이다.

풀이

정리 3.5의 증명은 B3의 여섯 단계다. 유전 연관 자료의 완전 자료 점수는 x2+34θ−381−θ\tfrac{x_2+34}\theta-\tfrac{38}{1-\theta}이고, y\y가 주어지면 확률변수는 계수가 1θ\tfrac1\theta인 x2x_2뿐이므로 Im=Var⁡(x2∣y)/θ2I_m=\Var(x_2\mid\y)/\theta^2이다. 노트 연습 2.2의 x2∣y∼b(125,θ2+θ)x_2\mid\y\sim\mathrm b\bigl(125,\allowbreak \tfrac\theta{2+\theta}\bigr)를 넣으면 θ^\hat\theta에서 Im=57.8I_m=57.8이다.

워크북 PDF풀이판 PDF답 확인