수리통계학

테마

10회 · 숨은 변수와 EM · 노트

2 보이지 않는 자료의 가능도 ​

역사 “보이지 않는 것을 채워 넣고 다시 추정한다”는 생각은 여러 번 따로 태어났다. McKendrick(1926)은 전염병 자료에서 관측되지 않은 칸을 채우며 모수를 고쳐 갔고, Healy와 Westmacott(1956)는 실험 설계에서 빠진 관측값을 같은 방법으로 메웠다. Hartley(1958)는 불완전한 셈 자료의 가능도를 이렇게 최대화했고, Baum과 동료들(1970)은 은닉 Markov 모형에서 같은 반복을 찾아 음성 인식의 바탕을 놓았다. Orchard와 Woodbury(1972), Sundberg(1974)는 “잃어버린 정보”의 원리를 정리했다. Dempster, Laird, Rubin(1977)은 이 모든 것이 하나의 알고리즘임을 보이고 EM이라는 이름을 붙였다. 그들의 첫 예제는 Rao(1965)의 교과서에 나온 유전 연관 자료였다.

2.1 완전 자료와 관측 자료 ​

정의 2.1 (불완전 자료의 가능도) 완전 자료 (Y,Z)(\Y,\Z)의 밀도를 f(y,z;θ)f(\y,\z;\boldsymbol\theta)라 하자. Y=y\Y=\y만 관측하면 가능도는 숨은 자료를 적분(이산이면 합)해 없앤

L(θ)=g(y;θ)=∫f(y,z;θ) dz,ℓ(θ)=log⁡g(y;θ)L(\boldsymbol\theta)=g(\y;\boldsymbol\theta)=\int f(\y,\z;\boldsymbol\theta)\,d\z,\qquad\ell(\boldsymbol\theta)=\log g(\y;\boldsymbol\theta)

이다. 관측이 주어질 때 숨은 자료의 조건부 밀도는 k(z∣y;θ)=f(y,z;θ)/g(y;θ)k(\z\mid\y;\boldsymbol\theta)=f(\y,\allowbreak \z;\boldsymbol\theta)/g(\y;\boldsymbol\theta)이다. ℓc(θ)=log⁡f(y,z;θ)\ell_c(\boldsymbol\theta)=\log f(\y,\allowbreak \z;\boldsymbol\theta)를 완전 자료 로그가능도라 한다.

어려움은 적분이 로그 안에 있다는 데 있다. 완전 자료가 있으면 ℓc\ell_c는 대개 다루기 쉽다(지수족이면 충분통계량의 함수다). 관측 자료의 ℓ\ell은 합의 로그라서 미분이 얽힌다.

예제 2.2 (숨은 자료의 네 얼굴) 

  1. (a)

    혼합분포. Zi∈{1,…,K}Z_i\in\{1,\dots,K\}는 관측 YiY_i가 나온 성분이다. P(Zi=k)=πkP(Z_i=k)=\pi_k, Yi∣Zi=k∼fk(⋅;θk)Y_i\mid Z_i=k\sim f_k(\cdot;\boldsymbol\theta_k). 관측 가능도는 ∏i∑kπkfk(yi;θk)\prod_i\sum_k\pi_kf_k(y_i;\boldsymbol\theta_k)이고, 이름표를 알면 ℓc=∑i∑k1{zi=k}[log⁡πk+log⁡fk(yi;θk)]\ell_c=\sum_i\sum_k1\{z_i=k\}\bigl[\log\pi_k+\log f_k(y_i;\boldsymbol\theta_k)\bigr]로 성분마다 따로 떨어진다.

  2. (b)

    유전 연관. 197마리의 동물이 네 범주에 y=(125,18,20,34)\y=(125,18,20,34)로 나뉘었고, 범주의 확률은 (12+θ4, 1−θ4, 1−θ4, θ4)\bigl(\tfrac12+\tfrac\theta4,\allowbreak \ \tfrac{1-\theta}4,\allowbreak \ \tfrac{1-\theta}4,\allowbreak \ \tfrac\theta4\bigr)이다. 첫 범주를 확률 12\tfrac12과 θ4\tfrac\theta4의 두 칸 (x1,x2)(x_1,x_2)로 나눴다고 보면 숨은 자료는 x2x_2이고, 완전 자료에서 θ\theta는 x2+y4x_2+y_4번 성공, y2+y3y_2+y_3번 실패한 이항 모형의 비율이 된다.

  3. (c)

    중도절단. 수명 TiT_i를 시각 cc까지만 지켜보면 Ti>cT_i>c인 개체는 “cc보다 길다”는 것만 안다. 숨은 자료는 절단된 개체의 실제 수명이다.

  4. (d)

    임의효과. Xij=μi+εijX_{ij}=\mu_i+\varepsilon_{ij}에서 사람마다의 평균 μi\mu_i를 관측하지 못하는 확률변수 μi∼iidN(m,τ2)\mu_i\iid\N(m,\tau^2)로 본다. 9회의 Neyman–Scott 문제를 이렇게 바꾸면 모수의 수가 nn과 함께 늘지 않는다(7절).

예제 2.3 (유전 연관 자료의 MLE) 관측 로그가능도는 ℓ(θ)=125log⁡(2+θ)+38log⁡(1−θ)+34log⁡θ+상수\ell(\theta)=125\log(2+\theta)+38\log(1-\theta)+34\log\theta+\text{상수}이고, 가능도 방정식 1252+θ−381−θ+34θ=0\tfrac{125}{2+\theta}-\tfrac{38}{1-\theta}+\tfrac{34}\theta=0에 분모를 곱하면 197θ2−15θ−68=0197\theta^2-15\theta-68=0이 된다(연습 2.1). 양의 근은 θ^=15+53809394=0.6268\hat\theta=\tfrac{15+\sqrt{53809}}{394}=0.6268이다. 닫힌 꼴이 있으므로 EM이 필요하지 않지만, 무엇이 일어나는지 숫자로 하나하나 확인할 수 있어서 3절의 시험대로 쓴다.

2.2 가능도의 분해 ​

보조정리 2.4 (가능도의 분해) k(z∣y;θ)>0k(\z\mid\y;\boldsymbol\theta)>0인 모든 z\z에서 ℓ(θ)=log⁡f(y,z;θ)−log⁡k(z∣y;θ)\ell(\boldsymbol\theta)=\log f(\y,\allowbreak \z;\boldsymbol\theta)-\log k(\z\mid\y;\boldsymbol\theta)이다. 따라서 임의의 θ′\boldsymbol\theta'에 대해

ℓ(θ)=Q(θ∣θ′)−H(θ∣θ′),Q(θ∣θ′)=Eθ′[log⁡f(y,Z;θ)∣y],H(θ∣θ′)=Eθ′[log⁡k(Z∣y;θ)∣y].\ell(\boldsymbol\theta)=Q(\boldsymbol\theta\mid\boldsymbol\theta')-H(\boldsymbol\theta\mid\boldsymbol\theta'),\qquad \begin{aligned} Q(\boldsymbol\theta\mid\boldsymbol\theta')&=E_{\boldsymbol\theta'}\bigl[\log f(\y,\Z;\boldsymbol\theta)\bigm|\y\bigr],\\ H(\boldsymbol\theta\mid\boldsymbol\theta')&=E_{\boldsymbol\theta'}\bigl[\log k(\Z\mid\y;\boldsymbol\theta)\bigm|\y\bigr]. \end{aligned}

기댓값은 Z∼k(⋅∣y;θ′)\Z\sim k(\cdot\mid\y;\boldsymbol\theta')에 대한 것이다.

증명 첫 등식은 kk의 정의 f=g⋅kf=g\cdot k에 로그를 취한 것이다. 왼쪽은 z\z에 의존하지 않으므로 양변을 k(z∣y;θ′)k(\z\mid\y;\boldsymbol\theta')로 평균해도 그대로다.

QQ는 “지금의 추정값 θ′\boldsymbol\theta'로 숨은 자료를 추측했을 때의 완전 자료 로그가능도의 기댓값”이다. 3절의 EM은 이 QQ를 θ\boldsymbol\theta에 대해 최대화한다. 분해의 쓸모는 다음 두 사실에서 나온다. HH는 θ=θ′\boldsymbol\theta=\boldsymbol\theta'에서 최대이고(Gibbs, 3절), 점수는 완전 자료 점수의 조건부 기댓값이다.

명제 2.5 (점수의 항등식) 적분과 미분의 순서를 바꿀 수 있으면

∇ℓ(θ)=Eθ[∇θlog⁡f(y,Z;θ)∣y]=∇θQ(θ∣θ′)∣θ′=θ.\nabla\ell(\boldsymbol\theta)=E_{\boldsymbol\theta}\bigl[\nabla_{\boldsymbol\theta}\log f(\y,\Z;\boldsymbol\theta)\bigm|\y\bigr]=\nabla_{\boldsymbol\theta}Q(\boldsymbol\theta\mid\boldsymbol\theta')\Bigr|_{\boldsymbol\theta'=\boldsymbol\theta}.

증명 전략 관측 밀도 gg를 완전 밀도의 적분으로 쓰고 적분 기호 아래에서 미분한다 [T6]. 그다음 f/g=kf/g=k로 읽으면 조건부 기댓값이 된다. 단계별 증명은 연습 2.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

명제는 “보이지 않는 자료의 점수는, 볼 수 있었다면의 점수를 지금 아는 것으로 평균한 것”이라고 말한다. 혼합분포에서는 ∂ℓ∂μk=∑irikyi−μkσk2\tfrac{\partial\ell}{\partial\mu_k}=\sum_ir_{ik}\tfrac{y_i-\mu_k}{\sigma_k^2}이다. 여기서 rik=P(Zi=k∣yi)r_{ik}=P(Z_i=k\mid y_i)는 관측 ii가 성분 kk에서 왔을 사후확률이다(연습 2.4). 이름표를 알면 성분 kk의 관측들만 더할 것을, 모르니 사후확률로 나눠 더한다.

연습문제

연습 2.1 (유전 연관의 이차방정식 ★) 예제 2.3의 가능도 방정식이 197θ2−15θ−68=0197\theta^2-15\theta-68=0이 됨을 보이고 θ^=0.6268\hat\theta=0.6268을 확인하라.

풀이

1252+θ−381−θ+34θ=0\tfrac{125}{2+\theta}-\tfrac{38}{1-\theta}+\tfrac{34}\theta=0에 θ(2+θ)(1−θ)\theta(2+\theta)(1-\theta)를 곱하면 125θ(1−θ)−38θ(2+θ)+34(2+θ)(1−θ)=15θ−197θ2+68=0125\theta(1-\theta)-38\theta(2+\theta)+34(2+\theta)(1-\theta)=15\theta-197\theta^2+68=0. 근은 15±225+4⋅197⋅68394=15±231.97394\tfrac{15\pm\sqrt{225+4\cdot197\cdot68}}{394}=\tfrac{15\pm231.97}{394}, 양의 근 0.62680.6268.

연습 2.2 (숨은 칸의 조건부분포 ★) 유전 연관 자료에서 x2∣y∼b(125, θ2+θ)x_2\mid\y\sim\mathrm b\bigl(125,\allowbreak \ \tfrac{\theta}{2+\theta}\bigr)임을 보이고, 완전 자료의 MLE가 x2+34x2+72\tfrac{x_2+34}{x_2+72}임을 보여라.

풀이

첫 범주의 개체는 확률 12:θ4\tfrac12:\tfrac\theta4의 비로 두 칸에 나뉘므로, 첫 범주 125마리가 주어지면 x2∼b(125,θ/41/2+θ/4)=b(125,θ2+θ)x_2\sim\mathrm b\bigl(125,\allowbreak \tfrac{\theta/4}{1/2+\theta/4}\bigr)=\mathrm b\bigl(125,\allowbreak \tfrac\theta{2+\theta}\bigr). 완전 자료 가능도는 (θ/4)x2+34((1−θ)/4)38×(\theta/4)^{x_2+34}((1-\theta)/4)^{38}\times상수이므로 MLE는 x2+34x2+34+38\tfrac{x_2+34}{x_2+34+38}.

연습 2.3 (중도절단된 지수분포 ★★) Ti∼iidExpT_i\iid\mathrm{Exp} (평균 θ\theta)를 시각 cc에서 절단해 yi=min⁡(Ti,c)y_i=\min(T_i,c)와 절단 여부를 본다. 절단되지 않은 개체가 rr개이면 관측 가능도가 θ−re−∑yi/θ\theta^{-r}e^{-\sum y_i/\theta}이고 MLE가 ∑yi/r\sum y_i/r임을 보여라. 무기억성(4회)으로 Ti∣Ti>cT_i\mid T_i>c의 분포가 c+Exp(θ)c+\mathrm{Exp}(\theta)임을 쓰라.

풀이

절단되지 않은 개체는 밀도 1θe−yi/θ\tfrac1\theta e^{-y_i/\theta}, 절단된 개체는 P(T>c)=e−c/θ=e−yi/θP(T>c)=e^{-c/\theta}=e^{-y_i/\theta}를 준다. 곱은 θ−re−∑yi/θ\theta^{-r}e^{-\sum y_i/\theta}이고, 미분하면 θ^=∑yi/r\hat\theta=\sum y_i/r. 무기억성: P(T>c+s∣T>c)=e−s/θP(T>c+s\mid T>c)=e^{-s/\theta}이므로 T−c∣T>c∼Exp(θ)T-c\mid T>c\sim\mathrm{Exp}(\theta).

연습 2.4 (혼합의 점수 ★★) 정규 혼합에서 ∂ℓ∂μk=∑irikyi−μkσk2\tfrac{\partial\ell}{\partial\mu_k}=\sum_ir_{ik}\tfrac{y_i-\mu_k}{\sigma_k^2}를 직접 미분으로 보이고, 명제 2.5로도 보여라.

풀이

ℓ=∑ilog⁡∑jπjφ(yi;μj,σj2)\ell=\sum_i\log\sum_j\pi_j\varphi(y_i;\mu_j,\allowbreak \sigma_j^2)을 μk\mu_k로 미분하면 ∑iπkφk(yi)∑jπjφj(yi)⋅yi−μkσk2=∑irikyi−μkσk2\sum_i\tfrac{\pi_k\varphi_k(y_i)}{\sum_j\pi_j\varphi_j(y_i)}\cdot\tfrac{y_i-\mu_k}{\sigma_k^2}=\sum_ir_{ik}\tfrac{y_i-\mu_k}{\sigma_k^2}. 명제 2.5로는 완전 자료 점수 ∑i1{Zi=k}yi−μkσk2\sum_i1\{Z_i=k\}\tfrac{y_i-\mu_k}{\sigma_k^2}의 조건부 기댓값이고, E[1{Zi=k}∣yi]=rikE[1\{Z_i=k\}\mid y_i]=r_{ik}이다.

연습 2.5 (묶음 자료 ★★) Pearson의 게는 0.004 폭의 칸으로 묶여 있다. 정규 N(μ,σ2)\N(\mu,\sigma^2)에서 칸 (a,b](a,b]에 든 관측의 조건부 평균이 μ+σφ(α)−φ(β)Φ(β)−Φ(α)\mu+\sigma\tfrac{\varphi(\alpha)-\varphi(\beta)}{\Phi(\beta)-\Phi(\alpha)} (α=a−μσ\alpha=\tfrac{a-\mu}\sigma, β=b−μσ\beta=\tfrac{b-\mu}\sigma)임을 보여라. 묶음 자료의 EM에서 E 단계가 계산하는 양이다.

풀이

X=μ+σUX=\mu+\sigma U, U∼N(0,1)U\sim\N(0,1)이면 E[U∣α<U≤β]=∫αβuφ(u)duΦ(β)−Φ(α)E[U\mid\alpha<U\le\beta]=\tfrac{\int_\alpha^\beta u\varphi(u)du}{\Phi(\beta)-\Phi(\alpha)}이고 uφ(u)=−φ′(u)u\varphi(u)=-\varphi'(u)이므로 분자는 φ(α)−φ(β)\varphi(\alpha)-\varphi(\beta).

연습 2.6 (점수의 항등식 증명 ★★ 유도형) 명제 2.5를 다음 순서로 증명하라.

  1. (a)

    g(y;θ)=∫f(y,z;θ) dzg(\y;\boldsymbol\theta)=\int f(\y,\allowbreak \z;\boldsymbol\theta)\,d\z를 적분 기호 아래에서 미분해 ∇g=∫(∇log⁡f) f dz\nabla g=\int(\nabla\log f)\,f\,d\z를 보여라. 이 교환에 필요한 조건을 [T6]의 말로 적어라.

  2. (b)

    ∇ℓ=∇g/g\nabla\ell=\nabla g/g에 (a)를 넣고 f/g=kf/g=k를 써서 첫 등식을 얻어라.

  3. (c)

    Q(θ∣θ′)Q(\boldsymbol\theta\mid\boldsymbol\theta')에서 가중치 k(⋅∣y;θ′)k(\cdot\mid\y;\boldsymbol\theta')는 θ\boldsymbol\theta에 의존하지 않는다. 이것으로 둘째 등식을 얻어라.

  4. (d)

    유전 연관 자료(예제 2.3)의 완전 자료 점수는 x2+34θ−381−θ\tfrac{x_2+34}\theta-\tfrac{38}{1-\theta}이다. 그 조건부 기댓값이 관측 점수 1252+θ−381−θ+34θ\tfrac{125}{2+\theta}-\tfrac{38}{1-\theta}+\tfrac{34}\theta와 같음을 확인하라.

풀이

(a) θ\boldsymbol\theta의 한 근방에서 ∥∇f(y,z;θ)∥≤G(z)\|\nabla f(\y,\allowbreak \z;\boldsymbol\theta)\|\le G(\z), ∫G dz<∞\int G\,d\z<\infty인 GG가 있으면 지배수렴으로 미분과 적분의 순서를 바꿀 수 있다 [T6]. 그러면 ∇g=∫∇f dz=∫(∇log⁡f) f dz\nabla g=\int\nabla f\,d\z=\int(\nabla\log f)\,f\,d\z이다. (b) ∇ℓ=∇gg=∫(∇log⁡f)fg dz=∫∇log⁡f(y,z;θ) k(z∣y;θ) dz=Eθ[∇log⁡f(y,Z;θ)∣y]\nabla\ell=\tfrac{\nabla g}g=\int(\nabla\log f)\tfrac fg\,d\z=\int\nabla\log f(\y,\allowbreak \z;\boldsymbol\theta)\,k(\z\mid\y;\boldsymbol\theta)\,d\z=E_{\boldsymbol\theta}[\nabla\log f(\y,\allowbreak \Z;\boldsymbol\theta)\mid\y]. (c) ∇θQ(θ∣θ′)=∫∇log⁡f(y,z;θ) k(z∣y;θ′) dz\nabla_{\boldsymbol\theta}Q(\boldsymbol\theta\mid\boldsymbol\theta')=\int\nabla\log f(\y,\allowbreak \z;\boldsymbol\theta)\,k(\z\mid\y;\boldsymbol\theta')\,d\z이다. 가중치가 θ\boldsymbol\theta에 의존하지 않으므로 미분이 log⁡f\log f에만 걸린다. θ′=θ\boldsymbol\theta'=\boldsymbol\theta로 두면 (b)의 식이다. (d) 연습 2.2로 E[x2∣y]=125θ2+θE[x_2\mid\y]=\tfrac{125\theta}{2+\theta}이다. 완전 자료 점수는 x2x_2에 대해 일차식이므로 E[x2+34θ∣y]−381−θ=1252+θ+34θ−381−θE\bigl[\tfrac{x_2+34}\theta\bigm|\y\bigr]-\tfrac{38}{1-\theta}=\tfrac{125}{2+\theta}+\tfrac{34}\theta-\tfrac{38}{1-\theta}이고, 관측 점수와 같다.

이 절을 PDF로 보기 (9쪽)노트북 2절
이 회차에서 읽은 절 0개 · 회차 차례