수리통계학

테마

16회 · 베이즈의 귀환 · 워크북

B. 빈칸 증명 ​

노트의 단계형 증명을 책을 덮고 다시 쓴다. 같은 정리를 여러 번 만나며 도움이 줄어든다. 1 단계는 주어지고 근거만 빈칸이다. 2 단계의 이름만 주어진다. 3 전략만 주어진다. 근거에는 정의나 정리의 번호, 앞 회차의 결과, 도구 번호를 쓴다.

B1 James–Stein, 근거 채우기 ★★ ​

1 · 정리 5.2 · 20분

X∼Np(θ,I)\X\sim\N_p(\btheta,I), p≥3p\ge3이면 δJS=(1−p−2∥X∥2)X\delta_{\mathrm{JS}}=\bigl(1-\frac{p-2}{\|\X\|^2}\bigr)\X의 위험은 p−(p−2)2E[1/∥X∥2]p-(p-2)^2E[1/\|\X\|^2]이다. 각 단계의 근거를 써라.

  1. g(x)=(p−2)x/∥x∥2\mathbf g(\x)=(p-2)\x/\|\x\|^2로 두면 δJS=X−g(X)\delta_{\mathrm{JS}}=\X-\mathbf g(\X)이다.정의

  2. ∥δJS−θ∥2=∥X−θ∥2−2(X−θ)′g(X)+∥g(X)∥2\|\delta_{\mathrm{JS}}-\btheta\|^2=\|\X-\btheta\|^2-2(\X-\btheta)\T\mathbf g(\X)+\|\mathbf g(\X)\|^2이다.왜?∥u−v∥2\|u-v\|^2의 전개

  3. ∇ ⁣⋅g(x)=(p−2)2/∥x∥2\nabla\!\cdot\mathbf g(\x)=(p-2)^2/\|\x\|^2이다.왜?∂i(xi/∥x∥2)\partial_i(x_i/\|\x\|^2)를 더한다

  4. E[(X−θ)′g(X)]=(p−2)2E[1/∥X∥2]E[(\X-\btheta)\T\mathbf g(\X)]=(p-2)^2E[1/\|\X\|^2]이다.왜?보조정리 5.1과 3

  5. ∥g(X)∥2=(p−2)2/∥X∥2\|\mathbf g(\X)\|^2=(p-2)^2/\|\X\|^2이다.왜?1에서 바로

  6. 기댓값을 더하면 p−2(p−2)2E[⋅]+(p−2)2E[⋅]=p−(p−2)2E[1/∥X∥2]p-2(p-2)^2E[\cdot]+(p-2)^2E[\cdot]=p-(p-2)^2E[1/\|\X\|^2]이다.왜?E∥X−θ∥2=pE\|\X-\btheta\|^2=p

  7. p≥3p\ge3이면 이 기댓값은 양수이고 유한하므로 위험은 pp보다 작다.왜?연습 5.1, 5.3

힌트

3은 몫의 미분 ∂i(xi/∥x∥2)=(∥x∥2−2xi2)/∥x∥4\partial_i(x_i/\|\x\|^2)=(\|\x\|^2-2x_i^2)/\|\x\|^4을 ii에 대해 더한 것이다. 교차항에서 모르는 θ\btheta를 없애는 것이 Stein의 보조정리다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 5.2의 증명과 같다. 3의 합은 ∑i∥x∥2−2xi2∥x∥4=p∥x∥2−2∥x∥2∥x∥4=p−2∥x∥2\sum_i\frac{\|\x\|^2-2x_i^2}{\|\x\|^4}=\frac{p\|\x\|^2-2\|\x\|^2}{\|\x\|^4}=\frac{p-2}{\|\x\|^2}이고, g\mathbf g에는 상수 p−2p-2가 하나 더 곱해져 있다. p≤2p\le2이면 E[1/∥X∥2]=∞E[1/\|\X\|^2]=\infty이고 4의 보조정리 조건도 깨진다.

B2 Metropolis–Hastings, 근거 채우기 ★ ​

1 · 정리 4.5 · 15분

알고리즘 4.4의 전이핵이 π\pi에 대해 상세 균형을 만족함의 증명이다. 근거를 채워라.

  1. x≠yx\neq y이면 k(x,y)=q(x,y)α(x,y)k(x,y)=q(x,y)\alpha(x,y)이다.왜?제안하고 받아들여야 옮긴다

  2. π(x)k(x,y)=min⁡{π(x)q(x,y), π(y)q(y,x)}\pi(x)k(x,\allowbreak y)=\min\bigl\{\pi(x)q(x,\allowbreak y),\allowbreak \ \pi(y)q(y,\allowbreak x)\bigr\}이다.왜?양수 cc에 대해 cmin⁡{a,b}=min⁡{ca,cb}c\min\{a,b\}=\min\{ca,cb\}

  3. 따라서 π(x)k(x,y)=π(y)k(y,x)\pi(x)k(x,y)=\pi(y)k(y,x)이다.왜?오른쪽이 xx, yy에 대칭

  4. x=yx=y의 제자리 덩어리는 상세 균형을 어기지 않는다.왜?양변이 같은 항

  5. π\pi는 정상분포다.왜?정리 4.3

힌트

2는 α\alpha의 정의에 π(x)q(x,y)\pi(x)q(x,y)를 곱해 min⁡\min 안으로 넣은 것이다.

풀이

빈칸의 빨간 글씨가 근거다. 정규화 상수가 비에서 지워진다는 것은 α\alpha의 정의에서 이미 쓰였다. 상세 균형은 국소적인 조건이라 쌍마다 확인하면 되고, 정상분포는 정리 4.3이 준다.

B3 Stein의 보조정리, 근거 채우기 ★★ ​

1 · 보조정리 5.1 · 20분

Z∼N(0,1)Z\sim\N(0,1), gg 절대연속, E∣g′(Z)∣<∞E|g^\prime(Z)|<\infty이면 E[Zg(Z)]=E[g′(Z)]E[Zg(Z)]=E[g^\prime(Z)]임의 증명이다. 근거를 채워라.

  1. z>0z>0에서 φ(z)=∫z∞uφ(u) du\varphi(z)=\int_z^\infty u\varphi(u)\,du이다.왜?φ′(u)=−uφ(u)\varphi^\prime(u)=-u\varphi(u), 미적분의 기본정리

  2. ∫0∞g′(z)φ(z) dz=∫0∞uφ(u)∫0ug′(z) dz du\int_0^\infty g^\prime(z)\varphi(z)\,dz=\int_0^\infty u\varphi(u)\int_0^ug^\prime(z)\,dz\,du이다.왜?Fubini [T6], E∣g′(Z)∣<∞E|g^\prime(Z)|<\infty

  3. =∫0∞uφ(u)(g(u)−g(0))du=\int_0^\infty u\varphi(u)\bigl(g(u)-g(0)\bigr)du이다.왜?gg가 절대연속

  4. 음의 쪽도 같아 E[g′(Z)]=E[Z(g(Z)−g(0))]E[g^\prime(Z)]=E[Z(g(Z)-g(0))]이다.왜?z<0z<0에서 φ(z)=−∫−∞zuφ(u)du\varphi(z)=-\int_{-\infty}^zu\varphi(u)du

  5. =E[Zg(Z)]=E[Zg(Z)]이다.왜?EZ=0EZ=0

힌트

2에서 적분 영역 {0<z<u}\{0<z<u\}를 zz 먼저에서 uu 먼저로 바꿔 읽는다.

풀이

빈칸의 빨간 글씨가 근거다. 2의 Fubini를 정당화하는 절댓값의 이중적분은 ∫0∞∣g′(z)∣φ(z) dz\int_0^\infty|g^\prime(z)|\varphi(z)\,dz이므로 가정이 바로 그 조건이다. 평균이 θ\theta이면 g(⋅+θ)g(\cdot+\theta)에 같은 증명을 쓴다.

B4 James–Stein, 단계의 이름만 ★★ ​

2 · 정리 5.2 · 25분

정리 5.2를 증명하라. 단계의 이름만 주어진다. 각 단계 아래에 식과 근거를 써라.

  1. δJS\delta_{\mathrm{JS}}를 X\X에서 함수 g\mathbf g를 뺀 꼴로 쓴다

  2. 손실을 세 항으로 전개한다

  3. g\mathbf g의 발산을 계산한다

  4. 교차항을 Stein의 보조정리로 바꾼다

  5. 기댓값을 모아 위험을 쓴다

  6. p≥3p\ge3에서 위험이 pp보다 작음을 결론짓는다

힌트

B1에서 채운 근거를 다시 보지 말고 쓴다. 넷째 단계에서 왜 θ\btheta가 사라지는지 한 문장으로 적는다.

풀이

  1. g(x)=(p−2)x/∥x∥2\mathbf g(\x)=(p-2)\x/\|\x\|^2, δJS=X−g(X)\delta_{\mathrm{JS}}=\X-\mathbf g(\X).정의

  2. ∥δJS−θ∥2=∥X−θ∥2−2(X−θ)′g+∥g∥2\|\delta_{\mathrm{JS}}-\btheta\|^2=\|\X-\btheta\|^2-2(\X-\btheta)\T\mathbf g+\|\mathbf g\|^2.전개

  3. ∇ ⁣⋅g=(p−2)∑i∥x∥2−2xi2∥x∥4=(p−2)2∥x∥2\nabla\!\cdot\mathbf g=(p-2)\sum_i\frac{\|\x\|^2-2x_i^2}{\|\x\|^4}=\frac{(p-2)^2}{\|\x\|^2}.몫의 미분

  4. E[(X−θ)′g(X)]=E[∇ ⁣⋅g(X)]E[(\X-\btheta)\T\mathbf g(\X)]=E[\nabla\!\cdot\mathbf g(\X)]에는 θ\btheta가 없다.보조정리 5.1

  5. R=p−2(p−2)2E∥X∥−2+(p−2)2E∥X∥−2=p−(p−2)2E∥X∥−2R=p-2(p-2)^2E\|\X\|^{-2}+(p-2)^2E\|\X\|^{-2}=p-(p-2)^2E\|\X\|^{-2}.E∥X−θ∥2=pE\|\X-\btheta\|^2=p

  6. 0<E∥X∥−2≤1p−2<∞0<E\|\X\|^{-2}\le\frac1{p-2}<\infty이므로 R<pR<p.연습 5.1, 5.3

B5 Metropolis–Hastings, 단계의 이름만 ★★ ​

2 · 정리 4.5 · 25분

정리 4.5를 증명하라. 단계의 이름만 주어진다.

  1. 옮기는 확률을 제안과 받아들임으로 쓴다

  2. π(x)\pi(x)를 받아들임 확률의 min⁡\min 안으로 넣는다

  3. 대칭에서 상세 균형을 읽는다

  4. 제자리 덩어리를 따로 본다

  5. 정상분포를 결론짓는다

  6. π(x)q(x,y)=0\pi(x)q(x,y)=0인 경우를 따진다

힌트

마지막 단계: π(y)=0\pi(y)=0인 제안은 α=0\alpha=0으로 거절되므로 연쇄는 π>0\pi>0인 곳에만 머문다.

풀이

처음 다섯 단계는 B2의 풀이와 같다. 여섯째 단계: 연쇄가 π(x)>0\pi(x)>0인 점에서 출발하면, π(y)=0\pi(y)=0인 제안은 α(x,y)=0\alpha(x,y)=0으로 거절되므로 그 뒤로도 π>0\pi>0인 점에만 있다. π(x)q(x,y)=0\pi(x)q(x,y)=0이고 π(y)q(y,x)>0\pi(y)q(y,x)>0인 쌍에서는 α(y,x)=min⁡{1,0}=0\alpha(y,x)=\min\{1,0\}=0이라 π(x)k(x,y)=0=π(y)k(y,x)\pi(x)k(x,y)=0=\pi(y)k(y,x)이다. 양쪽이 모두 0이면 확인할 것이 없다.

B6 James–Stein, 전략만 ★★★ ​

3 · 정리 5.2 · 30분

정리 5.2를 증명하라. 원점의 특이점이 보조정리 5.1의 조건을 깨지 않는 이유도 밝혀라.

전략 δJS=X−g(X)\delta_{\mathrm{JS}}=\X-\mathbf g(\X)로 쓰고 손실을 전개한다. 모르는 θ\btheta가 들어 있는 교차항을 Stein의 보조정리로 θ\btheta가 없는 기댓값으로 바꾼다.

힌트

특이점: ∣∂igi(x)∣≤3(p−2)/∥x∥2|\partial_ig_i(\x)|\le3(p-2)/\|\x\|^2이고, ∥x∥−2\|\x\|^{-2}을 원점 근처 공에서 적분하면 극좌표로 ∫01rp−3dr\int_0^1r^{p-3}dr이다 [T7].

풀이

B4의 풀이와 같다. 조건: g\mathbf g의 각 좌표는 원점을 지나지 않는 거의 모든 좌표 직선 위에서 매끄럽고, ∣∂igi(x)∣=(p−2)∣∥x∥2−2xi2∣∥x∥4≤3(p−2)∥x∥2|\partial_ig_i(\x)|=(p-2)\frac{|\|\x\|^2-2x_i^2|}{\|\x\|^4}\le\frac{3(p-2)}{\|\x\|^2}이다. ∫∥x∥≤1∥x∥−2dx\int_{\|\x\|\le1}\|\x\|^{-2}d\x는 극좌표로 cp∫01r−2rp−1dr=cp∫01rp−3drc_p\int_0^1r^{-2}r^{p-1}dr=c_p\int_0^1r^{p-3}dr이고 p≥3p\ge3이면 유한하다. 정규밀도는 유계이므로 E∣∂igi(X)∣<∞E|\partial_ig_i(\X)|<\infty이다.

B7 Stein의 보조정리, 전략만 ★★★ ​

3 · 보조정리 5.1 · 30분

보조정리 5.1의 1차원 판을 평균이 θ\theta인 경우까지 증명하라. Fubini를 쓰는 곳에서 그 조건을 확인하라.

전략 부분적분을 Fubini로 한다. 정규밀도를 φ(z)=∫z∞uφ(u) du\varphi(z)=\int_z^\infty u\varphi(u)\,du로 쓰면 E[g′(Z)]E[g^\prime(Z)]는 이중적분이 되고, 적분 순서를 바꾸면 g′g^\prime의 적분이 gg로 돌아온다.

힌트

평균 θ\theta는 h(u)=g(u+θ)h(u)=g(u+\theta)로 옮긴다. 조건 확인은 ∫ ⁣ ⁣∫∣g′(z)∣uφ(u)1{0<z<u} dz du\int\!\!\int|g^\prime(z)|u\varphi(u)\mathbf 1\{0<z<u\}\,dz\,du가 유한한지 보는 것이다.

풀이

Z=θ+WZ=\theta+W, W∼N(0,1)W\sim\N(0,1), h(w)=g(w+θ)h(w)=g(w+\theta)로 두면 h′(w)=g′(w+θ)h^\prime(w)=g^\prime(w+\theta)이고 주장은 E[Wh(W)]=E[h′(W)]E[Wh(W)]=E[h^\prime(W)]이다. 이것을 B3의 단계로 증명한다. Fubini의 조건: 양의 쪽에서 ∫0∞∫0u∣h′(z)∣uφ(u) dz du=∫0∞∣h′(z)∣∫z∞uφ(u) du dz=∫0∞∣h′(z)∣φ(z) dz≤E∣h′(W)∣<∞\int_0^\infty\int_0^u|h^\prime(z)|u\varphi(u)\,dz\,du=\int_0^\infty|h^\prime(z)|\int_z^\infty u\varphi(u)\,du\,dz=\int_0^\infty|h^\prime(z)|\varphi(z)\,dz\le E|h^\prime(W)|<\infty이다. 음의 쪽도 같다. 절대연속성은 ∫0uh′=h(u)−h(0)\int_0^uh^\prime=h(u)-h(0)에만 쓰인다.

워크북 PDF풀이판 PDF답 확인