16회 · 베이즈의 귀환 · 노트

5 Stein의 역설

역사 1955년 Berkeley의 제3회 수리통계 심포지엄에서 Charles Stein은 정규 평균 $p$개를 동시에 추정할 때 $p\ge3$이면 표본평균이 허용적이지 않다는 것을 보였다. 모든 곳에서 표본평균보다 위험이 작은 추정량이 있다는 것이다. 표본평균은 불편이고, 최대가능도이고, 최소분산이고, minimax였다. 아무도 믿으려 하지 않았다. 6년 뒤 Stein은 대학원생 Willard James와 함께 그런 추정량을 명시적으로 적었다(1961). 같은 1955년 심포지엄에서 Herbert Robbins는 “경험적 Bayes”를 발표했다. 많은 비슷한 문제를 함께 풀면 사전분포를 자료에서 추정할 수 있다는 생각이었다. 두 생각이 같은 것임을 보인 것은 1970년대 Bradley Efron과 Carl Morris였다. Stigler(1990)는 여기에 한 줄을 더했다. James–Stein 추정량은 Galton의 회귀다.

이 절에서 $\X\sim\N_p(\btheta,I_p)$이고 손실은 $\|\delta-\btheta\|^2=\sum_i(\delta_i-\theta_i)^2$이다. $\X$ 자신의 위험은 $E\|\X-\btheta\|^2=p$로 $\btheta$에 무관하다.

5.1 Stein의 보조정리와 James–Stein 정리

보조정리 5.1 (Stein의 보조정리) $Z\sim\N(\theta,1)$이고 $g$가 절대연속이며 $E|g^\prime(Z)|<\infty$이면 $E[(Z-\theta)g(Z)]=E[g^\prime(Z)]$이다. 다차원에서 $\X\sim\N_p(\btheta,I)$이고 $\mathbf g:\mathbb R^p\to\mathbb R^p$가 적당히 매끄러우면 $E[(\X-\btheta)\T\mathbf g(\X)]=E[\nabla\!\cdot\mathbf g(\X)]$이다.

증명 전략 부분적분을 Fubini로 한다. 정규밀도를 $\varphi(z)=\int_z^\infty u\varphi(u)\,du$로 쓰면 $E[g^\prime(Z)]$는 이중적분이 되고, 적분 순서를 바꾸면 $g^\prime$의 적분이 $g$로 돌아온다.

1. $Z-\theta\sim\N(0,1)$이고 $g$ 대신 $g(\cdot+\theta)$를 쓰면 되므로 $\theta=0$으로 둔다.평행이동

2. 표준정규밀도는 $\varphi^\prime(u)=-u\varphi(u)$이므로 $z>0$에서 $\varphi(z)=\int_z^\infty u\varphi(u)\,du$, $z<0$에서 $\varphi(z)=-\int_{-\infty}^zu\varphi(u)\,du$이다.미적분의 기본정리, $\varphi(\pm\infty)=0$

3. 양의 쪽에서 적분 순서를 바꾼다.

   $$\int_0^\infty g^\prime(z)\varphi(z)\,dz=\int_0^\infty g^\prime(z)\int_z^\infty u\varphi(u)\,du\,dz=\int_0^\infty u\varphi(u)\int_0^ug^\prime(z)\,dz\,du .$$

   Fubini [T6]

4. $g$가 절대연속이므로 $\int_0^ug^\prime(z)\,dz=g(u)-g(0)$이고, 양의 쪽은 $\int_0^\infty u\varphi(u)\bigl(g(u)-g(0)\bigr)du$이다.절대연속의 정의

5. 음의 쪽도 같은 계산으로 $\int_{-\infty}^0g^\prime\varphi=\int_{-\infty}^0u\varphi(u)\bigl(g(u)-g(0)\bigr)du$이다.2의 둘째 식

6. 더하면 $E[g^\prime(Z)]=E[Z(g(Z)-g(0))]=E[Zg(Z)]$이다.$EZ=0$

7. 다차원에서는 좌표 $i$마다 나머지 좌표를 고정하고 6을 $X_i$에 쓴 뒤, 나머지 좌표에 대해 기댓값을 취해 $i$에 대해 더한다.독립, 3회 정리 2.5

조건 확인 3에서 적분 순서를 바꾸려면 피적분함수의 절댓값을 이중으로 적분한 값이 유한해야 한다. 그 값은 $\int_0^\infty|g^\prime(z)|\int_z^\infty u\varphi(u)\,du\,dz=\int_0^\infty|g^\prime(z)|\varphi(z)\,dz$이므로 가정 $E|g^\prime(Z)|<\infty$가 바로 그 조건이다 [T6]. 4의 절대연속성이 깨지면 등식이 틀린다(연습 5.2(b)의 $\mathrm{sign}$). 6에서 $E|Zg(Z)|<\infty$는 3–5의 적분이 유한하다는 것에서 나온다.

정리 5.2 (James–Stein) $p\ge3$이면 $\delta_{\mathrm{JS}}(\X)=\Bigl(1-\dfrac{p-2}{\|\X\|^2}\Bigr)\X$의 위험은

$$R(\btheta,\delta_{\mathrm{JS}})=p-(p-2)^2\,E_{\btheta}\Bigl[\frac1{\|\X\|^2}\Bigr]<p\qquad\text{모든 }\btheta .$$

증명 전략 $\delta_{\mathrm{JS}}=\X-\mathbf g(\X)$로 쓰고 손실을 전개한다. 모르는 $\btheta$가 들어 있는 교차항을 Stein의 보조정리로 $\btheta$가 없는 기댓값으로 바꾼다.

1. $\mathbf g(\x)=(p-2)\x/\|\x\|^2$로 두면 $\delta_{\mathrm{JS}}=\X-\mathbf g(\X)$이다.정의

2. 손실을 전개한다.

   $$\|\delta_{\mathrm{JS}}-\btheta\|^2=\|\X-\btheta\|^2-2(\X-\btheta)\T\mathbf g(\X)+\|\mathbf g(\X)\|^2 .$$

   $\|u-v\|^2$의 전개

3. $\partial_i\bigl(x_i/\|\x\|^2\bigr)=(\|\x\|^2-2x_i^2)/\|\x\|^4$을 $i$에 대해 더하면 $\nabla\!\cdot\mathbf g(\x)=(p-2)^2/\|\x\|^2$이다.몫의 미분

4. 교차항은 $E[(\X-\btheta)\T\mathbf g(\X)]=E[\nabla\!\cdot\mathbf g(\X)]=(p-2)^2E[1/\|\X\|^2]$이다.보조정리 5.1, 3

5. 마지막 항은 $\|\mathbf g(\X)\|^2=(p-2)^2/\|\X\|^2$이다.1

6. 기댓값을 더하면

   $$R(\btheta,\delta_{\mathrm{JS}})=p-2(p-2)^2E\Bigl[\frac1{\|\X\|^2}\Bigr]+(p-2)^2E\Bigl[\frac1{\|\X\|^2}\Bigr]=p-(p-2)^2E\Bigl[\frac1{\|\X\|^2}\Bigr] .$$

   $E\|\X-\btheta\|^2=p$

7. $p\ge3$이면 $0<E[1/\|\X\|^2]<\infty$이므로 위험은 $p$보다 작다.연습 5.1, 5.3

조건 확인 보조정리 5.1를 쓰려면 $\mathbf g$의 각 좌표가 거의 모든 좌표 직선 위에서 절대연속이고 $E|\partial_ig_i(\X)|<\infty$여야 한다. $\mathbf g$는 원점에서만 특이하고 $|\partial_ig_i(\x)|\le3(p-2)/\|\x\|^2$이다. $\|\x\|^{-2}$을 원점 근처의 $p$차원 공에서 적분하면 극좌표로 $\int_0^1r^{-2}r^{p-1}dr=\int_0^1r^{p-3}dr<\infty$이므로 $p\ge3$에서 적분가능하다 [T7]. 7의 상계는 $\|\X\|^2$이 $K\sim\mathrm{Poi}(\|\btheta\|^2/2)$로 섞인 $\chi^2_{p+2K}$라는 것에서 $E[1/\|\X\|^2]=E[1/(p-2+2K)]\le1/(p-2)$로 나온다.

따름정리 5.3 (Stein (1956)) $p\ge3$이면 제곱손실에서 $\X$는 허용적이지 않다.

$\btheta=\mathbf0$이면 $\|\X\|^2\sim\chi^2_p$이고 $E[1/\chi^2_p]=1/(p-2)$(연습 5.1)이므로 위험은 $p-(p-2)=2$다. 차원이 1000이어도 위험이 2다. $\|\btheta\|$가 커지면 위험은 $p$로 다시 올라가지만 넘지 않는다. $\|\X\|^2$은 비중심 카이제곱이고 $E[1/\|\X\|^2]$은 Poisson 가중합으로 정확히 계산된다(연습 5.3). $p=10$에서 $\|\btheta\|^2=0,\ 10,\ 100$이면 위험은 $2,\ 6.21,\ 9.40$이다(그림 5.1). $p=1,2$에서는 $\X$가 허용적이다(Blyth의 방법, 증명은 생략).

어디로 줄이는지는 중요하지 않다. 임의의 점 $\boldsymbol\nu$를 향해 $\boldsymbol\nu+\bigl(1-\frac{p-2}{\|\X-\boldsymbol\nu\|^2}\bigr)(\X-\boldsymbol\nu)$로 줄여도 같은 정리가 성립한다. 줄일 곳을 자료의 평균 $\bar X\mathbf 1$로 고르면 자유도 하나를 써서 $p-2$가 $p-3$이 되고,

$$\delta_{\mathrm{EM}}(\X)=\bar X\mathbf 1+\Bigl(1-\frac{p-3}{\sum_i(X_i-\bar X)^2}\Bigr)(\X-\bar X\mathbf 1)$$

는 $p\ge4$에서 $\X$를 지배한다. 6절의 Efron–Morris 추정량이다. 축소 인자가 음수가 되는 것을 막은 $\delta_{\mathrm{JS}}^+=\max\bigl(0,\allowbreak 1-\frac{p-2}{\|\X\|^2}\bigr)\X$는 $\delta_{\mathrm{JS}}$를 다시 지배한다(연습 5.4).

5.2 경험적 Bayes — 왜 줄이는가

정리 5.4 (James–Stein의 경험적 Bayes 해석) $\theta_i\iid\N(0,\tau^2)$, $X_i\mid\btheta\sim\N(\theta_i,\allowbreak 1)$ (독립)이라 하자.

1. (a)

   Bayes 추정량은 $E(\theta_i\mid\X)=(1-B)X_i$, $B=\dfrac1{1+\tau^2}$이고 Bayes 위험은 $p(1-B)$이다.

2. (b)

   주변분포에서 $X_i\iid\N(0,1+\tau^2)$이고 $E\Bigl[\dfrac{p-2}{\|\X\|^2}\Bigr]=B$이다. 곧 $\delta_{\mathrm{JS}}$는 모르는 $B$를 불편추정량으로 바꿔 넣은 Bayes 추정량이다.

3. (c)

   $\delta_{\mathrm{JS}}$의 Bayes 위험은 $p(1-B)+2B$이다. 사전분포를 모르는 값은 $\tau$와 $p$에 상관없이 $2B\le2$다.

증명 전략 (a)는 켤레 사전분포(정리 1.2(c)), (b)는 독립 정규의 합과 역카이제곱의 평균, (c)는 정리 5.2의 위험을 사전분포로 적분하는 것이다. 단계별 증명은 연습 5.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

Bayes 추정량은 $\tau^2$을 알아야 한다. 그러나 $p$개의 $X_i$가 모두 같은 $\tau^2$의 정보를 담고 있다. 하나하나는 자기 $\theta_i$를 알려 주지만, 함께 모이면 $\theta_i$들이 얼마나 흩어져 있는지를 알려 준다. 이것이 Robbins의 경험적 Bayes이고, 3회의 전분산 공식 $\mathrm{Var}X_i=E\mathrm{Var}(X_i\mid\theta_i)+\mathrm{Var}\,\theta_i=1+\tau^2$에서 $\tau^2$을 거꾸로 읽는 것이다.

Galton의 회귀로 읽기 (Stigler 1990) $(\theta_i,X_i)$의 산점도를 생각하자. $X$를 $\theta$에 회귀하면 기울기는 1이다($X$는 불편). 우리가 원하는 것은 거꾸로 $\theta$를 $X$에 회귀한 직선이고, 그 기울기는 $\mathrm{Cov}(\theta,\allowbreak X)/\mathrm{Var}X=\tau^2/(1+\tau^2)=1-B<1$이다. Galton이 키에서 본 평균으로의 회귀(5회 따름정리 2.2)다. $\theta_i$를 관측하지 못하므로 이 회귀를 직접 맞출 수는 없지만, 기울기는 $\mathrm{Var}X$만으로 정해지고 그것은 $X_i$들의 흩어짐으로 추정된다. 표본평균은 “잘못된” 회귀선을 쓴 추정량이다(그림 5.1 오른쪽).

그림 5.1 왼쪽: $p=10$에서 $\|\btheta\|^2$에 따른 위험. $\X$(회색, 10), James–Stein(정확한 값), 양의 부분 James–Stein(모의실험), 선형 축소의 이론적 하한 $p\|\btheta\|^2/(p+\|\btheta\|^2)$(점선). 오른쪽: $\theta_i\sim\N(0,1)$, $X_i\sim\N(\theta_i,1)$의 산점도. $X$를 $\theta$에 회귀한 직선(기울기 1)과 $\theta$를 $X$에 회귀한 직선(기울기 $\tfrac12$). James–Stein은 뒤의 직선을 자료로 추정한다.

연습문제

연습 5.1 (역카이제곱의 평균 ★) $V\sim\chi^2_p$이면 $E[1/V]=1/(p-2)$ ($p\ge3$)임을 감마함수로 보여라. $p\le2$이면 왜 무한한가?

풀이

$E[1/V]=\int_0^\infty v^{-1}\frac{v^{p/2-1}e^{-v/2}}{2^{p/2}\Gamma(p/2)}dv=\frac{2^{p/2-1}\Gamma(p/2-1)}{2^{p/2}\Gamma(p/2)}=\frac1{2(p/2-1)}=\frac1{p-2}$. 피적분함수는 0 근처에서 $v^{p/2-2}$이므로 $p/2-2\le-1$, 곧 $p\le2$이면 적분이 발산한다. 1·2차원에서 $\|\X\|$가 0 근처에 올 확률이 충분히 커서 $1/\|\X\|^2$의 평균이 무한하다는 것이 James–Stein이 3차원에서 시작하는 이유다.

연습 5.2 (Stein 보조정리의 쓰임 ★★) (a) $g(z)=z$와 $g(z)=z^2$에 보조정리 5.1를 적용해 $\N(\theta,1)$의 둘째·셋째 적률을 구하라. (b) $g(z)=\mathrm{sign}(z)$이면 $\theta=0$에서 등식이 성립하지 않음을 보여라. 어느 조건이 깨졌는가? James–Stein의 $\mathbf g$는 원점에서 미분가능하지 않은데 왜 괜찮은가?

풀이

(a) $g(z)=z$: $E[(Z-\theta)Z]=1$이므로 $EZ^2=\theta^2+1$. $g(z)=z^2$: $E[(Z-\theta)Z^2]=2EZ=2\theta$이므로 $EZ^3=\theta EZ^2+2\theta=\theta^3+3\theta$. (b) 왼쪽은 $E[Z\,\mathrm{sign}(Z)]=E|Z|=\sqrt{2/\pi}=0.80$, 오른쪽은 $g^\prime=0$ (거의 모든 곳)이므로 0이다. $g$가 0에서 뛰어 절대연속이 아니다. 증명의 $\int_0^ug^\prime=g(u)-g(0)$이 깨진다. James–Stein의 $\mathbf g$는 원점 한 점에서만 특이하고, 원점을 지나지 않는 거의 모든 좌표 직선 위에서 매끄러우며, 도함수가 $\|\x\|^{-2}$ 정도라 $p\ge3$에서 적분가능하다. 이 조건에서 다차원 보조정리가 성립한다(Stein 1981).

연습 5.3 (비중심 카이제곱 ★★) $\|\X\|^2$($\X\sim\N_p(\btheta,I)$)의 분포는 $K\sim\mathrm{Poi}(\|\btheta\|^2/2)$로 섞은 $\chi^2_{p+2K}$임을 받아들이고, $E[1/\|\X\|^2]=E\bigl[1/(p-2+2K)\bigr]$을 보여라. Jensen 부등식으로 $R(\btheta,\allowbreak \delta_{\mathrm{JS}})\le p-\frac{(p-2)^2}{p+\|\btheta\|^2}$임을 보이고, 이것과 선형 축소의 하한 $\frac{p\|\btheta\|^2}{p+\|\btheta\|^2}$의 차이가 4를 넘지 않음을 보여라.

풀이

$E[1/\|\X\|^2]=E\bigl[E(1/\chi^2_{p+2K}\mid K)\bigr]=E[1/(p+2K-2)]$(연습 5.1). $1/x$는 볼록이므로 Jensen으로 $E[1/\|\X\|^2]\ge1/E\|\X\|^2=1/(p+\|\btheta\|^2)$이고, 위험은 $p-\frac{(p-2)^2}{p+\|\btheta\|^2}$ 이하다. $t=\|\btheta\|^2$이라 하면

$$p-\frac{(p-2)^2}{p+t}-\frac{pt}{p+t}=\frac{p^2+pt-(p-2)^2-pt}{p+t}=\frac{4(p-1)}{p+t}\le\frac{4(p-1)}p<4 .$$

선형 축소의 하한은 $\min_cE\|c\X-\btheta\|^2=\min_c\{c^2p+(1-c)^2t\}$이다. James–Stein은 $\btheta$를 모르고도 이 하한에서 4 이내에 있다.

연습 5.4 (양의 부분 ★★) $\delta_{\mathrm{JS}}^+$가 $\delta_{\mathrm{JS}}$를 지배함을 보여라. (힌트: $\|\X\|^2<p-2$인 사건에서 $\delta_{\mathrm{JS}}=-c\X$ ($c>0$)이고 $\delta^+_{\mathrm{JS}}=\mathbf 0$이다. 이 사건에서 $\|{-c\X}-\btheta\|^2-\|\btheta\|^2=c^2\|\X\|^2+2c\X\T\btheta$이고, $\X\T\btheta$의 조건부 기댓값의 부호를 따진다.)

풀이

두 추정량은 $A=\{\|\X\|^2<p-2\}$ 밖에서 같다. $A$에서 $c=\frac{p-2}{\|\X\|^2}-1>0$이고 손실의 차이는 $\|{-c\X}-\btheta\|^2-\|\btheta\|^2=c^2\|\X\|^2+2c\X\T\btheta$이다. 첫 항은 양수다. $\|\X\|=r$이 주어지면 $\X$는 반지름 $r$의 구 위에서 $e^{\x\T\btheta}$에 비례하는 밀도를 가지므로, $\x$와 그것을 $\btheta$에 수직인 평면에 대칭시킨 점을 짝지으면 $\x\T\btheta>0$인 쪽의 밀도가 더 크다. 따라서 $E[\X\T\btheta\mid\|\X\|]\ge0$이고, $A$는 $\|\X\|$로만 정해지므로 $E[(c^2\|\X\|^2+2c\X\T\btheta)\mathbf 1_A]>0$이다.

연습 5.5 (분산을 모를 때 ★★) $X_i\mid\theta_i\sim\N(\theta_i,\allowbreak \sigma^2)$이고 $\sigma^2$을 모르지만 $\sigma^2$의 추정량 $S^2$이 있어 $\nu S^2/\sigma^2\sim\chi^2_\nu$이고 $\X$와 독립이라 하자. $\bigl(1-\frac{(p-2)\nu}{\nu+2}\cdot\frac{S^2}{\|\X\|^2}\bigr)\X$의 위험이 $p\sigma^2$보다 작음을 보여라. (힌트: $E[S^2]$, $E[S^4]$을 쓴다.)

풀이

$\X\sim\N_p(\btheta,\sigma^2I)$에서 보조정리는 $E[(\X-\btheta)\T\mathbf g]=\sigma^2E[\nabla\!\cdot\mathbf g]$이다. $\delta=\X-aS^2\X/\|\X\|^2$의 위험은 $S^2$과 $\X$의 독립성으로

$$p\sigma^2-2a\sigma^2E[S^2](p-2)E\|\X\|^{-2}+a^2E[S^4]E\|\X\|^{-2}=p\sigma^2-\sigma^4E\|\X\|^{-2}\Bigl[2a(p-2)-a^2\frac{\nu+2}\nu\Bigr]$$

이다($ES^2=\sigma^2$, $ES^4=\sigma^4(\nu+2)/\nu$). 괄호는 $a=\frac{(p-2)\nu}{\nu+2}$에서 최대 $\frac{(p-2)^2\nu}{\nu+2}>0$이다. $\nu\to\infty$이면 $\sigma^2$을 아는 경우로 돌아간다.

연습 5.6 (경험적 Bayes 해석: 증명 ★★ 유도형) 정리 5.4를 다음 순서로 증명하라.

1. (a)

   정리 1.2(c)에 $n=1$, $\sigma^2=1$, 사전평균 0을 넣어 $\theta_i$의 사후평균과 사후분산을 구하고, 정리 2.1(a)로 Bayes 위험이 $p(1-B)$임을 보여라. 좌표들이 독립이라는 것은 어디에 쓰이는가?

2. (b)

   $X_i=\theta_i+\epsilon_i$의 주변분포가 $\N(0,1+\tau^2)$임을 보이고, $\|\X\|^2=(1+\tau^2)V$, $V\sim\chi^2_p$에서 $E\bigl[\frac{p-2}{\|\X\|^2}\bigr]=B$를 얻어라(연습 5.1).

3. (c)

   정리 5.2의 위험을 $\btheta$의 사전분포로 적분하면 $E[1/\|\X\|^2]$이 주변분포의 기댓값이 됨을 설명하고(3회 정리 2.5), Bayes 위험 $p(1-B)+2B$를 얻어라.

풀이

(a) 정리 1.2(c)에 $n=1$, $\sigma^2=1$, $m=0$을 넣으면 정밀도는 $1+1/\tau^2$이고 사후평균은 $\frac{X_i}{1+1/\tau^2}=\frac{\tau^2}{1+\tau^2}X_i=(1-B)X_i$, 사후분산은 $\frac{\tau^2}{1+\tau^2}=1-B$이다. $\theta_i$들과 $X_i$들이 좌표마다 독립이라 $\theta_i$의 사후분포는 $X_i$만으로 정해진다. 정리 2.1(a)로 각 좌표의 최소 사후 기대손실은 사후분산이고, 합의 기댓값이 Bayes 위험 $p(1-B)$이다. (b) $X_i=\theta_i+\epsilon_i$에서 $\theta_i\sim\N(0,\tau^2)$와 $\epsilon_i\sim\N(0,1)$이 독립이므로 $X_i\sim\N(0,1+\tau^2)$이고 서로 독립이다. $\|\X\|^2=(1+\tau^2)V$, $V=\sum_iX_i^2/(1+\tau^2)\sim\chi^2_p$이므로 $E\bigl[\frac{p-2}{\|\X\|^2}\bigr]=\frac{p-2}{1+\tau^2}E[1/V]=\frac1{1+\tau^2}=B$이다(연습 5.1). (c) Bayes 위험은 $E_\pi R(\btheta,\allowbreak \delta_{\mathrm{JS}})=p-(p-2)^2E_\pi\bigl[E_{\btheta}(1/\|\X\|^2)\bigr]$이고, 반복기댓값으로 안쪽은 $\X$의 주변분포에 대한 기댓값 $E[1/\|\X\|^2]=\frac{B}{p-2}$이다. 따라서 $p-(p-2)B=p(1-B)+2B$이다.

이 절을 PDF로 보기 (22쪽)노트북 5절

이 회차에서 읽은 절 0개 · 회차 차례