16회 · 베이즈의 귀환 · 노트

6 Efron–Morris의 타율

역사 Stein의 정리는 20년 가까이 수학적 호기심으로 남았다. 실제 자료에서 쓰면 어떻게 되는가? Efron과 Morris(1975)는 야구를 골랐다. 1970년 시즌에 타석에 45번 선 메이저리그 타자 18명의 타율로 그 시즌 나머지의 타율을 예측했다. 나머지 시즌의 수백 타석이 “참값” 노릇을 하므로 추정량을 채점할 수 있었다. 1977년 그들은 Scientific American에 “통계학의 Stein 역설”을 써서 이 결과를 일반 독자에게 알렸다. 표 속 이름들은 야구팬에게 낯익다. 그 해 Roberto Clemente는 첫 45타석에서 18안타를 쳤다.

6.1 자료와 James–Stein

선수 $i$의 첫 45타석 타율을 $y_i$, 그 시즌 나머지의 타율을 $p_i$라 하자. $45y_i\sim\mathrm b(45,\allowbreak \theta_i)$이고 정규근사로 $y_i\approx\N(\theta_i,\allowbreak \sigma^2)$, $\sigma^2=\bar y(1-\bar y)/45$로 둔다. 18명 모두에 같은 $\sigma^2$을 쓰는 단순화다.

예제 6.1 (18명의 타율) $\bar y=0.2654$, $\sigma^2=0.004332$ ($\sigma=0.066$), $\sum(y_i-\bar y)^2=0.0825$이다. 5절의 평균을 향한 James–Stein($p=18$)의 축소 인자는

$$c=1-\frac{(18-3)\sigma^2}{\sum(y_i-\bar y)^2}=1-\frac{15\times0.004332}{0.0825}=0.212$$

이다. 각 선수의 편차를 평균에서 21%만 남기고 79%를 줄인다. 결과는 표와 같다.

선수	$y_i$	JS	$p_i$	선수	$y_i$	JS	$p_i$
Clemente	.400	.294	.346	Swoboda	.244	.261	.230
F. Robinson	.378	.289	.298	Unser	.222	.256	.264
Howard	.356	.285	.276	Williams	.222	.256	.256
Johnstone	.333	.280	.222	Scott	.222	.256	.303
Berry	.311	.275	.273	Petrocelli	.222	.256	.264
Spencer	.311	.275	.270	Rodriguez	.222	.256	.226
Kessinger	.289	.270	.263	Campaneris	.200	.252	.285
Alvarado	.267	.266	.210	Munson	.178	.247	.316
Santo	.244	.261	.269	Alvis	.156	.242	.200

제곱오차의 합 $\sum(\hat\theta_i-p_i)^2$은 $y_i$가 $0.0754$, James–Stein이 $0.0213$으로 3.5배 작다. 18명 중 16명에서 James–Stein이 더 가깝다. 나빠진 둘은 Swoboda와 Rodriguez로, 평균보다 조금 낮게 출발해 실제로도 낮게 끝난 선수들이다. Clemente의 $.400$은 $.294$로 깎였고 실제는 $.346$이었다. Munson은 $.178$에서 $.247$로 올려졌고 실제는 $.316$이었다.

이항의 분산이 $\theta_i$에 달려 있다는 것이 마음에 걸리면 7회의 분산안정화 변환 $x_i=\sqrt{45}\arcsin(2y_i-1)$을 쓸 수 있다. 그러면 $x_i\approx\N(\cdot,1)$이고, Efron과 Morris가 실제로 쓴 것이 이것이다. 이 척도에서 축소 인자는 $0.209$, 제곱오차의 비는 $3.52$로 거의 같다.

6.2 계층 Bayes와 Gibbs 표집

경험적 Bayes는 $\tau^2$을 추정한 뒤 그것이 참값인 양 썼다. 완전한 Bayes는 $\mu$와 $\tau$에도 사전분포를 주어 그 불확실성까지 사후분포에 넣는다.

$$y_i\mid\theta_i\sim\N(\theta_i,\sigma^2),\qquad\theta_i\mid\mu,\tau\iid\N(\mu,\tau^2),\qquad\pi(\mu,\tau)\propto1\ \ (\tau>0).$$

명제 6.2 (계층 정규모형의 완전 조건부분포) $k$명의 선수에 대해 $\btheta=(\theta_1,\allowbreak \dots,\allowbreak \theta_k)$라 하면

$$\begin{align*} \theta_i\mid\mu,\tau,\y&\sim\N\bigl(v(y_i/\sigma^2+\mu/\tau^2),\ v\bigr),\quad v=(1/\sigma^2+1/\tau^2)^{-1}\quad(\text{서로 독립}),\\ \mu\mid\btheta,\tau,\y&\sim\N(\bar\theta,\ \tau^2/k),\\ \tau^2\mid\btheta,\mu,\y&\sim\text{역감마}\Bigl(\frac{k-1}2,\ \frac12\sum_i(\theta_i-\mu)^2\Bigr). \end{align*}$$

또 $\btheta$를 적분하면 $y_i\mid\mu,\allowbreak \tau\iid\N(\mu,\allowbreak \sigma^2+\tau^2)$이다.

증명 결합밀도는 $\prod_i\varphi_\sigma(y_i-\theta_i)\varphi_\tau(\theta_i-\mu)$이다. $\theta_i$에 대해서는 정리 1.2(c)($n=1$, 사전평균 $\mu$)이다. $\mu$에 대해서는 $\prod\varphi_\tau(\theta_i-\mu)\propto\exp\{-\frac{k}{2\tau^2}(\mu-\bar\theta)^2\}$. $\tau$에 대해서는 $\tau^{-k}\exp\{-\mathrm{SS}/(2\tau^2)\}$, $\mathrm{SS}=\sum(\theta_i-\mu)^2$이고, $\tau$의 평평한 사전분포를 $\tau^2$으로 바꾸면 야코비안 $\tfrac{d\tau}{d\tau^2}\propto(\tau^2)^{-1/2}$이 붙어 $(\tau^2)^{-(k+1)/2}e^{-\mathrm{SS}/(2\tau^2)}$, 곧 모양 $(k-1)/2$의 역감마다. 마지막은 독립 정규의 합(5회).

명제의 세 줄을 차례로 뽑으면 Gibbs 표집이다(알고리즘 4.6). 흩어진 출발점에서 연쇄 4개를 각 6000번 돌리고 처음 1000번을 버렸다. $\hat R$은 $\mu$와 $\tau$ 모두 $1.000$이다. $\mu$의 사후평균은 $0.2656$, $\tau$의 사후중앙값은 $0.0298$이다. 선수들의 실제 능력은 표준편차 3푼 정도로만 흩어져 있고, 45타석의 표본 표준편차 $\sigma=0.066$이 그 두 배가 넘는다. 관측된 흩어짐의 대부분은 운이다. 그래서 강하게 줄인다.

$\theta_i$의 사후평균을 추정값으로 쓰면 제곱오차의 합은 $0.0213$으로 James–Stein과 같고, 두 추정값의 차이는 가장 큰 것도 $0.0006$이다. 같은 사후분포를 다른 알고리즘으로 확인할 수 있다. 명제의 마지막 줄의 주변 가능도로 $(\mu,\log\tau)$에 대한 무작위 걸음 Metropolis를 돌리면(야코비안 때문에 로그 사후밀도에 $\log\tau$가 더해진다) 받아들임 비율 0.69, $\hat R$ 1.000과 1.003, $\mu$의 사후평균 0.2659, $\tau$의 사후중앙값 0.0286이다. 두 알고리즘은 몬테카를로 오차 안에서 같은 답을 낸다(그림 6.1).

세 추정량의 차이 James–Stein은 공식 하나, 경험적 Bayes는 $\tau^2$의 점추정, 계층 Bayes는 $\tau$의 사후분포 전체를 쓴다. 18명처럼 $k$가 크면 셋은 거의 같다. $k$가 작거나 $\hat\tau^2$이 0 근처이면 차이가 난다. 경험적 Bayes는 $\hat\tau=0$으로 모두 평균으로 합쳐 버리지만, 계층 Bayes는 $\tau$가 0이 아닐 가능성을 남긴다. 이 차이는 사후 신용구간의 폭에서 가장 크게 나타난다.

그림 6.1 왼쪽: 18명의 첫 45타석 타율(위), James–Stein 추정값(가운데), 시즌 나머지 타율(아래). 화살표는 평균 $0.265$를 향해 줄어든다. 오른쪽: 계층 모형의 $\tau$의 사후분포. Gibbs 표집(막대)과 주변 가능도의 Metropolis(선)가 겹친다.

연습문제

연습 6.1 (Clemente의 손 계산 ★) 예제 6.1의 $\bar y$, $\sigma^2$, $\sum(y_i-\bar y)^2$으로 $c$를 구하고 Clemente와 Munson의 James–Stein 추정값을 계산하라.

풀이

$c=1-\frac{15\times0.004332}{0.0825}=1-0.788=0.212$. Clemente: $0.2654+0.212\times(0.400-0.2654)=0.2654+0.0285=0.294$. Munson: $0.2654+0.212\times(0.178-0.2654)=0.2654-0.0185=0.247$.

연습 6.2 (주변 가능도 ★) 명제 6.2의 마지막 줄을 증명하라. 이것을 써서 $\tau^2$의 적률추정량 $\hat\tau^2=\max\bigl(0,\allowbreak \ \frac1{k-1}\sum(y_i-\bar y)^2-\sigma^2\bigr)$을 구하고 타율 자료에서 계산하라.

풀이

$y_i=\mu+(\theta_i-\mu)+(y_i-\theta_i)$에서 두 괄호는 독립인 $\N(0,\tau^2)$, $\N(0,\sigma^2)$이므로 $y_i\iid\N(\mu,\allowbreak \sigma^2+\tau^2)$. 따라서 $E\frac1{k-1}\sum(y_i-\bar y)^2=\sigma^2+\tau^2$이다. 타율 자료에서 $\frac{0.0825}{17}=0.004854$, $\hat\tau^2=0.004854-0.004332=0.000521$, $\hat\tau=0.023$이다. 계층 Bayes의 사후중앙값 $0.030$보다 작다. 사후분포는 $\tau$가 더 클 가능성까지 반영한다.

연습 6.3 (왜 $p-3$인가 ★★) $\X\sim\N_p(\btheta,I)$에서 평균을 향한 축소 $\bar X\mathbf 1+\bigl(1-\frac{p-3}{\|\X-\bar X\mathbf 1\|^2}\bigr)(\X-\bar X\mathbf 1)$의 위험을 구하라. (힌트: 직교변환으로 $\X-\bar X\mathbf 1$을 $p-1$차원의 정규벡터로 보고 정리 5.2을 $p-1$차원에 쓴다. $\bar X\mathbf 1$ 방향의 위험은 1이다.)

풀이

$\mathbf 1/\sqrt p$를 첫 열로 하는 직교행렬 $Q$로 $\mathbf W=Q\T\X$라 하면 $W_1=\sqrt p\bar X$, $(W_2,\dots,W_p)$는 $\X-\bar X\mathbf1$의 좌표이고 $\|\X-\bar X\mathbf 1\|^2=\sum_{j\ge2}W_j^2$이다. 추정량은 $W_1$을 그대로 두고 $(W_2,\dots,W_p)$에 $p-1$차원의 James–Stein($p-1-2=p-3$)을 쓴 것이다. 위험은 $1+\bigl[(p-1)-(p-3)^2E\|\mathbf W_{2:p}\|^{-2}\bigr]<p$ ($p-1\ge3$, 곧 $p\ge4$).

연습 6.4 ($1/\tau$ 사전분포의 실패 ★★) 계층 모형에서 $\pi(\mu,\tau)\propto1/\tau$(척도 모수의 Jeffreys)를 쓰면 사후분포가 비정칙임을 보여라. (힌트: $\tau\to0$일 때 주변 가능도 $\prod_i\varphi_{\sqrt{\sigma^2+\tau^2}}(y_i-\mu)$는 양의 극한을 갖는다. $\int_0^\epsilon d\tau/\tau$는?)

풀이

$\btheta$를 적분한 사후밀도는 $\frac1\tau\prod_i\varphi_{\sqrt{\sigma^2+\tau^2}}(y_i-\mu)$이다. $\mu$로 적분한 값 $h(\tau)$는 $\tau\to0$일 때 양의 유한한 극한 $h(0)$(분산 $\sigma^2$의 정규 가능도를 $\mu$로 적분한 것)을 갖는다. 따라서 $\int_0^\epsilon h(\tau)/\tau\,d\tau\ge\frac{h(0)}2\int_0^{\epsilon^\prime}d\tau/\tau=\infty$. 사후분포는 비정칙이다. 평평한 $\pi(\tau)\propto1$에서는 같은 적분이 $\int_0h(\tau)d\tau<\infty$이고, $\tau\to\infty$ 쪽은 $h(\tau)\sim\tau^{-(k-1)}$로 $k\ge3$이면 유한하다.

이 절을 PDF로 보기 (27쪽)노트북 6절

이 회차에서 읽은 절 0개 · 회차 차례