5회 · 정규분포의 탄생과 Galton의 타원 · 노트

2 Galton의 문제: 변이는 어떻게 유전되는가

역사 Francis Galton(1822–1911)은 Darwin의 사촌이었다. Hereditary Genius(1869) 이후 그의 관심은 하나였다. 변이는 어떻게 다음 세대로 전해지는가? Stigler(1986, 8장)에 따르면 Galton을 괴롭힌 것은 역설이었다. 사람의 키는 부모를 닮는데도 인구 전체의 키 분포는 세대가 지나도 거의 변하지 않는다. 닮음과 안정을 동시에 설명하는 수학이 필요했다.

2.1 Quincunx (1873): 작은 충격의 합이 종을 만든다

그림 2.1 Galton 판(quincunx). 공 하나의 경로(빨강)와 8줄 판의 칸별 도수.

공이 $i$번째 못에서 오른쪽으로 가면 $\xi_i=+\tfrac12$, 왼쪽이면 $\xi_i=-\tfrac12$라 하자. 못마다 독립이고 $P(\xi_i=\pm\tfrac12)=\tfrac12$이면 $n$줄을 지난 위치는

$$P_n=\sum_{i=1}^n\xi_i=K_n-\frac n2,\qquad K_n=\#\{\text{오른쪽}\}\sim\mathrm{Bin}\bigl(n,\tfrac12\bigr)$$

이다($\xi_i=B_i-\tfrac12$, $B_i\sim$ Bernoulli). $E\xi_i=0$, $\Var\xi_i=\tfrac14$이므로 $EP_n=0$, $\Var P_n=\tfrac n4$이고, 정리 1.2에 의해

$$P(P_n=j)\approx\frac{1}{\sqrt{2\pi\,n/4}}\exp\Bigl(-\frac{j^2}{2\cdot n/4}\Bigr).$$

장치 자체가 “작은 독립 충격의 합은 정규”라는 중심극한정리(7회)의 기계적 그림이다.

연습문제

연습 2.1 (가운데 칸 ★) 16줄 판에서 공이 가운데 칸($P_{16}=0$)에 떨어질 확률을 정확히 계산하고 정규 근사와 비교하라.

풀이

$P(K_{16}=8)=\tbinom{16}{8}2^{-16}=12870/65536=0.1964$. 근사는 분산이 $16/4=4$이므로 $1/\sqrt{8\pi}=0.1995$.

연습 2.2 (기울어진 판 ★) 공이 오른쪽으로 갈 확률이 $p\ne\tfrac12$이면 $EP_n$과 $\Var P_n$은 무엇인가? 정규 근사는 어떻게 바뀌는가?

풀이

$\xi_i=B_i-\tfrac12$, $B_i\sim$ Bernoulli$(p)$이므로 $E\xi_i=p-\tfrac12$, $\Var\xi_i=p(1-p)$. 따라서 $EP_n=n(p-\tfrac12)$, $\Var P_n=np(1-p)$이고 근사는 $\N\bigl(n(p-\tfrac12),\allowbreak \,np(1-p)\bigr)$이다. 종의 중심이 옮겨 가고 폭은 조금 좁아진다.

2.2 2단 quincunx (1877): 정규를 정규로 섞으면 다시 정규

그림 2.2 Galton의 2단 quincunx. 중간 칸 하나만 열면 작은 종(빨강), 모두 열면 작은 종들의 합(청록)이 다시 정규다.

1877년 왕립연구소 강연 Typical Laws of Heredity에서 Galton은 중간에 칸을 단 quincunx를 보였다. 1단을 지난 공은 중간 칸에 멈춘다. 칸 하나만 열면 그 칸 아래에 작은 종이 생기고, 모든 칸을 열면 작은 종들이 합쳐져 처음과 같은 모양의 큰 종이 된다.

정리 2.1 (정규의 정규 혼합) $\cdat X\sim\N(0,\allowbreak \cpar{\sigma_1^2})$이고 $\cdat Y\mid X=x\sim\N(x,\allowbreak \cpar{\sigma_2^2})$이면

1. (a)

   $Y\sim\N(0,\allowbreak \sigma_1^2+\sigma_2^2)$이다.

2. (b)

   $(X,Y)$는 이변량 정규이고 $\Cov(X,Y)=\sigma_1^2$, $\Corr(X,\allowbreak Y)=\sigma_1/\sqrt{\sigma_1^2+\sigma_2^2}$이다.

증명 전략 (a)는 $X$에 조건을 걸어 mgf를 구한다(반복기댓값). (b)는 $D=Y-X$가 $X$와 독립인 정규임을 보이고, $(X,Y)=(X,X+D)$의 결합 mgf를 정의 3.4의 꼴로 쓴다. 단계별 증명은 연습 2.8(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

분산만 보면 전분산 공식 그대로다: $\Var Y=E[\Var(Y\mid X)]+\Var(E[Y\mid X])=\sigma_2^2+\sigma_1^2$.

이제 2단 quincunx를 거꾸로 읽어 보자. 바닥에서 공의 위치 $y$만 보고, 그 공이 어느 중간 칸에서 왔는지 추측한다면?

따름정리 2.2 (거꾸로 본 조건부분포: 축소) 정리 2.1의 상황에서

$$X\mid Y=y\ \sim\ \N\Bigl(\ckey{B}\,y,\ \ \frac{\sigma_1^2\sigma_2^2}{\sigma_1^2+\sigma_2^2}\Bigr),\qquad \ckey{B}=\frac{\sigma_1^2}{\sigma_1^2+\sigma_2^2}<1 .$$

증명 전략 베이즈 정리로 조건부밀도의 로그를 $x$의 이차식으로 쓴다. $x^2$의 계수에서 정밀도(분산의 역수)를, 완전제곱에서 평균을 읽는다. 단계별 증명은 연습 2.9(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

축소(shrinkage) 바닥의 위치 $y$를 그대로 중간 칸의 추측으로 쓰지 않고, 중심 쪽으로 $B<1$배 줄여 쓴다. 이것이 Galton의 회귀이며 동시에 사전분포 $\N(0,\sigma_1^2)$, 관측 $\N(x,\sigma_2^2)$의 베이즈 사후평균이다. 그림 2.2의 수치($\sigma_1=1.2$, $\sigma_2=0.8$)에서는 $B=0.692$, 사후분산 $0.443$이다. 16회에서 Stein의 축소추정량이 바로 이 구조임을 본다.

그림 2.3 2단 quincunx 3,000개 공의 (바닥, 중간 칸). 중간 칸의 조건부 평균은 $x=y$가 아니라 기울기 $B=0.69$의 직선이다.

연습문제

연습 2.3 (기울기로 확인 ★) 정리 2.1(b)의 공분산행렬만 써서 $E[X\mid Y=y]$의 기울기가 $\Cov(X,Y)/\Var Y=B$임을 확인하라(3.7절의 이변량 회귀식을 미리 써도 좋다).

풀이

정리 2.1(b)에서 $\Cov(X,Y)=\sigma_1^2$, $\Var Y=\sigma_1^2+\sigma_2^2$. 따름정리 3.19에서 $X$와 $Y$를 바꾼 식으로 기울기는 $\Cov(X,Y)/\Var Y=B$이다.

연습 2.4 (측정을 늘리면 ★★) $X\sim\N(m,\tau^2)$이고, $X$를 독립적으로 $n$번 측정한 평균 $\bar Y\mid X\sim\N(X,s^2/n)$을 관측한다. $E[X\mid\bar Y=\bar y]$와 $\Var(X\mid\bar Y)$를 구하고 $n\to\infty$일 때를 해석하라. 연습 1.6와 같은 답인 이유는?

풀이

따름정리 2.2의 계산에서 $\sigma_1^2\to\tau^2$, $\sigma_2^2\to s^2/n$으로 바꾸고 평균 $m$을 더하면

$$E[X\mid\bar y]=\frac{(n/s^2)\,\bar y+(1/\tau^2)\,m}{n/s^2+1/\tau^2},\qquad \Var(X\mid\bar Y)=\Bigl(\frac{n}{s^2}+\frac{1}{\tau^2}\Bigr)^{-1}.$$

$n\to\infty$이면 $\bar y$로 가고 분산은 $0$이 된다. 연습 1.6에서 $\bar x$의 분산이 $\sigma^2/n$이었으므로 같은 식이다. 정밀도(분산의 역수)가 더해지고, 평균은 정밀도로 가중된다.

2.3 세대 간 분산의 수수께끼와 reversion

부모의 편차가 전부 물려지고 독립 잡음 $E$가 더해진다고 해 보자($C=P+E$). 그러면 $\Var C=\Var P+\sigma_E^2$이므로 분산은 세대마다 커져야 한다. 실제로는 그렇지 않다.

명제 2.3 (안정은 회귀를 강요한다) $C-\mu=r(P-\mu)+E$, $E\perp P$, $\Var P=\sigma^2$, $\Var E=\sigma_E^2<\sigma^2$, $r\ge0$이라 하자. 분포가 안정하다는 조건 $\Var C=\Var P$가 성립하면

$$r=\sqrt{1-\sigma_E^2/\sigma^2}<1\qquad\text{이고}\qquad r=\Corr(P,C).$$

증명 전략 독립인 두 조각의 분산을 더해 안정 조건을 $r$의 방정식으로 바꾸고, 공분산의 쌍선형성으로 상관을 구한다. 단계별 증명은 연습 2.10(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

회귀는 생물학적인 힘이 아니라, 분포가 안정하다는 사실의 대수적 귀결이다. Galton은 1877년 스위트피 씨앗 실험에서 이 계수를 reversion이라 불렀고, 1886년 사람의 키에서 regression이라 다시 불렀다.

그림 2.4 회귀가 없으면($C=P+E$) 표준편차가 $\sqrt{\sigma^2+g\sigma_E^2}$로 자라고, $r=\sqrt{1-\sigma_E^2/\sigma^2}$이면 그대로다.

Galton의 실제 자료는 한 부모가 아니라 중간부모(아버지와 1.08배 한 어머니 키의 평균)를 썼다. 이 차이가 Galton의 유명한 두 숫자 $2/3$과 $1/3$을 설명한다.

예제 2.4 (중간부모 모형) 아버지 $F$와 (1.08배 한) 어머니 $M_o$가 독립 $\N(\mu,\sigma^2)$이고, 중간부모 $M=(F+M_o)/2$, 자녀

$$C-\mu=\beta\,(M-\mu)+E,\qquad E\perp(F,M_o)$$

라 하자. $\Var M=\sigma^2/2$이다. 안정 조건 $\Var C=\sigma^2$에서 $\beta^2\sigma^2/2+\sigma_E^2=\sigma^2$. 이때

$$\begin{align*} \text{중간부모에 대한 기울기}&=\frac{\Cov(C,M)}{\Var M}=\beta,\\ \Corr(C,M)&=\frac{\beta\,\Var M}{\sigma\sqrt{\Var M}}=\beta\sqrt{\tfrac12}=\frac{\beta}{\sqrt2},\\ \text{한 부모에 대한 기울기}&=\frac{\Cov(C,F)}{\Var F}=\frac{\beta\,\Cov(M,F)}{\sigma^2}=\frac{\beta\,(\sigma^2/2)}{\sigma^2}=\frac\beta2 . \end{align*}$$

Galton의 $\beta\approx\tfrac23$를 넣으면 상관은 $0.471$, 한 부모 기울기는 $\tfrac13$이다. Galton(1886)이 보고한 두 숫자가 정확히 이것이고, 1886년 자료의 실제 상관은 $0.459$, 중간부모 분산 대 자녀 분산의 비는 $3.19/6.33=0.504\approx\tfrac12$이다.

연습문제

연습 2.5 (설명되는 분산 ★) 예제 2.4에서 $\beta=\tfrac23$이면 $\sigma_E^2/\sigma^2=\tfrac79$임을 보여라. 중간부모는 자녀 키 분산의 몇 퍼센트를 설명하는가?

풀이

$\sigma_E^2/\sigma^2=1-\beta^2/2=1-\tfrac{4/9}{2}=\tfrac79$. 설명되는 비율은 $\tfrac29\approx22\%$이고, 이는 $\Corr(C,M)^2=\beta^2/2$와 같다.

연습 2.6 (부부의 키가 상관되면 ★★) 예제 2.4에서 $\Corr(F,M_o)=a$(동류 교배)라 하자. $\Var M$, 안정 조건, $\Corr(C,M)$, 한 부모에 대한 기울기를 $\beta$와 $a$로 나타내라.

풀이

중간부모의 분산부터 차례로 구한다.

$$\begin{align*} \Var M&=\frac{\sigma^2}{4}(2+2a)=\frac{\sigma^2(1+a)}{2},\qquad \text{안정 조건}\quad \beta^2\frac{\sigma^2(1+a)}{2}+\sigma_E^2=\sigma^2,\\ \Corr(C,M)&=\frac{\beta\Var M}{\sigma\sqrt{\Var M}}=\beta\sqrt{\frac{1+a}{2}},\qquad \frac{\Cov(C,F)}{\Var F}=\frac{\beta\cdot\frac12(\sigma^2+a\sigma^2)}{\sigma^2}=\beta\,\frac{1+a}{2}. \end{align*}$$

2.4 Galton (1886): 928명의 표와 동심 타원

1886년 논문 Regression towards Mediocrity in Hereditary Stature에서 Galton은 205가족의 성인 자녀 928명의 키를 중간부모 키와 함께 표로 만들었다. 남녀를 한 표에 넣으려고 여성의 키에 1.08을 곱했다(5.3절에서 검토한다). Galton은 표에서 같은 도수의 칸을 이으면 비슷한 모양의 동심 타원이 된다는 것을 알아챘다. 케임브리지의 수학자 J. D. Hamilton Dickson에게 이유를 묻자, Dickson은 이변량 정규분포의 식(예제 3.7)을 써서 답했다.

표 2.1 Galton(1886) 원자료 요약. $n=928$, 단위 인치, 분산은 분모 $n$.

	평균	표준편차	상관	회귀 기울기
중간부모 $x$	68.31	1.786	$r=0.459$	$b_{y\mid x}=0.646$
자녀 $y$	68.09	2.517		$b_{x\mid y}=0.326$

예제 2.5 (예측과 거꾸로 예측) 적합한 이변량 정규의 조건부 평균(3.7절)은 $\hat E[y\mid x]=68.09+0.646\,(x-68.31)=23.94+0.646\,x$이다.

• 중간부모가 72인치(평균보다 3.7인치 위)이면 자녀의 기대 키는 $70.47$인치(평균보다 2.4인치 위)다.

• 중간부모가 64인치이면 $65.30$인치다. 아래쪽도 평균 쪽으로 당겨진다.

• 거꾸로, 자녀가 73인치이면 중간부모의 기대 키는 $68.31+0.326(73-68.09)=69.91$인치다.

• 조건부 표준편차는 $\hat\sigma_y\sqrt{1-r^2}=2.236$이므로, 중간부모 72인치 가족 자녀의 95% 예측구간은 $70.47\pm1.96\times2.236=[66.09,\allowbreak \ 74.86]$이다.

그림 2.5 Galton(1886) 표의 재구성. 청록 숫자는 칸 도수, 점선은 적합한 이변량 정규의 등고선 $Q=c^2$이다. 두 회귀선은 타원의 수직 접점(○)과 수평 접점(□)을 지난다(정리 3.20).

연습문제

연습 2.7 (예측구간 ★) 표 2.1로 중간부모 66인치 가족 자녀의 기대 키와 95% 예측구간을 구하라. 이 구간은 어떤 가정 아래에서 정당한가?

풀이

$68.088+0.6463\,(66-68.308)=66.60$인치. 구간은 $66.60\pm1.96\times2.236=[62.21,\allowbreak \ 70.98]$. 이 구간을 정당화하려면 이변량 정규 가정(조건부분포가 정규이고 등분산)이 필요하다. 또 모수를 추정값으로 바꿔 넣은 오차를 무시하는 근사이기도 하다(후자는 13회에서 다룬다).

연습 2.8 (정규의 정규 혼합: 증명 ★★ 유도형) 정리 2.1을 다음 순서로 증명하라.

1. (a)

   반복기댓값(보조정리 0.3)과 정리 1.8(ii)로 $M_Y(t)=E\bigl[E(e^{tY}\mid X)\bigr]=e^{(\sigma_1^2+\sigma_2^2)t^2/2}$을 보여라.

2. (b)

   $D=Y-X$로 두면 $X=x$가 주어질 때 $D\sim\N(0,\sigma_2^2)$이다. 이 조건부분포가 $x$에 의존하지 않으므로 $D\perp X$임을 보여라. ($E[h(D)\,k(X)]=E\bigl[k(X)\,E(h(D)\mid X)\bigr]$를 쓴다.)

3. (c)

   $Y=X+D$로 결합 mgf $E\,e^{sX+tY}$를 계산하고, 정의 3.4의 꼴 $\exp\{\tfrac12(s,\allowbreak t)\Sigma(s,\allowbreak t)\T\}$로 써서 $\Sigma$를 읽어라.

4. (d)

   $\Cov(X,Y)$와 $\Corr(X,Y)$를 $\Sigma$에서 읽고, 분산만은 전분산 공식으로도 나옴을 확인하라.

풀이

(a) $X=x$가 주어지면 $Y\sim\N(x,\sigma_2^2)$이므로 정리 1.8(ii)로 $E(e^{tY}\mid X)=e^{tX+\sigma_2^2t^2/2}$이다. 반복기댓값으로

$$M_Y(t)=E\bigl[e^{tX+\sigma_2^2t^2/2}\bigr]=e^{\sigma_2^2t^2/2}\,M_X(t)=e^{(\sigma_1^2+\sigma_2^2)t^2/2}.$$

(b) $X=x$가 주어지면 $D=Y-x\sim\N(0,\sigma_2^2)$이다. 유계인 $h,k$에 대해 $E\bigl[h(D)k(X)\bigr]=E\bigl[k(X)E(h(D)\mid X)\bigr]$이고, $E(h(D)\mid X)$는 $X$에 의존하지 않는 상수 $E\,h(N)$ ($N\sim\N(0,\sigma_2^2)$)이다. 따라서 $E[h(D)k(X)]=E\,h(N)\,E\,k(X)$이고, $k\equiv1$을 넣으면 $D\sim\N(0,\sigma_2^2)$, 일반의 $h,k$에서 $D\perp X$이다. (c) $Y=X+D$이므로

$$\begin{align*} E\,e^{sX+tY}&=E\,e^{(s+t)X}\,E\,e^{tD}=\exp\Bigl\{\tfrac12\bigl[(s+t)^2\sigma_1^2+t^2\sigma_2^2\bigr]\Bigr\}\\ &=\exp\Bigl\{\tfrac12\,(s,t)\begin{pmatrix}\sigma_1^2&\sigma_1^2\\ \sigma_1^2&\sigma_1^2+\sigma_2^2\end{pmatrix}\binom st\Bigr\}, \end{align*}$$

이고 이는 정의 3.4의 이변량 정규 mgf다. (d) $\Cov(X,Y)=\sigma_1^2$, $\Corr(X,\allowbreak Y)=\sigma_1^2/(\sigma_1\sqrt{\sigma_1^2+\sigma_2^2})=\sigma_1/\sqrt{\sigma_1^2+\sigma_2^2}$이다. 분산은 전분산 공식으로 $E[\Var(Y\mid X)]+\Var(E[Y\mid X])=\sigma_2^2+\sigma_1^2$이다.

연습 2.9 (축소: 증명 ★ 유도형) 따름정리 2.2를 다음 순서로 증명하라.

1. (a)

   베이즈 정리로 $f(x\mid y)\propto f_X(x)\,f_{Y\mid X}(y\mid x)$임을 쓰고, $\log f(x\mid y)$에서 $x$에 의존하는 부분을 모아라.

2. (b)

   그 이차식을 $-\tfrac\tau2x^2+\frac{y}{\sigma_2^2}x+\text{상수}$ 꼴로 정리해 $\tau$를 구하라.

3. (c)

   완전제곱으로 $X\mid Y=y$가 정규이고 평균이 $By$, 분산이 $1/\tau$임을 보여라.

4. (d)

   $\sigma_1^2\to\infty$와 $\sigma_2^2\to0$일 때 $B$는 어떻게 되는가? 각각 무엇을 뜻하는가?

풀이

(a) $f(x\mid y)=f_X(x)f_{Y\mid X}(y\mid x)/f_Y(y)$이고 분모는 $x$에 의존하지 않는다. $x$에 의존하는 부분만 모으면

$$\log f(x\mid y)=-\frac{x^2}{2\sigma_1^2}-\frac{(y-x)^2}{2\sigma_2^2}+\text{상수} =-\frac12\Bigl(\frac1{\sigma_1^2}+\frac1{\sigma_2^2}\Bigr)x^2+\frac{y}{\sigma_2^2}\,x+\text{상수}.$$

(b) $\tau=\tfrac1{\sigma_1^2}+\tfrac1{\sigma_2^2}=\tfrac{\sigma_1^2+\sigma_2^2}{\sigma_1^2\sigma_2^2}$이다. (c) $-\tfrac\tau2x^2+\tfrac{y}{\sigma_2^2}x=-\tfrac\tau2\bigl(x-\tfrac{y}{\sigma_2^2\tau}\bigr)^2+\text{상수}$이므로 $X\mid Y=y$는 평균 $\tfrac{y/\sigma_2^2}{\tau}=\tfrac{\sigma_1^2}{\sigma_1^2+\sigma_2^2}y=By$, 분산 $1/\tau=\tfrac{\sigma_1^2\sigma_2^2}{\sigma_1^2+\sigma_2^2}$인 정규다. (d) $\sigma_1^2\to\infty$(중간 칸에 대한 사전 정보가 없다)이면 $B\to1$이어서 $y$를 그대로 쓴다. $\sigma_2^2\to0$(아래 단의 잡음이 없다)이면 역시 $B\to1$이다. 축소는 사전분포의 분산이 유한하고 관측에 잡음이 있을 때 일어난다.

연습 2.10 (안정은 회귀를 강요한다: 증명 ★ 유도형) 명제 2.3을 다음 순서로 증명하라.

1. (a)

   $E\perp P$에서 $\Var C=r^2\sigma^2+\sigma_E^2$임을 보여라.

2. (b)

   안정 조건과 $r\ge0$에서 $r=\sqrt{1-\sigma_E^2/\sigma^2}$을 얻고, $\sigma_E^2<\sigma^2$이 왜 필요한지 밝혀라.

3. (c)

   $\Cov(P,C)=r\sigma^2$을 보이고 $\Corr(P,C)=r$을 얻어라.

풀이

(a) $C-\mu=r(P-\mu)+E$에서 $E\perp P$이므로 $\Var C=r^2\Var P+\Var E=r^2\sigma^2+\sigma_E^2$이다. (b) $\Var C=\sigma^2$이면 $r^2=1-\sigma_E^2/\sigma^2$이다. $r\ge0$이므로 $r=\sqrt{1-\sigma_E^2/\sigma^2}$이다. $\sigma_E^2<\sigma^2$이어야 오른쪽이 양수이고 $r$이 실수다. $\sigma_E^2\ge\sigma^2$이면 잡음만으로 분산이 $\sigma^2$을 넘어 안정할 수 없다. (c) $\Cov(P,\allowbreak C)=\Cov(P,\allowbreak \,r(P-\mu)+E)=r\Var P+\Cov(P,\allowbreak E)=r\sigma^2$이고 $\sqrt{\Var P\,\Var C}=\sigma^2$이므로 $\Corr(P,C)=r$이다.

이 절을 PDF로 보기 (14쪽)노트북 2절

이 회차에서 읽은 절 0개 · 회차 차례