7회 · 극한의 언어 · 노트

5 다변량으로 — 선형결합 하나면 된다

평균 하나가 아니라 여러 개를 함께 추정할 때가 많다. 다항분포의 범주별 비율, $(\bar X,\tfrac1n\sum X_i^2)$, 회귀계수의 벡터(13회). 벡터의 극한도 5회의 Cramér–Wold와 같은 생각, 곧 “모든 선형결합을 보면 된다”로 해결된다.

5.1 벡터의 수렴과 다변량 중심극한정리

정의 5.1 (벡터의 수렴) $\R^k$의 확률벡터 $\X_n$이 모든 성분에서 $\X$의 성분으로 확률수렴하면 $\X_n\xrightarrow{P}\X$라 쓴다. 결합분포함수가 $\X$의 결합분포함수의 모든 연속점에서 수렴하면 $\X_n\xrightarrow{D}\X$라 쓴다.

정리 1.3와 Slutsky의 정리는 벡터에서도 같은 증명으로 성립한다. 2.3절의 상자도 벡터의 mgf $M_{\X}(\bt)=Ee^{\bt\T\X}$에 대해 성립한다.

정리 5.2 (다변량 중심극한정리) $\X_1,\X_2,\dots$가 $\R^k$의 iid 확률벡터이고 mgf가 $\mathbf 0$의 근방에서 존재하며, 평균 $\bmu$, 공분산행렬 $\Sigma$이면

$$\sqrt n\,(\bar\X_n-\bmu)\ \xrightarrow{D}\ \N_k(\mathbf 0,\Sigma).$$

증명 전략 방향 $\bt$를 하나 고정하면 벡터의 mgf는 1차원 변수 $Y_i=\bt\T(\X_i-\bmu)$의 합의 mgf다. 정리 3.1의 증명 4 5를 $t=1$에서 그대로 하고, 모든 $\bt$에서 극한이 $\N_k(\mathbf 0,\Sigma)$의 mgf임을 확인한다. 단계별 증명은 연습 5.5(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

증명은 1차원의 중심극한정리를 모든 방향 $\bt$에 한 번씩 쓴 것이다. 벡터의 극한이 결합정규인 것은 5회 정리 3.10에서처럼 모든 선형결합이 정규이기 때문이다.

예제 5.3 (다항분포의 정규 극한) $n$번의 독립 시행에서 결과가 범주 $j$일 확률이 $p_j$ ($j=1,\dots,k$)이면, 시행 $i$의 결과를 원핫 벡터 $\X_i$(범주 $j$이면 $j$번째 성분만 1)로 쓸 수 있다. $E\X_i=\mathbf p$이고, $X_{ij}X_{il}=0$ ($j\ne l$), $X_{ij}^2=X_{ij}$이므로

$$\Cov(\X_i)=\mathrm{diag}(\mathbf p)-\mathbf p\mathbf p\T=:\Sigma_{\mathbf p}.$$

범주별 개수 $\mathbf N=\sum\X_i$는 다항분포이고(4회 정리 1.8의 공분산 $-np_jp_l$과 같다) 정리 5.2로

$$\sqrt n\,(\hat{\mathbf p}-\mathbf p)\xrightarrow{D}\N_k(\mathbf 0,\ \Sigma_{\mathbf p}).$$

$\Sigma_{\mathbf p}\mathbf 1=\mathbf p-\mathbf p=\mathbf 0$이므로 극한은 특이 정규분포다(5회 명제 5.6). 비율의 합이 언제나 1이라는 제약 하나가 차원 하나를 없앤다(그림 5.1).

그림 5.1 왼쪽: 세 범주($\mathbf p=(0.5,0.3,0.2)$, $n=200$)의 $(\hat p_1,\hat p_2)$ 2,000개와 정규 극한의 95% 타원. 오른쪽: Pearson 통계량 $\sum_j\frac{(N_j-np_j)^2}{np_j}$의 히스토그램과 $\chi^2(2)$ 밀도. 8회에서 증명한다.

이 예제가 8회의 출발점이다. Pearson(1900)의 적합도 통계량 $X^2=\sum_j\tfrac{(N_j-np_j)^2}{np_j}$은 $\sqrt n(\hat{\mathbf p}-\mathbf p)$의 이차형식이고, 5회 정리 3.17(이차형식은 $\chi^2$)과 정리 5.2를 합치면 $X^2\xrightarrow{D}\chi^2(k-1)$이 나온다. 자유도 $k-1$은 위의 제약 하나 때문이다.

5.2 다변량 델타 방법

정리 5.4 (다변량 델타 방법) $\sqrt n(\Y_n-\boldsymbol\theta)\xrightarrow{D}\N_k(\mathbf 0,\allowbreak \Sigma)$이고 $g:\R^k\to\R$가 $\boldsymbol\theta$에서 미분가능하며 기울기가 $\nabla g$이면

$$\sqrt n\bigl(g(\Y_n)-g(\boldsymbol\theta)\bigr)\xrightarrow{D}\N\bigl(0,\ \nabla g\T\,\Sigma\,\nabla g\bigr).$$

증명 전략 미분가능성을 “1차 근사 + 나머지”로 쓴다. 1차 항은 정규벡터의 선형결합이고, 나머지는 확률적으로 유계인 양과 확률적으로 0인 양의 곱이다. 보조정리 4.1로 합친다. 단계별 증명은 연습 5.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

예제 5.5 (표본분산의 점근분포) $\Y_n=\bigl(\bar X_n,\allowbreak \ \tfrac1n\sum X_i^2\bigr)$, $g(a,b)=b-a^2$이면 $g(\Y_n)=\tfrac{n-1}nS_n^2$이다. $\mu=0$으로 두어도 되고(위치를 옮겨도 $S^2$는 그대로), 그러면 $\boldsymbol\theta=(0,\allowbreak \sigma^2)$, $\nabla g=(-2a,1)=(0,1)$이므로 둘째 성분의 분산만 남는다:

$$\sqrt n\,(S_n^2-\sigma^2)\xrightarrow{D}\N\bigl(0,\ \Var X^2\bigr)=\N\bigl(0,\ \mu_4-\sigma^4\bigr).$$

($\tfrac{n-1}n$과의 차이는 Slutsky로 사라진다.) 정규이면 $\mu_4-\sigma^4=2\sigma^4$으로 6회 따름정리 2.3과 맞고, 지수이면 $9-1=8$이다(시뮬레이션 7.98). 6회 7.4절에서 분산의 $F$ 검정이 첨도에 민감했던 이유가 이 분산의 $\mu_4$다.

연습문제

연습 5.1 (원핫 벡터의 공분산 ★) 예제 5.3의 $\Cov(\X_i)=\mathrm{diag}(\mathbf p)-\mathbf p\mathbf p\T$를 성분별로 확인하고, $\Sigma_{\mathbf p}$의 계수가 $k-1$임을 보여라. (힌트: $\mathbf 1$에 수직인 벡터 $\mathbf v$에 대해 $\mathbf v\T\Sigma_{\mathbf p}\mathbf v=\sum p_jv_j^2-(\sum p_jv_j)^2$.)

풀이

$E X_{ij}X_{il}=P(\text{범주 }j\text{이고 }l)=0$ ($j\ne l$)이므로 $\Cov=-p_jp_l$, $\Var X_{ij}=p_j-p_j^2$. 계수: $\Sigma_{\mathbf p}\mathbf 1=\mathbf0$이므로 계수는 $k-1$ 이하다. $\mathbf v\perp\mathbf 1$이고 $\mathbf v\ne\mathbf 0$이면 $\mathbf v\T\Sigma_{\mathbf p}\mathbf v=\sum p_jv_j^2-(\sum p_jv_j)^2$은 확률 $p_j$로 값 $v_j$를 갖는 변수의 분산이다. $v_j$가 모두 같으면 $\sum v_j=0$에서 $\mathbf v=\mathbf0$이므로, 그렇지 않은 한 분산이 양수다($p_j>0$). 따라서 $\mathbf 1^\perp$ 위에서 양의 정부호이고 계수는 $k-1$.

연습 5.2 (비율 추정량 ★★) $(X_i,Y_i)$가 iid이고 $\mu_X\ne0$이면 $R=\mu_Y/\mu_X$의 추정량 $\hat R=\bar Y/\bar X$에 대해 $\sqrt n(\hat R-R)\xrightarrow{D}\N\Bigl(0,\allowbreak \ \dfrac{\sigma_Y^2-2R\sigma_{XY}+R^2\sigma_X^2}{\mu_X^2}\Bigr)$임을 보여라.

풀이

$\Y_n=(\bar X,\bar Y)$, $g(a,b)=b/a$, $\nabla g=(-b/a^2,\allowbreak \ 1/a)=\tfrac1{\mu_X}(-R,\allowbreak \ 1)$. 정리 5.4로 분산은 $\tfrac1{\mu_X^2}(R^2\sigma_X^2-2R\sigma_{XY}+\sigma_Y^2)$. 노트북의 예($\mu_X=2$, $\mu_Y=3$, $\sigma_X=1$, $\sigma_Y=1.5$, $\rho=0.6$)에서 이론 $0.450$, 시뮬레이션 $0.450$.

연습 5.3 (Fisher의 $z$ ★) 이변량 정규 표본의 상관계수 $r$이 $\sqrt n(r-\rho)\xrightarrow{D}\N\bigl(0,\allowbreak (1-\rho^2)^2\bigr)$을 만족함을 받아들이자(13회). $z=\tfrac12\log\tfrac{1+r}{1-r}$의 점근분산이 $\rho$와 상관없이 1임을 보여라(Fisher, 1921). 분산 안정화 변환이다.

풀이

$g(r)=\tfrac12\log\tfrac{1+r}{1-r}$, $g'(r)=\tfrac1{1-r^2}$이므로 점근분산은 $\tfrac{(1-\rho^2)^2}{(1-\rho^2)^2}=1$.

연습 5.4 (변동계수 ★★) $\mu>0$이고 $E X^4<\infty$인 iid 표본의 변동계수 $S_n/\bar X_n$의 점근분산을 다변량 델타 방법으로 구하라. 정규 모집단이면 $\tfrac{c^2}2+c^4$ ($c=\sigma/\mu$)임을 보여라.

풀이

$\Y_n=(\bar X,\allowbreak \tfrac1n\sum X_i^2)$, $\boldsymbol\theta=(\mu,\allowbreak \mu^2+\sigma^2)$, $g(a,b)=\sqrt{b-a^2}/a$. 정규이면 더 쉽게 $(\bar X,S)$로 쓴다: 둘은 독립이고(6회 정리 2.2) $\sqrt n(S-\sigma)\xrightarrow{D}\N(0,\allowbreak \sigma^2/2)$(예제 5.5에 $\sqrt{\cdot}$의 델타 방법, $\tfrac{2\sigma^4}{(2\sigma)^2}=\tfrac{\sigma^2}2$). $g(m,s)=s/m$, $\nabla g=(-s/m^2,1/m)$이므로 분산은 $\tfrac{\sigma^2}{\mu^4}\sigma^2+\tfrac1{\mu^2}\tfrac{\sigma^2}2=c^4+\tfrac{c^2}2$.

연습 5.5 (다변량 중심극한정리 증명 ★★ 유도형) 정리 5.2를 다음 순서로 증명하라.

1. (a)

   $\bt$를 고정하고 $Y_i=\bt\T(\X_i-\bmu)$로 두면 $Y_i$는 iid, 평균 0, 분산 $\bt\T\Sigma\bt$임을 보여라(5회 보조정리 3.1).

2. (b)

   $M_{\sqrt n(\bar\X_n-\bmu)}(\bt)=\bigl[M_Y(1/\sqrt n)\bigr]^n$임을 보여라.

3. (c)

   $\bt\T\Sigma\bt>0$이면 정리 3.1의 증명 4 5를 $t=1$에서 따라 (b)의 로그가 $\tfrac12\bt\T\Sigma\bt$로 감을 보여라. $\bt\T\Sigma\bt=0$이면 왜 처음부터 성립하는가?

4. (d)

   극한이 $\N_k(\mathbf 0,\Sigma)$의 mgf(5회 정의 3.4)임을 확인하고, 2.3절의 상자(벡터의 mgf)로 결론을 내라.

풀이

(a) $Y_i$는 iid 벡터 $\X_i$의 같은 함수이므로 iid이다. $EY_i=\bt\T(E\X_i-\bmu)=0$이고 $\Var Y_i=\bt\T\Sigma\bt$이다(5회 보조정리 3.1). (b) $\bt\T\sqrt n(\bar\X_n-\bmu)=\tfrac1{\sqrt n}\sum_iY_i$이므로 $M_{\sqrt n(\bar\X_n-\bmu)}(\bt)=E\exp\bigl(\tfrac1{\sqrt n}\sum Y_i\bigr)=\prod_iEe^{Y_i/\sqrt n}=\bigl[M_Y(1/\sqrt n)\bigr]^n$이다. 둘째 등호에서 독립(3회 정리 3.4)을 썼다. $\bt$가 $\mathbf0$ 근방에 있으면 $M_Y(s)=e^{-s\bt\T\bmu}M_{\X}(s\bt)$가 $|s|\le1$에서 존재한다. (c) $\bt\T\Sigma\bt>0$이면 $Y_i/\sqrt{\bt\T\Sigma\bt}$는 평균 0, 분산 1이고, 정리 3.1의 증명 4 5를 $t=\sqrt{\bt\T\Sigma\bt}$에서 쓰면 $n\log M_Y(1/\sqrt n)\to\tfrac12\bt\T\Sigma\bt$이다. $\bt\T\Sigma\bt=0$이면 $\Var Y_i=0$이므로 $Y_i=0$이고(2회 따름정리 5.6) mgf는 모든 $n$에서 $1=e^0$이다. (d) 극한 $\exp(\tfrac12\bt\T\Sigma\bt)$은 $\mathbf0$ 근방의 모든 $\bt$에서 $\N_k(\mathbf0,\Sigma)$의 mgf(5회 정의 3.4)와 같다. 2.3절의 상자는 벡터의 mgf에도 성립하므로 $\sqrt n(\bar\X_n-\bmu)\xrightarrow{D}\N_k(\mathbf0,\allowbreak \Sigma)$이다.

연습 5.6 (다변량 델타 방법 증명 ★★ 유도형) 정리 5.4를 다음 순서로 증명하라.

1. (a)

   $g$가 $\boldsymbol\theta$에서 미분가능하다는 것을 $g(\mathbf y)-g(\boldsymbol\theta)=\nabla g\T(\mathbf y-\boldsymbol\theta)+\|\mathbf y-\boldsymbol\theta\|\,r(\mathbf y)$, $r(\boldsymbol\theta)=0$, $r$은 $\boldsymbol\theta$에서 연속인 꼴로 써라.

2. (b)

   $\nabla g\T\sqrt n(\Y_n-\boldsymbol\theta)\xrightarrow{D}\N(0,\allowbreak \nabla g\T\Sigma\nabla g)$임을 2.3절의 연속사상 상자(선형함수는 연속)와 5회 정리 3.8로 보여라.

3. (c)

   $\sqrt n\|\Y_n-\boldsymbol\theta\|$가 확률적으로 유계이고 $r(\Y_n)\xrightarrow{P}0$임을 보여 둘째 항이 $\xrightarrow{P}0$임을 보여라.

4. (d)

   보조정리 4.1로 결론을 내라.

풀이

(a) 미분가능성의 정의는 $\tfrac{g(\mathbf y)-g(\boldsymbol\theta)-\nabla g\T(\mathbf y-\boldsymbol\theta)}{\|\mathbf y-\boldsymbol\theta\|}\to0$ ($\mathbf y\to\boldsymbol\theta$)이다. 이 몫을 $r(\mathbf y)$ ($\mathbf y\ne\boldsymbol\theta$), $r(\boldsymbol\theta)=0$으로 두면 식이 성립하고 $r$은 $\boldsymbol\theta$에서 연속이다. (b) $\mathbf V_n=\sqrt n(\Y_n-\boldsymbol\theta)\xrightarrow{D}\mathbf V\sim\N_k(\mathbf0,\allowbreak \Sigma)$이다. $\mathbf v\mapsto\nabla g\T\mathbf v$는 연속이므로 2.3절의 연속사상 상자로 $\nabla g\T\mathbf V_n\xrightarrow{D}\nabla g\T\mathbf V$이고, 5회 정리 3.8로 $\nabla g\T\mathbf V\sim\N(0,\allowbreak \nabla g\T\Sigma\nabla g)$이다. (c) $\|\mathbf V_n\|$은 같은 상자로 $\|\mathbf V\|$로 분포수렴하므로 확률적으로 유계다(정리 2.5). 그러면 $\Y_n-\boldsymbol\theta=\mathbf V_n/\sqrt n\xrightarrow{P}\mathbf0$이고, $r$이 $\boldsymbol\theta$에서 연속이므로 $r(\Y_n)\xrightarrow{P}0$이다(정리 1.3의 벡터 판). 정리 2.5의 둘째 주장으로 $\|\mathbf V_n\|\,r(\Y_n)\xrightarrow{P}0$이다. (d) $\sqrt n(g(\Y_n)-g(\boldsymbol\theta))=\nabla g\T\mathbf V_n+\|\mathbf V_n\|\,r(\Y_n)$이고, (b)(c)와 보조정리 4.1로 결론이 나온다.

이 절을 PDF로 보기 (22쪽)노트북 5절

이 회차에서 읽은 절 0개 · 회차 차례