7회 · 극한의 언어 · 노트

4 Slutsky의 정리와 델타 방법

중심극한정리의 $Z_n$에는 모르는 $\sigma$가 들어 있다. 실제로 쓰는 것은 $\sigma$ 대신 $S$를 넣은 것이고, 관심 있는 양도 $\bar X$ 자체보다 그 함수(비율의 로그, $\pi$의 추정값)인 경우가 많다. 이 절의 두 정리가 그 간격을 메운다.

4.1 Slutsky의 정리 (1925)

보조정리 4.1 (확률적으로 무시할 수 있는 항) $Y_n\xrightarrow{D}Y$이고 $R_n\xrightarrow{P}0$이면 $Y_n+R_n\xrightarrow{D}Y$.

증명 전략 정리 2.3(a)의 증명과 같은 끼우기다. $|R_n|<\varepsilon$인 사건 위에서 $Y_n+R_n$을 $Y_n\pm\varepsilon$ 사이에 둔다. 다른 점은 $x\pm\varepsilon$이 $Y$의 연속점이 되게 $\varepsilon$을 골라야 한다는 것이다. 단계별 증명은 연습 4.7(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

정리 4.2 (Slutsky의 정리) $X_n\xrightarrow{D}X$, $A_n\xrightarrow{P}a$, $B_n\xrightarrow{P}b$ ($a,b$는 상수)이면

$$A_n+B_nX_n\ \xrightarrow{D}\ a+bX .$$

증명 전략 확률변수인 계수 $A_n$, $B_n$을 극한의 상수 $a$, $b$로 바꾸고, 바꾸면서 생긴 차이 $R_n$이 확률적으로 0임을 보인다. 그러면 남는 것은 상수 계수의 아핀변환 $a+bX_n$이다.

1. $A_n+B_nX_n=(a+bX_n)+R_n$, $R_n=(A_n-a)+(B_n-b)X_n$으로 쓴다.더하고 빼기 [T4]

2. $X_n\xrightarrow{D}X$이므로 $\{X_n\}$은 확률적으로 유계이고, $B_n-b\xrightarrow{P}0$이므로 $(B_n-b)X_n\xrightarrow{P}0$이다.정리 2.5

3. $A_n-a\xrightarrow{P}0$과 2를 더하면 $R_n\xrightarrow{P}0$이다.따름정리 1.4

4. $b>0$이면 $P(a+bX_n\le x)=F_n\bigl(\tfrac{x-a}b\bigr)$이고, $x$가 $a+bX$의 연속점인 것과 $\tfrac{x-a}b$가 $X$의 연속점인 것이 같으므로 $a+bX_n\xrightarrow{D}a+bX$이다.정의 2.1

5. $b<0$이면 $P(a+bX_n\le x)=1-P(X_n<y)$, $y=\tfrac{x-a}b$이다. $y$가 연속점이면 $P(X_n<y)$를 $F_n(y-\delta)$와 $F_n(y)$ 사이에 끼워 $F(y)$로 보내므로 같은 결론이 나온다. $b=0$이면 $a+bX_n=a$는 상수다.연습 2.4의 끼우기

6. 3 4 5에 보조정리 4.1을 쓰면 $A_n+B_nX_n\xrightarrow{D}a+bX$이다.보조정리 4.1

Slutsky 러시아의 경제학자이자 통계학자 Evgeny Slutsky는 1925년 Metron에 실은 논문에서 확률변수의 극한을 체계적으로 다뤘다. 2년 뒤(1927) 그는 무작위 충격의 이동평균이 경기순환처럼 보이는 주기를 만든다는 논문도 썼다(Slutsky 효과). 그의 정리는 Cramér의 교과서(1946)를 통해 통계학의 기본 도구가 되었다.

따름정리 4.3 (스튜던트화한 평균) $X_1,X_2,\dots$가 iid이고 $0<\sigma^2<\infty$이면

$$\frac{\bar X_n-\mu}{S_n/\sqrt n}\ \xrightarrow{D}\ \N(0,1).$$

따라서 $\bar X_n\pm z_{\alpha/2}S_n/\sqrt n$과 $t$-구간 $\bar X_n\pm t_{n-1,\alpha/2}S_n/\sqrt n$은 모집단의 분포와 상관없이 포함확률이 $1-\alpha$로 간다.

증명 $\tfrac{\bar X_n-\mu}{S_n/\sqrt n}=\tfrac\sigma{S_n}\cdot Z_n$이다. 중심극한정리(3.3절의 상자 (1))로 $Z_n\xrightarrow{D}\N(0,1)$이고, 따름정리 1.7와 정리 1.3로 $\sigma/S_n\xrightarrow{P}1$. Slutsky($a=0$, $B_n=\sigma/S_n$). $t$-구간은 $t_{n-1,\alpha/2}\to z_{\alpha/2}$(6회 정리 3.3(d))를 더한다.

19세기의 천문학자들이 $\sigma$ 자리에 $s$를 넣고 정규분포를 쓴 관행(6회 1절)이 이것으로 정당화된다. 단, “$n\to\infty$에서”다. 지수 모집단이면 1.96을 쓴 구간의 포함확률이 $n=30$에서 0.919, $200$에서 0.945, $1000$에서 0.948이다. 6회는 작은 $n$의 정확한 답을, 이 따름정리는 큰 $n$의 근사적 답을 준다.

4.2 델타 방법

정리 4.4 (델타 방법) $\sqrt n(Y_n-\theta)\xrightarrow{D}\N(0,\allowbreak \sigma^2)$이고 $g$가 $\theta$에서 미분가능하면

$$\sqrt n\bigl(g(Y_n)-g(\theta)\bigr)\ \xrightarrow{D}\ \N\bigl(0,\ g'(\theta)^2\sigma^2\bigr).$$

증명 전략 차분몫 $h(y)=\tfrac{g(y)-g(\theta)}{y-\theta}$을 확률변수 계수로 보면 $\sqrt n(g(Y_n)-g(\theta))$는 $h(Y_n)\cdot\sqrt n(Y_n-\theta)$이다. 계수가 $g'(\theta)$로 확률수렴함을 보이고 Slutsky를 쓴다.

1. $h(y)=\tfrac{g(y)-g(\theta)}{y-\theta}$ ($y\ne\theta$), $h(\theta)=g'(\theta)$로 두면 $h$는 $\theta$에서 연속이다.미분의 정의 [T5]

2. $\sqrt n(Y_n-\theta)$는 확률적으로 유계이고 $\tfrac1{\sqrt n}\to0$이므로 $Y_n-\theta=\tfrac1{\sqrt n}\cdot\sqrt n(Y_n-\theta)\xrightarrow{P}0$이다.정리 2.5

3. $h(Y_n)\xrightarrow{P}h(\theta)=g'(\theta)$이다.1 2, 정리 1.3(a)

4. 모든 $y$에서 $g(y)-g(\theta)=h(y)(y-\theta)$이므로(양변이 $y=\theta$에서 0)

   $$\sqrt n\bigl(g(Y_n)-g(\theta)\bigr)=h(Y_n)\cdot\sqrt n(Y_n-\theta) .$$

   1

5. $A_n=0$, $B_n=h(Y_n)$, $b=g'(\theta)$로 Slutsky를 쓰면 극한은 $g'(\theta)\cdot\N(0,\allowbreak \sigma^2)=\N(0,\allowbreak g'(\theta)^2\sigma^2)$이다.정리 4.2, 5회 정리 3.8

이름은 $g(Y_n)-g(\theta)\approx g'(\theta)(Y_n-\theta)$, 곧 작은 변화 $\Delta$의 선형 근사에서 왔다. 표준오차의 언어로 쓰면 $\mathrm{se}\bigl(g(Y)\bigr)\approx|g'(\theta)|\,\mathrm{se}(Y)$이다. $g'(\theta)=0$이면 극한이 0으로 퇴화하고 한 단계 더 전개해야 한다(연습 4.2).

예제 4.5 (로그 오즈) 성공 비율 $\hat p$에 대해 $\sqrt n(\hat p-p)\xrightarrow{D}\N(0,\allowbreak pq)$이고 $g(p)=\log\tfrac p{1-p}$이면 $g'(p)=\tfrac1{pq}$이므로

$$\sqrt n\Bigl(\log\frac{\hat p}{1-\hat p}-\log\frac p{1-p}\Bigr)\xrightarrow{D}\N\Bigl(0,\frac1{pq}\Bigr).$$

$p=0.2$, $n=50$이면 근사 분산은 $\tfrac1{npq}=0.125$이고 시뮬레이션은 0.143이다($\hat p=0$인 경우는 $1.4\times10^{-5}$로 무시했다). 로그 오즈는 $(-\infty,\infty)$에서 움직이므로 $[0,1]$에 갇힌 $\hat p$보다 정규근사가 자연스럽고, 로지스틱 회귀(13회)와 오즈비의 구간(8회)이 이 척도를 쓴다.

예제 4.6 (Buffon의 $\pi$는 얼마나 정확한가) $\ell=d$이면 $p=\tfrac2\pi$, $\hat\pi_n=g(\hat p_n)$, $g(x)=\tfrac2x$이다. $g'(p)=-\tfrac2{p^2}$이므로

$$\sqrt n(\hat\pi_n-\pi)\xrightarrow{D}\N\Bigl(0,\ \frac4{p^4}\,p(1-p)\Bigr),\qquad\mathrm{sd}(\hat\pi_n)\approx\frac{2.37}{\sqrt n}.$$

$n=1000$이면 0.075(시뮬레이션 0.075)다. 소수 셋째 자리까지 맞히려면($\mathrm{sd}\approx0.0005$) $n\approx(2.37/0.0005)^2\approx2.2\times10^7$번을 던져야 한다. $1/\sqrt n$의 정확도는 느리다.

그림 4.1 바늘 던지기 다섯 번의 실행에서 $\hat\pi_n$의 경로(색 선)와 델타 방법의 $\pi\pm1.96\cdot2.37/\sqrt n$ 띠(회색). 경로는 띠 안에서 $1/\sqrt n$의 속도로 좁아진다. 빨간 점은 Lazzarini(1901)가 보고한 $n=3408$의 값으로, 띠의 폭에 비해 믿을 수 없을 만큼 $\pi$에 가깝다.

가정 주의 이탈리아의 Lazzarini는 1901년 길이 2.5cm의 바늘을 3cm 간격의 선 위에 3,408번 던져 1,808번 걸쳤다고 보고했다. $\ell/d=\tfrac56$이므로 $\hat\pi=\tfrac{2\cdot(5/6)\cdot3408}{1808}=3.1415929$, 오차 $2.7\times10^{-7}$이다. 그런데 델타 방법의 표준편차는 0.051이다. 오차가 표준편차의 19만분의 1이다. 더 이상한 점이 있다. $\tfrac{355}{113}=3.1415929$는 유명한 근삿값이고, $n=3408=16\cdot213$, $K=1808=16\cdot113$일 때만 정확히 나온다. 이 $n$에서 기대 교차 수는 $1808.0$이고 $P(K=1808)=0.014$다. 이 노트의 연습 4.4은 “355/113이 나올 때까지 던지고 멈춘다”면 무슨 일이 생기는지 묻는다. Gridgeman(1960)과 Badger(1994)는 이 실험이 원하는 답에 맞춰 멈췄거나 꾸며졌다고 결론지었다. 좋은 추정은 오차의 크기와 함께 보고되고, 오차보다 지나치게 좋은 결과는 의심해야 한다.

예제 4.7 (분산 안정화) $\hat p$의 분산 $\tfrac{pq}n$은 $p$에 의존한다. $g$를 $g'(p)^2pq$가 상수가 되게 고르면 $g(\hat p)$의 분산은 $p$와 상관없다. $g'(p)=\tfrac1{2\sqrt{pq}}$를 적분하면 $g(p)=\arcsin\sqrt p$이고, $\Var\arcsin\sqrt{\hat p}\approx\tfrac1{4n}$이다. $n=100$에서 $4n\Var$를 시뮬레이션하면 $p=0.05,\,0.2,\,0.5$에서 1.14, 1.02, 1.01이다. 같은 방법으로 Poisson은 $\sqrt X$의 분산이 $\tfrac14$로 안정된다($\lambda=2,10,100$에서 0.39, 0.26, 0.25). 분산이 평균에 따라 변하는 자료를 회귀(13회)나 분산분석(14회)에 넣기 전의 표준적인 변환이다.

연습문제

연습 4.1 (로그 평균 ★) $X_i\iid\mathrm{Exp}(1)$이면 $\sqrt n\log\bar X_n\xrightarrow{D}\N(0,\allowbreak 1)$임을 보여라.

풀이

$\sqrt n(\bar X_n-1)\xrightarrow{D}\N(0,\allowbreak 1)$이고 $g=\log$, $g'(1)=1$. $\sqrt n(\log\bar X_n-\log1)\xrightarrow{D}\N(0,\allowbreak 1)$.

연습 4.2 (2차 델타 방법 ★★) $\sqrt n(Y_n-\theta)\xrightarrow{D}\N(0,\allowbreak \sigma^2)$이고 $g'(\theta)=0$, $g''$가 $\theta$ 근처에서 연속이면 $n\bigl(g(Y_n)-g(\theta)\bigr)\xrightarrow{D}\tfrac12g''(\theta)\sigma^2\chi^2(1)$임을 보여라(연습 2.4 사용). 예: $\mu=0$이면 $n\bar X_n^2\xrightarrow{D}\sigma^2\chi^2(1)$.

풀이

테일러 정리로 $g(Y_n)-g(\theta)=\tfrac12g''(\xi_n)(Y_n-\theta)^2$ ($\xi_n$은 $Y_n$과 $\theta$ 사이). $\xi_n\xrightarrow{P}\theta$이고 $g''$가 연속이므로 $g''(\xi_n)\xrightarrow{P}g''(\theta)$. $n(Y_n-\theta)^2=\bigl(\sqrt n(Y_n-\theta)\bigr)^2\xrightarrow{D}\sigma^2\chi^2(1)$(연습 2.4을 $\sqrt n(Y_n-\theta)/\sigma$에). Slutsky로 $n(g(Y_n)-g(\theta))\xrightarrow{D}\tfrac12g''(\theta)\sigma^2\chi^2(1)$. $g(x)=x^2$, $\theta=0$이면 $\tfrac12\cdot2=1$.

연습 4.3 (가장 좋은 바늘 ★★) $\ell\le d$에서 $r=\ell/d$, $p=\tfrac{2r}\pi$이면 $\hat\pi_n=\tfrac{2r}{\hat p_n}$의 점근분산이 $\tfrac{4r^2(1-p)}{p^3}=\tfrac{\pi^2(1-p)}{p}$임을 보이고, $r=1$에서 가장 작음을 보여라. Lazzarini의 $r=\tfrac56$은 $r=1$보다 표준편차가 몇 배인가?

풀이

$g(x)=\tfrac{2r}x$, $g'(p)=-\tfrac{2r}{p^2}$이므로 점근분산은 $\tfrac{4r^2}{p^4}p(1-p)=\tfrac{4r^2(1-p)}{p^3}$. $2r=\pi p$를 넣으면 $\tfrac{\pi^2(1-p)}p$로, $p$에 대해 감소하고 $p=\tfrac{2r}\pi$는 $r$에 대해 증가하므로 $r=1$이 최선이다. $r=1$: $\pi^2\cdot\tfrac{0.3634}{0.6366}=5.63$ (표준편차 $2.37/\sqrt n$), $r=\tfrac56$: $\pi^2\cdot\tfrac{0.4695}{0.5305}=8.74$ ($2.96/\sqrt n$), 1.25배다.

연습 4.4 (원하는 답이 나올 때 멈추기 ★★) $r=\tfrac56$으로 한 번씩 던지며 $n$이 213의 배수이고 $K_n/n=\tfrac{113}{213}$인 순간 멈춘다고 하자. 노트북으로 $n\le5000$ 안에 멈출 확률을 시뮬레이션하라. 보고된 $\hat\pi$는 언제나 $355/113$이다. 이 실험의 오차를 $0.051$이라고 보고하는 것은 왜 틀렸나?

풀이

시뮬레이션(2만 번)에서 $n\le5000$ 안에 멈출 확률은 약 0.34, 멈춘 시점의 중앙값은 $n\approx1300$이다. 세 사람 가운데 한 명은 이 방법으로 소수 여섯째 자리까지 맞는 $\pi$를 “얻는다”. 보고된 값은 멈춘 규칙 때문에 언제나 $355/113$이므로, 그 값의 분포는 고정된 $n$의 $\hat\pi_n$의 분포와 전혀 다르다. 표준오차 0.051은 “미리 정한 $n$번 던진다”는 실험의 성질이지 이 실험의 성질이 아니다. 자료를 보면서 멈출 때를 정하면 오차의 계산이 무효가 된다. 8회의 p-해킹과 같은 문제다.

연습 4.5 (두 변환 ★★) (a) $g(p)=\arcsin\sqrt p$이면 $g'(p)^2pq=\tfrac14$임을 보여라. (b) $X_\lambda\sim\mathrm{Poi}(\lambda)$이면 $\sqrt\lambda\cdot\tfrac{X_\lambda-\lambda}\lambda$의 극한과 델타 방법으로 $2(\sqrt{X_\lambda}-\sqrt\lambda)\xrightarrow{D}\N(0,\allowbreak 1)$임을 보여라.

풀이

(a) $g'(p)=\tfrac1{2\sqrt p}\cdot\tfrac1{\sqrt{1-p}}$이므로 $g'(p)^2pq=\tfrac14$. (b) 따름정리 3.2(b)로 $\tfrac{X_\lambda-\lambda}{\sqrt\lambda}\xrightarrow{D}\N(0,\allowbreak 1)$. $\sqrt{X_\lambda}-\sqrt\lambda=\tfrac{X_\lambda-\lambda}{\sqrt{X_\lambda}+\sqrt\lambda}$이고 $\tfrac{\sqrt{X_\lambda}+\sqrt\lambda}{2\sqrt\lambda}\xrightarrow{P}1$(같은 따름정리로 $X_\lambda/\lambda\xrightarrow{P}1$)이므로 Slutsky로 $2(\sqrt{X_\lambda}-\sqrt\lambda)\xrightarrow{D}\N(0,\allowbreak 1)$.

연습 4.6 (Slutsky의 함정 ★) $X_n\xrightarrow{D}\N(0,1)$, $B_n\xrightarrow{D}1$이면 $B_nX_n\xrightarrow{D}\N(0,1)$인가? $B_n$이 상수로 분포수렴하면 확률수렴이기도 함(정리 2.3(b))을 써서 답하라.

풀이

그렇다. 상수로의 분포수렴은 확률수렴이므로(정리 2.3(b)) $B_n\xrightarrow{P}1$이고 Slutsky를 쓸 수 있다. $B_n$의 극한이 상수가 아닌 확률변수이면 결론은 거짓일 수 있다(연습 2.5).

연습 4.7 (무시할 수 있는 항 증명 ★★ 유도형) 보조정리 4.1을 다음 순서로 증명하라. $F_Y$를 $Y$의 분포함수, $x$를 그 연속점이라 하자.

1. (a)

   $\{Y_n+R_n\le x\}\subset\{Y_n\le x+\varepsilon\}\cup\{|R_n|\ge\varepsilon\}$와 $\{Y_n\le x-\varepsilon\}\subset\{Y_n+R_n\le x\}\cup\{|R_n|\ge\varepsilon\}$를 원소 추적으로 보여라.

2. (b)

   $F_Y$의 불연속점은 셀 수 있게 많으므로 $x\pm\varepsilon$이 모두 연속점인 $\varepsilon$을 얼마든지 작게 고를 수 있음을 설명하라.

3. (c)

   (a)(b)로 $F_Y(x-\varepsilon)\le\liminf_nP(Y_n+R_n\le x)\le\limsup_nP(Y_n+R_n\le x)\le F_Y(x+\varepsilon)$을 보여라.

4. (d)

   $\varepsilon\downarrow0$으로 결론을 내라. 정리 2.3(a)의 증명과 무엇이 같고 무엇이 다른가?

풀이

(a) $Y_n+R_n\le x$이고 $|R_n|<\varepsilon$이면 $Y_n\le x-R_n<x+\varepsilon$이다. 따라서 $Y_n+R_n\le x$이면 $Y_n\le x+\varepsilon$이거나 $|R_n|\ge\varepsilon$이다. 마찬가지로 $Y_n\le x-\varepsilon$이고 $|R_n|<\varepsilon$이면 $Y_n+R_n<x$이다. (b) 불연속점의 집합 $D$는 셀 수 있으므로 $\{\varepsilon>0: x+\varepsilon\in D\text{ 또는 }x-\varepsilon\in D\}$도 셀 수 있다. 어떤 구간 $(0,\delta)$도 셀 수 없이 많은 점을 가지므로 그 안에 이 집합에 속하지 않는 $\varepsilon$이 있다. (c) (a)와 Boole 부등식으로 $P(Y_n\le x-\varepsilon)-P(|R_n|\ge\varepsilon)\le P(Y_n+R_n\le x)\le P(Y_n\le x+\varepsilon)+P(|R_n|\ge\varepsilon)$이다. $x\pm\varepsilon$이 연속점이므로 $P(Y_n\le x\pm\varepsilon)\to F_Y(x\pm\varepsilon)$이고 $P(|R_n|\ge\varepsilon)\to0$이다. (d) $x$가 연속점이므로 (b)의 $\varepsilon$을 0으로 보내면 양 끝이 $F_Y(x)$로 간다. 끼우는 방식은 정리 2.3(a)와 같다. 다른 점은 거기서는 극한 $F(x\pm\varepsilon)$이 정확한 값이어서 $\varepsilon$을 아무렇게나 골라도 되었지만, 여기서는 $P(Y_n\le x\pm\varepsilon)$의 극한을 쓰므로 $x\pm\varepsilon$이 연속점이어야 한다는 것이다.

이 절을 PDF로 보기 (17쪽)노트북 4절

이 회차에서 읽은 절 0개 · 회차 차례