8회 · 추론의 기초 · 노트

1 통계량과 순서통계량 — 독일 전차 문제

1.1 통계량

정의 1.1 (통계량과 추정량) 자료 $\X$의 함수로서 모르는 모수에 의존하지 않는 것 $T=T(\X)$를 통계량이라 한다. 모수 $\theta$(또는 그 함수)를 어림하려고 쓰는 통계량을 추정량, 그 관측값을 추정값이라 한다. $E_\theta T=\theta$가 모든 $\theta$에서 성립하면 $T$는 불편이고, $T_n\xrightarrow{P}\theta$가 모든 $\theta$에서 성립하면 일치한다.

$\bar X$, $S^2$, 표본중앙값은 통계량이다. 6회의 $T=\tfrac{\bar X-\mu}{S/\sqrt n}$은 $\mu$를 포함하므로 통계량이 아니라 축량이다. 추정량의 좋고 나쁨을 재는 기준(평균제곱오차, 효율)은 9회와 11회에서 다룬다. 이 절은 그 재료인 순서통계량을 준비한다.

1.2 순서통계량의 분포

정리 1.2 (순서통계량의 결합밀도) $X_1,\dots,X_n$이 밀도 $f$를 갖는 iid이면 순서통계량의 벡터 $(X_{(1)},\dots,X_{(n)})$은 다음 결합밀도를 갖는다.

$$g(y_1,\dots,y_n)=n!\,\prod_{i=1}^nf(y_i),\qquad y_1<y_2<\cdots<y_n$$

그 밖에서 $g=0$이다.

증명 전략 순서통계량이 집합 $A\subset\{y_1<\cdots<y_n\}$에 들어가는 사건을 “어느 $X_i$가 몇 번째로 작은가”에 따라 $n!$개의 서로소인 조각으로 나눈다. iid이므로 조각마다 확률이 같다.

1. $i\ne j$이면 $P(X_i=X_j)=\int P(X_j=x)f(x)\,dx=0$이다. 따라서 확률 1로 $X_1,\dots,X_n$은 모두 다르다.독립, 1회 정리 6.7(b)

2. 순열 $\pi$마다 $E_\pi=\{X_{\pi(1)}<\cdots<X_{\pi(n)}\}$로 두면 $E_\pi$들은 쌍마다 서로소이고, 확률 0인 사건을 빼면 합집합이 $\Omega$이다. $E_\pi$ 위에서 $(X_{(1)},\allowbreak \dots,\allowbreak X_{(n)})=(X_{\pi(1)},\allowbreak \dots,\allowbreak X_{\pi(n)})$이다.1, 원소 추적 [T1]

3. $A$의 점은 성분이 증가하므로 $\{(X_{\pi(1)},\allowbreak \dots,\allowbreak X_{\pi(n)})\in A\}\subset E_\pi$이고

   $$P\bigl((X_{(1)},\dots,X_{(n)})\in A\bigr)=\sum_\pi P\bigl((X_{\pi(1)},\dots,X_{\pi(n)})\in A\bigr) .$$

   2, 유한가법성

4. iid이므로 순서를 바꾼 벡터 $(X_{\pi(1)},\dots,X_{\pi(n)})$도 결합밀도 $\prod_if(y_i)$를 갖고, 각 항은 $\int_A\prod_if(y_i)\,d\mathbf y$이다.독립, 곱은 순서와 무관

5. 항이 $n!$개이므로 $P\bigl((X_{(1)},\allowbreak \dots,\allowbreak X_{(n)})\in A\bigr)=\int_An!\prod_if(y_i)\,d\mathbf y$이고, 이것이 밀도의 정의다.밀도의 정의

따름정리 1.3 ($k$번째 순서통계량) 분포함수가 $F$이면 $X_{(k)}$의 밀도는

$$f_{(k)}(x)=\frac{n!}{(k-1)!\,(n-k)!}\,F(x)^{k-1}\bigl(1-F(x)\bigr)^{n-k}f(x).$$

증명 전략 $X_{(k)}\le x$는 “$x$ 이하인 관측이 $k$개 이상”과 같으므로 분포함수가 이항분포의 꼬리다. 그것을 $x$로 미분하면 합의 항들이 차례로 지워지고 한 항만 남는다. 단계별 증명은 연습 1.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

밀도의 모양은 셈으로 읽힌다. $x$ 근처에 하나($f(x)$), 그 아래에 $k-1$개($F^{k-1}$), 위에 $n-k$개($(1-F)^{n-k}$)가 있고, 누가 어디에 있을지의 경우의 수가 다항계수다. $k=n$이 3회 예제 3.5의 최댓값이다.

1.3 표본분위수의 점근정규성

정리 1.4 (표본분위수) $0<p<1$이고 $F$가 분위수 $\xi_p=F^{-1}(p)$ 근처에서 연속인 밀도 $f$를 가지며 $f(\xi_p)>0$이면, $k_n/n\to p$이고 $k_n=np+o(\sqrt n)$인 $k_n$에 대해

$$\sqrt n\bigl(X_{(k_n)}-\xi_p\bigr)\ \xrightarrow{D}\ \N\Bigl(0,\ \frac{p(1-p)}{f(\xi_p)^2}\Bigr).$$

증명 전략 균등분포에서 먼저 증명한다. $U_{(k)}\le u$는 “$u$ 이하인 관측의 수”라는 이항 사건이므로 이항분포의 정규근사로 극한을 구한다. 그다음 $X_{(k)}=F^{-1}(U_{(k)})$에 델타 방법을 쓴다.

1단계: 균등분포

1. $U_i\iid\mathrm U(0,1)$, $x$를 고정하고 $p_n=p+\tfrac x{\sqrt n}$, $B_n=\#\{i:U_i\le p_n\}\sim\mathrm b(n,\allowbreak p_n)$으로 두면 $\{U_{(k_n)}\le p_n\}=\{B_n\ge k_n\}$이다.$k$번째로 작은 값이 $t$ 이하 $\iff$ $t$ 이하가 $k$개 이상 [T1]

2. $q_n=1-p_n$, $Z_n=\tfrac{B_n-np_n}{\sqrt{np_nq_n}}$, $c_n=\tfrac{k_n-np_n}{\sqrt{np_nq_n}}$이면 $P\bigl(\sqrt n(U_{(k_n)}-p)\le x\bigr)=P(Z_n\ge c_n)$이다.1, 표준화

3. $k_n-np_n=(k_n-np)-x\sqrt n=-x\sqrt n+o(\sqrt n)$이므로 $c_n\to-x/\sqrt{pq}$이다.$k_n=np+o(\sqrt n)$ [T8]

4. $p_n\to p\in(0,1)$이므로 $\sup_t|P(Z_n<t)-\Phi(t)|\le C/\sqrt n$인 상수 $C$가 $n$에 관계없이 있다.Berry–Esseen, 7회 3.2절의 상자

5. 3 4와 $\Phi$의 연속성으로 $P(Z_n\ge c_n)\to1-\Phi(-x/\sqrt{pq})=\Phi(x/\sqrt{pq})$, 곧 $\sqrt n(U_{(k_n)}-p)\xrightarrow{D}\N(0,\allowbreak pq)$이다.분포수렴의 정의

2단계: 역함수

1. $F^{-1}$은 비감소이므로 순서를 보존하고, $(F^{-1}(U_1),\allowbreak \dots,\allowbreak F^{-1}(U_n))$은 $(X_1,\dots,X_n)$과 분포가 같다. 따라서 $X_{(k_n)}$과 $F^{-1}(U_{(k_n)})$은 분포가 같다.2회 정리 4.7

2. $f$가 $\xi_p$ 근처에서 연속이고 양수이므로 $F$는 그 근처에서 순증가하고 미분가능하며, $F^{-1}$은 $p$에서 미분계수 $\tfrac1{f(\xi_p)}$를 갖는다.역함수의 미분

3. 1단계와 2에 델타 방법을 쓰면 $\sqrt n\bigl(F^{-1}(U_{(k_n)})-\xi_p\bigr)\xrightarrow{D}\N\bigl(0,\allowbreak \tfrac{pq}{f(\xi_p)^2}\bigr)$이다.7회 정리 4.4

조건 확인 Berry–Esseen 한계의 상수는 $E|\xi-p_n|^3/(p_nq_n)^{3/2}$에 비례한다($\xi\sim$ 베르누이$(p_n)$). $p_nq_n\to pq>0$이므로 이 양은 $n$에 대해 유계이고, 4의 고른 한계가 정당하다. 2단계의 델타 방법은 $F^{-1}$이 $p$에서 미분가능하기만 하면 된다.

예제 1.5 (표본중앙값) $p=\tfrac12$이면 표본중앙값의 점근분산은 $\tfrac1{4nf(m)^2}$이다(7회 연습 7.3에서 받아들였던 식). 정규 $\N(\mu,\sigma^2)$이면 $f(\mu)=\tfrac1{\sigma\sqrt{2\pi}}$이므로 $\tfrac{\pi\sigma^2}{2n}$, 평균의 $\tfrac{\sigma^2}n$보다 1.57배 크다. Laplace 분포(밀도 $\tfrac1{2b}e^{-|x-\mu|/b}$, 분산 $2b^2$)이면 $\tfrac{b^2}n$으로 평균의 $\tfrac{2b^2}n$보다 작다. 꼬리가 두꺼우면 중앙값이 평균을 이긴다. 5회 1절에서 Laplace 오차의 가능도가 중앙값에서 최대였던 것과 같은 이야기다.

그림 1.1 왼쪽: 정규 표본 $n=11$의 순서통계량 $X_{(1)},\allowbreak X_{(3)},\allowbreak X_{(6)},\allowbreak X_{(9)},\allowbreak X_{(11)}$의 밀도(따름정리 1.3). 오른쪽: 표본중앙값과 표본평균의 표준편차의 비 $\times\sqrt n$ — 정규(파랑)에서는 $\sqrt{\pi/2}=1.25$로 평균이 낫고, Laplace(빨강)에서는 $1/\sqrt2=0.71$로 중앙값이 낫다.

1.4 독일 전차 문제

역사 2차 대전 중 연합군은 노획한 독일 전차의 바퀴와 변속기에 찍힌 일련번호로 독일의 월 생산량을 추정했다. Ruggles와 Brodie(1947)의 보고에 따르면 1940년 6월의 생산량을 정보기관은 1,000대, 통계적 추정은 169대로 보았고, 전후에 확인한 독일 기록은 122대였다. 1941년 6월에는 정보기관 1,550대, 통계 244대, 기록 271대였다. 첩보보다 일련번호의 최댓값이 훨씬 정확했다.

전차에 $1,2,\dots,N$의 일련번호가 있고, 그 가운데 $k$대를 되돌려 넣지 않고 무작위로 노획했다고 하자. $N$을 어떻게 추정할까? 노획한 번호의 최댓값 $M$은 $N$ 이하이므로 $N$을 작게 어림한다. 얼마나 작은지는 계산할 수 있다.

정리 1.6 (최댓값의 기댓값과 불편추정량) $\{1,\dots,N\}$에서 $k$개를 되돌려 넣지 않고 뽑은 최댓값 $M$에 대해

$$P(M=m)=\frac{\binom{m-1}{k-1}}{\binom Nk}\quad(m=k,\dots,N),\qquad EM=\frac{k(N+1)}{k+1}.$$

따라서 $\hat N=\dfrac{k+1}kM-1$은 $N$의 불편추정량이다.

증명 전략 최댓값이 $m$인 표본을 세어 분포를 얻는다. 기댓값의 합은 $m\binom{m-1}{k-1}=k\binom mk$로 바꿔 하키스틱 항등식의 꼴로 만든다.

1. $\binom Nk$개의 표본이 같은 확률이다. 최댓값이 $m$이려면 $m$을 뽑고 나머지 $k-1$개를 $\{1,\dots,m-1\}$에서 뽑아야 하므로 $P(M=m)=\binom{m-1}{k-1}/\binom Nk$이다.1회 따름정리 4.10, 정리 1.4

2. $m\binom{m-1}{k-1}=\tfrac{m!}{(k-1)!\,(m-k)!}=k\binom mk$이다.계승으로 정리

3. 따라서

   $$\begin{align*} EM&=\frac1{\binom Nk}\sum_{m=k}^Nm\binom{m-1}{k-1}=\frac{k}{\binom Nk}\sum_{m=k}^N\binom mk \tag*{\htmlClass{reason}{\text{\htmlClass{sref}{\text{1}}\,\htmlClass{sref}{\text{2}}}}}\\ &=\frac{k\binom{N+1}{k+1}}{\binom Nk}=\frac{k(N+1)}{k+1} . \tag*{\htmlClass{reason}{\text{하키스틱, 연습~\href{/read/08/1#ex-hockey}{1.3}}}} \end{align*}$$

4. $E\hat N=\tfrac{k+1}kEM-1=N$이다.기댓값의 선형성

$\hat N=M+\tfrac Mk-1$은 “관측한 최댓값에 번호 사이의 평균 간격만큼 더한다”로 읽힌다. 같은 문제를 적률법으로 풀면 $E\bar X=\tfrac{N+1}2$에서 $2\bar X-1$이 나온다. 둘 다 불편이지만 분산이 다르다. $\Var\hat N=\tfrac{(N+1)(N-k)}{k(k+2)}$이고 $\Var(2\bar X-1)=\tfrac{(N+1)(N-k)}{3k}$이므로(연습 1.4) 최댓값 쪽이 $\tfrac{k+2}3$배 정확하다. $N=300$, $k=5$이면 표준편차가 50과 77이다. 11회에서 $\hat N$이 모든 불편추정량 가운데 분산이 가장 작음(UMVUE)을 증명하고, 15회에서는 부트스트랩이 바로 이 최댓값에서 실패함을 본다.

연습문제

연습 1.1 (최솟값과 범위 ★) $\mathrm U(0,1)$ 표본에서 $X_{(1)}$과 $X_{(n)}$의 결합밀도를 정리 1.2를 적분해 구하고, 범위 $R=X_{(n)}-X_{(1)}$이 $\mathrm{Beta}(n-1,2)$임을 보여라.

풀이

정리 1.2의 밀도 $n!$을 가운데 $n-2$개의 좌표에 대해 $y_1<y_2<\cdots<y_{n-1}<y_n$ 위에서 적분하면 $(X_{(1)},X_{(n)})$의 결합밀도는 $n(n-1)(v-u)^{n-2}$ ($0<u<v<1$)이다(가운데 $n-2$개가 $(u,v)$에 있는 부피 $\tfrac{(v-u)^{n-2}}{(n-2)!}$). $R=V-U$, $W=U$로 바꾸면(야코비안 1) $f(r,w)=n(n-1)r^{n-2}$, $0<w<1-r$이고, $w$로 적분하면 $f_R(r)=n(n-1)r^{n-2}(1-r)$, 곧 $\mathrm{Beta}(n-1,2)$.

연습 1.2 (지수 표본의 간격 ★★) $\mathrm{Exp}(1)$ 표본의 간격 $D_i=X_{(i)}-X_{(i-1)}$ ($X_{(0)}=0$)에 대해 $(n-i+1)D_i$가 iid $\mathrm{Exp}(1)$임을 보여라. (힌트: 결합밀도 $n!\,e^{-\sum y_i}$에서 $\sum y_i=\sum_i(n-i+1)d_i$.) 따라서 $EX_{(k)}=\sum_{i=1}^k\tfrac1{n-i+1}$.

풀이

$y_i=\sum_{j\le i}d_j$로 바꾸면 야코비안이 1이고 $\sum_iy_i=\sum_i(n-i+1)d_i$이므로 결합밀도는 $n!\exp\bigl(-\sum(n-i+1)d_i\bigr)=\prod_i(n-i+1)e^{-(n-i+1)d_i}$ ($d_i>0$)이다. 인수분해되므로 $D_i$는 독립이고 $D_i\sim\mathrm{Exp}$ (비율 $n-i+1$), 곧 $(n-i+1)D_i\sim\mathrm{Exp}(1)$. 3회 예제 3.5의 “최솟값은 비율 $n\lambda$의 지수”를 되풀이한 것이다. $EX_{(k)}=\sum_{i\le k}ED_i$.

연습 1.3 (하키스틱 항등식 ★) $\sum_{m=k}^N\binom mk=\binom{N+1}{k+1}$을 “$\{1,\dots,N+1\}$에서 $k+1$개를 고를 때 가장 큰 수가 $m+1$”로 나누어 세어 보여라.

풀이

$\{1,\dots,N+1\}$에서 $k+1$개를 고르는 방법 $\binom{N+1}{k+1}$가지를 가장 큰 수 $m+1$ ($m=k,\dots,N$)로 나누면, 나머지 $k$개를 $\{1,\dots,m\}$에서 고르는 $\binom mk$가지씩이다.

연습 1.4 (전차 추정량의 분산 ★★★) $E[M(M+1)]=\tfrac{k(N+1)(N+2)}{k+2}$을 정리 1.6의 증명과 같은 방법($m(m+1)\binom{m-1}{k-1}=k(k+1)\binom{m+1}{k+1}$)으로 보이고, $\Var\hat N=\tfrac{(N+1)(N-k)}{k(k+2)}$을 유도하라. 4회 정리 1.5(초기하의 분산, 유한 모집단 수정)로 $\Var(2\bar X-1)=\tfrac{(N+1)(N-k)}{3k}$도 보여라.

풀이

$m(m+1)\binom{m-1}{k-1}=\tfrac{(m+1)!}{(k-1)!(m-k)!}=k(k+1)\binom{m+1}{k+1}$이고 하키스틱으로 $\sum_{m=k}^N\binom{m+1}{k+1}=\binom{N+2}{k+2}$이므로 $E[M(M+1)]=\tfrac{k(k+1)\binom{N+2}{k+2}}{\binom Nk}=\tfrac{k(N+1)(N+2)}{k+2}$. 따라서

$$\begin{align*} \Var M&=E[M(M+1)]-EM-(EM)^2=\frac{k(N+1)(N-k)}{(k+1)^2(k+2)},\\ \Var\hat N&=\Bigl(\frac{k+1}k\Bigr)^2\Var M=\frac{(N+1)(N-k)}{k(k+2)} . \end{align*}$$

한편 $\{1,\dots,N\}$의 분산은 $\tfrac{N^2-1}{12}$이고, 비복원 표본평균의 분산은 4회 정리 1.5의 유한 모집단 수정으로 $\tfrac{N^2-1}{12k}\cdot\tfrac{N-k}{N-1}=\tfrac{(N+1)(N-k)}{12k}$. 4배 하면 $\Var(2\bar X-1)$. $N=300$, $k=5$이면 표준편차 50.4와 76.9(시뮬레이션 50.3, 77.0).

연습 1.5 (Laplace에서 중앙값 ★★) 정리 1.4로 Laplace 분포에서 표본중앙값의 점근분산이 $\tfrac{b^2}n$임을 보이고, 평균과의 효율비를 구하라. $t(3)$이면?

풀이

Laplace의 중앙값 $\mu$에서 $f(\mu)=\tfrac1{2b}$이므로 점근분산 $\tfrac1{4nf^2}=\tfrac{b^2}n$. 평균의 분산 $\tfrac{2b^2}n$의 절반이다. 중앙값이 평균보다 두 배 효율적이다. $t(3)$이면 $f(0)=\tfrac{\Gamma(2)}{\sqrt{3\pi}\Gamma(3/2)}=0.368$이므로 중앙값의 분산은 $\tfrac{1.85}n$, 평균의 분산은 $\tfrac{\Var T}n=\tfrac3n$이다. 중앙값이 1.62배 효율적이다.

연습 1.6 ($k$번째 순서통계량의 밀도 ★★ 유도형) 따름정리 1.3를 다음 순서로 증명하라.

1. (a)

   $\{X_{(k)}\le x\}$가 “$x$ 이하인 $X_i$가 $k$개 이상”과 같음을 보이고, $P(X_{(k)}\le x)=\sum_{j=k}^n\binom njF(x)^j\bigl(1-F(x)\bigr)^{n-j}$을 얻어라.

2. (b)

   $j\binom nj=n\binom{n-1}{j-1}$, $(n-j)\binom nj=n\binom{n-1}j$를 써서 (a)를 $x$로 미분한 식이 다음과 같음을 보여라.

   $$nf(x)\sum_{j=k}^n\Bigl[\tbinom{n-1}{j-1}F^{j-1}(1-F)^{n-j}-\tbinom{n-1}{j}F^{j}(1-F)^{n-1-j}\Bigr]$$
3. (c)

   (b)의 합에서 이웃한 항이 지워져 $j=k$의 첫 항만 남음을 보이고 따름정리의 식을 얻어라.

4. (d)

   다른 길로도 같은 식이 나온다. $U_{(k)}\sim\mathrm{Beta}(k,\allowbreak n-k+1)$(4회 예제 4.4)과 $X_{(k)}=F^{-1}(U_{(k)})$에 단조변환의 밀도(2회 정리 4.3)를 쓰면 같은 식이 나옴을 확인하라.

풀이

(a) $X_{(k)}\le x$이면 $X_{(1)},\dots,X_{(k)}$이 모두 $x$ 이하이므로 $x$ 이하인 관측이 $k$개 이상이다. 거꾸로 $x$ 이하인 관측이 $k$개 이상이면 $k$번째로 작은 값은 $x$ 이하다. $x$ 이하인 관측의 수는 $\mathrm b(n,F(x))$이므로 $P(X_{(k)}\le x)=\sum_{j=k}^n\binom njF^j(1-F)^{n-j}$이다.

(b) $F$가 미분가능한 점에서 $\tfrac{d}{dx}F^j(1-F)^{n-j}=f\bigl[jF^{j-1}(1-F)^{n-j}-(n-j)F^j(1-F)^{n-j-1}\bigr]$이다. 여기에 $\binom nj$를 곱하고 $j\binom nj=n\binom{n-1}{j-1}$, $(n-j)\binom nj=n\binom{n-1}j$를 쓰면 주어진 식이다. ($j=n$이면 둘째 항은 $\binom{n-1}n=0$이다.)

(c) $a_j=\binom{n-1}{j-1}F^{j-1}(1-F)^{n-j}$로 두면 둘째 항은 $a_{j+1}$이다. 합은 $\sum_{j=k}^n(a_j-a_{j+1})=a_k-a_{n+1}=a_k$ ($a_{n+1}=0$)이므로

$$f_{(k)}(x)=n\binom{n-1}{k-1}F^{k-1}(1-F)^{n-k}f=\frac{n!}{(k-1)!\,(n-k)!}F(x)^{k-1}\bigl(1-F(x)\bigr)^{n-k}f(x) .$$

(d) $U_i=F(X_i)$가 아니라 $X_i=F^{-1}(U_i)$로 표본을 만들면(2회 정리 4.7) $F^{-1}$이 비감소이므로 $X_{(k)}=F^{-1}(U_{(k)})$이다. $U_{(k)}$의 밀도 $\tfrac{n!}{(k-1)!(n-k)!}u^{k-1}(1-u)^{n-k}$에 단조변환의 밀도 공식을 쓰면 $f_{(k)}(x)=f_{\mathrm{Beta}}(F(x))\,f(x)$로 같은 식이다.

이 절을 PDF로 보기 (2쪽)노트북 1절

이 회차에서 읽은 절 0개 · 회차 차례