8회 · 추론의 기초 · 노트

2 신뢰구간 — Neyman (1937)

역사 Jerzy Neyman은 1937년 Philosophical Transactions에 실은 논문에서 “신뢰구간”을 정의했다. 핵심은 확률을 구간을 만드는 방법에 붙이는 것이었다. 모수는 고정된 미지수이고 구간이 무작위다. 같은 시기 Fisher는 “기준 확률”(fiducial probability, 1930)이라는 다른 해석으로 비슷한 구간을 만들었고, 두 사람은 해석을 두고 오래 다퉜다. 오늘의 교과서는 Neyman의 해석을 따른다.

2.1 정의와 축량

정의 2.1 (신뢰구간) 통계량 $L(\X)\le U(\X)$가 모든 $\theta\in\Omega$에서 $P_\theta\bigl(L(\X)\le\theta\le U(\X)\bigr)\ge1-\alpha$를 만족하면 $[L,U]$를 $\theta$의 $100(1-\alpha)\%$ 신뢰구간이라 하고, 왼쪽 확률의 하한 $\inf_\theta P_\theta(\cdot)$을 신뢰계수라 한다. 모든 $\theta$에서 등호이면 정확한 구간이다.

6회에서 정규 평균의 $t$-구간과 정규 분산의 $\chi^2$-구간을 축량(6회 정의 5.1)으로 만들었다. 방법은 일반적이다.

정리 2.2 (축량 방법) $Q(\X,\theta)$의 분포가 $\theta$와 무관한 연속분포이고, 그 분위수 $a<b$가 $P(a\le Q\le b)=1-\alpha$를 만족하며, 각 $\X$에서 $Q(\X,\cdot)$이 $\theta$에 대해 단조이면 $\{\theta:a\le Q(\X,\allowbreak \theta)\le b\}$는 정확한 $100(1-\alpha)\%$ 신뢰구간이다.

증명 전략 포함 사건을 축량의 사건으로 바꾸면 확률이 $\theta$와 무관해진다. 단조성은 그 집합이 구간임을 보장한다. 단계별 증명은 연습 2.5(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

예제 2.3 (지수 수명의 평균) $X_i\iid\mathrm{Exp}$ (평균 $\theta$)이면 $\tfrac{2}{\theta}\sum X_i\sim\chi^2(2n)$이다(4회 정리 3.7: $\tfrac1\theta\sum X_i\sim\Gamma(n,\allowbreak 1)$이고 $2\Gamma(n,\allowbreak 1)=\Gamma(n,\allowbreak 2)=\chi^2(2n)$). 이것을 축량으로 쓰면

$$\Bigl[\frac{2\sum X_i}{\chi^2_{2n,\alpha/2}},\ \frac{2\sum X_i}{\chi^2_{2n,1-\alpha/2}}\Bigr]$$

이 정확한 구간이다. 전구 10개의 평균 수명이 $\bar x=820$시간이면 $\chi^2_{20,0.025}=34.17$, $\chi^2_{20,0.975}=9.59$이므로 $[480,\ 1710]$시간이다. 비대칭인 것은 $\chi^2$가 비대칭이기 때문이다.

2.2 대표본 구간

정확한 축량은 드물다. 대부분의 구간은 7회의 극한 정리에서 나온다.

정리 2.4 (대표본 신뢰구간) $\sqrt n(\hat\theta_n-\theta)\xrightarrow{D}\N(0,\allowbreak \sigma^2(\theta))$이고 $\hat\sigma_n\xrightarrow{P}\sigma(\theta)>0$이면, $\hat\theta_n\pm z_{\alpha/2}\,\hat\sigma_n/\sqrt n$의 포함확률은 $1-\alpha$로 간다.

증명 전략 표준오차를 추정값으로 바꾼 통계량을 “참 표준오차로 표준화한 것”과 “1로 가는 비”의 곱으로 쓰고 Slutsky를 쓴다. 단계별 증명은 연습 2.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

이 형태를 Wald 구간이라 한다. 비율이면 $\hat p\pm z\sqrt{\hat p(1-\hat p)/n}$이고, 두 집단의 비율의 차이면 분산을 더한 $\hat p_1-\hat p_2\pm z\sqrt{\hat p_1\hat q_1/n_1+\hat p_2\hat q_2/n_2}$이다. 비율의 Wald 구간은 $p$가 0이나 1에 가까우면 크게 틀린다(7절). 7회의 델타 방법이 척도를 고르는 데 쓰인다.

예제 2.5 (오즈비의 구간) 두 집단에서 성공·실패가 $(a,b)$와 $(c,d)$이면 오즈비는 $\widehat{\mathrm{OR}}=\tfrac{a/b}{c/d}=\tfrac{ad}{bc}$이다. 7회 예제 4.5로 각 집단의 로그 오즈의 분산은 대략 $\tfrac1{n\hat p\hat q}=\tfrac1a+\tfrac1b$이고, 두 집단이 독립이므로

$$\log\widehat{\mathrm{OR}}\pm z_{\alpha/2}\sqrt{\frac1a+\frac1b+\frac1c+\frac1d}$$

가 로그 오즈비의 대표본 구간이다. 끝점에 지수를 취하면 오즈비의 구간이 된다. 1973년 UC Berkeley 대학원에서 남자 지원자 2,691명 중 1,198명, 여자 1,835명 중 557명이 합격했다. 오즈비는 $1.84$, 95% 구간은 $[1.62,\ 2.09]$이다. 1을 크게 벗어나지만, 6절에서 이 숫자가 무엇을 말하지 않는지 본다.

2.3 분포를 가정하지 않는 중앙값의 구간

정리 2.6 (순서통계량으로 만든 중앙값의 구간) $X_1,\dots,X_n$이 iid이고 분포함수가 연속이며 중앙값이 $m$이면, $i<j$에 대해

$$P\bigl(X_{(i)}<m<X_{(j)}\bigr)=\sum_{k=i}^{j-1}\binom nk2^{-n}.$$

증명 전략 $m$ 아래에 있는 관측의 수 $K$는 이항분포를 따른다. 순서통계량과 $m$의 대소를 $K$의 사건으로 바꾼다. 단계별 증명은 연습 2.7(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

분포에 대해 연속이라는 것 말고는 아무것도 가정하지 않았다. $n=20$이면 $[X_{(6)},X_{(15)}]$의 신뢰계수가 $0.959$, $[X_{(5)},X_{(16)}]$이 $0.988$이다. 이산분포의 계단 때문에 정확히 95%는 고를 수 없다. 15회의 순위 방법의 첫 예다.

그림 2.1 신뢰구간 100개. 정규 표본 $n=10$에서 만든 95% $t$-구간(왼쪽)과 같은 자료의 순서통계량 구간 $[X_{(2)},X_{(9)}]$(오른쪽, 신뢰계수 0.979). 빨강은 참값 $\mu=0$(점선)을 놓친 구간이다. 확률은 이 막대들의 모임에 대한 말이다.

연습문제

연습 2.1 (포함확률의 해석 ★) “95% 신뢰구간 $[480,1710]$에 참 평균 수명이 들어 있을 확률이 95%다”라는 문장이 Neyman의 해석으로 왜 틀렸는지 설명하고, 맞는 문장으로 고쳐라.

풀이

계산이 끝난 구간 $[480,1710]$은 고정된 두 수이고 참 평균도 고정된 수이므로, 그 안에 있을 “확률”은 0이나 1이다(모를 뿐이다). 맞는 문장: “이 방법으로 만든 구간은 반복된 표본의 95%에서 참 평균을 포함한다. $[480,1710]$은 그 방법으로 이 표본에서 만든 구간이다.” 확률을 모수에 붙이려면 사전분포가 필요하다(16회).

연습 2.2 (균등분포의 상한 ★★) $X_i\iid\mathrm U(0,\theta)$이면 $M/\theta$ ($M=X_{(n)}$)가 축량임을 보이고, $\theta$의 95% 구간 $[M,\ M\alpha^{-1/n}]$을 만들어라. 왜 한쪽으로만 넓히는가?

풀이

$P(M/\theta\le x)=x^n$ ($0\le x\le1$)이 $\theta$와 무관하므로 축량이다. $P(\alpha^{1/n}\le M/\theta\le1)=1-\alpha$를 $\theta$에 대해 풀면 $M\le\theta\le M\alpha^{-1/n}$. $\theta$는 언제나 $M$ 이상이므로 아래쪽으로 넓힐 이유가 없고, 축량의 분포가 1 근처에 몰려 있어 위쪽 꼬리만 자르는 것이 가장 짧다.

연습 2.3 (두 비율의 차이 ★) Berkeley 자료에서 남녀 합격률의 차이 $0.445-0.304$의 95% Wald 구간을 구하라.

풀이

$0.4452-0.3035=0.1417$, 표준오차 $\sqrt{\tfrac{0.4452\cdot0.5548}{2691}+\tfrac{0.3035\cdot0.6965}{1835}}=0.0144$이므로 $[0.114,\ 0.170]$.

연습 2.4 (중앙값 구간 ★★) $n=20$에서 신뢰계수가 0.95 이상인 가장 좁은 대칭 구간 $[X_{(i)},X_{(21-i)}]$를 찾아라. $n$이 크면 $i\approx\tfrac n2-z_{\alpha/2}\tfrac{\sqrt n}2$임을 정규근사로 보여라.

풀이

정리 2.6로 $[X_{(i)},X_{(21-i)}]$의 신뢰계수는 $i=5$에서 0.988, $i=6$에서 0.959, $i=7$에서 0.885이므로 $i=6$. 정규근사로 $P(i\le K\le n-i)\approx1-\alpha$이고 $K\approx\N(\tfrac n2,\allowbreak \tfrac n4)$이므로 $\tfrac n2-i\approx z_{\alpha/2}\tfrac{\sqrt n}2$. $n=20$이면 $10-4.4=5.6$이다.

연습 2.5 (축량 방법의 증명 ★ 유도형) 정리 2.2를 증명하라. $C(\X)=\{\theta:a\le Q(\X,\allowbreak \theta)\le b\}$이다.

1. (a)

   $\{\theta\in C(\X)\}=\{a\le Q(\X,\allowbreak \theta)\le b\}$를 원소 추적으로 확인하라. 왼쪽은 $\X$에 대한 사건이다.

2. (b)

   $P_\theta(\theta\in C(\X))=1-\alpha$가 모든 $\theta$에서 성립함을 보여라. “$Q$의 분포가 $\theta$와 무관하다”를 어디서 쓰는가?

3. (c)

   $Q(\x,\cdot)$이 증가하면 $\theta_1<\theta<\theta_2$이고 $\theta_1,\theta_2\in C(\x)$일 때 $\theta\in C(\x)$임을 보여라. 따라서 $C(\x)$는 구간이다.

풀이

(a) $\theta\in C(\X)$는 $C$의 정의로 $a\le Q(\X,\theta)\le b$와 같다. $\theta$를 고정하면 오른쪽은 $\X$에 대한 사건이다. (b) (a)로 $P_\theta(\theta\in C(\X))=P_\theta(a\le Q(\X,\allowbreak \theta)\le b)$이다. $\X$가 $P_\theta$를 따를 때 $Q(\X,\theta)$의 분포는 $\theta$와 무관한 분포이고, $a$, $b$는 그 분포의 분위수이므로 이 확률은 모든 $\theta$에서 $1-\alpha$이다. (c) $Q(\x,\cdot)$이 증가하고 $\theta_1<\theta<\theta_2$이면 $a\le Q(\x,\allowbreak \theta_1)\le Q(\x,\allowbreak \theta)\le Q(\x,\allowbreak \theta_2)\le b$이므로 $\theta\in C(\x)$이다. 두 점 사이를 모두 포함하는 실수의 집합은 구간이다. 감소이면 부등호가 뒤집힐 뿐 같다.

연습 2.6 (대표본 신뢰구간의 증명 ★★ 유도형) 정리 2.4를 증명하라.

1. (a)

   $T_n=\tfrac{\sqrt n(\hat\theta_n-\theta)}{\hat\sigma_n}$을 $\tfrac{\sigma}{\hat\sigma_n}$와 $\tfrac{\sqrt n(\hat\theta_n-\theta)}{\sigma}$의 곱으로 써라. ($\hat\sigma_n=0$일 확률은 0으로 간다.)

2. (b)

   $\tfrac\sigma{\hat\sigma_n}\xrightarrow{P}1$을 보여라. $\sigma>0$을 어디서 쓰는가?

3. (c)

   Slutsky(7회 정리 4.2)로 $T_n\xrightarrow{D}\N(0,1)$을 얻어라.

4. (d)

   포함 사건이 $\{|T_n|\le z_{\alpha/2}\}$임을 보이고, $\pm z_{\alpha/2}$가 $\Phi$의 연속점이므로 그 확률이 $1-\alpha$로 감을 보여라.

풀이

(a) $\hat\sigma_n>0$이면 $T_n=\tfrac\sigma{\hat\sigma_n}\cdot\tfrac{\sqrt n(\hat\theta_n-\theta)}\sigma$이다. $\hat\sigma_n\xrightarrow{P}\sigma>0$이므로 $P(\hat\sigma_n\le\sigma/2)\to0$이고, 그 사건은 극한에 영향을 주지 않는다. (b) $g(s)=\sigma/s$는 $s=\sigma>0$에서 연속이므로 연속사상으로 $\sigma/\hat\sigma_n\xrightarrow{P}1$이다. $\sigma=0$이면 $g$가 정의되지 않는다. (c) $\tfrac{\sqrt n(\hat\theta_n-\theta)}\sigma\xrightarrow{D}\N(0,\allowbreak 1)$이고 (b)이므로 Slutsky로 곱은 $\N(0,1)$로 분포수렴한다. (d) $\theta\in[\hat\theta_n\pm z_{\alpha/2}\hat\sigma_n/\sqrt n]\iff|T_n|\le z_{\alpha/2}$이다. $\Phi$는 모든 점에서 연속이므로 $P(|T_n|\le z_{\alpha/2})\to\Phi(z_{\alpha/2})-\Phi(-z_{\alpha/2})=1-\alpha$이다.

연습 2.7 (중앙값 구간의 증명 ★ 유도형) 정리 2.6를 증명하라. $K=\#\{l:X_l<m\}$이다.

1. (a)

   $P(X_l<m)=\tfrac12$이고 $P(X_l=m)=0$임을 보이고 $K\sim\mathrm b(n,\tfrac12)$을 얻어라. 분포함수의 연속성을 어디서 쓰는가?

2. (b)

   $\{X_{(i)}<m\}=\{K\ge i\}$와 $\{m<X_{(j)}\}=\{K\le j-1\}$을 보여라. (확률 0인 사건은 무시한다.)

3. (c)

   (a)와 (b)로 정리의 식을 얻어라.

풀이

(a) 분포함수 $F$가 연속이고 $m$이 중앙값이면 $F(m)=\tfrac12$이고 $P(X_l=m)=F(m)-F(m-)=0$이므로 $P(X_l<m)=\tfrac12$이다. 관측들이 독립이므로 $K\sim\mathrm b(n,\tfrac12)$이다. (b) $X_{(i)}<m$이면 가장 작은 $i$개가 모두 $m$보다 작으므로 $K\ge i$이고, 거꾸로 $K\ge i$이면 $i$번째로 작은 값이 $m$보다 작다. $m<X_{(j)}$이면 $m$보다 작은 관측은 $X_{(1)},\dots,X_{(j-1)}$ 가운데에만 있으므로 $K\le j-1$이고, 거꾸로 $K\le j-1$이면 $X_{(j)}\ge m$이며 $X_{(j)}=m$의 확률은 0이다. (c) $P(X_{(i)}<m<X_{(j)})=P(i\le K\le j-1)=\sum_{k=i}^{j-1}\binom nk2^{-n}$이다.

이 절을 PDF로 보기 (8쪽)노트북 2절

이 회차에서 읽은 절 0개 · 회차 차례