8회 · 추론의 기초 · 노트

3 검정의 언어 — 크기와 검정력

Arbuthnot (1710) Anne 여왕의 주치의이자 풍자 작가였던 John Arbuthnot은 An argument for divine providence, taken from the constant regularity observed in the births of both sexes에서 런던의 82년치 세례 기록을 표로 실었다. 남아가 많은 해를 동전의 앞면으로 보면, 공평한 동전 82번이 모두 앞면일 확률은 $1/4\,8360\,0000\,0000\,0000\,0000\,0000$이다. 그는 남아가 더 많이 태어나는 것은 남자가 전쟁과 위험한 일로 더 많이 죽기 때문에 결혼할 수 있는 남녀의 수를 맞추려는 섭리라고 결론지었다. 오늘의 말로 그것은 “부호 검정”이다. 귀무가설(남아 확률 $\tfrac12$)을 기각한 것은 옳았다. 기각한 다음 특정한 대립가설(섭리)을 받아들인 것은 검정이 말해 주지 않는 일이었다.

3.1 가설과 오류

정의 3.1 (가설, 검정, 기각역) 모수공간을 $\Omega=\Omega_0\cup\Omega_1$ (서로소)로 나누어 $H_0:\theta\in\Omega_0$ (귀무가설)와 $H_1:\theta\in\Omega_1$ (대립가설)을 세운다. $\Omega_0$가 한 점이면 단순가설, 아니면 복합가설이다. 검정은 표본공간의 부분집합 $C$ (기각역)를 정해 $\X\in C$이면 $H_0$를 기각하는 규칙이다. 보통 검정통계량 $T(\X)$와 기준값 $c$로 $C=\{T(\X)\ge c\}$의 꼴이다.

정의 3.2 (오류, 크기, 검정력) $H_0$가 참인데 기각하는 것을 1종 오류, $H_1$이 참인데 기각하지 못하는 것을 2종 오류라 한다. 검정력 함수는 $\gamma(\theta)=P_\theta(\X\in C)$이고, 크기는 $\alpha=\sup_{\theta\in\Omega_0}\gamma(\theta)$, 곧 1종 오류의 확률의 최댓값이다. $\theta\in\Omega_1$에서 $\gamma(\theta)$를 검정력이라 한다.

두 오류는 서로 당긴다. 기각역을 넓히면 1종 오류가 늘고 2종 오류가 준다. Neyman과 Pearson(1933)의 처방은 비대칭이다. 크기를 미리 정한 $\alpha$ 이하로 묶고, 그 안에서 검정력을 가장 크게 하는 기각역을 찾는다. 그 최적 기각역은 12회의 주제다. 이 절은 주어진 검정의 크기와 검정력을 계산한다.

예제 3.3 (이항 검정의 크기와 검정력) 동전이 앞면 쪽으로 치우쳤는지 100번 던져 검정한다. $H_0:p=\tfrac12$, $H_1:p>\tfrac12$, 기각역 $\{K\ge59\}$이면 크기는 $P_{1/2}(K\ge59)=0.044$이다. 검정력은

참 $p$	0.55	0.60	0.65	0.70
$\gamma(p)=P_p(K\ge59)$	0.24	0.62	0.91	0.99

$p=0.55$처럼 작은 치우침은 100번으로는 넷에 하나꼴로만 잡는다. “기각하지 못했다”는 “$H_0$가 참이다”가 아니다. 검정력이 낮았을 수도 있다.

그림 3.1 왼쪽: 예제 3.3의 검정력 함수($n=100$, 기각역 $K\ge59$)와 $n=400$일 때(기각역 $K\ge217$). 오른쪽: 정규 평균의 한쪽 $z$ 검정에서 $H_0$와 $H_1$ 아래 검정통계량의 분포. 빨간 넓이가 $\alpha$, 파란 넓이가 검정력이다.

3.2 정규 평균의 검정과 표본 크기

정리 3.4 ($z$ 검정의 검정력) $X_i\iid\N(\mu,\sigma^2)$ ($\sigma$ 알려짐)에서 $H_0:\mu\le\mu_0$를 $\bar X\ge\mu_0+z_\alpha\sigma/\sqrt n$일 때 기각하면 크기는 $\alpha$이고 검정력 함수는

$$\gamma(\mu)=\Phi\Bigl(\frac{\sqrt n(\mu-\mu_0)}\sigma-z_\alpha\Bigr).$$

검정력 $1-\beta$로 차이 $\delta=\mu-\mu_0>0$을 잡으려면 $n\ge\Bigl(\dfrac{(z_\alpha+z_\beta)\sigma}\delta\Bigr)^2$이어야 한다.

증명 전략 기각 사건을 참 평균 $\mu$로 표준화한 $Z=\tfrac{\sqrt n(\bar X-\mu)}\sigma\sim\N(0,\allowbreak 1)$의 사건으로 바꾼다. 검정력 함수가 $\mu$에 대해 증가하므로 크기는 경계 $\mu_0$에서 정해진다. 단계별 증명은 연습 3.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

양쪽 검정이면 $z_\alpha$ 대신 $z_{\alpha/2}$를 쓴다. $\alpha=0.05$ (양쪽), 검정력 0.8, $\delta=0.5\sigma$이면 $n\ge\bigl(\tfrac{1.96+0.84}{0.5}\bigr)^2=31.4$, 곧 32명이다. 효과가 절반이면 네 배, 128명이 필요하다. 실험을 설계할 때 가장 먼저 하는 계산이다(14회). $\sigma$를 모르면 6회의 $t$ 검정을 쓰고, 큰 $n$에서는 같은 식이 근사적으로 맞는다(7회 따름정리 4.3).

3.3 구간과 검정은 같은 것이다

정리 3.5 (쌍대성) 

1. (a)

   모든 $\theta_0$에 대해 $H_0:\theta=\theta_0$의 크기 $\alpha$ 검정의 수락역 $A(\theta_0)$가 있으면, $C(\X)=\{\theta_0:\X\in A(\theta_0)\}$는 $100(1-\alpha)\%$ 신뢰집합이다.

2. (b)

   거꾸로 $100(1-\alpha)\%$ 신뢰집합 $C(\X)$가 있으면 “$\theta_0\notin C(\X)$이면 기각”은 $H_0:\theta=\theta_0$의 크기 $\alpha$ 검정이다.

증명 전략 두 방향 모두 사건의 등식 $\{\theta_0\in C(\X)\}=\{\X\in A(\theta_0)\}$ 하나로 귀결된다. 이 등식은 $C$와 $A$를 서로의 정의로 삼은 데서 나온다.

(a)

1. $C(\x)=\{\theta_0:\x\in A(\theta_0)\}$이므로 $\theta_0\in C(\x)\iff\x\in A(\theta_0)$이다.$C$의 정의 [T1]

2. 크기가 $\alpha$이므로 $P_{\theta_0}(\X\notin A(\theta_0))\le\alpha$이다.정의 3.2

3. 따라서 모든 $\theta_0$에서 $P_{\theta_0}(\theta_0\in C(\X))=P_{\theta_0}(\X\in A(\theta_0))\ge1-\alpha$이고, $C$는 $100(1-\alpha)\%$ 신뢰집합이다.1 2, 정의 2.1

(b)

1. $A(\theta_0)=\{\x:\theta_0\in C(\x)\}$로 두면 검정 “$\theta_0\notin C(\X)$이면 기각”의 수락역이 $A(\theta_0)$이다.$A$의 정의 [T1]

2. $P_{\theta_0}(\text{기각})=1-P_{\theta_0}(\theta_0\in C(\X))\le\alpha$이므로 크기가 $\alpha$ 이하다.정의 2.1, 여사건

$t$-구간이 0을 포함하지 않는 것과 $t$ 검정이 $\mu=0$을 기각하는 것은 같은 문장이다. 쌍대성은 새로운 구간을 만드는 방법이기도 하다.

예제 3.6 (Wilson 구간 (1927)) $H_0:p=p_0$를 $\tfrac{|\hat p-p_0|}{\sqrt{p_0(1-p_0)/n}}>z$일 때 기각하는 검정(분산을 귀무가설의 $p_0$로 계산한다)을 뒤집는다. 수락역 $(\hat p-p_0)^2\le z^2p_0(1-p_0)/n$은 $p_0$에 대한 이차부등식이고, 풀면

$$\frac{\hat p+\frac{z^2}{2n}}{1+\frac{z^2}n}\ \pm\ \frac{z}{1+\frac{z^2}n}\sqrt{\frac{\hat p(1-\hat p)}n+\frac{z^2}{4n^2}}$$

이다(연습 3.4). Wald 구간과 달리 중심이 $\tfrac12$ 쪽으로 당겨지고, $\hat p=0$이어도 폭이 0이 아니다. 7절에서 두 구간의 포함확률을 비교한다.

연습문제

연습 3.1 (Arbuthnot의 숫자 ★) $2^{82}=4.836\times10^{24}$을 확인하라. Arbuthnot의 “부호 검정”에서 귀무가설과 검정통계량은 무엇이고, 크기 0.05의 기각역은? (힌트: $K$ = 남아가 많은 해의 수.)

풀이

$2^{82}=2^{80}\cdot4=(1024)^8\cdot4\approx4.836\times10^{24}$. $H_0$: 해마다 남아가 더 많을 확률이 $\tfrac12$이고 해들이 독립. 검정통계량은 그런 해의 수 $K\sim\mathrm b(82,\tfrac12)$. 크기 0.05의 한쪽 기각역은 $\{K\ge49\}$이다($P(K\ge49)=0.049$, $P(K\ge48)=0.075$). 관측은 $K=82$.

연습 3.2 (검정력 함수 ★) 예제 3.3의 검정력 함수가 $p$에 대해 증가함을 보이고(이항분포의 확률적 순서: $p<p'$이면 $\mathrm b(n,p')$를 $\mathrm b(n,p)$ 위에 “쌓아” 만들 수 있다), $H_0:p\le\tfrac12$로 바꿔도 크기가 같음을 설명하라.

풀이

$U_i\iid\mathrm U(0,1)$로 $K_p=\sum1\{U_i\le p\}$를 만들면 $K_p\sim\mathrm b(n,p)$이고, $p<p'$이면 같은 $U$로 만든 $K_p\le K_{p'}$이다. 따라서 $P(K_p\ge59)\le P(K_{p'}\ge59)$. 검정력이 증가하므로 $\Omega_0=\{p\le\tfrac12\}$ 위의 최댓값은 $p=\tfrac12$에서이고 크기는 그대로 0.044다.

연습 3.3 (표본 크기 ★) 두 집단의 평균 차이를 양쪽 5%, 검정력 90%로 $\delta=0.3\sigma$까지 잡으려면 집단당 몇 명이 필요한가? (두 표본이면 분산이 $2\sigma^2/n$이다.)

풀이

$\bar X-\bar Y$의 분산이 $2\sigma^2/n$이므로 정리 3.4의 식에서 $\sigma^2$를 $2\sigma^2$로 바꿔 $n\ge2\bigl(\tfrac{1.960+1.282}{0.3}\bigr)^2=233.5$, 집단당 234명.

연습 3.4 (Wilson 구간 ★★) 예제 3.6의 이차부등식을 풀어 Wilson 구간을 유도하라. $n=20$, $\hat p=0$이면 Wald 구간과 Wilson 구간은 각각 무엇인가?

풀이

$(\hat p-p_0)^2\le\tfrac{z^2}np_0(1-p_0)$을 $p_0$에 대해 정리하면 $(1+\tfrac{z^2}n)p_0^2-(2\hat p+\tfrac{z^2}n)p_0+\hat p^2\le0$. 근의 공식의 두 근이 예제 3.6의 끝점이다. $n=20$, $\hat p=0$이면 Wald는 $\{0\}$ (폭 0), Wilson은 $[0,\ 0.161]$.

연습 3.5 (한쪽 구간과 한쪽 검정 ★★) 정리 3.4의 검정을 모든 $\mu_0$에 대해 뒤집으면 어떤 한쪽 신뢰구간이 나오는가?

풀이

$H_0:\mu\le\mu_0$를 기각하지 않는 $\mu_0$의 집합은 $\bar X<\mu_0+z_\alpha\sigma/\sqrt n$, 곧 $\mu_0>\bar X-z_\alpha\sigma/\sqrt n$이다. 따라서 $[\bar X-z_\alpha\sigma/\sqrt n,\allowbreak \ \infty)$가 $\mu$의 $100(1-\alpha)\%$ 아래쪽 한계다.

연습 3.6 ($z$ 검정의 검정력 증명 ★ 유도형) 정리 3.4를 증명하라.

1. (a)

   기각 사건 $\{\bar X\ge\mu_0+z_\alpha\sigma/\sqrt n\}$을 $Z=\tfrac{\sqrt n(\bar X-\mu)}\sigma$의 사건으로 바꾸고 $\gamma(\mu)=\Phi\bigl(\tfrac{\sqrt n(\mu-\mu_0)}\sigma-z_\alpha\bigr)$을 얻어라. $Z\sim\N(0,1)$인 이유는?

2. (b)

   $\gamma$가 $\mu$에 대해 증가함을 보이고, $\Omega_0=\{\mu\le\mu_0\}$ 위의 최댓값 $\gamma(\mu_0)=\alpha$에서 크기를 얻어라.

3. (c)

   $\gamma(\mu_0+\delta)\ge1-\beta$를 $n$에 대해 풀어 표본 크기 식을 얻어라. $\Phi(z_\beta)=1-\beta$에 주의한다.

풀이

(a) $\bar X\sim\N(\mu,\sigma^2/n)$이므로(6회 정리 2.2) $Z\sim\N(0,1)$이다. 기각 사건은 $\bar X-\mu\ge\mu_0-\mu+z_\alpha\sigma/\sqrt n$, 곧 $Z\ge z_\alpha-\tfrac{\sqrt n(\mu-\mu_0)}\sigma$이므로 $\gamma(\mu)=1-\Phi\bigl(z_\alpha-\tfrac{\sqrt n(\mu-\mu_0)}\sigma\bigr)=\Phi\bigl(\tfrac{\sqrt n(\mu-\mu_0)}\sigma-z_\alpha\bigr)$이다. (b) $\Phi$가 증가함수이고 그 안의 식이 $\mu$에 대해 증가하므로 $\gamma$는 증가한다. $\Omega_0=\{\mu\le\mu_0\}$에서 최댓값은 $\gamma(\mu_0)=\Phi(-z_\alpha)=\alpha$이다. (c) $\gamma(\mu_0+\delta)\ge1-\beta=\Phi(z_\beta)$은 $\tfrac{\sqrt n\delta}\sigma-z_\alpha\ge z_\beta$와 같고, $n$에 대해 풀면 $n\ge\bigl(\tfrac{(z_\alpha+z_\beta)\sigma}\delta\bigr)^2$이다.

이 절을 PDF로 보기 (12쪽)노트북 3절

이 회차에서 읽은 절 0개 · 회차 차례