12회 · 최적 검정과 결정 · 노트

1 Neyman–Pearson 보조정리

역사 1926년 Gosset(Student)은 Egon Pearson에게 보낸 편지에서, 관측이 귀납가설 아래에서 드물다는 것만으로는 기각할 이유가 되지 않는다고 썼다. 다른 설명 아래에서 더 그럴듯해야 한다는 것이다. Pearson은 이 생각을 런던에 와 있던 폴란드 수학자 Jerzy Neyman과 함께 발전시켰다. 1928년 그들은 가능도의 비로 검정을 만들자고 제안했고, 1933년 가장 효율적인 검정의 문제에 대하여에서 그것이 단순가설 사이의 최강력 검정임을 증명했다.

1.1 최강력 검정

정의 1.1 (최강력 검정) $H_0:\theta=\theta_0$ 대 $H_1:\theta=\theta_1$ (둘 다 단순가설)에서, 크기가 $\alpha$ 이하인 모든 검정 $\varphi$에 대해 $E_{\theta_1}\varphi^*\ge E_{\theta_1}\varphi$이고 $E_{\theta_0}\varphi^*\le\alpha$인 검정 $\varphi^*$를 크기 $\alpha$의 최강력(MP) 검정이라 한다.

정리 1.2 (Neyman–Pearson 보조정리 (1933)) $f_0=f(\cdot;\theta_0)$, $f_1=f(\cdot;\theta_1)$라 하자.

1. (a)

   (존재) 모든 $\alpha\in(0,1)$에 대해 상수 $k\ge0$과 $\gamma\in[0,1]$이 있어

   $$\varphi^*(\x)=\begin{cases}1,&f_1(\x)>kf_0(\x),\\\gamma,&f_1(\x)=kf_0(\x),\\0,&f_1(\x)<kf_0(\x)\end{cases}$$

   의 크기가 정확히 $\alpha$이다.

2. (b)

   (충분) 이 꼴의 검정은 크기 $E_{\theta_0}\varphi^*$의 최강력 검정이다.

3. (c)

   (필요) 크기 $\alpha$의 최강력 검정은 $\{f_1\ne kf_0\}$ 위에서 (거의 어디서나) $\varphi^*$와 같다.

증명 전략 (a)는 가능도비의 생존함수에서 임계값을 고르고 경계에서 확률화한다. (b)는 모든 점에서 성립하는 한 줄의 부등식 $(\varphi^*-\varphi)(f_1-kf_0)\ge0$을 적분한다. (c)는 (b)의 부등식이 등호가 되는 조건을 읽는다.

(a)

1. $F(k)=P_{\theta_0}\bigl(f_1(\X)>kf_0(\X)\bigr)$ ($k\ge0$)는 감소하고 오른쪽 연속이며, $k\to\infty$에서 0으로 간다.가능도비의 생존함수, 1회 정리 4.7

2. $k=\inf\{t\ge0:F(t)\le\alpha\}$로 두면 $F(k)\le\alpha\le F(k-)$이다. 여기서 $F(k-)=P_{\theta_0}(f_1\ge kf_0)$이고, $k=0$이면 $F(0-)=1$로 둔다.1, 1회 정리 6.3

3. 경계의 확률은 $P_{\theta_0}(f_1=kf_0)=F(k-)-F(k)$이므로, $\gamma=\tfrac{\alpha-F(k)}{F(k-)-F(k)}$로 두면(분모가 0이면 $\gamma=0$) $E_{\theta_0}\varphi^*=F(k)+\gamma\bigl(F(k-)-F(k)\bigr)=\alpha$이다.2

(b)

1. $\varphi$를 크기가 $E_{\theta_0}\varphi^*$ 이하인 아무 검정이라 하자. 모든 $\x$에서 $\bigl(\varphi^*(\x)-\varphi(\x)\bigr)\bigl(f_1(\x)-kf_0(\x)\bigr)\ge0$이다. $f_1>kf_0$이면 $\varphi^*=1\ge\varphi$, $f_1<kf_0$이면 $\varphi^*=0\le\varphi$, 같으면 둘째 인수가 0이다.$0\le\varphi\le1$

2. 4를 적분한다.

   $$\begin{align*} 0&\le\int(\varphi^*-\varphi)(f_1-kf_0)\,d\x \tag*{\htmlClass{reason}{\text{\htmlClass{sref}{\text{4}}, 적분의 단조성}}}\\ &=\bigl(E_{\theta_1}\varphi^*-E_{\theta_1}\varphi\bigr)-k\bigl(E_{\theta_0}\varphi^*-E_{\theta_0}\varphi\bigr) . \tag*{\htmlClass{reason}{\text{적분의 선형성}}} \end{align*}$$

3. 따라서 $E_{\theta_1}\varphi^*-E_{\theta_1}\varphi\ge k\bigl(E_{\theta_0}\varphi^*-E_{\theta_0}\varphi\bigr)\ge0$이다.$k\ge0$, 크기의 가정

(c)

1. $\varphi$도 크기 $\alpha$의 최강력 검정이면 $E_{\theta_1}\varphi=E_{\theta_1}\varphi^*$이고 $E_{\theta_0}\varphi\le\alpha=E_{\theta_0}\varphi^*$이다. 5의 오른쪽은 $0-k(\alpha-E_{\theta_0}\varphi)\le0$이므로 적분은 정확히 0이다.최강력의 정의, 5

2. 음이 아닌 피적분함수의 적분이 0이므로 $(\varphi^*-\varphi)(f_1-kf_0)=0$이 거의 어디서나 성립한다. $f_1\ne kf_0$인 곳에서는 $\varphi=\varphi^*$이다.4

조건 확인 $|(\varphi^*-\varphi)(f_1-kf_0)|\le f_1+kf_0$이고 오른쪽의 적분은 $1+k$로 유한하다. 그래서 5에서 적분을 두 기댓값의 차로 나눌 수 있다. 이산분포이면 적분은 합이다.

증명의 핵심은 한 줄의 부등식 $(\varphi^*-\varphi)(f_1-kf_0)\ge0$이다(단계 4). 직관은 “배낭 채우기”다. 크기 $\alpha$만큼의 $H_0$ 확률을 예산으로 쓸 때, 각 점 $\x$를 기각역에 넣는 “값”은 $f_1(\x)$, “비용”은 $f_0(\x)$이다. 값 대비 비용이 큰 점, 곧 가능도비 $f_1/f_0$가 큰 점부터 넣는 것이 최선이다. 기각역의 모양은 가능도비의 모양을 따른다(그림 1.1).

그림 1.1 최강력 기각역은 가능도비가 큰 곳이다. 왼쪽: 정규 $\N(0,1)$ 대 $\N(1,1)$. 가능도비(보라 점선, 오른쪽 축)가 $x$의 증가함수이므로 기각역은 오른쪽 반직선이다. 기각역에서 $f_0$ 아래 넓이(파랑)가 크기, $f_1$ 아래 넓이(분홍)가 검정력이다. 오른쪽: Cauchy$(0)$ 대 Cauchy$(1)$. 가능도비가 $x\approx1.6$에서 최대이고 양 끝에서 1로 돌아오므로 크기 0.05의 기각역은 유계인 구간 $[1.37,\ 1.94]$다(연습 1.3).

예제 1.3 (정규 평균) $X_i\iid\N(\mu,1)$, $H_0:\mu=0$ 대 $H_1:\mu=\mu_1$ ($\mu_1>0$). 가능도비 $\tfrac{f_1}{f_0}=\exp\bigl(n\mu_1\bar x-\tfrac n2\mu_1^2\bigr)$는 $\bar x$의 증가함수이므로, “가능도비 $>k$”는 “$\bar x>c$”와 같다. 크기 0.05이면 $c=1.645/\sqrt n$이다. $n=10$이면 $\bar x>0.520$일 때 기각하고, $\mu_1=1$에서의 검정력은 0.935다. 기각역이 $\mu_1$의 값에 의존하지 않는다는 것이 2절의 열쇠다.

예제 1.4 (확률화가 필요한 경우) $X_1,\allowbreak \dots,\allowbreak X_5\iid\mathrm{Poi}(\lambda)$, $H_0:\lambda=1$ 대 $H_1:\lambda=2$. 가능도비는 $T=\sum X_i$의 증가함수이고 $H_0$ 아래 $T\sim\mathrm{Poi}(5)$이다. $P(T\ge10)=0.0318$, $P(T\ge9)=0.0681$이어서 크기가 정확히 0.05인 비확률화 검정은 없다. $T\ge10$이면 기각하고 $T=9$이면 확률 $\gamma=\tfrac{0.05-0.0318}{0.0363}=0.501$로 기각하면 크기가 0.05가 된다. $\lambda=2$에서의 검정력은 확률화 검정이 0.605, $T\ge10$만 쓴 검정(크기 0.032)이 0.542다(연습 1.2).

확률화는 이론을 깨끗하게 만드는 장치다. 실제로 동전을 던져 결론을 정하는 사람은 없다. 실무에서는 $p$-값(8회 정리 4.2의 이산판)이나 mid-$p$를 보고한다. 이산분포의 검정은 명목 크기보다 보수적이라는 것만 기억하면 된다.

따름정리 1.5 (최강력 검정의 두 성질) (a) $T$가 충분통계량이면 최강력 검정은 $T$의 함수로 쓸 수 있다. (b) 크기 $\alpha$의 최강력 검정의 검정력은 $\alpha$ 이상이다($E_{\theta_1}\varphi^*\ge\alpha$). 등호는 $f_0=f_1$일 때뿐이다.

증명 전략 (a)는 인수분해 정리로 가능도비를 $T$만의 함수로 쓴다. (b)는 상수 검정 $\varphi\equiv\alpha$와 비교하고, 등호의 경우는 정리 1.2(c)로 읽는다. 단계별 증명은 연습 1.5(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

연습문제

연습 1.1 (지수분포 ★) $X_i\iid\mathrm{Exp}$ (평균 $\theta$)에서 $H_0:\theta=1$ 대 $H_1:\theta=2$의 크기 $\alpha$의 최강력 검정이 “$\sum X_i>c$이면 기각”임을 보이고, $c$를 $\chi^2$ 분포의 분위수로 쓰라. ($\sum X_i\sim$ 감마$(n,\theta)$이고, 4회 정의 3.8로 $\chi^2(2n)$은 감마$(n,2)$다.)

풀이

$\tfrac{f_1}{f_0}=\tfrac{2^{-n}e^{-\sum x_i/2}}{e^{-\sum x_i}}=2^{-n}e^{\sum x_i/2}$는 $\sum x_i$의 증가함수이므로 최강력 검정은 $\sum X_i>c$에서 기각한다. $H_0$ 아래 $\sum X_i\sim$ 감마$(n,1)$이므로 $2\sum X_i\sim$ 감마$(n,2)=\chi^2(2n)$이고 $c=\tfrac12\chi^2_{2n,\alpha}$이다.

연습 1.2 (확률화의 검정력 ★) 예제 1.4의 수치를 확인하라. 확률화 검정의 검정력은 $P_2(T\ge10)+\gamma P_2(T=9)$이다.

풀이

$H_0$ 아래 $P(T\ge10)=0.0318$, $P(T=9)=0.0363$이므로 $\gamma=(0.05-0.0318)/0.0363=0.501$. $H_1$ 아래 $T\sim\mathrm{Poi}(10)$이고 $P(T\ge10)=0.542$, $P(T=9)=0.125$이므로 검정력은 $0.542+0.501\cdot0.125=0.605$.

연습 1.3 (Cauchy의 최강력 검정 ★★) $X\sim$ Cauchy$(\theta)$ 하나로 $H_0:\theta=0$ 대 $H_1:\theta=1$을 검정한다. 가능도비 $\tfrac{1+x^2}{1+(x-1)^2}$를 그려 보고, 최강력 검정의 기각역이 $x$가 큰 쪽의 반직선이 아니라 유계인 구간임을 보여라. 왜 “$x$가 크면 기각”이 최선이 아닌가?

풀이

가능도비 $r(x)=\tfrac{1+x^2}{1+(x-1)^2}$는 $x\to\pm\infty$에서 1로 가고, $x=\tfrac{1+\sqrt5}2\approx1.62$ 근처에서 최대(약 2.6)다. 그래서 $\{r>k\}$ ($k>1$)는 유계인 구간이다. 크기 0.05이면 $k=2.53$, 기각역은 $[1.37,\ 1.94]$, 검정력은 0.13이다(노트북). 아주 큰 $x$는 $\theta=0$에서도 $\theta=1$에서도 비슷하게 드문 꼬리 관측이어서 두 가설을 가르지 못한다.

연습 1.4 (균등분포 ★★) $X_i\iid\mathrm U(0,\theta)$에서 $H_0:\theta=1$ 대 $H_1:\theta=2$. 가능도비가 $X_{(n)}\le1$이면 $2^{-n}$, $X_{(n)}>1$이면 $\infty$임을 보이고, 크기 $\alpha$의 최강력 검정이 여럿 있음을 보여라(정리 1.2(c)의 “$f_1\ne kf_0$ 위에서”의 뜻).

풀이

$X_{(n)}\le1$이면 $f_1/f_0=2^{-n}/1$, $X_{(n)}>1$이면 $f_0=0$이므로 $\infty$이다. $k=2^{-n}$으로 두면 $\{f_1>kf_0\}=\{X_{(n)}>1\}$은 $H_0$ 아래 확률 0이고, 경계 $\{f_1=kf_0\}=\{X_{(n)}\le1\}$ 위에서는 크기가 $\alpha$가 되도록 아무렇게나 기각해도 된다. 예를 들어 “$X_{(n)}>(1-\alpha)^{1/n}$이면 기각”과 “$X_{(n)}>1$ 또는 $X_{(1)}>1-\alpha^{1/n}$이면 기각”은 둘 다 크기가 $\alpha$이고 검정력이 $1-(1-\alpha)2^{-n}$으로 같다. ($\theta=2$이면 $X_{(n)}\le1$일 확률이 $2^{-n}$이고, 그 조건 아래 표본은 $\mathrm U(0,1)$이므로 어느 검정이든 확률 $\alpha$로 기각한다.)

연습 1.5 (최강력 검정의 두 성질: 증명 ★★ 유도형) 따름정리 1.5를 다음 순서로 증명하라.

1. (a)

   인수분해 정리(11회 정리 1.3)로 $f(\x;\theta)=g(T(\x);\theta)\,h(\x)$이다. $h(\x)>0$인 곳에서 $f_1/f_0$이 $T$만의 함수임을 보이고, 정리 1.2(a)의 $\varphi^*$를 $T$의 함수로 쓸 수 있음을 결론지어라. $h(\x)=0$인 점은 왜 문제가 되지 않는가?

2. (b)

   상수 검정 $\varphi\equiv\alpha$의 크기와 검정력을 구하고, 정리 1.2(b)로 $E_{\theta_1}\varphi^*\ge\alpha$를 얻어라.

3. (c)

   등호이면 $\varphi\equiv\alpha$도 크기 $\alpha$의 최강력 검정이다. 정리 1.2(c)로 $\{f_1\ne kf_0\}$ 위에서 $\varphi^*=\alpha$이어야 함을 보이고, 그 위에서 $\varphi^*$는 0 또는 1이므로 이 집합이 확률 0임을 얻어라.

4. (d)

   $f_1=kf_0$이 거의 어디서나 성립하면 양변을 적분해 $k=1$, 곧 $f_0=f_1$임을 보여라.

풀이

(a) $h(\x)>0$이면 $\tfrac{f_1(\x)}{f_0(\x)}=\tfrac{g(T(\x);\theta_1)h(\x)}{g(T(\x);\theta_0)h(\x)}=\tfrac{g(T(\x);\theta_1)}{g(T(\x);\theta_0)}$로 $T$만의 함수다. 그러면 $\{f_1>kf_0\}$, $\{f_1=kf_0\}$, $\{f_1<kf_0\}$가 $\{h>0\}$ 위에서 $T$의 값만으로 정해지므로 $\varphi^*$는 $T$의 함수다. $h(\x)=0$이면 $f_0(\x)=f_1(\x)=0$이고, 그런 점들의 집합은 두 분포 아래 모두 확률 0이므로 거기서 $\varphi^*$를 어떻게 정해도 크기와 검정력이 바뀌지 않는다. (b) $\varphi\equiv\alpha$의 크기는 $E_{\theta_0}\alpha=\alpha$이고 검정력도 $\alpha$이다. 정리 1.2(b)로 $E_{\theta_1}\varphi^*\ge E_{\theta_1}\alpha=\alpha$이다. (c) 등호이면 $\varphi\equiv\alpha$는 크기 $\alpha$에서 최강력 검정과 같은 검정력을 가지므로 그 자체로 최강력이다. 정리 1.2(c)로 $\{f_1\ne kf_0\}$ 위에서 거의 어디서나 $\alpha=\varphi^*$이다. 그런데 그 위에서 $\varphi^*\in\{0,1\}$이고 $0<\alpha<1$이므로, 이 집합은 측도 0이다. (d) $f_1=kf_0$이 거의 어디서나 성립하면 $1=\int f_1=k\int f_0=k$이므로 $k=1$이고 $f_1=f_0$ (거의 어디서나)이다. 두 분포가 같다.

이 절을 PDF로 보기 (2쪽)노트북 1절

이 회차에서 읽은 절 0개 · 회차 차례