12회 · 최적 검정과 결정 · 워크북

A. 계산 드릴

최강력 검정과 균일최강력 검정의 임계값, 가능도비 통계량, SPRT의 경계, Bayes 임계값을 손으로 계산한다. 답이 수나 식으로 떨어지므로 다 풀면 뒤의 최종답이나 노트북의 check()로 맞춰 본다. 정규분포표와 $\chi^2$표를 써도 된다.

A1 베르누이의 최강력 검정 ★

정리 1.2 · 10분

$X_1,\allowbreak \dots,\allowbreak X_{10}\iid\mathrm{Bernoulli}(p)$로 $H_0:p=0.2$ 대 $H_1:p=0.5$를 크기 $0.05$로 검정한다. $T=\sum X_i$이다.

1. (a)

   확률화하지 않은 검정 “$T\ge c$이면 기각” 가운데 크기가 0.05 이하인 것으로 가장 작은 $c$를 구하라.

2. (b)

   $T=c-1$에서 확률 $\gamma$로 기각해 크기를 정확히 0.05로 맞추는 $\gamma$를 구하라.

3. (c)

   (b)의 확률화 검정의 $p=0.5$에서의 검정력을 구하라.

힌트

가능도비 $\bigl(\tfrac{0.5}{0.2}\bigr)^T\bigl(\tfrac{0.5}{0.8}\bigr)^{10-T}$는 $T$의 증가함수다. $H_0$ 아래 $P(T\ge5)=0.0328$, $P(T=4)=0.0881$이다.

풀이

가능도비는 $(5/2)^T(5/8)^{10-T}=(5/8)^{10}4^T$으로 $T$의 증가함수이므로 최강력 검정은 $T$가 클 때 기각한다(정리 1.2). (a) $H_0$ 아래 $P(T\ge5)=0.0328\le0.05<P(T\ge4)=0.1209$이므로 $c=5$이다. (b) $\gamma=\tfrac{0.05-0.0328}{P(T=4)}=\tfrac{0.0172}{0.0881}=0.195$. (c) $p=0.5$에서 $P(T\ge5)=0.6230$, $P(T=4)=\tbinom{10}4/2^{10}=0.2051$이므로 검정력은 $0.6230+0.195\times0.2051=0.663$이다. 확률화하지 않은 검정($T\ge5$, 크기 0.033)의 검정력은 0.623이다.

최종답 (a) $c=5$ (b) $\gamma\approx0.195$ (c) $\approx0.663$

A2 지수분포 관측 하나 ★

정리 1.2 · 8분

$X$의 밀도가 $\theta e^{-\theta x}$ ($x>0$)이다. 관측 하나로 $H_0:\theta=1$ 대 $H_1:\theta=3$을 크기 $0.1$로 검정한다. (a) 최강력 검정의 기각역이 $\{X<c\}$임을 보이고 $c$를 구하라. (b) 검정력을 구하라.

힌트

가능도비 $3e^{-2x}$는 $x$의 감소함수다. 그래서 “가능도비가 크다”는 “$x$가 작다”이다.

풀이

(a) $f_1/f_0=3e^{-2x}$는 $x$의 감소함수이므로 $\{f_1>kf_0\}=\{x<c\}$ 꼴이다. $P_1(X<c)=1-e^{-c}=0.1$에서 $c=\log\tfrac{10}9\approx0.105$이다. (b) $P_3(X<c)=1-e^{-3c}=1-0.9^3=0.271$이다. 대립가설의 평균($\tfrac13$)이 귀무가설의 평균(1)보다 작으므로 작은 값에서 기각하는 것이 맞다.

최종답 (a) $c=\log\tfrac{10}{9}\approx0.105$ (b) $0.271$

A3 Poisson 관측 하나 ★★

정리 1.2 · 10분

$X\sim\mathrm{Poi}(\lambda)$ 하나로 $H_0:\lambda=2$ 대 $H_1:\lambda=5$를 크기 0.05로 검정한다.

1. (a)

   확률화하지 않은 검정 “$X\ge c$이면 기각” 가운데 크기가 0.05 이하인 가장 작은 $c$와 (b) 그 크기를 구하라.

2. (c)

   크기를 정확히 0.05로 맞추는 확률화 상수 $\gamma$ ($X=c-1$에서)를 구하라.

3. (d)

   확률화 검정의 $\lambda=5$에서의 검정력을 구하라.

힌트

$\lambda=2$에서 $P(X\ge5)=0.0527$이다. 0.05보다 조금 크다. $P_2(X=5)=e^{-2}\cdot2^5/5!$이다.

풀이

가능도비 $e^{-3}(5/2)^X$는 $X$의 증가함수이므로 큰 $X$에서 기각한다. (a)(b) $P_2(X\ge5)=0.0527>0.05$, $P_2(X\ge6)=1-e^{-2}\sum_{k\le5}2^k/k!=0.0166$이므로 $c=6$이고 크기는 0.0166이다. (c) $P_2(X=5)=0.0361$이므로 $\gamma=\tfrac{0.05-0.0166}{0.0361}=0.926$이다. (d) $\lambda=5$에서 $P(X\ge6)=0.3840$, $P(X=5)=0.1755$이므로 검정력은 $0.3840+0.926\times0.1755=0.547$이다. 확률화하지 않으면 0.384에 그친다. 이산분포에서 크기를 다 쓰지 못하는 손실이 크다.

최종답 (a) $c=6$ (b) $\approx0.0166$ (c) $\gamma\approx0.926$ (d) $\approx0.547$

A4 검정력을 위한 표본 크기 ★

정리 2.4 · 8분

$X_i\iid\N(\mu,4)$로 $H_0:\mu\le0$ 대 $H_1:\mu>0$을 크기 0.05의 UMP 검정으로 검정한다. $\mu=1$에서 검정력이 0.9 이상이 되는 가장 작은 $n$을 구하라.

힌트

UMP 검정은 $\bar X>1.645\cdot2/\sqrt n$이다. $\mu=1$에서 $P(\bar X>c)=\Phi\bigl(\sqrt n\,(1-c)/2\bigr)$이 0.9 이상이려면 $\sqrt n/2\ge1.645+1.282$.

풀이

$\N(\mu,4)$는 $\sum X_i$에 대해 단조가능도비를 가지므로 정리 2.4로 UMP 검정은 $\bar X>c$, $c=1.645\cdot\tfrac2{\sqrt n}$이다. $\mu=1$에서 검정력은 $P\bigl(Z>\tfrac{c-1}{2/\sqrt n}\bigr)=P\bigl(Z>1.645-\tfrac{\sqrt n}2\bigr)$이고, 이것이 0.9 이상이려면 $1.645-\tfrac{\sqrt n}2\le-1.282$, 곧 $\sqrt n\ge5.853$, $n\ge34.26$이다. 따라서 $n=35$이다.

최종답 $n=35$

A5 베타형 밀도의 UMP ★

정의 2.2, 정리 2.4 · 10분

$X$의 밀도가 $f(x;\theta)=\theta x^{\theta-1}$ ($0<x<1$, $\theta>0$)이다. 관측 하나로 검정한다.

1. (a)

   이 족이 $x$에 대해 단조가능도비를 가짐을 보여라.

2. (b)

   $H_0:\theta\le1$ 대 $H_1:\theta>1$의 크기 0.05 UMP 검정 “$X>c$이면 기각”의 $c$를 구하라.

3. (c)

   $\theta=2$에서의 검정력을 구하라.

힌트

$\theta_1<\theta_2$이면 가능도비는 $\tfrac{\theta_2}{\theta_1}x^{\theta_2-\theta_1}$이다. $\theta=1$이면 $X\sim\mathrm U(0,1)$이다.

풀이

(a) $\theta_1<\theta_2$이면 $\tfrac{f(x;\theta_2)}{f(x;\theta_1)}=\tfrac{\theta_2}{\theta_1}x^{\theta_2-\theta_1}$이고 지수가 양수이므로 $x$의 증가함수다. (b) 정리 2.4로 UMP 검정은 $X>c$이고, 경계 $\theta=1$에서 $X\sim\mathrm U(0,1)$이므로 $1-c=0.05$, $c=0.95$이다. (c) $P_2(X>0.95)=1-0.95^2=0.0975$이다. 관측 하나로는 검정력이 낮다.

최종답 (b) $c=0.95$ (c) $0.0975$

A6 지수 평균의 한쪽 검정 ★★

정리 2.4 · 10분

$X_1,\dots,X_{10}\iid$ 지수분포(평균 $\theta$)로 $H_0:\theta\le2$ 대 $H_1:\theta>2$를 크기 0.05로 검정한다. (a) UMP 검정 “$\sum X_i>c$이면 기각”의 $c$를 $\chi^2$ 분포의 분위수로 구하라. (b) $\theta=4$에서의 검정력을 구하라.

힌트

평균 $\theta$인 지수분포 $n$개의 합은 감마$(n,\theta)$이고, $\tfrac2\theta\sum X_i\sim\chi^2(2n)$이다(4회). $\theta=2$이면 $\sum X_i$ 자체가 $\chi^2(20)$이다.

풀이

지수분포(평균 $\theta$)는 $c(\theta)=-1/\theta$가 증가하는 1-모수 지수족이므로 $\sum X_i$에 대해 단조가능도비를 갖고, 정리 2.4로 UMP 검정은 $\sum X_i>c$이다. (a) $\theta=2$에서 $\sum X_i=\tfrac22\sum X_i\sim\chi^2(20)$이므로 $c=\chi^2_{20,\,0.05}=31.41$이다. (b) $\theta=4$이면 $\tfrac24\sum X_i\sim\chi^2(20)$이므로 검정력은 $P\bigl(\chi^2(20)>31.41/2\bigr)=P(\chi^2(20)>15.71)=0.735$이다.

최종답 (a) $c=\chi^2_{20,\,0.05}\approx31.41$ (b) $\approx0.735$

A7 정규 평균의 가능도비 ★

정의 3.1 · 6분

$X_i\iid\N(\mu,1)$, $n=16$, $\bar x=0.6$이다. $H_0:\mu=0$ 대 $H_1:\mu\ne0$의 (a) $-2\log\lambda$를 구하고, (b) $\chi^2(1)$로 읽은 $p$-값을 구하라. 양쪽 $z$ 검정의 $p$-값과 비교하라.

힌트

$\sup_\mu L$은 $\mu=\bar x$에서 얻는다. $-2\log\lambda=n\bar x^2=z^2$이다.

풀이

(a) $\log L(\mu)=-\tfrac n2(\bar x-\mu)^2+$($\mu$와 무관한 항)이므로 $-2\log\lambda=2\bigl[\log L(\bar x)-\log L(0)\bigr]=n\bar x^2=16\times0.36=5.76$. (b) $P(\chi^2(1)>5.76)=0.0164$이다. $z=\sqrt n\bar x=2.4$이고 양쪽 $p$-값 $2\Phi(-2.4)=0.0164$와 같다. $Z^2\sim\chi^2(1)$이므로 이 경우 가능도비 검정은 양쪽 $z$ 검정 그 자체다.

최종답 (a) $5.76$ (b) $\approx0.0164$

A8 이항 비율의 가능도비 ★

정의 3.1 · 8분

$X\sim\mathrm b(100,p)$에서 $x=60$을 관측했다. $H_0:p=0.5$의 가능도비 통계량 $-2\log\lambda$를 구하라.

힌트

$\hat p=0.6$이다. $-2\log\lambda=2\bigl[x\log\tfrac{\hat p}{p_0}+(n-x)\log\tfrac{1-\hat p}{1-p_0}\bigr]$.

풀이

$\hat p=0.6$에서 가능도가 최대이므로 $-2\log\lambda=2\bigl[60\log\tfrac{0.6}{0.5}+40\log\tfrac{0.4}{0.5}\bigr]=2(10.939-8.926)=4.03$이다. $\chi^2(1)$로 읽은 $p$-값은 0.045이고, 같은 자료의 $z^2=\tfrac{(0.6-0.5)^2}{0.25/100}=4.00$과 가깝다.

최종답 $\approx4.03$

A9 Wald의 경계 ★

정리 4.2 · 6분

SPRT의 목표 오류율을 $\alpha=0.01$, $\beta=0.05$로 둔다. (a) 위 경계 $A$, (b) 아래 경계 $B$를 구하고, (c) 실제 1종 오류율 $\alpha'$의 상한을 정리 4.2로 구하라.

힌트

$A=\log\tfrac{1-\beta}\alpha$, $B=\log\tfrac\beta{1-\alpha}$, $\alpha'\le\tfrac\alpha{1-\beta}$.

풀이

(a) $A=\log\tfrac{0.95}{0.01}=\log95=4.554$. (b) $B=\log\tfrac{0.05}{0.99}=\log\tfrac5{99}=-2.986$. (c) $\alpha'\le\tfrac{0.01}{0.95}=\tfrac1{95}=0.0105$이다. 목표보다 5% 큰 정도의 상한이고, 넘침을 무시한 경계이므로 실제로는 목표보다 작은 경우가 많다.

최종답 (a) $A=\log95\approx4.554$ (b) $B=\log\tfrac5{99}\approx-2.986$ (c) $\alpha'\le\tfrac1{95}\approx0.0105$

A10 정규 SPRT의 평균 표본수 ★★

정리 4.2, 보조정리 4.3 · 12분

$X_i\iid\N(\mu,1)$로 $H_0:\mu=0$ 대 $H_1:\mu=0.5$를 $\alpha=\beta=0.05$의 SPRT로 검정한다. $Z=\log\tfrac{f_1(X)}{f_0(X)}$이다. (a) $E_0Z$를 구하라. (b) 넘침을 무시한 Wald의 근사로 $E_0N$을 구하라. (c) 같은 $\alpha,\beta$를 내는 고정 표본의 한쪽 $z$ 검정에 필요한 가장 작은 $n$을 구하라.

힌트

$Z=\delta X-\delta^2/2$이다. $E_0N\approx\tfrac{(1-\alpha)B+\alpha A}{E_0Z}$. 고정 표본은 $\sqrt n\,\delta\ge z_{0.05}+z_{0.05}$.

풀이

(a) $Z=0.5X-0.125$이므로 $E_0Z=-0.125=-\tfrac18$. (b) $A=\log19$, $B=-\log19$이므로 $E_0N\approx\tfrac{0.95(-\log19)+0.05\log19}{-1/8}=7.2\log19=21.2$이다(보조정리 4.3에 $\Lambda_N\approx A$ 또는 $B$를 넣은 것). (c) 크기 0.05의 기각역 $\bar X>1.645/\sqrt n$의 $\mu=0.5$에서의 검정력이 0.95 이상이려면 $0.5\sqrt n\ge3.290$, $n\ge43.3$이므로 $n=44$이다. SPRT는 $H_0$ 아래 평균적으로 그 절반 정도로 끝난다.

최종답 (a) $E_0Z=-\tfrac18$ (b) $\approx21.2$ (c) $n=44$

A11 비용이 다른 Bayes 검정 ★

따름정리 5.3 · 8분

관측 하나 $x$로 $H_0:\N(0,1)$ 대 $H_1:\N(1,1)$을 결정한다. 사전확률은 $\pi_0=0.9$, $\pi_1=0.1$이고, 1종 오류의 비용은 1, 2종 오류의 비용은 4이다. (a) 가능도비 임계값 $k$와 (b) $x$의 기각 경계를 구하라.

힌트

$k=\tfrac{\pi_0c_{\mathrm I}}{\pi_1c_{\mathrm{II}}}$이고 $f_1(x)/f_0(x)=e^{x-1/2}$이다.

풀이

(a) $k=\tfrac{0.9\cdot1}{0.1\cdot4}=\tfrac94$. (b) $e^{x-1/2}>\tfrac94$, 곧 $x>\tfrac12+\log\tfrac94=1.311$이면 기각한다. 비용만 보면 2종 오류가 네 배 비싸지만, $H_1$의 사전확률이 작아 임계값은 1보다 크다.

최종답 (a) $k=\tfrac94$ (b) $x>\tfrac12+\log\tfrac94\approx1.311$

A12 두 무리의 선형판별 ★★

따름정리 5.5 · 12분

$\bmu_0=(0,0)$, $\bmu_1=(2,1)$, $\Sigma=\smat{1&0.5\\0.5&1}$, $\pi_0=\pi_1$이다. (a)(b) 판별 방향 $\mathbf w=\Sigma^{-1}(\bmu_1-\bmu_0)$의 두 성분, (c) Mahalanobis 거리 $\Delta$, (d) 오분류 확률을 구하라.

힌트

$\Sigma^{-1}=\tfrac1{0.75}\smat{1&-0.5\\-0.5&1}$. $\Delta^2=(\bmu_1-\bmu_0)\T\mathbf w$.

풀이

$\Sigma^{-1}=\tfrac43\smat{1&-0.5\\-0.5&1}$이므로 (a)(b) $\mathbf w=\tfrac43(2-0.5,\allowbreak \ -1+1)=(2,\allowbreak 0)$이다. 두 번째 측정값은 판별에 쓰이지 않는다. 첫째와의 상관 때문에 둘째의 차이 1이 첫째의 차이로 이미 설명되기 때문이다. (c) $\Delta^2=(2,1)\cdot(2,0)=4$, $\Delta=2$. (d) $\Phi(-\Delta/2)=\Phi(-1)=0.159$이다.

최종답 (a) $w_1=2$ (b) $w_2=0$ (c) $\Delta=2$ (d) $\Phi(-1)\approx0.159$

A13 정규 점수의 ROC ★

8.1절 · 8분

음성의 점수가 $\N(0,1)$, 양성의 점수가 $\N(1,1)$이다. (a) 거짓양성률 0.05에서의 참양성률과 (b) ROC 곡선 아래 넓이를 구하라.

힌트

(b) AUC $=P(S_1>S_0)$이고 $S_1-S_0\sim\N(1,2)$이다.

풀이

(a) 임계값은 $z_{0.05}=1.645$이므로 참양성률은 $P(\N(1,\allowbreak 1)>1.645)=\Phi(-0.645)=0.260$이다. (b) $S_1-S_0\sim\N(1,2)$이므로 AUC $=P(S_1-S_0>0)=\Phi(1/\sqrt2)=0.760$이다. 두 정규의 가능도비 $e^{s-1/2}$는 $s$의 증가함수이므로 이 점수 자체가 최강력 검정을 준다.

최종답 (a) $\approx0.260$ (b) $\Phi(1/\sqrt2)\approx0.760$

A14 Lindley의 역설, 숫자로 ★★

예제 7.2 · 10분

$X_i\iid\N(\mu,1)$, $n=400$에서 $z=\sqrt n\bar x=2.5$가 나왔다. $H_1$ 아래 $\mu\sim\N(0,1)$로 둔다. (a) 양쪽 $p$-값, (b) Bayes 인수 $B_{01}$, (c) 두 가설의 사전확률이 같을 때 $P(H_0\mid\x)$를 구하라.

힌트

예제 7.2의 식 $B_{01}=\sqrt{1+n}\exp\bigl(-\tfrac{z^2}2\cdot\tfrac n{n+1}\bigr)$을 쓴다. $P(H_0\mid\x)=\tfrac{B_{01}}{1+B_{01}}$.

풀이

(a) $2\Phi(-2.5)=0.0124$. (b) $B_{01}=\sqrt{401}\exp\bigl(-3.125\cdot\tfrac{400}{401}\bigr)=20.02\times0.0443=0.887$. (c) $P(H_0\mid\x)=\tfrac{0.887}{1.887}=0.470$이다. $p=0.012$는 크기 0.05에서 기각이지만, 이 사전분포 아래에서는 $H_0$의 사후확률이 절반에 가깝다.

최종답 (a) $\approx0.0124$ (b) $B_{01}\approx0.887$ (c) $\approx0.470$

워크북 PDF풀이판 PDF답 확인