12회 · 최적 검정과 결정 · 워크북

C. 증명 문제

노트의 정리를 변형하고, 일반화하고, 반례로 경계를 확인한다. 증명은 노트의 단계형 모양으로 쓴다. 한 줄에 한 단계, 줄마다 근거.

C1 하나의 검정이 여러 대립가설에 최강력 ★★

[T2] · 정리 1.2 · 15분

$\varphi^*$가 $f_0$ 대 $f_1$의 크기 $\alpha$ Neyman–Pearson 검정(임계값 $k>0$)이다. 다른 밀도 $f_2$가 있어 $f_0>0$인 곳에서 $f_2(\x)/f_0(\x)=\psi\bigl(f_1(\x)/f_0(\x)\bigr)$이고 $\psi$가 순증가함수이다.

1. (a)

   $\{f_1>kf_0\}=\{f_2>\psi(k)f_0\}$, $\{f_1<kf_0\}=\{f_2<\psi(k)f_0\}$임을 보여라.

2. (b)

   $\varphi^*$가 $f_0$ 대 $f_2$의 크기 $\alpha$ 최강력 검정임을 보여라.

3. (c)

   이것이 정리 2.4의 증명의 어느 단계와 같은 생각인지 밝혀라.

힌트

순증가함수는 부등호의 방향을 보존하고, 대우로 거꾸로도 보존한다. $f_0=0$인 점은 $H_0$ 아래 확률 0이다.

풀이

(a) $\psi$가 순증가이므로 $r>k\iff\psi(r)>\psi(k)$이고 $r<k\iff\psi(r)<\psi(k)$이다. $r=f_1/f_0$, $\psi(r)=f_2/f_0$을 넣고 양변에 $f_0>0$을 곱하면 두 등식이 나온다. (b) (a)로 $\varphi^*$는 $f_2>\psi(k)f_0$에서 1, $f_2<\psi(k)f_0$에서 0이므로 임계값 $\psi(k)$의 Neyman–Pearson 꼴이다. 크기는 $f_0$에만 의존하므로 그대로 $\alpha$이고, 정리 1.2(b)로 $f_0$ 대 $f_2$의 크기 $\alpha$ 최강력 검정이다. ($f_0=0$이고 $f_2>0$인 점에서는 $\varphi^*$를 1로 두면 크기를 바꾸지 않고 정리 1.2(b)의 부등식이 성립한다.) (c) 정리 2.4의 단계 1–3이 같은 생각이다. 거기서는 $f(\x;\theta'')/f(\x;\theta')$가 $T$의 감소하지 않는 함수였고, 그래서 “$T>c$” 하나가 모든 $\theta''>\theta'$에 대해 Neyman–Pearson 꼴이 되었다.

C2 단조가능도비와 기댓값의 단조성 ★★

[T2] · 정의 2.2 · 20분

분포족이 $T$에 대해 단조가능도비를 갖고, $\psi$가 감소하지 않는 함수이며 $E_\theta|\psi(T)|<\infty$이다. $\theta_1<\theta_2$이면 $E_{\theta_1}\psi(T)\le E_{\theta_2}\psi(T)$임을 보여라. $f_j=f(\cdot;\theta_j)$로 쓴다.

1. (a)

   $A=\{f_2>f_1\}$, $B=\{f_2<f_1\}$이면 $\x\in A$, $\mathbf y\in B$에 대해 $T(\x)>T(\mathbf y)$임을 보여라.

2. (b)

   $a=\inf_A\psi(T)$, $b=\sup_B\psi(T)$로 두면 $a\ge b$이고, $D=\int_A(f_2-f_1)=\int_B(f_1-f_2)$임을 보여라.

3. (c)

   $E_{\theta_2}\psi(T)-E_{\theta_1}\psi(T)\ge(a-b)D\ge0$을 보여라.

힌트

(a) $A$ 위에서는 가능도비가 1보다 크고 $B$ 위에서는 작다. 가능도비가 $T$의 감소하지 않는 함수 $g$이면, $g(T(\x))>g(T(\mathbf y))$에서 $T(\x)>T(\mathbf y)$가 나온다(대우).

풀이

(a) $\x\in A$이면 $g(T(\x))=f_2(\x)/f_1(\x)>1$이고 $\mathbf y\in B$이면 $g(T(\mathbf y))<1$이므로 $g(T(\x))>g(T(\mathbf y))$이다. $T(\x)\le T(\mathbf y)$이면 $g$가 감소하지 않으므로 $g(T(\x))\le g(T(\mathbf y))$가 되어 모순이다. ($f_1=0<f_2$인 점은 가능도비가 $\infty$이므로 $A$에 들어가고 논리가 같다.) (b) (a)와 $\psi$가 감소하지 않음에서 $\psi(T(\x))\ge\psi(T(\mathbf y))$이므로 $a\ge b$이다. $\int(f_2-f_1)=1-1=0$이고 $\{f_2=f_1\}$ 위에서는 피적분함수가 0이므로 $\int_A(f_2-f_1)=\int_B(f_1-f_2)=D$이다. (c) $E_{\theta_2}\psi-E_{\theta_1}\psi=\int_A\psi(T)(f_2-f_1)+\int_B\psi(T)(f_2-f_1)\ge a\int_A(f_2-f_1)-b\int_B(f_1-f_2)=(a-b)D\ge0$이다. 첫 적분에서 $f_2-f_1>0$, $\psi\ge a$를, 둘째에서 $f_2-f_1<0$, $\psi\le b$를 썼다. $\psi=1\{T>c\}$로 두면 정리 2.4의 “검정력 함수는 감소하지 않는다”가 이 명제의 특수한 경우다.

C3 균등분포에는 양쪽 UMP가 있다 ★★★

[T2] · 정리 1.2 · 25분

$X_1,\allowbreak \dots,\allowbreak X_n\iid\mathrm U(0,\allowbreak \theta)$로 $H_0:\theta=1$ 대 $H_1:\theta\ne1$을 검정한다. 검정 $\varphi$는 $X_{(n)}>1$이거나 $X_{(n)}\le\alpha^{1/n}$이면 기각한다.

1. (a)

   $\varphi$의 크기가 $\alpha$임을 보여라.

2. (b)

   $\theta>1$이면 검정력이 $1-(1-\alpha)\theta^{-n}$이고, 이것이 $1$ 대 $\theta$의 크기 $\alpha$ 최강력 검정의 검정력과 같음을 보여라.

3. (c)

   $\theta<1$이면 크기 $\alpha$인 어떤 검정의 검정력도 $\min(1,\alpha\theta^{-n})$을 넘지 못함을 보이고, $\varphi$가 그 값을 얻음을 보여라.

4. (d)

   $\varphi$가 UMP임을 결론짓고, $n=5$, $\alpha=0.05$, $\theta=0.8$에서의 검정력을 구하라.

힌트

$\theta<1$이면 가능도비 $f_\theta/f_1$은 $\{X_{(n)}\le\theta\}$ 위에서 상수 $\theta^{-n}$이고 그 밖에서 0이다. 그래서 어떤 검정이든 검정력 $=\theta^{-n}\times$(그 집합 위에서 쓴 크기)이다.

풀이

(a) $\theta=1$이면 $P(X_{(n)}>1)=0$이고 $P(X_{(n)}\le\alpha^{1/n})=(\alpha^{1/n})^n=\alpha$이다. (b) $\theta>1$이면 $P_\theta(X_{(n)}>1)=1-\theta^{-n}$, $P_\theta(X_{(n)}\le\alpha^{1/n})=\alpha\theta^{-n}$이므로 검정력은 $1-(1-\alpha)\theta^{-n}$이다. 노트 연습 1.4와 같은 계산으로 $1$ 대 $\theta$의 최강력 검정의 검정력도 이 값이다. $\{X_{(n)}\le1\}$ 위에서는 가능도비가 상수 $\theta^{-n}$이고, 그 위에서 크기 $\alpha$를 어떻게 쓰든 검정력에 $\alpha\theta^{-n}$이 더해지며, $\{X_{(n)}>1\}$은 크기를 쓰지 않고 검정력 $1-\theta^{-n}$을 준다. (c) $\theta<1$이면 $f_\theta(\x)=\theta^{-n}1\{x_{(n)}\le\theta\}$, $f_1(\x)=1\{x_{(n)}\le1\}$이다. 어떤 검정 $\psi$든 $E_\theta\psi=\theta^{-n}\int_{\{x_{(n)}\le\theta\}}\psi f_1\le\theta^{-n}E_1\psi\le\alpha\theta^{-n}$이고 1을 넘지 않는다. $\varphi$는 $\alpha^{1/n}\le\theta$이면 $E_\theta\varphi=P_\theta(X_{(n)}\le\alpha^{1/n})=\alpha\theta^{-n}$, $\alpha^{1/n}>\theta$이면 1이다. (d) (b)(c)로 모든 $\theta\ne1$에서 $\varphi$의 검정력이 크기 $\alpha$인 검정이 얻을 수 있는 최댓값이므로 UMP다. $n=5$, $\theta=0.8$이면 $0.05/0.8^5=0.153$이다. 정규 평균에서는 양쪽 UMP가 없었다(노트 예제 2.5). 균등분포에서는 두 방향의 최강력 기각역이 서로 겹치지 않는 곳을 써서 한 검정에 담긴다.

최종답 $\tfrac{0.05}{0.8^5}\approx0.153$

C4 Wilks 정리가 맞지 않는 가능도비 ★★

[T2] · 정의 3.1, 9회 정리 5.2 · 20분

$X_1,\allowbreak \dots,\allowbreak X_n\iid\mathrm U(0,\allowbreak \theta)$로 $H_0:\theta=\theta_0$을 가능도비로 검정한다.

1. (a)

   $\lambda(\x)=(x_{(n)}/\theta_0)^n$ ($x_{(n)}\le\theta_0$), $0$ ($x_{(n)}>\theta_0$)임을 보여라.

2. (b)

   $H_0$ 아래 $-2\log\lambda\sim\chi^2(2)$임을 보여라. 자유도는 $n$에 무관하다.

3. (c)

   Wilks 정리를 잘못 적용해 $\chi^2(1)$의 임계값 3.841로 기각하면 실제 크기는 얼마인가?

4. (d)

   Wilks 정리의 어느 가정이 깨졌는가?

힌트

$H_0$ 아래 $U=(X_{(n)}/\theta_0)^n\sim\mathrm U(0,\allowbreak 1)$이고, $-2\log U$는 평균 2인 지수분포, 곧 $\chi^2(2)$이다.

풀이

(a) $L(\theta)=\theta^{-n}1\{\theta\ge x_{(n)}\}$은 $\theta=x_{(n)}$에서 최대 $x_{(n)}^{-n}$이다. $H_0$ 아래 값은 $\theta_0^{-n}1\{x_{(n)}\le\theta_0\}$이므로 비는 주어진 꼴이다. (b) $P(U\le u)=P(X_{(n)}\le\theta_0u^{1/n})=u$이므로 $U\sim\mathrm U(0,1)$이다. $P(-2\log U>t)=P(U<e^{-t/2})=e^{-t/2}$는 평균 2인 지수분포의 생존함수이고, 그것이 $\chi^2(2)$다(4회). (c) $P(\chi^2(2)>3.841)=e^{-3.841/2}=0.146$이다. 명목 0.05의 세 배다. (d) 9회 정리 5.2는 받침이 모수에 의존하지 않고 로그가능도가 참값 근처에서 두 번 미분가능하다는 정칙조건을 쓴다. 여기서는 받침 $(0,\theta)$가 $\theta$에 따라 움직이고, 가능도가 최댓값에서 미분가능하지 않다(그 점에서 끊긴다).

최종답 $e^{-3.841/2}\approx0.146$

C5 Wald의 둘째 등식 ★★

[T1] · 보조정리 4.3 · 20분

$Z_1,Z_2,\dots$가 iid이고 $EZ_1=0$, $EZ_1^2=\sigma^2$이다. $S_n=\sum_{i\le n}Z_i$이다.

1. (a)

   $N$이 유계인 멈춤시각($N\le m$)이면 $ES_N^2=\sigma^2EN$임을 보여라.

2. (b)

   이 등식이 $EN<\infty$인 멈춤시각에서도 성립함을 인정하자. 대칭 $\pm1$ 걸음 $S_n$이 $(-a,b)$를 처음 벗어나는 시각 $N$에 대해, Wald의 등식으로 $P(S_N=b)$를 구하고 (a)로 $EN=ab$를 보여라. $a=3$, $b=5$이면 $EN$은?

힌트

(a) $S_N=\sum_{i\le m}Z_i1\{N\ge i\}$를 제곱한다. $i<j$이면 $Z_i1\{N\ge j\}$는 $Z_1,\dots,Z_{j-1}$로 정해지므로 $Z_j$와 독립이다.

풀이

(a) $S_N=\sum_{i=1}^mZ_i1\{N\ge i\}$이다. 제곱하면 $\sum_iZ_i^21\{N\ge i\}+2\sum_{i<j}Z_iZ_j1\{N\ge i\}1\{N\ge j\}$이고, $i<j$이면 $1\{N\ge i\}1\{N\ge j\}=1\{N\ge j\}$이다. $Z_i1\{N\ge j\}$는 $Z_1,\dots,Z_{j-1}$의 함수이므로 $Z_j$와 독립이고 $E[Z_j\cdot Z_i1\{N\ge j\}]=EZ_j\cdot E[Z_i1\{N\ge j\}]=0$이다. 같은 이유로 $E[Z_i^21\{N\ge i\}]=\sigma^2P(N\ge i)$이다. 유한합이므로 기댓값을 항별로 취해 $ES_N^2=\sigma^2\sum_iP(N\ge i)=\sigma^2EN$ (2회 정리 1.13). (b) $S_N\in\{-a,b\}$이고 Wald의 등식으로 $ES_N=EN\cdot0=0$이므로 $bP(S_N=b)-a\bigl(1-P(S_N=b)\bigr)=0$, $P(S_N=b)=\tfrac a{a+b}$이다. (a)의 등식($\sigma^2=1$)으로 $EN=ES_N^2=b^2\tfrac a{a+b}+a^2\tfrac b{a+b}=ab$이다. $a=3$, $b=5$이면 $EN=15$이다.

최종답 $EN=ab=15$

C6 Bayes 규칙은 허용적이다 ★★

[T2] · 정의 5.1, 정리 5.2 · 15분

모수공간이 유한하다: $\Omega=\{\theta_1,\allowbreak \dots,\allowbreak \theta_m\}$. 사전분포가 모든 점에 양의 확률 $\pi_j>0$을 주고, $\delta_\pi$가 Bayes 규칙이며 $r(\pi,\delta_\pi)<\infty$이다. 어떤 규칙 $\delta'$도 $\delta_\pi$를 “지배”할 수 없음을 보여라. 곧 모든 $j$에서 $R(\theta_j,\allowbreak \delta')\le R(\theta_j,\allowbreak \delta_\pi)$이고 어떤 $j$에서 부등호가 엄격한 $\delta'$는 없다. 사전확률이 0인 점이 있으면 어디서 증명이 막히는가?

힌트

귀류법 [T2]. 지배하는 $\delta'$가 있다고 하고 Bayes 위험 $\sum_j\pi_jR(\theta_j,\cdot)$을 비교한다.

풀이

$\delta'$가 $\delta_\pi$를 지배한다고 하자. 그러면 $r(\pi,\allowbreak \delta')=\sum_j\pi_jR(\theta_j,\allowbreak \delta')\le\sum_j\pi_jR(\theta_j,\allowbreak \delta_\pi)=r(\pi,\allowbreak \delta_\pi)$이고, 엄격한 부등호가 있는 $j$에서 $\pi_j>0$이므로 전체 부등호도 엄격하다: $r(\pi,\allowbreak \delta')<r(\pi,\allowbreak \delta_\pi)$. 이것은 $\delta_\pi$가 Bayes 위험을 최소화한다는 것에 모순이다. 사전확률이 0인 점 $\theta_j$에서만 $\delta'$가 낫다면 그 차이가 Bayes 위험에 더해지지 않아($0\times$차이) 엄격한 부등호가 나오지 않는다. 그런 경우에는 Bayes 규칙이 허용적이지 않을 수 있다.

C7 위험이 일정한 Bayes 규칙은 minimax다 ★★

정의 5.1 · 15분

$\delta$가 사전분포 $\pi$의 Bayes 규칙이고 모든 $\theta$에서 $R(\theta,\delta)=c$ (상수)이다.

1. (a)

   모든 규칙 $\delta'$에 대해 $\sup_\theta R(\theta,\allowbreak \delta')\ge r(\pi,\allowbreak \delta')\ge r(\pi,\allowbreak \delta)=c=\sup_\theta R(\theta,\allowbreak \delta)$임을 보이고, $\delta$가 minimax임을 결론지어라.

2. (b)

   노트 연습 5.4의 검정 “$x>\tfrac12$이면 기각”이 (a)의 예임을 확인하라. 위험은 두 오류 확률이다.

힌트

(a)의 첫 부등호: 평균은 최댓값을 넘지 못한다. 둘째: Bayes 규칙의 정의.

풀이

(a) $r(\pi,\allowbreak \delta')=\int R(\theta,\allowbreak \delta')\pi(d\theta)\le\sup_\theta R(\theta,\allowbreak \delta')$이다(평균은 최댓값 이하). Bayes 규칙의 정의로 $r(\pi,\allowbreak \delta')\ge r(\pi,\allowbreak \delta)$이고, $R(\theta,\delta)=c$이므로 $r(\pi,\allowbreak \delta)=c=\sup_\theta R(\theta,\allowbreak \delta)$이다. 따라서 모든 $\delta'$에서 $\sup R(\theta,\allowbreak \delta')\ge\sup R(\theta,\allowbreak \delta)$, 곧 $\delta$가 minimax다. (b) 0–1 손실이면 $R(H_0,\allowbreak \delta)=P_0(X>\tfrac12)=0.309$, $R(H_1,\allowbreak \delta)=P_1(X\le\tfrac12)=0.309$로 같다. $\pi_0=\pi_1$인 Bayes 검정이 $x>\tfrac12$이므로(따름정리 5.3) (a)로 minimax다.

C8 확률화하지 않으면 가능도비 순서가 깨진다 ★★

정리 1.2 · 20분

결과가 네 개인 실험에서 두 가설의 확률이 다음과 같다. 크기 0.05로 검정한다.

결과	$x_1$	$x_2$	$x_3$	$x_4$
$f_0$	0.04	0.03	0.02	0.91
$f_1$	0.08	0.054	0.035	0.831

1. (a)

   각 결과의 가능도비를 구하고 큰 순서로 늘어놓아라.

2. (b)

   확률화하지 않은 검정(결과의 부분집합) 가운데 크기 0.05 이하에서 검정력이 가장 큰 것을 모든 부분집합을 따져 찾고, 그 검정력을 구하라. 가능도비가 가장 큰 결과를 포함하는가?

3. (c)

   정리 1.2의 확률화 검정의 검정력을 구하라.

힌트

(b) 크기 0.05 이하인 부분집합은 몇 개 안 된다. (c) 가능도비가 큰 것부터 크기를 채우고 남은 크기만큼 다음 결과에서 확률화한다.

풀이

(a) 가능도비는 $x_1$: 2, $x_2$: 1.8, $x_3$: 1.75, $x_4$: 0.913이다. 큰 순서는 $x_1,x_2,x_3,x_4$이다. (b) 크기가 0.05 이하인 부분집합은 $\emptyset$, $\{x_1\}$ (0.04), $\{x_2\}$ (0.03), $\{x_3\}$ (0.02), $\{x_2,x_3\}$ (0.05)이다. 검정력은 각각 0, 0.08, 0.054, 0.035, 0.089이므로 가장 좋은 것은 $\{x_2,x_3\}$이고 검정력 0.089이다. 가능도비가 가장 큰 $x_1$을 포함하지 않는다. 크기라는 예산을 남김없이 쓰는 조합이 이긴 것이다(배낭 문제). (c) $x_1$에 크기 0.04를 쓰고, 남은 0.01을 $x_2$에서 확률 $\gamma=\tfrac{0.01}{0.03}=\tfrac13$로 쓴다. 검정력은 $0.08+\tfrac13\cdot0.054=0.098$이다. 정리 1.2의 순서(가능도비가 큰 것부터)는 확률화를 허용할 때 최적이다. 확률화를 금지하면 문제는 정수 배낭 문제가 되고 탐욕적인 순서가 최적이 아닐 수 있다.

최종답 (b) $0.089$ (c) $0.098$

C9 (크기, 검정력)의 집합 ★★

[T2] · 정리 1.2 · 20분

$f_0$ 대 $f_1$의 모든 검정 $\varphi$에 대해 점 $\bigl(E_0\varphi,\allowbreak \,E_1\varphi\bigr)$의 집합을 $\mathcal S$라 하자.

1. (a)

   $\mathcal S$가 볼록집합이고 $(0,0)$, $(1,1)$을 포함함을 보여라.

2. (b)

   $(\alpha,\gamma)\in\mathcal S$이면 $(1-\alpha,\allowbreak 1-\gamma)\in\mathcal S$임을 보여라.

3. (c)

   $\mathcal S$의 위쪽 경계 $\gamma^*(\alpha)=\max\{\gamma:(\alpha,\allowbreak \gamma)\in\mathcal S\}$가 Neyman–Pearson 검정의 검정력이고, $\alpha$의 오목함수이며 $\gamma^*(\alpha)\ge\alpha$임을 보여라.

힌트

(a) 두 검정을 $t$와 $1-t$로 섞은 $t\varphi_1+(1-t)\varphi_2$도 검정이다. (c) 오목성: 크기 $\alpha_1$, $\alpha_2$의 최강력 검정을 섞은 검정의 크기와 검정력을 보고 $\gamma^*$의 정의와 비교한다.

풀이

(a) $\varphi_1,\varphi_2$가 검정이면 $t\varphi_1+(1-t)\varphi_2$도 $[0,1]$ 값의 검정이고, 기댓값의 선형성으로 그 점은 두 점의 볼록결합이다. $\varphi\equiv0$이 $(0,0)$, $\varphi\equiv1$이 $(1,1)$을 준다. (b) $1-\varphi$도 검정이고 그 점은 $(1-\alpha,1-\gamma)$이다. (c) 정리 1.2로 크기 $\alpha$에서 최대 검정력은 Neyman–Pearson 검정이 얻으므로 $\gamma^*(\alpha)$는 그 검정력이다. $\alpha=t\alpha_1+(1-t)\alpha_2$이면 크기 $\alpha_1$, $\alpha_2$의 최강력 검정을 섞은 검정의 점 $\bigl(\alpha,\allowbreak \ t\gamma^*(\alpha_1)+(1-t)\gamma^*(\alpha_2)\bigr)$이 $\mathcal S$에 있으므로 $\gamma^*(\alpha)\ge t\gamma^*(\alpha_1)+(1-t)\gamma^*(\alpha_2)$, 곧 오목이다. 상수 검정 $\varphi\equiv\alpha$가 $(\alpha,\alpha)$를 주므로 $\gamma^*(\alpha)\ge\alpha$이다(따름정리 1.5(b)). 노트 8.1절의 ROC 곡선이 바로 $\gamma^*$이므로, 가능도비의 ROC 곡선은 오목하고 대각선 위에 있다.

워크북 PDF풀이판 PDF답 확인