15회 · 가정이 틀리면 · 워크북

C. 증명 문제

노트의 정리를 변형하고, 일반화하고, 반례로 경계를 확인한다. 증명은 노트의 단계형 모양으로 쓴다. 한 줄에 한 단계, 줄마다 근거.

C1 순열 $p$p-값의 정확한 분포 ★★

정리 1.2 · 15분

정리 1.2의 상황에서 $M=\binom Nm$이라 하자. 합친 표본의 값이 주어졌을 때 $M$가지 나눔의 $T$ 값이 모두 다르면, 귀무가설 아래 $k=1,\dots,M$에서 $P(p\le k/M)=k/M$임을 보여라. $p$의 가장 작은 값은 무엇이고, 그것이 크기 $\alpha<1/M$의 검정에 대해 무엇을 뜻하는가?

힌트

조건부로 관측된 나눔은 $M$가지 위에서 균등하다. $T$ 값이 모두 다르면 $p=(\text{관측값 이상인 }T\text{의 수})/M$은 $1/M,2/M,\dots,1$을 한 번씩 갖는다.

풀이

값의 다중집합 $\mathcal V$가 주어지면 관측된 나눔은 $M$가지 위에서 균등하다(정리 1.2의 증명 2). $T$ 값이 모두 다르면 $M$가지를 $T$가 큰 순서로 늘어놓을 수 있고, $j$번째로 큰 나눔이 관측되면 $p=j/M$이다. 따라서 조건부로 $P(p=j/M\mid\mathcal V)=1/M$이고 $P(p\le k/M\mid\mathcal V)=k/M$이다. 이 값이 $\mathcal V$와 무관하므로 무조건으로도 같다. $p$의 최솟값은 $1/M$이므로 $\alpha<1/M$이면 검정은 결코 기각하지 않는다. A5의 $m=n=3$에서는 $M=20$이라 5%보다 작은 $p$-값은 나올 수 없다.

C2 지시변수로 구하는 $\Var U$VarU ★★

정리 1.5(b), 3회 정리 4.2(c) · 20분

$U=\sum_{i,j}I_{ij}$, $I_{ij}=\mathbf 1\{X_i>Y_j\}$이다. 귀무가설($F=G$ 연속) 아래 다음을 보이고 $\Var U=\tfrac{mn(N+1)}{12}$을 순위를 쓰지 않고 다시 얻어라.

1. (a)

   $\Var I_{ij}=\tfrac14$.

2. (b)

   $j\ne k$이면 $\Cov(I_{ij},\allowbreak I_{ik})=\tfrac13-\tfrac14=\tfrac1{12}$. $i\ne l$이면 $\Cov(I_{ij},\allowbreak I_{lj})=\tfrac1{12}$.

3. (c)

   첨자가 하나도 겹치지 않으면 공분산은 0이다.

힌트

(b) $P(X>Y_1,X>Y_2)$는 세 iid 연속변수 가운데 $X$가 가장 클 확률이다. 공분산 항의 개수를 센다: 같은 $i$를 공유하는 순서쌍은 $mn(n-1)$개.

풀이

(a) $P(X>Y)=\tfrac12$이므로 $\tfrac12\cdot\tfrac12$. (b) $P(X_i>Y_j,X_i>Y_k)$는 세 iid 연속변수 가운데 $X_i$가 최대일 확률 $\tfrac13$이다(보조정리 1.3). 같은 방법으로 $P(X_i>Y_j,X_l>Y_j)=\tfrac13$. (c) 독립이다. 분산을 공분산으로 전개하면(3회 정리 4.2(c))

$$\Var U=mn\cdot\tfrac14+mn(n-1)\cdot\tfrac1{12}+mn(m-1)\cdot\tfrac1{12}=\tfrac{mn}{12}\bigl(3+n-1+m-1\bigr)=\tfrac{mn(N+1)}{12} .$$

정리 1.5(a)로 $\Var W=\Var U$이므로 정리 1.5(b)와 같다.

C3 Hodges–Lehmann 추정량의 붕괴점 ★★★

정의 1.9, 3.6 · 25분

한 표본의 Hodges–Lehmann 추정량은 Walsh 평균 $M=n(n+1)/2$개의 중앙값이다.

1. (a)

   $k$개의 관측을 바꾸면 영향을 받는 Walsh 평균의 수가 $M-\tfrac{(n-k)(n-k+1)}2$임을 보여라.

2. (b)

   영향을 받는 Walsh 평균이 $M/2$보다 많아야 추정량을 끝없이 보낼 수 있다. 붕괴점 $k^*/n$이 $n\to\infty$에서 $1-1/\sqrt2\approx0.293$으로 감을 보여라.

3. (c)

   평균(0), 중앙값($\tfrac12$)과 비교하라.

힌트

(a) 바뀌지 않은 $n-k$개끼리 만든 Walsh 평균만 영향을 받지 않는다. (b) $\tfrac{(n-k)^2}2\approx\tfrac{n^2}4$을 $k/n$에 대해 푼다 [T5].

풀이

(a) Walsh 평균 $(d_i+d_j)/2$가 바뀐 관측을 하나도 쓰지 않으려면 $i,j$ 모두 바뀌지 않은 $n-k$개 안에 있어야 하고, 그런 쌍($i\le j$)은 $\tfrac{(n-k)(n-k+1)}2$개다. (b) 영향을 받은 값을 모두 $+\infty$ 쪽으로 보내면, 그 수가 $M/2$ 이하일 때 중앙값은 영향받지 않은 Walsh 평균들의 범위 안에 머물고, $M/2$보다 많으면 끝없이 커진다. 조건 $M-\tfrac{(n-k)(n-k+1)}2>\tfrac M2$는 $(n-k)(n-k+1)<\tfrac{n(n+1)}2$와 같다. 양변을 $n^2$으로 나누고 $n\to\infty$이면 $(1-k/n)^2<\tfrac12$, 곧 $k/n>1-1/\sqrt2$이다. 따라서 $k^*/n\to1-1/\sqrt2\approx0.293$이다. (c) 평균은 관측 하나로 무너지고(붕괴점 $1/n\to0$), 중앙값은 절반까지 견딘다. Hodges–Lehmann은 그 사이이고, 정규에서 효율은 $3/\pi=0.955$로 중앙값의 $2/\pi=0.637$보다 훨씬 높다.

최종답 (c) $1-\tfrac1{\sqrt2}\approx0.293$

C4 부호검정의 효율은 0에서 무한대까지 ★★

명제 2.2, 노트 연습 2.4 · 15분

부호검정의 $t$ 검정에 대한 ARE $4\sigma^2f(0)^2$에 대해

1. (a)

   ARE가 0인 대칭 밀도를 만들어라.

2. (b)

   $t_\nu$ 분포($\nu>2$, $\sigma^2=\nu/(\nu-2)$)에서 $\nu\downarrow2$이면 ARE가 무한대로 감을 보여라.

3. (c)

   $t_3$에서 ARE를 구하라. $t_3$의 $f(0)=\tfrac2{\pi\sqrt3}$이다.

힌트

(a) 0 근처에 질량이 없는 대칭 밀도. (b) $f(0)$는 $\nu\to2$에서 양수로 수렴한다.

풀이

(a) $(-2,-1)\cup(1,2)$ 위의 균등밀도는 대칭이고 $f(0)=0$이므로 ARE $=0$이다. 중앙값 근처에 관측이 없으면 부호의 개수는 위치의 작은 이동을 거의 보지 못한다. (b) $f_\nu(0)=\Gamma(\tfrac{\nu+1}2)/(\sqrt{\nu\pi}\,\Gamma(\tfrac\nu2))$는 $\nu\to2$에서 $\Gamma(\tfrac32)/\sqrt{2\pi}=\tfrac1{2\sqrt2}>0$으로 가고, $\sigma^2=\nu/(\nu-2)\to\infty$이므로 ARE $\to\infty$이다. (c) $4\cdot3\cdot\tfrac4{3\pi^2}=\tfrac{16}{\pi^2}\approx1.62$. 반례 (a)는 “ARE의 하한이 있다”는 정리 2.5가 부호검정에는 없음을 보여 준다.

최종답 (c) $\tfrac{16}{\pi^2}\approx1.62$

C5 M-추정량의 이동 등변성과 유일성 ★

정의 3.1 · 12분

척도 $s$를 고정한 위치 M-추정량에서 $\psi$가 연속이고 순증가하는 홀함수라 하자.

1. (a)

   방정식 $\sum\psi((x_i-\theta)/s)=0$의 해가 하나뿐임을 보여라.

2. (b)

   모든 $x_i$에 $c$를 더하면 해도 $c$만큼 움직임을 보여라.

3. (c)

   자료가 어떤 점 $c$에 대해 대칭이면(곧 $\{x_i-c\}=\{c-x_i\}$) 해는 $c$임을 보여라.

힌트

(a) $g(\theta)=\sum\psi((x_i-\theta)/s)$는 순감소하고 연속이며, $\theta\to\mp\infty$에서 부호가 바뀐다 [T5].

풀이

(a) $g$는 순감소하는 연속함수이고, $\theta<\min x_i$이면 모든 항이 양수, $\theta>\max x_i$이면 모든 항이 음수다. 중간값 정리로 영점이 있고, 순감소이므로 하나뿐이다. (b) $\sum\psi((x_i+c-(\theta+c))/s)=g(\theta)$이므로 $\theta$가 원래 방정식의 해이면 $\theta+c$가 새 방정식의 해이고, (a)로 유일하다. (c) $g(c)=\sum\psi((x_i-c)/s)$에서 $x_i-c$들의 집합이 부호를 바꿔도 같으므로, 홀함수 $\psi$의 값들도 짝을 지어 지워지고 $g(c)=0$이다. Huber의 $\psi_k$는 순증가가 아니지만($|u|>k$에서 평평하다) 가운데 구간에 관측이 하나라도 있으면 같은 논증이 된다.

C6 분산 추정량의 잭나이프 ★★

정의 5.6 · 15분

$\hat\theta=\hat\sigma^2=\tfrac1n\sum(X_i-\bar X)^2$이다. 잭나이프로 치우침을 고친 추정량 $n\hat\theta-(n-1)\hat\theta_{(\cdot)}$가 $s^2=\tfrac1{n-1}\sum(X_i-\bar X)^2$과 정확히 같음을 보여라.

힌트

$\hat\theta_{(\cdot)}=\tfrac1n\sum_i\hat\theta_{(i)}$에서 $\sum_i\hat\theta_{(i)}$를 계산한다. 각 쌍 $(j,l)$, $j<l$가 몇 번 나오는지 센다: $\hat\sigma^2=\tfrac1{n^2}\sum_{j<l}(X_j-X_l)^2$.

풀이

분산을 쌍의 차로 쓰면 $\hat\sigma^2=\tfrac1{n^2}\sum_{j<l}(X_j-X_l)^2$이다. 관측 $i$를 빼면 $\hat\theta_{(i)}=\tfrac1{(n-1)^2}\sum_{j<l;\ j,l\ne i}(X_j-X_l)^2$이다. 쌍 $(j,l)$은 $i\notin\{j,l\}$인 $n-2$개의 $i$에서 나오므로 $\sum_i\hat\theta_{(i)}=\tfrac{n-2}{(n-1)^2}S$, $S=\sum_{j<l}(X_j-X_l)^2$이다. 그러면

$$n\hat\theta-(n-1)\hat\theta_{(\cdot)}=\frac Sn-\frac{(n-1)(n-2)}{n(n-1)^2}S=\frac Sn\Bigl(1-\frac{n-2}{n-1}\Bigr)=\frac S{n(n-1)}=s^2 .$$

마지막은 $s^2=\tfrac{n}{n-1}\hat\sigma^2=\tfrac{S}{n(n-1)}$이다. 잭나이프는 치우침이 정확히 $1/n$ 꼴인 추정량의 치우침을 완전히 지운다.

C7 부트스트랩은 왜도를 본다 ★★

정리 5.3 · 15분

(a) $E^*\bigl[(\bar X^*-\bar X)^3\bigr]=\hat\mu_3/n^2$, $\hat\mu_3=\tfrac1n\sum(X_i-\bar X)^3$임을 보여라. (b) 자료 $(0,3,9)$에서 이 값을 구하고, A11의 27가지 표본으로 확인하라. (c) 정규근사 $\N(\bar X,\hat\sigma^2/n)$은 이 3차 적률을 얼마로 주는가?

힌트

$D_i=X_i^*-\bar X$는 조건부로 iid, 평균 0이다. $(\sum D_i)^3$을 전개하면 $E^*D_iD_jD_k$는 세 첨자가 모두 같을 때만 0이 아니다.

풀이

(a) $\bar X^*-\bar X=\tfrac1n\sum D_i$이고 $D_i$는 $P^*$에서 iid, $E^*D_i=0$, $E^*D_i^3=\hat\mu_3$이다. $(\sum D_i)^3$의 기댓값에서 $E^*D_i^2D_j=E^*D_i^2\,E^*D_j=0$ ($i\ne j$), $E^*D_iD_jD_k=0$ (모두 다를 때)이므로 $E^*(\sum D_i)^3=n\hat\mu_3$이고, $n^3$으로 나누면 $\hat\mu_3/n^2$이다. (b) 편차 $-4,-1,5$의 세제곱의 평균은 $(-64-1+125)/3=20$이므로 $20/9$이다. 27가지의 $(\bar X^*-4)^3$의 평균도 $20/9$이다. (c) 정규분포는 대칭이므로 0이다. 부트스트랩 분포는 자료의 치우침을 $1/\sqrt n$의 차수로 담고, 이것이 BCa가 정규근사보다 정확한 이유의 한 부분이다(정의 5.4 아래 상자).

최종답 (b) $\tfrac{20}9$

C8 IRLS는 목적함수를 줄인다 ★★★

명제 6.3, 명제 8.3 · 25분

위치 문제에서 Huber 목적함수 $L(\theta)=\sum_i\rho_k(x_i-\theta)$를 생각한다(척도 1).

1. (a)

   $g(t)=\rho_k(\sqrt t)$ ($t\ge0$)가 오목함수임을 보여라.

2. (b)

   오목성으로 $\rho_k(u)\le\rho_k(u_0)+\tfrac{w_0}2(u^2-u_0^2)$, $w_0=\psi_k(u_0)/u_0$을 보여라.

3. (c)

   IRLS의 한 걸음 $\theta^{(1)}=\sum w_ix_i/\sum w_i$ ($w_i=\psi_k(r_i)/r_i$, $r_i=x_i-\theta^{(0)}$)이 $L(\theta^{(1)})\le L(\theta^{(0)})$을 만족함을 보여라.

힌트

(a) $g^\prime(t)$는 $t<k^2$에서 $\tfrac12$, $t>k^2$에서 $\tfrac k{2\sqrt t}$이다. (b) 오목함수는 접선 아래에 있다 [T4]. (c) (b)의 오른쪽을 $\theta$에 대해 더하면 가중 제곱합이고, 그 최소점이 $\theta^{(1)}$이다.

풀이

(a) $t\le k^2$에서 $g(t)=t/2$, $t>k^2$에서 $g(t)=k\sqrt t-k^2/2$이다. 도함수는 $\tfrac12$에서 $\tfrac k{2\sqrt t}$로 $t=k^2$에서 이어지며 감소하므로 $g$는 오목하다. (b) 오목함수는 접선 아래에 있으므로 $g(t)\le g(t_0)+g^\prime(t_0)(t-t_0)$이다. $t=u^2$, $t_0=u_0^2$을 넣고 $g^\prime(u_0^2)=\psi_k(u_0)/(2u_0)=w_0/2$를 확인한다($|u_0|\le k$이면 $\tfrac12$, 아니면 $\tfrac k{2|u_0|}$). (c) $Q(\theta)=\sum_i\bigl[\rho_k(r_i)+\tfrac{w_i}2\bigl((x_i-\theta)^2-r_i^2\bigr)\bigr]$로 두면 (b)로 모든 $\theta$에서 $L(\theta)\le Q(\theta)$이고 $Q(\theta^{(0)})=L(\theta^{(0)})$이다. $Q$는 가중 제곱합이므로 최소점이 $\theta^{(1)}=\sum w_ix_i/\sum w_i$이다. 따라서 $L(\theta^{(1)})\le Q(\theta^{(1)})\le Q(\theta^{(0)})=L(\theta^{(0)})$이다. 이것이 MM(위로 누르고 최소화) 알고리즘이고, A8의 한 걸음이 목적함수를 줄인 이유다.

C9 독립이 아니어도 교환가능하면 ★★

정의 1.1, 정리 1.2 · 15분

$Z_i=\eta+\varepsilon_i$ ($i=1,\dots,N$)이고 $\eta\sim\N(0,\tau^2)$, $\varepsilon_i\iid\N(0,1)$이 서로 독립이다.

1. (a)

   $Z_i$들은 독립이 아님을 보여라($\Cov(Z_1,Z_2)$).

2. (b)

   $(Z_1,\dots,Z_N)$이 교환가능함을 보여라.

3. (c)

   처음 $m$개를 $X$, 나머지를 $Y$로 둔 순열검정이 여전히 정확함을 보여라. 정리 1.2의 증명 가운데 어느 단계가 독립을 쓰지 않았는가?

힌트

(b) 조건부로 $\eta$가 주어지면 $Z_i$는 iid다. 결합분포를 $\eta$에 대해 적분한 꼴로 써서 순열에 불변임을 본다.

풀이

(a) $\Cov(Z_1,\allowbreak Z_2)=\Var\eta=\tau^2>0$. (b) 결합밀도는 $\int\prod_i\phi(z_i-e)\,\tfrac1\tau\phi(e/\tau)\,de$이고, 곱 $\prod_i\phi(z_i-e)$는 $z_i$의 순서를 바꿔도 같으므로 결합밀도가 순열에 불변이다. (c) 정리 1.2의 증명에서 1만 iid를 썼고, 그것도 교환가능성을 얻는 데만 썼다. 2–4는 교환가능성만 쓰므로 그대로 성립한다. 같은 블록(가족, 학교) 안의 관측처럼 공통 효과로 상관된 자료에서도, 처치가 무작위로 배정되었다면 순열검정은 정확하다.

C10 순위 통계량은 단조변환에 불변이다 ★

정의 1.4 · 10분

$h$가 순증가함수이면 $X_i$, $Y_j$를 $h(X_i)$, $h(Y_j)$로 바꿔도 $W$와 $U$가 그대로임을 보여라. 두 표본 $t$ 통계량은 그렇지 않음을 $X=(1,2)$, $Y=(3,10)$과 $h(x)=\log x$로 보여라.

힌트

$h$가 순증가이면 $X_i>Y_j\iff h(X_i)>h(Y_j)$이다.

풀이

$h$가 순증가이므로 모든 쌍의 대소가 보존된다. $U$는 대소의 개수이므로 그대로이고, 정리 1.5(a)로 $W$도 그대로다. 원래 자료에서 $\bar Y-\bar X=5$, 합동분산 $s_p^2=(0.5+24.5)/2=12.5$이므로 $t=5/\sqrt{12.5}=\sqrt2\approx1.41$이다. 로그를 취하면 평균의 차는 $\tfrac12(\log3+\log10)-\tfrac12\log2\approx1.354$이고 $t\approx1.95$로 바뀐다. 두 경우 모두 $X$의 순위가 1, 2이므로 $W=3$, $U=0$이다. 순위 검정의 결론은 자료를 어떤 단위나 단조변환으로 재든 같다.

워크북 PDF풀이판 PDF답 확인