수리통계학

테마

14회 · 분산분석과 실험설계 · 워크북

B. 빈칸 증명 ​

노트의 단계형 증명을 책을 덮고 다시 쓴다. 같은 정리를 여러 번 만나며 도움이 줄어든다. 1 단계는 주어지고 근거만 빈칸이다. 2 단계의 이름만 주어진다. 3 전략만 주어진다. 근거에는 정의나 정리의 번호, 앞 회차의 결과, 도구 번호를 쓴다.

B1 Neyman의 분산, 근거 채우기 ★★ ​

1 · 정리 1.4 · 15분

완전무작위설계에서 Eτ^=τˉE\hat\tau=\bar\tau이고 Var⁡τ^=S12nT+S02nC−Sτ2n\Var\hat\tau=\frac{S_1^2}{n_T}+\frac{S_0^2}{n_C}-\frac{S_\tau^2}n이다. 각 단계의 근거를 써라.

  1. ai=yi(1)/nT+yi(0)/nCa_i=y_i(1)/n_T+y_i(0)/n_C로 두면 τ^=∑iWiai−∑iyi(0)/nC\hat\tau=\sum_iW_ia_i-\sum_iy_i(0)/n_C이다.왜?yi=Wiyi(1)+(1−Wi)yi(0)y_i=W_iy_i(1)+(1-W_i)y_i(0)

  2. τ^−τˉ=∑i(Wi−nT/n)ai\hat\tau-\bar\tau=\sum_i(W_i-n_T/n)a_i이다.왜?nTnnC−1nC=−1n\tfrac{n_T}{nn_C}-\tfrac1{n_C}=-\tfrac1n

  3. Eτ^=τˉE\hat\tau=\bar\tau이다.왜?EWi=nT/nEW_i=n_T/n, 보조정리 1.3

  4. Var⁡τ^=nTnCn2(∑iai2−1n−1∑i≠jaiaj)\Var\hat\tau=\frac{n_Tn_C}{n^2}\bigl(\sum_ia_i^2-\frac1{n-1}\sum_{i\ne j}a_ia_j\bigr)이다.왜?보조정리 1.3의 분산과 공분산

  5. =nTnCn(n−1)∑i(ai−aˉ)2=\frac{n_Tn_C}{n(n-1)}\sum_i(a_i-\bar a)^2이다.왜?∑i≠jaiaj=(∑ai)2−∑ai2\sum_{i\ne j}a_ia_j=(\sum a_i)^2-\sum a_i^2

  6. =nCnS12nT+nTnS02nC+2S10n=\frac{n_C}n\frac{S_1^2}{n_T}+\frac{n_T}n\frac{S_0^2}{n_C}+\frac{2S_{10}}n이다.왜?aia_i를 펼친 표본공분산의 쌍선형성

  7. 정리의 식이 된다.왜?2S10=S12+S02−Sτ22S_{10}=S_1^2+S_0^2-S_\tau^2

힌트

근거는 짧게 쓴다. 예: “보조정리 1.3”, “τi\tau_i의 정의”. 2는 ∑inTnai−∑iyi(0)nC\sum_i\tfrac{n_T}na_i-\sum_i\tfrac{y_i(0)}{n_C}을 직접 계산한다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 1.4의 단계형 증명과 같다. 2에서 ∑inTnai−∑iyi(0)nC=yˉ(1)+(nTnnC−1nC)∑iyi(0)=yˉ(1)−yˉ(0)=τˉ\sum_i\tfrac{n_T}na_i-\sum_i\tfrac{y_i(0)}{n_C}=\bar y(1)+\bigl(\tfrac{n_T}{nn_C}-\tfrac1{n_C}\bigr)\sum_iy_i(0)=\bar y(1)-\bar y(0)=\bar\tau이고, 1에서 이것을 빼면 ∑i(Wi−nT/n)ai\sum_i(W_i-n_T/n)a_i가 남는다.

B2 일원분산분석, 근거 채우기 ★★ ​

1 · 정리 2.2 · 20분

일원배치에서 SST=SSB+SSW\SS_T=\SS_B+\SS_W이고 H0H_0 아래 F∼F(t−1,N−t)F\sim F(t-1,N-t)이며 FF 검정은 가능도비 검정이다. 근거를 채워라.

  1. β^=(yˉ1⋅,…,yˉt⋅)′\bhat=(\bar y_{1\cdot},\allowbreak \dots,\allowbreak \bar y_{t\cdot})\T이고 (Hy)ij=yˉi⋅(H\y)_{ij}=\bar y_{i\cdot}이다.왜?정규방정식, X′X=diag⁡(ni)X\T X=\diag(n_i)

  2. HJ=JH=JHJ=JH=J이고 H−JH-J, I−HI-H는 계수 t−1t-1, N−tN-t인 대칭 멱등행렬이다.왜?1=X1t∈col⁡(X)\one=X\one_t\in\col(X)

  3. SST=SSB+SSW\SS_T=\SS_B+\SS_W이다.왜?(H−J)(I−H)=0(H-J)(I-H)=0, 피타고라스

  4. I=J+(H−J)+(I−H)I=J+(H-J)+(I-H)이고 계수의 합이 NN이다.왜?1+(t−1)+(N−t)=N1+(t-1)+(N-t)=N

  5. H0H_0 아래 SSB/σ2∼χ2(t−1)\SS_B/\sigma^2\sim\chi^2(t-1)과 SSW/σ2∼χ2(N−t)\SS_W/\sigma^2\sim\chi^2(N-t)가 독립이다.왜?(H−J)μ1=0(H-J)\mu\one=\bzero, 13회 Cochran

  6. FF 검정은 가능도비 검정이다.왜?13회 정리 4.9(d), RSS0−RSS=SSB\mathrm{RSS}_0-\mathrm{RSS}=\SS_B

힌트

5에서는 평균 벡터가 두 사영으로 사라진다는 것과 Cochran의 정리, 두 가지를 함께 쓴다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 2.2의 단계형 증명과 같다. 5의 독립은 13회 따름정리 4.2, 곧 직교하는 사영의 이차형식은 독립이라는 것에서 나온다. 6에서 제약 아래의 적합이 JyJ\y인 것은 모든 평균이 같다는 제약 아래 최소제곱추정량이 전체 평균이기 때문이다.

B3 Scheffé의 동시구간, 근거 채우기 ★★ ​

1 · 정리 4.4 · 15분

모든 c∈L={C′a}\bc\in\mathcal L=\{C\T\ba\}에 대해 ∣c′β^−c′β∣≤qFq,n−p,α sc′(X′X)−1c|\bc\T\bhat-\bc\T\bbeta|\le\sqrt{qF_{q,n-p,\alpha}}\,s\sqrt{\bc\T(X\T X)^{-1}\bc}일 확률이 1−α1-\alpha이다. 근거를 채워라.

  1. u=C(β^−β)\bu=C(\bhat-\bbeta), W=C(X′X)−1C′W=C(X\T X)^{-1}C\T로 두면 c′(β^−β)=a′u\bc\T(\bhat-\bbeta)=\ba\T\bu, c′(X′X)−1c=a′Wa\bc\T(X\T X)^{-1}\bc=\ba\T W\ba이다.왜?c=C′a\bc=C\T\ba를 대입

  2. WW는 양정치다.왜?CC의 계수 qq, (X′X)−1(X\T X)^{-1} 양정치

  3. sup⁡c(c′(β^−β))2s2 c′(X′X)−1c=u′W−1us2\sup_{\bc}\dfrac{(\bc\T(\bhat-\bbeta))^2}{s^2\,\bc\T(X\T X)^{-1}\bc}=\dfrac{\bu\T W^{-1}\bu}{s^2}이다.왜?보조정리 4.3 (Cauchy–Schwarz)

  4. u′W−1u/(qs2)∼F(q,n−p)\bu\T W^{-1}\bu/(qs^2)\sim F(q,\allowbreak n-p)이다.왜?d=Cβ\mathbf d=C\bbeta, 13회 정리 4.9

  5. “모든 c\bc가 부등식을 만족한다”의 확률은 1−α1-\alpha이다.왜?모든 c\bc   ⟺  \iff 최댓값 ≤qF\le qF

힌트

5가 이 증명의 요점이다. 무한히 많은 부등식이 한꺼번에 성립하는 것은 그 가운데 가장 큰 것이 성립하는 것과 같다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 4.4의 단계형 증명과 같다. 3의 최댓값은 a∝W−1u\ba\propto W^{-1}\bu에서 이루어지므로 실제로 도달한다. 그래서 5의 두 사건은 정확히 같고 부등호가 아니라 등호 1−α1-\alpha가 나온다.

B4 Neyman의 분산, 단계의 이름만 ★★ ​

2 · 정리 1.4 · 25분

정리 1.4를 증명하라. 단계의 이름만 주어진다. 각 단계 아래에 식과 근거를 써라.

  1. τ^\hat\tau를 aia_i와 WiW_i로 쓴다

  2. τ^−τˉ\hat\tau-\bar\tau를 중심화한 지시변수의 일차결합으로 쓴다

  3. 평균을 구한다

  4. 공분산 행렬로 분산을 쓴다

  5. ∑i(ai−aˉ)2\sum_i(a_i-\bar a)^2을 S12,S02,S10S_1^2,S_0^2,S_{10}으로 펼친다

  6. S10S_{10}을 Sτ2S_\tau^2로 바꾼다

힌트

B1에서 채운 근거를 다시 보지 말고 쓴다. 다섯째 단계에서는 ai−aˉ=yi(1)−yˉ(1)nT+yi(0)−yˉ(0)nCa_i-\bar a=\tfrac{y_i(1)-\bar y(1)}{n_T}+\tfrac{y_i(0)-\bar y(0)}{n_C}을 제곱해 더한다.

풀이

노트 정리 1.4의 증명 1–6과 같다. 다섯째 단계는

1n−1∑i(ai−aˉ)2=S12nT2+S02nC2+2S10nTnC\frac1{n-1}\sum_i(a_i-\bar a)^2=\frac{S_1^2}{n_T^2}+\frac{S_0^2}{n_C^2}+\frac{2S_{10}}{n_Tn_C}

이고 여기에 nTnCn\tfrac{n_Tn_C}n을 곱한다. 여섯째 단계는 Sτ2=1n−1∑((yi(1)−yˉ(1))−(yi(0)−yˉ(0)))2=S12+S02−2S10S_\tau^2=\tfrac1{n-1}\sum\bigl((y_i(1)-\bar y(1))-(y_i(0)-\bar y(0))\bigr)^2=S_1^2+S_0^2-2S_{10}이다.

B5 일원분산분석, 단계의 이름만 ★★ ​

2 · 정리 2.2 · 25분

정리 2.2를 증명하라.

  1. 최소제곱추정량과 HyH\y를 구한다

  2. H−JH-J와 I−HI-H가 대칭 멱등임을 보인다

  3. 제곱합의 분해

  4. Cochran의 조건을 확인한다

  5. H0H_0 아래의 분포

  6. 가능도비 검정임을 보인다

힌트

둘째 단계에서 (H−J)2=H−HJ−JH+J=H−J(H-J)^2=H-HJ-JH+J=H-J를 확인한다. HJ=JHJ=J는 1∈col⁡(X)\one\in\col(X)에서 나온다.

풀이

노트 정리 2.2의 증명 1–6과 같다. 둘째 단계의 계산은 (H−J)2=H2−HJ−JH+J2=H−J−J+J=H−J(H-J)^2=H^2-HJ-JH+J^2=H-J-J+J=H-J이고, 계수는 대각합으로 tr⁡H−tr⁡J=t−1\tr H-\tr J=t-1, tr⁡(I−H)=N−t\tr(I-H)=N-t이다. 넷째 단계의 계수의 합 1+(t−1)+(N−t)=N1+(t-1)+(N-t)=N이 Cochran 정리의 조건이다.

B6 Neyman의 분산, 전략만 ★★ ​

3 · 정리 1.4 · 35분

정리 1.4를 증명하라.

전략 τ^−τˉ\hat\tau-\bar\tau를 중심화한 배정 지시변수 Wi−nT/nW_i-n_T/n의 일차결합으로 쓴다. 평균은 0이고, 분산은 보조정리 1.3의 분산과 공분산으로 계산하는 이차형식이다.

힌트

단계는 여섯이다. 증명을 다 쓴 뒤, 확률이 어디서 왔는지 한 줄로 적어 본다. 정규분포나 표본의 독립을 썼다면 어딘가 틀렸다.

풀이

B4의 풀이와 같다. 이 증명에서 확률은 배정 WW에서만 온다. 잠재적 결과는 상수이고, 쓴 것은 보조정리 1.3의 배정 지시변수의 적률뿐이다. 그래서 정리는 어떤 모집단 모형도 없이 성립한다.

B7 Scheffé의 동시구간, 전략만 ★★ ​

3 · 정리 4.4 · 35분

정리 4.4를 증명하라. 보조정리 4.3도 함께 증명하라.

전략 무한히 많은 대비에 대한 부등식을 최댓값 하나에 대한 부등식으로 바꾼다. 그 최댓값은 Cauchy–Schwarz로 계산되고, 참값에서 잰 일반선형가설의 FF 통계량이 된다.

힌트

보조정리 4.3은 W1/2aW^{1/2}\ba와 W−1/2uW^{-1/2}\bu에 Cauchy–Schwarz를 쓴다 [T4]. 등호 조건이 최댓값이 실제로 도달됨을 보여 준다.

풀이

보조정리 4.3: (a′u)2=((W1/2a)′(W−1/2u))2≤(a′Wa)(u′W−1u)(\ba\T\bu)^2=\bigl((W^{1/2}\ba)\T(W^{-1/2}\bu)\bigr)^2\le(\ba\T W\ba)(\bu\T W^{-1}\bu)이고 등호는 a∝W−1u\ba\propto W^{-1}\bu일 때다. 따라서 sup⁡a≠0(a′u)2/a′Wa=u′W−1u\sup_{\ba\ne\bzero}(\ba\T\bu)^2/\ba\T W\ba=\bu\T W^{-1}\bu이다. 정리 4.4의 나머지는 B3의 풀이와 같다. 일원배치의 대비에서는 q=t−1q=t-1이고 c′(X′X)−1c=∑ci2/ni\bc\T(X\T X)^{-1}\bc=\sum c_i^2/n_i이다.

워크북 PDF풀이판 PDF답 확인