13회 · 최소제곱 · 워크북

D. 퀄형

여러 절의 도구를 잇는 종합 문제다. 머리의 제한 시간을 재고, 노트를 덮고 푼다. 모형을 행렬로 적는 것부터 답안의 일부다.

D1 정규 단순회귀의 모든 것 ★★★

정리 3.6, 4.4, 따름정리 4.8 · 제한 40분

$y_i=b_0+b_1x_i+\varepsilon_i$, $\varepsilon_i\iid\N(0,\allowbreak \sigma^2)$이다.

1. (a)

   $(b_0,b_1,\sigma^2)$의 MLE를 구하라.

2. (b)

   $\hat b_1$과 $\bar y$가 독립임을 보여라.

3. (c)

   $(\hat b_1-b_1)\big/\bigl(s/\sqrt{S_{xx}}\bigr)\sim t(n-2)$임을 보여라. $s^2=\mathrm{RSS}/(n-2)$이다.

4. (d)

   A1의 자료에서 $x_0=6$의 적합값 $\hat y_0$를 구하라.

5. (e)

   같은 점에서 새 관측 $y_0$의 95% 예측구간의 반폭을 구하라. ($t_{3,0.025}=3.182$)

힌트

(b) $\hat b_1=\sum c_iy_i$, $c_i=(x_i-\bar x)/S_{xx}$이고 $\sum c_i=0$이다. 결합정규인 두 선형결합은 공분산이 0이면 독립이다. (e) 반폭은 $t\,s\sqrt{1+\tfrac1n+(x_0-\bar x)^2/S_{xx}}$이다.

풀이

(a) 정리 3.6(a)로 $(\hat b_0,\hat b_1)$은 최소제곱 해이고 $\hat\sigma^2=\mathrm{RSS}/n$이다. (b) $\hat b_1=\sum c_iy_i$, $c_i=(x_i-\bar x)/S_{xx}$이고 $\bar y=\sum y_i/n$이다. 두 선형결합의 공분산은 $\sigma^2\sum c_i/n=0$이다($\sum(x_i-\bar x)=0$). $(\hat b_1,\bar y)$는 $\y$의 선형변환이므로 결합정규이고(5회 정리 3.8), 무상관이므로 독립이다(5회 정리 3.11). (c) 정리 4.7(a)로 $\hat b_1\sim\N(b_1,\allowbreak \sigma^2/S_{xx})$이고, 정리 4.7(b)(c)로 $(n-2)s^2/\sigma^2\sim\chi^2(n-2)$가 그것과 독립이다. 표준화한 정규를 $\sqrt{\chi^2/(n-2)}$로 나누면 $t(n-2)$다(따름정리 4.8에서 $\bc=(0,1)\T$, $[(X\T X)^{-1}]_{22}=1/S_{xx}$). (d) $\hat y_0=2.2+0.6\cdot6=5.8$. (e) $s^2=2.4/3=0.8$이고 $1+\tfrac15+\tfrac{(6-3)^2}{10}=2.1$이므로 반폭은 $3.182\sqrt{0.8\cdot2.1}=3.182\times1.2961\approx4.125$이다. 구간은 $5.8\pm4.125$이다. $x_0=6$은 자료 밖이어서 $(x_0-\bar x)^2/S_{xx}=0.9$가 폭을 키운다.

최종답 (d) $\hat y_0=5.8$ (e) $\approx4.125$

D2 절편이 0인가 ★★★

정리 4.9, 따름정리 4.8 · 제한 35분

A1의 자료에서 $H_0:b_0=0$을 두 방법으로 검정한다.

1. (a)

   원점을 지나는 직선으로 맞춘 $\mathrm{RSS}_0$을 구하라.

2. (b)

   정리 4.9의 $F$를 구하라.

3. (c)

   유의확률을 구하라. 자유도 3인 $t$에 대해 $P(|T|>c)=1-\tfrac2\pi\bigl[\arctan a+\tfrac{a}{1+a^2}\bigr]$, $a=c/\sqrt3$이다.

4. (d)

   $\hat b_0$의 $t$ 통계량을 따름정리 4.8로 따로 구해 $F=t^2$임을 확인하라. 이것이 일반적으로 성립하는 이유를 정리 4.9(b)로 설명하라.

힌트

(a) C1의 공식 $\hat b=\sum x_iy_i/\sum x_i^2$. (d) $C=(1,0)$이면 $W=[(X\T X)^{-1}]_{11}=\tfrac1n+\bar x^2/S_{xx}$이다.

풀이

(a) $\sum x_iy_i=66$, $\sum x_i^2=55$이므로 $\hat b=1.2$이다. 잔차는 $0.8,\ 1.6,\ 1.4,\ -0.8,\ -1$이고 $\mathrm{RSS}_0=0.64+2.56+1.96+0.64+1=6.8$이다. (b) $q=1$, $n-p=3$이므로 $F=\dfrac{(6.8-2.4)/1}{2.4/3}=\dfrac{4.4}{0.8}=5.5$이다. (c) $F(1,3)$은 $t(3)^2$이므로 $c=\sqrt{5.5}=2.345$, $a=c/\sqrt3=1.354$에서 $P=1-\tfrac2\pi(0.9349+0.4779)\approx0.101$이다. 5% 수준에서 기각하지 못한다. (d) $W=\tfrac15+\tfrac9{10}=1.1$이므로 $\mathrm{SE}(\hat b_0)=\sqrt{0.8\cdot1.1}=0.938$이고 $t=2.2/0.938=2.345$, $t^2=4.84/0.88=5.5=F$이다. 정리 4.9(b)에서 $q=1$이면 $\mathrm{RSS}_0-\mathrm{RSS}=(C\bhat)^2/W$이고, $F=(C\bhat)^2/(Ws^2)=\bigl(C\bhat/\mathrm{SE}(C\bhat)\bigr)^2$이 정확히 $t^2$이다(노트 연습 4.4와 같은 계산).

최종답 (a) $\mathrm{RSS}_0=6.8$ (b) $F=5.5$ (c) $\approx0.101$

D3 원점을 지나는 직선의 세 추정량 ★★★

[T4] · 정리 3.3 · 제한 35분

$y_i=\beta x_i+\varepsilon_i$, $x_i=i$ ($i=1,\dots,10$)이고 오차는 Gauss–Markov 가정을 만족한다. 세 추정량을 비교한다.

$$\hat\beta=\frac{\sum x_iy_i}{\sum x_i^2},\qquad \tilde\beta_R=\frac{\sum y_i}{\sum x_i},\qquad \tilde\beta_M=\frac1n\sum_i\frac{y_i}{x_i}$$

세 추정량이 모두 선형불편임을 보이고, (a)–(c)의 분산은 $\sigma^2$의 계수로 답하라.

1. (a)

   $\Var\hat\beta$  (b) $\Var\tilde\beta_R$  (c) $\Var\tilde\beta_M$ (소수로)

2. (d)

   $\Var\tilde\beta_R/\Var\hat\beta$를 구하라.

3. (e)

   모든 양수 $x_1,\dots,x_n$에서 $\Var\hat\beta\le\Var\tilde\beta_R\le\Var\tilde\beta_M$임을 보여라.

힌트

선형불편의 조건은 $\sum w_ix_i=1$이다(C1). (e) 첫 부등식은 정리 3.3. 둘째는 $\tfrac1n\sum\tfrac1{x_i^2}\ge\bigl(\tfrac1n\sum\tfrac1{x_i}\bigr)^2$과 산술–조화 평균 부등식 $\tfrac1n\sum\tfrac1{x_i}\ge n/\sum x_i$를 잇는다.

풀이

세 추정량의 계수는 $w_i=x_i/\sum x_j^2$, $w_i=1/\sum x_j$, $w_i=1/(nx_i)$이고 모두 $\sum w_ix_i=1$이므로 선형불편이다. 분산은 $\sigma^2\sum w_i^2$이다. $\sum i=55$, $\sum i^2=385$. (a) $1/385\approx0.002597$. (b) $10/55^2=2/605\approx0.003306$. (c) $\tfrac1{100}\sum_{i=1}^{10}1/i^2=0.015498$. (d) $\tfrac{2/605}{1/385}=\tfrac{770}{605}=\tfrac{14}{11}\approx1.27$. (e) 첫 부등식은 정리 3.3이다($\hat\beta$가 BLUE). 둘째: $n\Var\tilde\beta_M/\sigma^2=\tfrac1n\sum x_i^{-2}\ge\bigl(\tfrac1n\sum x_i^{-1}\bigr)^2$ (분산이 0 이상, [T4])이고, 산술–조화 평균 부등식 $\tfrac1n\sum x_i^{-1}\ge n/\sum x_i$로 그것은 $(n/\sum x_i)^2=n\Var\tilde\beta_R/\sigma^2$ 이상이다. 등호는 모든 $x_i$가 같을 때다. 비율의 평균은 작은 $x_i$의 $y_i/x_i$를 크게 믿어서 가장 나쁘다.

최종답 (a) $\tfrac{\sigma^2}{385}$ (b) $\tfrac{2\sigma^2}{605}$ (c) $\approx0.01550\,\sigma^2$ (d) $\tfrac{14}{11}$

D4 두 표본 비교를 선형모형으로 ★★★

정리 4.9, 6회 정리 5.4 · 제한 35분

집단 1의 관측이 $(3,5,7)$, 집단 2의 관측이 $(6,8,10,12)$이고 $y_{jk}=\mu_j+\varepsilon_{jk}$, $\varepsilon\iid\N(0,\sigma^2)$이다.

1. (a)

   두 집단 표시를 열로 하는 $7\times2$ 설계 $X$를 쓰고 $\bhat$과 $\mathrm{RSS}$를 구하라.

2. (b)

   $H_0:\mu_1=\mu_2$를 $C=(1,-1)$로 쓰고 정리 4.9(b)로 $\mathrm{RSS}_0-\mathrm{RSS}=(\bar y_1-\bar y_2)^2/(\tfrac1{n_1}+\tfrac1{n_2})$을 보여라.

3. (c)

   $F$를 구하고, 이것이 합동 $t$ 통계량의 제곱임을 확인하라.

4. (d)

   유의확률을 구하라. ($P(|t_5|>2.213)$을 계산기로)

힌트

$X\T X=\diag(n_1,n_2)$이므로 $\bhat=(\bar y_1,\bar y_2)$이고 $W=C(X\T X)^{-1}C\T=\tfrac1{n_1}+\tfrac1{n_2}$이다.

풀이

(a) $X\T X=\diag(3,4)$, $X\T\y=(15,36)$이므로 $\bhat=(5,9)$이다. $\mathrm{RSS}=(4+0+4)+(9+1+1+9)=28$이고 $s^2=28/5=5.6$이다. (b) $C\bhat=\bar y_1-\bar y_2$, $W=\tfrac13+\tfrac14=\tfrac7{12}$이므로 $\mathrm{RSS}_0-\mathrm{RSS}=(C\bhat)^2/W=16\cdot\tfrac{12}7=\tfrac{192}7$이다. 직접 계산하면 공통 평균 $51/7$ 둘레의 제곱합이 $\mathrm{RSS}_0=427-2601/7=388/7$이고 차는 $388/7-28=192/7$로 같다. (c) $F=\dfrac{192/7}{5.6}=\dfrac{240}{49}\approx4.90$이다. 합동 $t=\dfrac{9-5}{\sqrt{5.6(\frac13+\frac14)}}=2.213$이고 $t^2=4.90=F$이다(6회 정리 5.4의 합동 $t$). (d) $P(F(1,\allowbreak 5)>4.90)=P(|t_5|>2.213)\approx0.078$이다. 5% 수준에서 기각하지 못한다.

최종답 (c) $F=\tfrac{240}{49}\approx4.90$ (d) $\approx0.078$

워크북 PDF풀이판 PDF답 확인