13회 · 최소제곱 · 워크북

A. 계산 드릴

작은 자료로 최소제곱을 손으로 돌린다. 답이 수로 떨어지므로 다 풀면 뒤의 최종답이나 노트북의 check()로 맞춰 본다. 계산기는 마지막 나눗셈과 분포의 꼬리에만 쓴다.

A1 다섯 점의 단순회귀 ★

정리 2.2, 명제 2.6 · 10분

자료 $x=(1,2,3,4,5)$, $y=(2,4,5,4,5)$에 $y_i=b_0+b_1x_i+\varepsilon_i$를 최소제곱으로 맞춘다. (a) $\hat b_1$, (b) $\hat b_0$, (c) $\mathrm{RSS}$, (d) $R^2$을 구하라. 잔차의 합이 0인지도 확인하라.

힌트

$\bar x=3$, $\bar y=4$에서 $S_{xx}$와 $S_{xy}$를 먼저 구한다. $\hat b_1=S_{xy}/S_{xx}$, $\hat b_0=\bar y-\hat b_1\bar x$.

풀이

$\bar x=3$, $\bar y=4$, $S_{xx}=4+1+0+1+4=10$, $S_{xy}=(-2)(-2)+(-1)(0)+0\cdot1+1\cdot0+2\cdot1=6$이다. (a) $\hat b_1=0.6$. (b) $\hat b_0=4-0.6\cdot3=2.2$. (c) 적합값은 $2.8,3.4,4.0,4.6,5.2$이고 잔차는 $-0.8,\allowbreak \ 0.6,\allowbreak \ 1.0,\allowbreak \ -0.6,\allowbreak \ -0.2$이다. 합은 0이다(따름정리 2.3). $\mathrm{RSS}=0.64+0.36+1+0.36+0.04=2.4$. (d) $\mathrm{TSS}=4+0+1+0+1=6$이므로 $R^2=1-2.4/6=0.6$이다. 표본상관계수로는 $r^2=S_{xy}^2/(S_{xx}S_{yy})=36/60=0.6$으로 같다.

최종답 (a) $\hat b_1=0.6$ (b) $\hat b_0=2.2$ (c) $\mathrm{RSS}=2.4$ (d) $R^2=0.6$

A2 단순회귀의 지렛대 ★

명제 2.7 · 6분

A1의 설계에서 (a) $h_{55}$와 (b) $h_{33}$을 구하라. 다섯 지렛대의 합이 $p$와 같은지 확인하라.

힌트

단순회귀에서 $h_{ii}=\tfrac1n+(x_i-\bar x)^2/S_{xx}$이다(노트 연습 2.3).

풀이

$h_{ii}=\tfrac15+(x_i-3)^2/10$이므로 지렛대는 차례로 $0.6,\ 0.3,\ 0.2,\ 0.3,\ 0.6$이다. (a) $h_{55}=0.6$, (b) $h_{33}=0.2$. 합은 $2=p$이다(명제 2.7(a)). 가장 작은 지렛대는 $\bar x$에 있는 점의 $1/n$이다(명제 2.7(b)).

최종답 (a) $h_{55}=0.6$ (b) $h_{33}=0.2$

A3 세 점의 사영 ★

정리 2.2, 정리 2.5 · 10분

$X=\smat{1&0\\1&1\\1&2}$, $\y=(1,2,6)\T$이다. 정규방정식을 풀어 (a) 기울기 $\hat\beta_1$과 (b) $\mathrm{RSS}$를 구하라. 잔차가 $X$의 두 열과 직교하는지 확인하라.

힌트

$X\T X=\smat{3&3\\3&5}$, $X\T\y=(9,14)\T$이다. $2\times2$ 역행렬은 행렬식으로 쓴다.

풀이

$X\T X=\smat{3&3\\3&5}$의 행렬식은 6이므로 $(X\T X)^{-1}=\tfrac16\smat{5&-3\\-3&3}$이다. $\bhat=\tfrac16(5\cdot9-3\cdot14,\allowbreak \ -3\cdot9+3\cdot14)\T=(0.5,\allowbreak \ 2.5)\T$. 적합값은 $(0.5,\ 3,\ 5.5)$, 잔차는 $\e=(0.5,\ -1,\ 0.5)$이고 $\mathrm{RSS}=1.5$이다. $\one\T\e=0$, $(0,1,2)\e=-1+1=0$으로 두 열과 직교한다(정리 2.5(b)).

최종답 (a) $\hat\beta_1=2.5$ (b) $\mathrm{RSS}=1.5$

A4 손으로 하는 QR ★★

알고리즘 2.8 · 12분

$X$의 두 열이 $\one=(1,1,1,1)\T$과 $\x=(0,1,2,3)\T$이다. (a) Gram–Schmidt로 $X=QR$을 만들고 $r_{22}$를 구하라. (b)(c) $\y=(1,3,2,4)\T$에 대해 $\mathbf z=Q\T\y$를 구하고 $R\bhat=\mathbf z$를 거꾸로 대입해 $\hat\beta_1$과 $\hat\beta_0$을 구하라.

힌트

$\mathbf q_1=\one/2$, $r_{12}=\mathbf q_1\T\x$이다. $\x-r_{12}\mathbf q_1$은 중심화한 $\x$이다.

풀이

(a) $r_{11}=\|\one\|=2$, $\mathbf q_1=\one/2$, $r_{12}=\mathbf q_1\T\x=3$이다. $\x-3\mathbf q_1=(-1.5,\allowbreak -0.5,\allowbreak 0.5,\allowbreak 1.5)$의 길이는 $\sqrt5$이므로 $r_{22}=\sqrt5$, $\mathbf q_2=(-1.5,\allowbreak -0.5,\allowbreak 0.5,\allowbreak 1.5)/\sqrt5$이다. (b)(c) $z_1=\mathbf q_1\T\y=10/2=5$, $z_2=\mathbf q_2\T\y=(-1.5-1.5+1+6)/\sqrt5=4/\sqrt5$이다. 아래 행부터 $\hat\beta_1=z_2/r_{22}=4/5$, $\hat\beta_0=(z_1-r_{12}\hat\beta_1)/r_{11}=(5-2.4)/2=1.3$이다. 덤으로 $\mathrm{RSS}=\|\y\|^2-\|\mathbf z\|^2=30-28.2=1.8$이다.

최종답 (a) $r_{22}=\sqrt5$ (b) $\hat\beta_1=0.8$ (c) $\hat\beta_0=1.3$

A5 이차형식의 기댓값 ★

보조정리 3.1 · 6분

$\bu$의 평균이 $\bmu=(1,2)\T$, 공분산이 $\Sigma=\smat{2&1\\1&3}$이고 $A=\smat{1&1\\1&2}$이다. $E\,\bu\T A\bu$를 구하라.

힌트

$E\,\bu\T A\bu=\tr(A\Sigma)+\bmu\T A\bmu$.

풀이

$A\Sigma=\smat{3&4\\4&7}$이므로 $\tr(A\Sigma)=10$이다. $A\bmu=(3,5)\T$이고 $\bmu\T A\bmu=3+10=13$이다. 합은 23이다.

최종답 $23$

A6 잔차제곱합의 평균과 분산 ★

정리 3.2(c), 정리 4.7(b) · 6분

정규 선형모형에서 $n=20$, $p=4$, $\sigma^2=2$이다. (a) $E\,\mathrm{RSS}$와 (b) $\Var\mathrm{RSS}$를 구하라.

힌트

$\mathrm{RSS}/\sigma^2\sim\chi^2(n-p)$이고 $\chi^2(k)$의 분산은 $2k$이다.

풀이

(a) $E\,\mathrm{RSS}=(n-p)\sigma^2=32$이다. 이것은 정규성 없이도 성립한다(정리 3.2(c)). (b) $\mathrm{RSS}=\sigma^2\cdot\chi^2(16)$이므로 $\Var\mathrm{RSS}=\sigma^4\cdot2\cdot16=128$이다. (b)는 정규성이 필요하다.

최종답 (a) $32$ (b) $128$

A7 계수의 공분산 ★

정리 3.2(a) · 8분

$x=(0,1,2,3,4,5)$, $\sigma^2=1$인 단순회귀에서 (a) $\Var\hat b_1$, (b) $\Var\hat b_0$, (c) $\Cov(\hat b_0,\hat b_1)$을 $(X\T X)^{-1}$로 구하라.

힌트

$X\T X=\smat{n&\sum x_i\\ \sum x_i&\sum x_i^2}=\smat{6&15\\15&55}$.

풀이

$X\T X=\smat{6&15\\15&55}$의 행렬식은 $330-225=105$이므로 $(X\T X)^{-1}=\tfrac1{105}\smat{55&-15\\-15&6}$이다. (a) $6/105=2/35$, (b) $55/105=11/21$, (c) $-15/105=-1/7$이다. $\bar x=2.5>0$이므로 공분산은 음수다. 기울기가 크게 나오면 절편은 작게 나온다.

최종답 (a) $\tfrac{2}{35}$ (b) $\tfrac{11}{21}$ (c) $-\tfrac17$

A8 두 끝점의 기울기 ★

명제 1.4, 정리 3.3 · 8분

$x=(-2,-1,0,1,2)$인 단순회귀에서 기울기를 두 끝점으로 $\tilde b_1=(y_5-y_1)/4$로 추정한다. $\tilde b_1$이 선형불편추정량임을 보이고, $\Var\tilde b_1/\Var\hat b_1$을 구하라.

힌트

$\tilde b_1=\mathbf a\T\y$, $\mathbf a=(-1,0,0,0,1)/4$이다. 불편이려면 $\mathbf a\T\one=0$, $\mathbf a\T\x=1$이어야 한다.

풀이

$\mathbf a=(-1,0,0,0,1)/4$이면 $\mathbf a\T\one=0$, $\mathbf a\T\x=(2+2)/4=1$이므로 $E\tilde b_1=b_0\cdot0+b_1\cdot1=b_1$이다(명제 1.4의 기울기 성분). $\Var\tilde b_1=\sigma^2\|\mathbf a\|^2=\sigma^2/8$이고 $\Var\hat b_1=\sigma^2/S_{xx}=\sigma^2/10$이다. 비는 $10/8=5/4$이다. 두 끝점만 쓰면 관측이 25% 더 필요하다. Gauss–Markov(정리 3.3)가 말하는 대로 비는 1보다 크다.

최종답 $\tfrac54$

A9 계수의 $t$t와 구간 ★

따름정리 4.8 · 8분

$n=24$, $p=4$인 정규 선형모형에서 $\hat\beta_j=1.8$, $s=2$, $[(X\T X)^{-1}]_{jj}=0.09$이다. (a) $\mathrm{SE}(\hat\beta_j)$, (b) $H_0:\beta_j=0$의 $t$ 통계량, (c) 95% 신뢰구간의 반폭을 구하라. ($t_{20,0.025}=2.086$)

힌트

$\mathrm{SE}(\hat\beta_j)=s\sqrt{[(X\T X)^{-1}]_{jj}}$이고 자유도는 $n-p$이다.

풀이

(a) $\mathrm{SE}=2\sqrt{0.09}=0.6$. (b) $t=1.8/0.6=3$, 자유도 20. (c) $2.086\times0.6=1.252$이므로 구간은 $1.8\pm1.252=[0.548,\ 3.052]$이다. 0을 포함하지 않으므로 5% 수준에서 $H_0$을 기각한다.

최종답 (a) $0.6$ (b) $3$ (c) $\approx1.252$

A10 일반선형가설의 $F$F ★

정리 4.9 · 8분

$n=30$, $p=5$인 정규 선형모형에서 $q=2$개의 제약을 건 모형의 $\mathrm{RSS}_0=150$이고 전체 모형의 $\mathrm{RSS}=120$이다. (a) $F$ 통계량과 (b) 유의확률을 구하라. 분자 자유도가 2인 $F(2,m)$의 꼬리확률은 $P(F>f)=(1+2f/m)^{-m/2}$이다.

힌트

$F=\dfrac{(\mathrm{RSS}_0-\mathrm{RSS})/q}{\mathrm{RSS}/(n-p)}$이고 자유도는 $(q,\ n-p)$이다.

풀이

(a) $F=\dfrac{30/2}{120/25}=\dfrac{15}{4.8}=3.125$. (b) 자유도 $(2,25)$이므로 $P(F>3.125)=(1+6.25/25)^{-12.5}=1.25^{-12.5}=e^{-12.5\log1.25}\approx0.061$이다. 5% 수준에서는 기각하지 못한다.

최종답 (a) $F=3.125$ (b) $\approx0.061$

A11 $R^2$R²에서 $F$F로 ★

예제 4.10 · 5분

상수항이 있는 모형에서 $n=33$, $p=3$, $R^2=0.4$이다. “상수항 말고 모든 계수가 0”을 검정하는 $F$를 구하라.

힌트

$F=\dfrac{R^2/(p-1)}{(1-R^2)/(n-p)}$ (예제 4.10(ii)).

풀이

$F=\dfrac{0.4/2}{0.6/30}=\dfrac{0.2}{0.02}=10$이고 자유도는 $(2,30)$이다. A10의 꼬리 공식으로 유의확률은 $(1+20/30)^{-15}\approx4.7\times10^{-4}$이다.

최종답 $10$

A12 분산팽창계수 ★★

따름정리 5.4 · 6분

(a) 두 설명변수의 상관이 0.9이면 각 계수의 VIF는? (b) 세 설명변수의 상관이 모두 0.5이면 $x_1$을 $x_2,x_3$으로 맞춘 $R_1^2$과 $\mathrm{VIF}_1$은?

힌트

표준화한 변수에서 $R_1^2=\mathbf r\T R_{22}^{-1}\mathbf r$이다. $\mathbf r$은 $x_1$과 나머지의 상관, $R_{22}$는 나머지끼리의 상관행렬이다.

풀이

(a) 변수가 둘이면 $R_1^2=r^2=0.81$이므로 $\mathrm{VIF}=1/0.19=100/19\approx5.26$이다. (b) $\mathbf r=(0.5,0.5)\T$, $R_{22}=\smat{1&0.5\\0.5&1}$, $R_{22}^{-1}=\tfrac1{0.75}\smat{1&-0.5\\-0.5&1}$이므로 $R_1^2=\tfrac1{0.75}(0.25-0.25+0.25)=\tfrac13$이고 $\mathrm{VIF}_1=1/(1-\tfrac13)=1.5$이다. 상관 0.5짜리 세 변수는 분산을 1.5배만 키운다.

최종답 (a) $\tfrac{100}{19}\approx5.26$ (b) $\tfrac32$

A13 한 점을 빼고 맞춘 잔차 ★★

명제 7.3 · 10분

A1의 자료에서 (a) 다섯째 점을 빼고 맞춘 직선으로 그 점을 예측한 잔차 $y_5-\x_5\T\bhat_{(5)}$와 (b) 다섯 점 모두의 PRESS $\sum_i\bigl(e_i/(1-h_{ii})\bigr)^2$을 구하라. 다시 맞추지 말고 A1, A2의 결과만 써라.

힌트

빼고 맞춘 잔차는 $e_i/(1-h_{ii})$이다. A1의 잔차와 A2의 지렛대를 짝지어 나눈다.

풀이

명제 7.3으로 $y_i-\x_i\T\bhat_{(i)}=e_i/(1-h_{ii})$이다. (a) $-0.2/(1-0.6)=-0.5$. (b) 다섯 값은 $-0.8/0.4=-2$, $0.6/0.7=6/7$, $1/0.8=5/4$, $-6/7$, $-1/2$이고 제곱합은 $4+\tfrac{36}{49}+\tfrac{25}{16}+\tfrac{36}{49}+\tfrac14=\tfrac{5709}{784}\approx7.28$이다. $\mathrm{RSS}=2.4$의 세 배다. 양 끝의 지렛대 0.6인 점들이 크게 기여한다.

최종답 (a) $-0.5$ (b) $\tfrac{5709}{784}\approx7.282$

A14 Ridge 한 번 ★

정의 8.4, 명제 8.5 · 8분

$X\T X=\diag(4,1)$, $X\T\y=(8,3)\T$이고 $\lambda=1$이다. Ridge 추정량의 (a) 첫 성분과 (b) 둘째 성분을 구하고, 최소제곱 해와 비교해 각 성분이 몇 배로 줄었는지 써라.

힌트

$\bhat_\lambda=(X\T X+\lambda I)^{-1}X\T\y$. 줄어드는 비율은 $d_j^2/(d_j^2+\lambda)$이다.

풀이

$(X\T X+I)^{-1}X\T\y=(8/5,\allowbreak \ 3/2)$이고 최소제곱 해는 $(2,3)$이다. 비율은 $4/5$와 $1/2$로, $d_1^2=4$, $d_2^2=1$에서 $d_j^2/(d_j^2+1)$이다(명제 8.5). 특이값이 작은 둘째 방향이 더 많이 줄어든다.

최종답 (a) $\tfrac85$ (b) $\tfrac32$

워크북 PDF풀이판 PDF답 확인