13회 · 최소제곱 · 노트

2 최소제곱과 사영의 기하

역사 1805년 Adrien-Marie Legendre는 혜성 궤도를 정하는 책의 부록에 최소제곱법에 대하여를 실었다. “제안될 수 있는 모든 원리 가운데 오차의 제곱합을 최소로 하는 것보다 더 일반적이고, 더 정확하며, 더 쓰기 쉬운 것은 없다고 생각한다. 이렇게 하면 오차들 사이에 일종의 평형이 세워져 극단의 오차가 지나친 힘을 쓰지 못하고, 진실에 가장 가까운 상태가 드러난다.” 정당화는 없었다. 쓰기 쉽다는 것이 거의 전부였다. 미분하면 미지수 수만큼의 일차방정식이 나오고, 그것은 손으로 풀 수 있었다. 4년 뒤 Gauss는 천체 운동론(1809)에서 이 방법을 “1795년부터 써 온 우리의 원리”라고 불렀다. Legendre는 분개했고, 우선권 다툼은 오래 이어졌다.

2.1 정규방정식

정의 2.1 (최소제곱추정량) $S(\bb)=\|\y-X\bb\|^2=\sum_{i=1}^n(y_i-\x_i\T\bb)^2$을 최소로 하는 $\bhat$을 최소제곱추정량(LSE)이라 한다. $\hat\y=X\bhat$을 적합값, $\e=\y-\hat\y$를 잔차, $\mathrm{RSS}=\|\e\|^2$를 잔차제곱합이라 한다.

정리 2.2 (정규방정식) (a) $\bhat$이 $S$를 최소로 한다 $\iff$ $X\T X\bhat=X\T\y$ (정규방정식). (b) 정규방정식은 언제나 해를 갖는다. (c) $\rank X=p$이면 해는 하나뿐이고 $\bhat=(X\T X)^{-1}X\T\y$이다.

증명 전략 (a)는 피타고라스 항등식으로 보인다. 정규방정식을 푸는 $\bhat$에서는 잔차가 $\col(X)$와 직교하므로, 다른 점 $X\bb$까지의 거리는 늘어나기만 한다. (b)는 $X\T X$와 $X$의 영공간이 같다는 것에서 나온다.

(a) $\Leftarrow$

1. $X\T(\y-X\bhat)=\bzero$라 하고 아무 $\bb$를 잡으면 $\y-X\bb=(\y-X\bhat)+X(\bhat-\bb)$이다.더하고 빼기 [T4]

2. 제곱하면 교차항은 $2(\bhat-\bb)\T X\T(\y-X\bhat)=0$이다.가정

3. 따라서

   $$S(\bb)=S(\bhat)+\|X(\bb-\bhat)\|^2\ \ge\ S(\bhat) .$$

   1 2

(a) $\Rightarrow$

1. $S(\bb)=\y\T\y-2\bb\T X\T\y+\bb\T X\T X\bb$는 $\bb$의 이차식이고 $\nabla S(\bb)=-2X\T(\y-X\bb)$이다.$\nabla\bb\T M\bb=2M\bb$ ($M$ 대칭)

2. 최소점에서 기울기는 $\bzero$이므로 $X\T X\bhat=X\T\y$이다.극값의 필요조건

(b)

1. $X\T X\bv=\bzero$이면 $\|X\bv\|^2=\bv\T X\T X\bv=0$이므로 $X\bv=\bzero$이다. 거꾸로는 바로 나오므로 $X\T X$와 $X$의 영공간은 같다.원소 추적 [T1]

2. $\rank X\T X=p-\dim\mathrm{null}(X)=\rank X=\rank X\T$이다.1, 차원 정리

3. $\col(X\T X)\subseteq\col(X\T)$이고 두 공간의 차원이 같으므로 $\col(X\T X)=\col(X\T)$이다.2

4. $X\T\y\in\col(X\T)=\col(X\T X)$이므로 $X\T X\bb=X\T\y$를 푸는 $\bb$가 있다.3

(c)

1. $\rank X=p$이면 (b)의 2로 $\rank X\T X=p$이므로 $p\times p$ 행렬 $X\T X$는 가역이고, 해는 $(X\T X)^{-1}X\T\y$ 하나다.가역행렬

(a)의 항등식 $S(\bb)=S(\bhat)+\|X(\bb-\bhat)\|^2$은 이 회차 전체에서 되풀이된다. 최소제곱은 피타고라스 정리다.

따름정리 2.3 (상수항이 있으면) $\one\in\col(X)$이면(예컨대 $X$의 한 열이 $\one$이면) $\sum_ie_i=0$이고, 적합한 평면은 무게중심 $(\bar\x,\bar y)$를 지난다.

증명 정규방정식은 $X\T\e=\bzero$, 곧 $\e$가 $X$의 모든 열과 직교한다는 뜻이다. $\one=X\ba$이면 $\one\T\e=\ba\T X\T\e=0$이다. $\sum_i(y_i-\x_i\T\bhat)=0$을 $n$으로 나누면 $\bar y=\bar\x\T\bhat$이다.

Boscovich의 조건 (i)(보정의 합이 0)은 최소제곱에서 저절로 성립한다. Legendre가 말한 “평형”이 이것이다.

2.2 사영행렬

보조정리 2.4 (대칭 멱등행렬) $P$가 $n\times n$ 대칭행렬이고 $P^2=P$이면

1. (a)

   $P$의 고유값은 0 또는 1이고, $\rank P=\tr P$이다.

2. (b)

   $r=\rank P$이면 $U\T U=I_r$인 $n\times r$ 행렬 $U$가 있어 $P=UU\T$이고 $\col(P)=\col(U)$이다.

3. (c)

   $I-P$도 대칭 멱등이고 $\rank(I-P)=n-r$이다.

4. (d)

   모든 $\bv$에 대해 $\bv=P\bv+(I-P)\bv$이고 두 조각은 직교한다. $P\bv$는 $\col(P)$에서 $\bv$에 가장 가까운 점이다.

증명 전략 스펙트럼 분해 $P=V\Lambda V\T$(5회 보조정리 3.2)에서 $P^2=P$를 고유값의 식 $\lambda_i^2=\lambda_i$로 바꾼다. 나머지는 고유값 1의 고유벡터들로 $P$를 다시 쓰고 피타고라스를 쓴다. 단계별 증명은 연습 2.7(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

이런 $P$를 $\col(P)$ 위로의 직교사영행렬이라 한다.

정리 2.5 (hat 행렬) $\rank X=p$일 때 $H=X(X\T X)^{-1}X\T$라 하자.

1. (a)

   $H$는 대칭 멱등이고 $\col(H)=\col(X)$, $\rank H=\tr H=p$이다. 곧 $H$는 $\col(X)$ 위로의 직교사영이다.

2. (b)

   $\hat\y=H\y$, $\e=(I-H)\y$이고 $X\T\e=\bzero$, $\hat\y\T\e=0$, $\|\y\|^2=\|\hat\y\|^2+\|\e\|^2$이다.

3. (c)

   $\mathrm{RSS}=\y\T(I-H)\y$이고 $I-H$는 $\col(X)^\perp$ 위로의 사영으로 계수가 $n-p$이다.

4. (d)

   $T$가 $p\times p$ 가역행렬이면 $XT$로 만든 hat 행렬도 $H$이다. 적합값과 잔차는 모수를 어떻게 매기느냐와 무관하다.

증명 전략 대칭과 멱등은 곱을 직접 계산해 확인하고, 열공간은 두 방향의 포함으로 보인다 [T1]. 계수는 대각합 $\tr AB=\tr BA$로 구하고 보조정리 2.4를 쓴다. 단계별 증명은 연습 2.8(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

그림 2.1 최소제곱의 기하. 적합값 $\hat\y=H\y$는 $\y$를 평면 $\col(X)$에 수직으로 내린 발이고, 잔차 $\e$는 평면과 직교한다. 평면 위의 다른 점 $X\bb$까지의 거리는 피타고라스로 $\|\y-X\bb\|^2=\|\e\|^2+\|\hat\y-X\bb\|^2$이다. 평면 안의 직선 $\col(X_0)$는 4절의 귀무가설 모형이다. $\y$를 그 위로 내린 $\hat\y_0$에 대해 $\mathrm{RSS}_0-\mathrm{RSS}=\|\hat\y-\hat\y_0\|^2$이고, 이것이 $F$ 통계량의 분자다.

$\y$는 $n$차원 공간의 점이고 $\col(X)$는 그 안의 $p$차원 평면이다. 최소제곱은 $\y$에서 평면까지 수선을 내리는 일이다(그림 2.1). 5회 6절에서 본 Pearson(1901)의 주성분이 수직 거리를 최소화했다면, 최소제곱은 $y$ 방향의 거리를 최소화한다. 그림 속 공간은 관측 하나하나가 축인 공간이지, 산점도의 평면이 아니다.

명제 2.6 (결정계수) $\one\in\col(X)$이면 $\mathrm{TSS}=\sum(y_i-\bar y)^2$, $\mathrm{ESS}=\sum(\hat y_i-\bar y)^2$에 대해

$$\mathrm{TSS}=\mathrm{ESS}+\mathrm{RSS},\qquad R^2:=\frac{\mathrm{ESS}}{\mathrm{TSS}}=1-\frac{\mathrm{RSS}}{\mathrm{TSS}}=\Corr(\y,\hat\y)^2$$

이다. 여기서 $\Corr$는 두 벡터의 표본상관계수다.

증명 $H\one=\one$이므로 $\hat\y-\bar y\one=H(\y-\bar y\one)$이고 $\e=(I-H)(\y-\bar y\one)$이다. 보조정리 2.4(d)로 $\|\y-\bar y\one\|^2=\|\hat\y-\bar y\one\|^2+\|\e\|^2$. 따름정리 2.3로 $\hat\y$의 평균도 $\bar y$이고, $\e\perp(\hat\y-\bar y\one)$이므로 $(\y-\bar y\one)\T(\hat\y-\bar y\one)=\mathrm{ESS}$이다. 따라서 $\Corr(\y,\allowbreak \hat\y)^2=\mathrm{ESS}^2/(\mathrm{TSS}\cdot\mathrm{ESS})=\mathrm{ESS}/\mathrm{TSS}$.

명제 2.7 (지렛대) $h_{ii}=\x_i\T(X\T X)^{-1}\x_i$를 관측 $i$의 지렛대(leverage)라 한다. $\hat y_i=\sum_jh_{ij}y_j$이므로 $h_{ii}=\partial\hat y_i/\partial y_i$이다.

1. (a)

   $0\le h_{ii}\le1$이고 $\sum_ih_{ii}=p$이다.

2. (b)

   $\one\in\col(X)$이면 $h_{ii}\ge1/n$이다.

3. (c)

   $\Cov\e=\sigma^2(I-H)$이므로 $\Var e_i=\sigma^2(1-h_{ii})$이다. 지렛대가 큰 점은 잔차가 작게 나온다.

증명 전략 $H=HH\T$의 대각원소를 비교한다. (b)는 $H-J$ ($J=\one\one\T/n$)도 대칭 멱등임을 보여 (a)의 논리를 한 번 더 쓴다. 단계별 증명은 연습 2.9(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

지렛대의 평균은 $p/n$이다. Mayer의 자료($p/n=3/27=0.111$)에서 가장 큰 지렛대는 26번 방정식의 0.247이다. 7절에서 지렛대가 1인 점이 무엇을 하는지 본다.

2.3 계산: QR 분해

정규방정식을 곧이곧대로 풀면 수치적으로 위험할 수 있다. 표준 방법은 QR 분해다.

알고리즘 2.8 (QR로 푸는 최소제곱) 

1. 1.

   $X=QR$로 분해한다. $Q$는 $n\times p$이고 $Q\T Q=I_p$, $R$은 대각원소가 양수인 $p\times p$ 상삼각행렬이다. ($X$의 열에 Gram–Schmidt를 차례로 쓰면 얻는다. 연습 2.6)

2. 2.

   $\mathbf z=Q\T\y$를 계산한다.

3. 3.

   $R\bhat=\mathbf z$를 아래 행부터 거꾸로 대입해 푼다.

4. 4.

   $\hat\y=Q\mathbf z$, $\mathrm{RSS}=\|\y\|^2-\|\mathbf z\|^2$, $(X\T X)^{-1}=R^{-1}R^{-\mathsf T}$.

왜 맞나. $X\T X=R\T Q\T QR=R\T R$이므로 정규방정식은 $R\T R\bhat=R\T Q\T\y$이고, $R\T$가 가역이므로 $R\bhat=Q\T\y$이다. $H=QR(R\T R)^{-1}R\T Q\T=QQ\T$이다.

왜 안전한가. 행렬 $M$의 조건수 $\kappa(M)$(가장 큰 특이값 $/$ 가장 작은 특이값)는 선형방정식을 풀 때 잃는 유효숫자의 자릿수를 대략 $\log_{10}\kappa$로 알려 준다. $X\T X$의 특이값은 $X$의 특이값의 제곱이므로 $\kappa(X\T X)=\kappa(X)^2$이다. 정규방정식은 QR보다 두 배의 자릿수를 잃는다. Galton의 자료(5절)에서 $X=[\one,\ \text{부모 키}]$의 $\kappa(X\T X)$는 $6.8\times10^6$이다. 부모 키에서 평균을 빼면 3.19가 된다. 키가 평균 68인치 근처에 몰려 있어서 상수 열과 거의 평행하기 때문이다. 8절에서 이 숫자가 경사하강의 속도를 정하는 것을 본다.

예제 2.9 (Mayer의 최소제곱 해) Mayer의 27개 방정식에 최소제곱을 쓰면

$$\hat\beta=14.558^\circ=14^\circ33.5',\qquad \hat\alpha=1.5058^\circ=1^\circ30.3',\qquad \hat\gamma=-0.0719,\qquad \hat\theta=-2^\circ44.3'$$

이고 $\mathrm{RSS}=0.5689$이다. 묶음 평균(예제 1.5)과 비교하면 $\beta$와 $\alpha$는 1분 안쪽으로 같고, $\theta$는 1도 넘게 다르다. 6절에서 $\theta$의 표준오차가 약 $2^\circ$임을 보면 이 차이가 놀랍지 않다. 27개의 방정식은 $\theta$를 잘 정하지 못한다.

연습문제

연습 2.1 (단순회귀 ★) $y_i=b_0+b_1x_i+\varepsilon_i$에서 정규방정식을 풀어 $\hat b_1=S_{xy}/S_{xx}$, $\hat b_0=\bar y-\hat b_1\bar x$임을 보여라. 여기서 $S_{xy}=\sum(x_i-\bar x)(y_i-\bar y)$, $S_{xx}=\sum(x_i-\bar x)^2$이다. $R^2$이 표본상관계수의 제곱과 같음도 보여라.

풀이

정규방정식은 $nb_0+b_1\sum x_i=\sum y_i$, $b_0\sum x_i+b_1\sum x_i^2=\sum x_iy_i$이다. 첫 식에서 $b_0=\bar y-b_1\bar x$를 둘째 식에 넣으면 $b_1(\sum x_i^2-n\bar x^2)=\sum x_iy_i-n\bar x\bar y$, 곧 $b_1S_{xx}=S_{xy}$. $\hat y_i-\bar y=\hat b_1(x_i-\bar x)$이므로 $\mathrm{ESS}=\hat b_1^2S_{xx}=S_{xy}^2/S_{xx}$이고 $R^2=S_{xy}^2/(S_{xx}S_{yy})=r^2$.

연습 2.2 (평균의 hat 행렬 ★) $X=\one$이면 $H=\one\one\T/n$이고 $\hat\y=\bar y\one$임을 보여라. $\mathrm{RSS}/(n-1)$은 무엇인가?

풀이

$X\T X=n$, $X\T\y=\sum y_i$이므로 $H=\one\one\T/n$, $\hat\y=\bar y\one$. $\mathrm{RSS}=\sum(y_i-\bar y)^2$이므로 $\mathrm{RSS}/(n-1)=S^2$이다. $n-p=n-1$이다.

연습 2.3 (단순회귀의 지렛대 ★) 단순회귀에서 $h_{ii}=\tfrac1n+\tfrac{(x_i-\bar x)^2}{S_{xx}}$임을 보여라. $x$가 열 번은 8이고 한 번은 19인 자료($n=11$)에서 $x=19$인 점의 지렛대를 구하라.

풀이

FWL(정리 5.3)이나 직접 계산으로, 중심화한 설계 $[\one,\ x-\bar x]$는 직교하는 두 열이므로 $H=\one\one\T/n+(\x-\bar x\one)(\x-\bar x\one)\T/S_{xx}$이다(정리 2.5(d)로 $H$는 중심화와 무관하다). 대각원소가 $1/n+(x_i-\bar x)^2/S_{xx}$이다. 예에서 $\bar x=9$, $S_{xx}=10\cdot1+100=110$이므로 $h=1/11+100/110=1$이다.

연습 2.4 (단위를 바꾸면 ★) 키를 인치에서 센티미터로 바꾸면($x\mapsto2.54x$) 단순회귀의 $\hat b_0,\hat b_1$, 적합값, $R^2$은 각각 어떻게 바뀌는가? 정리 2.5(d)로 설명하라.

풀이

$X$가 $XT$, $T=\diag(1,\ 2.54)$로 바뀐다. 정리 2.5(d)로 $H$, 적합값, 잔차, $R^2$은 그대로다. $XT\bhat'=X\bhat$이어야 하므로 $\bhat'=T^{-1}\bhat$, 곧 절편은 같고 기울기는 $\hat b_1/2.54$이다.

연습 2.5 (변수를 더하면 ★) $X$에 열 $\mathbf z$를 더한 $[X,\mathbf z]$로 최소제곱을 하면 RSS가 늘지 않음을 보여라. 따라서 $R^2$은 변수를 더할수록 줄지 않는다.

풀이

$[X,\mathbf z]$로 맞춘 최소제곱은 $\|\y-X\bb-c\mathbf z\|^2$을 $(\bb,c)$에 대해 최소로 한다. $c=0$으로 제한한 최솟값이 원래의 RSS이므로, 제한 없는 최솟값은 그보다 크지 않다. TSS는 그대로이므로 $R^2$은 줄지 않는다.

연습 2.6 (Gram–Schmidt와 QR ★★) $X$의 열 $\x^{(1)},\dots,\x^{(p)}$이 일차독립이면, $\mathbf q_1=\x^{(1)}/\|\x^{(1)}\|$, $\mathbf q_k\propto\x^{(k)}-\sum_{j<k}(\mathbf q_j\T\x^{(k)})\mathbf q_j$ (길이 1로 맞춤)로 만든 $Q=[\mathbf q_1,\allowbreak \dots,\allowbreak \mathbf q_p]$와 어떤 상삼각행렬 $R$에 대해 $X=QR$임을 보여라. $R$의 원소는 무엇인가?

풀이

만드는 방법에서 $\x^{(k)}=\sum_{j<k}(\mathbf q_j\T\x^{(k)})\mathbf q_j+\|\mathbf r_k\|\,\mathbf q_k$ ($\mathbf r_k$는 빼고 남은 벡터)이다. 일차독립이므로 $\mathbf r_k\ne\bzero$이다. $R$의 원소를 $r_{jk}=\mathbf q_j\T\x^{(k)}$ ($j<k$), $r_{kk}=\|\mathbf r_k\|>0$, $r_{jk}=0$ ($j>k$)로 두면 $X=QR$이다. $\mathbf q_k$들은 귀납법으로 서로 직교하고 길이가 1이다.

연습 2.7 (대칭 멱등행렬의 성질 ★★ 유도형) $P$가 대칭이고 $P^2=P$이다. 보조정리 2.4를 다음 순서로 증명하라.

1. (a)

   스펙트럼 분해 $P=V\Lambda V\T$에서 $P^2=P$가 $\lambda_i^2=\lambda_i$와 같음을 보이고, $\rank P$가 1인 고유값의 수이며 $\tr P$와 같음을 보여라.

2. (b)

   고유값 1에 해당하는 $V$의 열을 모은 $U$로 $P=UU\T$, $U\T U=I_r$, $\col(P)=\col(U)$를 보여라.

3. (c)

   $(I-P)^2=I-P$와 $\tr(I-P)=n-r$을 보여라.

4. (d)

   $(P\bv)\T(I-P)\bv=0$을 보이고, $\bw\in\col(P)$이면 $\|\bv-\bw\|^2=\|(I-P)\bv\|^2+\|P\bv-\bw\|^2$임을 써서 $P\bv$가 $\col(P)$에서 $\bv$에 가장 가까운 점임을 보여라.

풀이

(a) 스펙트럼 분해(5회 보조정리 3.2) $P=V\Lambda V\T$에서 $P^2=V\Lambda V\T V\Lambda V\T=V\Lambda^2V\T$이다. $P^2=P$이면 $V\Lambda^2V\T=V\Lambda V\T$이고 양쪽에 $V\T$, $V$를 곱하면 $\Lambda^2=\Lambda$, 곧 $\lambda_i^2=\lambda_i$이고 $\lambda_i\in\{0,1\}$이다. 계수는 0이 아닌 고유값의 수, 곧 1의 개수이고, 그것이 $\tr P=\tr\Lambda=\sum_i\lambda_i$이다. (b) 고유값 1에 해당하는 $V$의 열 $r$개를 $U$로 모으면 $P=V\Lambda V\T=UU\T$이다. $V$의 열이 정규직교이므로 $U\T U=I_r$이다. $P=UU\T$에서 $\col(P)\subseteq\col(U)$이고, $PU=UU\T U=U$에서 $\col(U)\subseteq\col(P)$이다. (c) $(I-P)\T=I-P$이고 $(I-P)^2=I-2P+P^2=I-P$이다. (a)를 $I-P$에 쓰면 $\rank(I-P)=\tr(I-P)=n-r$이다. (d) $(P\bv)\T(I-P)\bv=\bv\T P(I-P)\bv=\bv\T(P-P^2)\bv=0$이다. $\bw\in\col(P)$이면 $P\bv-\bw\in\col(P)$이고, $\col(P)$의 원소 $P\bu$와 $(I-P)\bv$의 내적은 $\bu\T P(I-P)\bv=0$이다. 따라서

$$\|\bv-\bw\|^2=\|(I-P)\bv+(P\bv-\bw)\|^2=\|(I-P)\bv\|^2+\|P\bv-\bw\|^2\ \ge\ \|\bv-P\bv\|^2$$

이고 등호는 $\bw=P\bv$일 때뿐이다.

연습 2.8 (hat 행렬의 성질 ★★ 유도형) $\rank X=p$, $H=X(X\T X)^{-1}X\T$이다. 정리 2.5을 다음 순서로 증명하라.

1. (a)

   $H\T=H$, $H^2=H$를 곱을 전개해 확인하라. $HX=X$에서 $\col(X)\subseteq\col(H)$를, $H=X(X\T X)^{-1}X\T$의 꼴에서 $\col(H)\subseteq\col(X)$를 보여라.

2. (b)

   $\tr AB=\tr BA$로 $\tr H=p$를 구하고 보조정리 2.4(a)로 $\rank H=p$를 얻어라.

3. (c)

   $\hat\y=H\y$, $\e=(I-H)\y$를 보이고, 보조정리 2.4(c)(d)와 정규방정식으로 (b)(c)의 나머지 식을 얻어라.

4. (d)

   $T$가 가역이면 $XT$의 hat 행렬이 $H$와 같음을 $(T\T X\T XT)^{-1}=T^{-1}(X\T X)^{-1}T^{-\mathsf T}$로 보여라.

풀이

(a) $X\T X$가 대칭이므로 그 역행렬도 대칭이고

$$H\T=X\bigl((X\T X)^{-1}\bigr)\T X\T=H,\qquad H^2=X(X\T X)^{-1}(X\T X)(X\T X)^{-1}X\T=H$$

이다. $HX=X$이므로 $X$의 열은 모두 $\col(H)$에 있고, $\col(X)\subseteq\col(H)$이다. 거꾸로 $H\bv=X\bigl((X\T X)^{-1}X\T\bv\bigr)$이므로 $\col(H)\subseteq\col(X)$이다.

(b) 대각합의 성질 $\tr AB=\tr BA$로

$$\tr H=\tr\bigl(X\cdot(X\T X)^{-1}X\T\bigr)=\tr\bigl((X\T X)^{-1}X\T X\bigr)=\tr I_p=p$$

이고, 보조정리 2.4(a)로 $\rank H=\tr H=p$이다.

(c) $\hat\y=X\bhat=X(X\T X)^{-1}X\T\y=H\y$이고 $\e=\y-\hat\y=(I-H)\y$이다. 정규방정식이 $X\T\e=\bzero$이고, $\hat\y=X\bhat$이므로 $\hat\y\T\e=\bhat\T X\T\e=0$이다. $\y=\hat\y+\e$의 두 조각이 직교하므로 $\|\y\|^2=\|\hat\y\|^2+\|\e\|^2$이다. $\mathrm{RSS}=\e\T\e=\y\T(I-H)\T(I-H)\y=\y\T(I-H)\y$이고, 보조정리 2.4(c)로 $I-H$는 계수 $n-p$의 사영이다. (d) $(XT)\T(XT)=T\T X\T XT$이고 그 역행렬은 $T^{-1}(X\T X)^{-1}T^{-\mathsf T}$이다. 따라서 $XT\,T^{-1}(X\T X)^{-1}T^{-\mathsf T}\,T\T X\T=X(X\T X)^{-1}X\T=H$이다.

연습 2.9 (지렛대의 성질 ★★ 유도형) 명제 2.7를 다음 순서로 증명하라.

1. (a)

   $H=HH\T$의 $(i,i)$ 원소를 비교해 $h_{ii}=h_{ii}^2+\sum_{j\ne i}h_{ij}^2$을 얻고 $0\le h_{ii}\le1$을 보여라. $\sum_ih_{ii}=p$는 무엇에서 나오는가?

2. (b)

   $J=\one\one\T/n$, $\one\in\col(X)$이면 $HJ=JH=J$이고 $H-J$가 대칭 멱등임을 보여라. (a)의 논리를 $H-J$에 써서 $h_{ii}\ge1/n$을 얻어라.

3. (c)

   $\e=(I-H)\beps$를 보이고 5회 보조정리 3.1로 $\Cov\e=\sigma^2(I-H)$를 얻어라.

풀이

(a) $H$가 대칭 멱등이므로 $H=H^2=HH\T$이고 $(i,i)$ 원소는 $h_{ii}=\sum_jh_{ij}^2=h_{ii}^2+\sum_{j\ne i}h_{ij}^2\ge h_{ii}^2$이다. $h_{ii}\ge h_{ii}^2$은 $0\le h_{ii}\le1$과 같다. $\sum_ih_{ii}=\tr H=p$ (정리 2.5(a)). (b) $\one\in\col(X)=\col(H)$이므로 $H\one=\one$이고 $HJ=H\one\one\T/n=J$, $JH=(HJ)\T=J$이다. $J^2=\one(\one\T\one)\one\T/n^2=J$이므로 $(H-J)^2=H-HJ-JH+J=H-J$이고 $H-J$는 대칭 멱등이다. (a)와 같은 계산으로 그 대각원소 $h_{ii}-1/n$은 0 이상이다. (c) $(I-H)X=0$이므로 $\e=(I-H)(X\bbeta+\beps)=(I-H)\beps$이다. 5회 보조정리 3.1로 $\Cov\e=(I-H)(\sigma^2I)(I-H)\T=\sigma^2(I-H)$이고 대각원소는 $\sigma^2(1-h_{ii})$이다.

이 절을 PDF로 보기 (8쪽)노트북 2절

이 회차에서 읽은 절 0개 · 회차 차례