13회 · 최소제곱 · 워크북

C. 증명 문제

노트의 정리를 변형하고, 일반화하고, 반례로 경계를 확인한다. 증명은 노트의 단계형 모양으로 쓴다. 한 줄에 한 단계, 줄마다 근거.

C1 원점을 지나는 직선의 BLUE ★

[T4] · 명제 1.4, 정리 3.3 · 15분

$y_i=\beta x_i+\varepsilon_i$ ($i=1,\dots,n$)이고 $x_i$가 모두 0은 아니며 오차는 Gauss–Markov 가정을 만족한다. 행렬을 쓰지 말고 다음을 보여라.

1. (a)

   $\sum_iw_iy_i$가 불편 $\iff$ $\sum_iw_ix_i=1$.

2. (b)

   그런 $w$에 대해 $\sum_iw_i^2\ge1/\sum_ix_i^2$이고, 등호는 $w_i=x_i/\sum_jx_j^2$일 때뿐이다.

3. (c)

   $\beta$의 BLUE는 $\sum_ix_iy_i/\sum_ix_i^2$이다.

힌트

(b) Cauchy–Schwarz $\bigl(\sum w_ix_i\bigr)^2\le\sum w_i^2\sum x_i^2$. 등호 조건은 $w$와 $x$가 평행할 때다.

풀이

(a) $E\sum w_iy_i=\beta\sum w_ix_i$이므로 모든 $\beta$에서 $\beta$와 같으려면 $\sum w_ix_i=1$이다. (b) Cauchy–Schwarz로 $1=\bigl(\sum w_ix_i\bigr)^2\le\sum w_i^2\sum x_i^2$이므로 $\sum w_i^2\ge1/\sum x_i^2$이다. 등호는 $w=cx$일 때뿐이고, $\sum w_ix_i=1$에서 $c=1/\sum x_j^2$이다. (c) $\Var\sum w_iy_i=\sigma^2\sum w_i^2$이므로 (b)의 등호 조건이 분산을 최소로 한다. 그 추정량이 $\sum x_iy_i/\sum x_i^2$이고, 이것은 $X=\x$인 최소제곱 해다. 정리 3.3의 $p=1$인 경우를 Cauchy–Schwarz 한 번으로 증명한 것이다.

C2 포함된 두 사영 ★★

[T1] · 보조정리 2.4 · 15분

$P$와 $Q$가 $n\times n$ 대칭 멱등행렬이고 $\col(Q)\subseteq\col(P)$이다.

1. (a)

   $PQ=Q$와 $QP=Q$를 보여라.

2. (b)

   $P-Q$가 대칭 멱등이고 $\rank(P-Q)=\rank P-\rank Q$임을 보여라.

3. (c)

   $\col(P-Q)=\col(P)\cap\col(Q)^\perp$임을 보여라.

힌트

(a) $Q$의 각 열은 $\col(P)$에 있고, $P$는 $\col(P)$의 원소를 그대로 둔다. $QP=(PQ)\T$. (b) 계수는 대각합이다(보조정리 2.4(a)).

풀이

(a) $Q$의 열은 $\col(Q)\subseteq\col(P)$에 있고, $\bv\in\col(P)$이면 $\bv=P\bu$에서 $P\bv=P^2\bu=\bv$이므로 $PQ=Q$이다. 전치하면 $QP=Q\T P\T=(PQ)\T=Q\T=Q$이다. (b) $(P-Q)\T=P-Q$이고 $(P-Q)^2=P-PQ-QP+Q=P-Q-Q+Q=P-Q$이다. 보조정리 2.4(a)로 $\rank(P-Q)=\tr(P-Q)=\tr P-\tr Q=\rank P-\rank Q$이다. (c) $\bv=(P-Q)\bu$이면 $P\bv=(P-PQ)\bu=\bv$이므로 $\bv\in\col(P)$이고, $Q\bv=(QP-Q)\bu=\bzero$이므로 $\bv\perp\col(Q)$이다. 거꾸로 $\bv\in\col(P)$, $\bv\perp\col(Q)$이면 $P\bv=\bv$, $Q\bv=\bzero$이므로 $(P-Q)\bv=\bv$이고 $\bv\in\col(P-Q)$이다.

C3 상수항이 없으면 ★

[T2] · 따름정리 2.3, 명제 2.6 · 15분

$x=(1,2,3)$, $y=(3,2,1)$에 원점을 지나는 직선 $y=bx$를 최소제곱으로 맞춘다. (a) 잔차의 합을 구하라. (b) $1-\mathrm{RSS}/\mathrm{TSS}$ ($\mathrm{TSS}=\sum(y_i-\bar y)^2$)를 구하라. (c) 따름정리 2.3과 명제 2.6의 어느 가정이 깨졌는지 밝혀라.

힌트

$\hat b=\sum x_iy_i/\sum x_i^2$ (C1). 잔차가 직교하는 것은 $X$의 열, 곧 $\x$뿐이다.

풀이

$\hat b=(3+4+3)/14=5/7$이다. 적합값은 $(5,10,15)/7$, 잔차는 $(16,4,-8)/7$이다. (a) 합은 $12/7\ne0$이다. (b) $\mathrm{RSS}=(256+16+64)/49=48/7$, $\mathrm{TSS}=2$이므로 $1-\mathrm{RSS}/\mathrm{TSS}=1-24/7=-17/7<0$이다. (c) 두 결과는 $\one\in\col(X)$를 가정한다. 여기서 $\col(X)$는 $\x$의 방향뿐이므로 잔차는 $\x$와만 직교하고($\x\T\e=(16+8-24)/7=0$) $\one$과는 직교하지 않는다. 그러면 $\mathrm{TSS}=\mathrm{ESS}+\mathrm{RSS}$가 깨져 “결정계수”가 음수가 될 수 있다. 상수만 맞춘 모형($\bar y$)이 원점을 지나는 직선보다 낫다는 뜻이다.

최종답 (a) $\tfrac{12}{7}$ (b) $-\tfrac{17}{7}$

C4 포함된 두 모형의 $F$F 검정 ★★

정리 4.5, 4.9 · 25분

$\col(X_0)\subseteq\col(X)$이고 $\rank X_0=p_0<p=\rank X$이다. 두 모형의 hat 행렬을 $H_0$, $H$라 하자. $\y\sim\N_n(\bmu,\sigma^2I)$이다.

1. (a)

   $\mathrm{RSS}_0-\mathrm{RSS}=\y\T(H-H_0)\y$를 보여라.

2. (b)

   $\bmu\in\col(X_0)$이면 $\Z=(\y-\bmu)/\sigma$와 $I=H_0+(H-H_0)+(I-H)$에 Cochran의 정리를 써서

   $$F=\frac{(\mathrm{RSS}_0-\mathrm{RSS})/(p-p_0)}{\mathrm{RSS}/(n-p)}\sim F(p-p_0,\ n-p)$$

   임을 보여라.

힌트

C2로 $H-H_0$은 계수 $p-p_0$의 사영이다. $\bmu\in\col(X_0)$이면 $(H-H_0)\bmu=\bzero$, $(I-H)\bmu=\bzero$이다.

풀이

(a) $\mathrm{RSS}_0=\y\T(I-H_0)\y$, $\mathrm{RSS}=\y\T(I-H)\y$ (정리 2.5(c))이므로 차는 $\y\T(H-H_0)\y$이다. (b) C2로 $H-H_0$은 계수 $p-p_0$의 대칭 멱등이고, 세 행렬의 계수의 합은 $p_0+(p-p_0)+(n-p)=n$이다. Cochran(정리 4.5)으로 $\Z\T H_0\Z$, $\Z\T(H-H_0)\Z$, $\Z\T(I-H)\Z$는 서로 독립인 $\chi^2(p_0)$, $\chi^2(p-p_0)$, $\chi^2(n-p)$이다. $\bmu\in\col(X_0)\subseteq\col(X)$이므로 $(H-H_0)\bmu=\bmu-\bmu=\bzero$, $(I-H)\bmu=\bzero$이고, 따라서 $\y\T(H-H_0)\y=\sigma^2\Z\T(H-H_0)\Z$, $\y\T(I-H)\y=\sigma^2\Z\T(I-H)\Z$이다. 비를 자유도로 나누면 $F(p-p_0,n-p)$이다(6회 정의 4.1). 정리 4.9는 $\col(X_0)$을 제약 $C\bbeta=\bzero$로 준 같은 결과다.

C5 무게를 버리면 잃는 것 ★★

[T4] · 따름정리 3.7 · 20분

$y_i=\mu+\varepsilon_i$이고 $\varepsilon_i$는 서로 무상관, $\Var\varepsilon_i=\sigma^2/w_i$ ($w_i>0$ 알려짐)이다.

1. (a)

   따름정리 3.7로 $\mu$의 BLUE가 $\hat\mu_w=\sum w_iy_i/\sum w_i$이고 $\Var\hat\mu_w=\sigma^2/\sum w_i$임을 보여라.

2. (b)

   무게를 무시한 $\bar y$의 분산을 구하라.

3. (c)

   $\Var\bar y\ge\Var\hat\mu_w$를 Cauchy–Schwarz로 직접 보이고 등호 조건을 밝혀라.

힌트

(c) $n^2=\bigl(\sum\sqrt{w_i}\cdot\tfrac1{\sqrt{w_i}}\bigr)^2\le\sum w_i\sum\tfrac1{w_i}$.

풀이

(a) $X=\one$, $V=\diag(1/w_1,\dots,1/w_n)$이므로 $(\one\T V^{-1}\one)^{-1}\one\T V^{-1}\y=\sum w_iy_i/\sum w_i$이고 분산은 $\sigma^2(\one\T V^{-1}\one)^{-1}=\sigma^2/\sum w_i$이다. (b) $\Var\bar y=\tfrac1{n^2}\sum\sigma^2/w_i$. (c) Cauchy–Schwarz로 $n^2\le\sum w_i\sum1/w_i$이므로 $\tfrac{\sigma^2}{n^2}\sum\tfrac1{w_i}\ge\tfrac{\sigma^2}{\sum w_i}$이다. 등호는 $\sqrt{w_i}\propto1/\sqrt{w_i}$, 곧 모든 $w_i$가 같을 때뿐이다. 비 $\Var\bar y/\Var\hat\mu_w$는 무게의 산술평균과 조화평균의 비다.

C6 모집단의 분산 분해 ★★

정리 5.1 · 20분

정리 5.1의 가정에서 $\x$의 첫 성분이 상수 1이라 하고 $u=Y-\x\T\bbeta^*$이다.

1. (a)

   $Eu=0$이고 $\x$의 모든 성분과 $u$의 공분산이 0임을 보여라.

2. (b)

   $\Var Y=\Var(\x\T\bbeta^*)+\Var u$를 보여라.

3. (c)

   $\x=(1,X)\T$이면 $\Var(\x\T\bbeta^*)/\Var Y=\Corr(X,\allowbreak Y)^2$임을 보여라.

힌트

(a) $E\x u=\bzero$의 첫 성분이 $Eu=0$이다. (c) 정리 5.1(c)의 $\beta_1^*=\Cov(X,Y)/\Var X$를 쓴다.

풀이

(a) 정리 5.1(a)로 $E\x u=\bzero$이고 그 첫 성분이 $E u=0$이다. 그러면 $\Cov(x_k,u)=E x_ku-Ex_k\,Eu=0$이다. (b) $Y=\x\T\bbeta^*+u$이고 (a)로 $\Cov(\x\T\bbeta^*,\allowbreak u)=\bbeta^{*\mathsf T}\Cov(\x,\allowbreak u)=0$이므로 분산이 더해진다. (c) $\x\T\bbeta^*=\beta_0^*+\beta_1^*X$이므로 $\Var(\x\T\bbeta^*)=\beta_1^{*2}\Var X=\Cov(X,\allowbreak Y)^2/\Var X$이고, $\Var Y$로 나누면 $\Corr(X,Y)^2$이다. 표본의 $R^2=r^2$ (명제 2.6, 노트 연습 2.1)의 모집단판이다.

C7 지렛대가 1이면 ★★

[T2] · 명제 2.7, 7.3 · 15분

$\rank X=p$이고 어떤 $i$에서 $h_{ii}=1$이다. $\mathbf u_i$를 $i$번째 단위벡터라 하자.

1. (a)

   $j\ne i$이면 $h_{ij}=0$임을 보이고, 모든 $\y$에서 $e_i=0$임을 보여라.

2. (b)

   $H\mathbf u_i=\mathbf u_i$를 보이고, $X\bv=\mathbf u_i$인 $\bv\ne\bzero$가 있음을 보여라.

3. (c)

   관측 $i$를 뺀 설계 $X_{(i)}$의 계수가 $p$보다 작음을 보여라. 명제 7.3이 $h_{ii}<1$을 가정하는 이유는 무엇인가?

힌트

(a) 명제 2.7(a)의 증명에서 $h_{ii}=h_{ii}^2+\sum_{j\ne i}h_{ij}^2$. (b) $H\mathbf u_i$는 $H$의 $i$번째 열이다. (c) (b)의 $\bv$에 $X_{(i)}$를 곱한다.

풀이

(a) $1=h_{ii}=h_{ii}^2+\sum_{j\ne i}h_{ij}^2=1+\sum_{j\ne i}h_{ij}^2$이므로 $h_{ij}=0$ ($j\ne i$)이다. 그러면 $\hat y_i=\sum_jh_{ij}y_j=y_i$이고 $e_i=0$이다. (b) $H\mathbf u_i$는 $H$의 $i$번째 열 $(h_{1i},\allowbreak \dots,\allowbreak h_{ni})\T=\mathbf u_i$이다. 따라서 $\mathbf u_i\in\col(H)=\col(X)$이고 $X\bv=\mathbf u_i$인 $\bv$가 있다. $\mathbf u_i\ne\bzero$이므로 $\bv\ne\bzero$이다. (c) $X_{(i)}\bv$는 $X\bv=\mathbf u_i$에서 $i$번째 성분을 뺀 것이므로 $\bzero$이다. 0이 아닌 $\bv$가 영공간에 있으므로 $\rank X_{(i)}<p$이다. 관측 $i$를 빼면 $\bv$ 방향의 모수는 정해지지 않고, $(X\T X-\x_i\x_i\T)^{-1}$이 존재하지 않는다. Sherman–Morrison의 분모 $1-h_{ii}$가 0이 되는 것이 그 모습이다(Anscombe의 넷째 자료).

C8 Ridge는 모든 방향에서 분산을 줄인다 ★★

[T4] · 명제 8.5, 정리 8.6 · 20분

정의 1.1의 모형에서 $\bhat_\lambda=(X\T X+\lambda I)^{-1}X\T\y$ ($\lambda>0$)이다.

1. (a)

   $E\bhat_\lambda=(X\T X+\lambda I)^{-1}X\T X\bbeta$를 보이고, $\bbeta\ne\bzero$이면 치우쳤음을 보여라.

2. (b)

   $\Cov\bhat_\lambda=\sigma^2(X\T X+\lambda I)^{-1}X\T X(X\T X+\lambda I)^{-1}$을 보여라.

3. (c)

   특이값 분해 $X=UDV\T$로 $\Cov\bhat-\Cov\bhat_\lambda\succeq0$을 보여라.

힌트

(c) 두 공분산이 모두 $V(\cdots)V\T$ 꼴이고 가운데가 대각행렬이다. $\tfrac1{d^2}-\tfrac{d^2}{(d^2+\lambda)^2}\ge0$을 확인한다.

풀이

(a) $E\y=X\bbeta$를 넣는다. $(X\T X+\lambda I)^{-1}X\T X\bbeta=\bbeta$이면 $X\T X\bbeta=X\T X\bbeta+\lambda\bbeta$, 곧 $\bbeta=\bzero$이다. (b) $\bhat_\lambda=M\y$, $M=(X\T X+\lambda I)^{-1}X\T$이고 5회 보조정리 3.1로 $\sigma^2MM\T$이다. (c) $X\T X=VD^2V\T$이므로 $\Cov\bhat=\sigma^2VD^{-2}V\T$, $\Cov\bhat_\lambda=\sigma^2V\diag\bigl(d_j^2/(d_j^2+\lambda)^2\bigr)V\T$이다. 차는 $\sigma^2V\diag(c_j)V\T$이고

$$c_j=\frac1{d_j^2}-\frac{d_j^2}{(d_j^2+\lambda)^2}=\frac{(d_j^2+\lambda)^2-d_j^4}{d_j^2(d_j^2+\lambda)^2}=\frac{\lambda(2d_j^2+\lambda)}{d_j^2(d_j^2+\lambda)^2}>0$$

이므로 양정치다. Ridge는 분산을 모든 방향에서 줄이고 치우침을 받아들인다. 정리 8.6은 그 교환이 이득인 $\lambda$가 있음을 보인 것이다.

C9 공분산 0인 두 이차형식 ★★

[T2] · 보조정리 4.3, 정리 4.4 · 20분

$\Z\sim\N_2(\bzero,I)$이고 $Q_1=Z_1^2-Z_2^2$, $Q_2=Z_1^2+Z_2^2$이다.

1. (a)

   보조정리 4.3으로 $\Cov(Q_1,Q_2)=0$을 보여라.

2. (b)

   $P(|Q_1|>1)>0$, $P(Q_2<1)>0$인데 $P(|Q_1|>1,\ Q_2<1)=0$임을 보이고, $Q_1$과 $Q_2$가 독립이 아님을 결론지어라.

3. (c)

   정리 4.4(c)의 어느 가정이 깨졌는가? $AB$를 계산하라.

힌트

(b) $|Q_1|=|Z_1^2-Z_2^2|\le Z_1^2+Z_2^2=Q_2$. 독립이면 교집합의 확률은 곱이다.

풀이

(a) $A=\diag(1,-1)$, $B=I$이므로 $\Cov=2\tr(AB)=2(1-1)=0$이다. (b) $|Q_1|\le Q_2$이므로 $Q_2<1$이면 $|Q_1|<1$이고 교집합은 공집합이다. 한편 $P(Q_2<1)=P(\chi^2(2)<1)=1-e^{-1/2}>0$이고, $P(|Q_1|>1)\ge P(Z_1^2>2,\allowbreak \ Z_2^2<1)>0$이다. 독립이면 $P(|Q_1|>1,Q_2<1)$이 두 양수의 곱이어야 하므로 독립이 아니다. 공분산 0은 독립을 주지 않는다. (c) $A=\diag(1,-1)$이 양의 준정치가 아니다. $AB=A\ne0$이다. Craig–Sakamoto 정리(노트의 상자)로는 $AB\ne0$이므로 독립이 아니라는 결론이 그대로 나온다. (c)의 증명이 쓴 “$\tr(AB)=0\Rightarrow AB=0$”은 준정치일 때만 참이다.

워크북 PDF풀이판 PDF답 확인