수리통계학

테마

13회 · 최소제곱 · 워크북

B. 빈칸 증명 ​

노트의 단계형 증명을 책을 덮고 다시 쓴다. 같은 정리를 여러 번 만나며 도움이 줄어든다. 1 단계는 주어지고 근거만 빈칸이다. 2 단계의 이름만 주어진다. 3 전략만 주어진다. 근거에는 정의나 정리의 번호, 앞 회차의 결과, 도구 번호를 쓴다.

B1 Gauss–Markov, 근거 채우기 ★ ​

1 · 정리 3.3 · 15분

β~=Ay\btil=A\y가 선형불편추정량이고 A0=(X′X)−1X′A_0=(X\T X)^{-1}X\T, D=A−A0D=A-A_0이다. Cov⁡β~−Cov⁡β^=σ2DD′⪰0\Cov\btil-\Cov\bhat=\sigma^2DD\T\succeq0의 증명이다. 근거를 써라.

  1. AX=IAX=I이고 A0X=IA_0X=I이므로 DX=0DX=0이다.왜?명제 1.4 (선형불편의 조건)

  2. DA0′=DX(X′X)−1=0DA_0\T=DX(X\T X)^{-1}=0이고 A0D′=0A_0D\T=0이다.왜?1, A0′=X(X′X)−1A_0\T=X(X\T X)^{-1}

  3. 공분산을 전개한다.

    Cov⁡β~=σ2(A0+D)(A0+D)′=σ2(A0A0′+DD′)=Cov⁡β^+σ2DD′\begin{align*} \Cov\btil&=\sigma^2(A_0+D)(A_0+D)\T \tag*{\htmlClass{why}{\htmlClass{why-q}{\text{왜?}}\htmlClass{why-a}{\text{5회 보조정리 3.1}}}}\\ &=\sigma^2\bigl(A_0A_0\T+DD\T\bigr) \tag*{\htmlClass{why}{\htmlClass{why-q}{\text{왜?}}\htmlClass{why-a}{\text{\htmlClass{sref}{\text{2}}로 교차항 0}}}}\\ &=\Cov\bhat+\sigma^2DD\T \tag*{\htmlClass{why}{\htmlClass{why-q}{\text{왜?}}\htmlClass{why-a}{\text{$A_0A_0\T=(X\T X)^{-1}$, 정리 3.2(a)}}}} \end{align*}

  4. c′DD′c=∥D′c∥2≥0\bc\T DD\T\bc=\|D\T\bc\|^2\ge0이므로 σ2DD′⪰0\sigma^2DD\T\succeq0이다.왜?준정치의 정의 [T4]

힌트

2의 근거에는 A0′A_0\T가 무엇인지가 들어간다. (X′X)−1(X\T X)^{-1}이 대칭이라는 것도 쓴다.

풀이

빈칸의 빨간 글씨가 근거다. 증명의 뼈대는 2다. 불편성 DX=0DX=0이 “최소제곱의 계수 A0A_0와 차 DD가 직교한다”로 바뀌고, 그 직교성이 3에서 교차항을 지운다. 정리 2.2의 피타고라스와 같은 모양이다.

B2 Cochran의 정리, 근거 채우기 ★★ ​

1 · 정리 4.5 · 25분

In=A1+⋯+AkI_n=A_1+\dots+A_k, AiA_i 대칭, rank⁡Ai=ri\rank A_i=r_i, ∑iri=n\sum_ir_i=n이면 Z′AiZ\Z\T A_i\Z들이 서로 독립인 χ2(ri)\chi^2(r_i)임을 보이는 증명이다. 근거를 써라.

  1. rank⁡(I−Ai)≤∑j≠irj=n−ri\rank(I-A_i)\le\sum_{j\ne i}r_j=n-r_i이다.왜?I−Ai=∑j≠iAjI-A_i=\sum_{j\ne i}A_j, 계수의 부분가법성

  2. rank⁡(I−Ai)≥n−ri\rank(I-A_i)\ge n-r_i이다.왜?col⁡(Ai)+col⁡(I−Ai)=Rn\col(A_i)+\col(I-A_i)=\R^n

  3. AiA_i의 고유값 1의 고유공간의 차원은 rir_i이다.왜?1 2, 차원 정리

  4. Ai2=AiA_i^2=A_i이다.왜?0 아닌 고유값 rir_i개가 모두 1

  5. j≠ij\ne i이면 AjAi=0A_jA_i=0이다.왜?v∈col⁡(Ai)\bv\in\col(A_i)에서 ∥v∥2=∑j∥Ajv∥2\|\bv\|^2=\sum_j\|A_j\bv\|^2

  6. Ai=UiUi′A_i=U_iU_i\T로 쓰면 U=[U1,…,Uk]U=[U_1,\dots,U_k]는 직교행렬이다.왜?5로 Uj′Ui=0U_j\T U_i=0, ∑ri=n\sum r_i=n

  7. W=U′Z\W=U\T\Z의 블록의 제곱합 ∥Ui′Z∥2\|U_i\T\Z\|^2이 서로 독립인 χ2(ri)\chi^2(r_i)이다.왜?5회 정리 3.8, 따름정리 1.9

힌트

5의 근거는 AjA_j가 대칭 멱등이면 v′Ajv=∥Ajv∥2\bv\T A_j\bv=\|A_j\bv\|^2이라는 것과 ∑jAj=I\sum_jA_j=I이다.

풀이

빈칸의 빨간 글씨가 근거다. 계수 조건 ∑ri=n\sum r_i=n은 두 곳에서 쓰인다. 1에서 I−AiI-A_i의 계수를 위에서 누르고, 6에서 블록들의 열을 모으면 정확히 nn개가 되어 정사각 직교행렬이 된다. 계수의 합이 nn보다 크면 1의 부등식이 성립하지 않고, 각 AiA_i가 멱등이라는 결론도 나오지 않는다.

B3 Frisch–Waugh–Lovell, 근거 채우기 ★ ​

1 · 정리 5.3 · 15분

X=[X1,X2]X=[X_1,X_2]가 완전 계수이고 M1=I−H1M_1=I-H_1이다. β^2=(X2′M1X2)−1X2′M1y\bhat_2=(X_2\T M_1X_2)^{-1}X_2\T M_1\y의 증명이다. 근거를 써라.

  1. y=X1β^1+X2β^2+e\y=X_1\bhat_1+X_2\bhat_2+\e이고 X1′e=0X_1\T\e=\bzero, X2′e=0X_2\T\e=\bzero이다.왜?정리 2.2(a), 정규방정식

  2. M1X1=0M_1X_1=0이고 M1e=eM_1\e=\e이다.왜?H1X1=X1H_1X_1=X_1, e⊥col⁡(X1)\e\perp\col(X_1)

  3. M1y=M1X2 β^2+eM_1\y=M_1X_2\,\bhat_2+\e이다.왜?1에 M1M_1을 곱하고 2

  4. (M1X2)′e=0(M_1X_2)\T\e=\bzero이다.왜?M1M_1 대칭, M1e=eM_1\e=\e, X2′e=0X_2\T\e=\bzero

  5. β^2\bhat_2는 M1yM_1\y를 M1X2M_1X_2로 맞추는 정규방정식을 푼다.왜?3 4, 정리 2.2(a)

  6. 그 해는 하나뿐이다.왜?M1X2v=0⇒v=0M_1X_2\bv=\bzero\Rightarrow\bv=\bzero (완전 계수)

힌트

2의 둘째 식은 “e\e가 X1X_1의 열공간과 직교하면 H1e=0H_1\e=\bzero”에서 나온다.

풀이

빈칸의 빨간 글씨가 근거다. 5에서 정규방정식 하나가 두 사실을 함께 준다. 잔차 e\e가 새 설명변수 M1X2M_1X_2와 직교한다는 것(4)과, M1y−M1X2β^2M_1\y-M_1X_2\bhat_2가 바로 e\e라는 것(3)이다. 따라서 두 회귀는 계수뿐 아니라 잔차도 같다.

B4 Gauss–Markov, 단계의 이름만 ★★ ​

2 · 정리 3.3 · 25분

정리 3.3을 증명하라. 단계의 이름만 주어진다. 각 단계 아래에 식과 근거를 써라.

  1. 계수행렬을 A=A0+DA=A_0+D로 나누고 불편성을 DD의 조건으로 바꾼다

  2. DD와 A0A_0가 “직교”함을 보인다

  3. Cov⁡β~\Cov\btil을 전개해 교차항을 지운다

  4. σ2DD′\sigma^2DD\T가 양의 준정치임을 보이고 결론을 쓴다

힌트

B1에서 채운 근거를 다시 보지 말고 쓴다. 넷째 단계에서는 아무 c\bc에 대해 Var⁡(c′β~)−Var⁡(c′β^)\Var(\bc\T\btil)-\Var(\bc\T\bhat)을 쓴다.

풀이

  1. AX=IAX=I, A0X=IA_0X=I이므로 DX=0DX=0.명제 1.4

  2. DA0′=DX(X′X)−1=0DA_0\T=DX(X\T X)^{-1}=0, A0D′=0A_0D\T=0.1

  3. Cov⁡β~=σ2(A0+D)(A0+D)′=σ2(A0A0′+DD′)=Cov⁡β^+σ2DD′\Cov\btil=\sigma^2(A_0+D)(A_0+D)\T=\sigma^2(A_0A_0\T+DD\T)=\Cov\bhat+\sigma^2DD\T.5회 보조정리 3.1, 2

  4. Var⁡(c′β~)−Var⁡(c′β^)=σ2c′DD′c=σ2∥D′c∥2≥0\Var(\bc\T\btil)-\Var(\bc\T\bhat)=\sigma^2\bc\T DD\T\bc=\sigma^2\|D\T\bc\|^2\ge0.[T4]

B5 Cochran의 정리, 단계의 이름만 ★★★ ​

2 · 정리 4.5 · 35분

정리 4.5의 ⇐\Leftarrow 방향을 증명하라.

  1. I−AiI-A_i의 계수를 위에서 누른다

  2. I−AiI-A_i의 계수를 아래에서 누른다

  3. AiA_i의 고유값 1의 고유공간의 차원을 구하고 AiA_i가 멱등임을 보인다

  4. 서로 다른 AiA_i, AjA_j의 곱이 0임을 보인다

  5. 기저를 모아 직교행렬을 만든다

  6. Z\Z를 회전해 독립인 χ2\chi^2을 얻는다

힌트

셋째 단계: 대칭행렬의 계수는 0이 아닌 고유값의 수(중복 포함)다. 넷째 단계: v∈col⁡(Ai)\bv\in\col(A_i)를 잡고 ∥v∥2=v′Iv=∑jv′Ajv\|\bv\|^2=\bv\T I\bv=\sum_j\bv\T A_j\bv를 쓴다.

풀이

노트 정리 4.5의 단계형 증명과 같다. 단계별 근거는 B2의 풀이를 본다. 셋째 단계를 다시 쓰면, rank⁡(I−Ai)=n−ri\rank(I-A_i)=n-r_i이므로 (I−Ai)v=0(I-A_i)\bv=\bzero, 곧 Aiv=vA_i\bv=\bv인 v\bv의 공간이 rir_i차원이다. 대칭행렬 AiA_i의 0이 아닌 고유값은 중복을 세어 rir_i개이고 그 가운데 1이 이미 rir_i개이므로 다른 0 아닌 고유값은 없다. 스펙트럼 분해에서 Λ2=Λ\Lambda^2=\Lambda이고 Ai2=AiA_i^2=A_i이다.

B6 Gauss–Markov, 전략만 ★★ ​

3 · 정리 3.3, 따름정리 3.4 · 30분

정리 3.3을 증명하고, 따름정리 3.4(b) “Var⁡(c′β~)=Var⁡(c′β^)\Var(\bc\T\btil)=\Var(\bc\T\bhat)이면 c′β~=c′β^\bc\T\btil=\bc\T\bhat”도 증명하라.

전략 아무 선형불편추정량의 계수행렬을 최소제곱의 계수와 그 차로 나눈다. 불편성이 차와 최소제곱 계수의 직교성을 주고, 공분산이 두 조각의 합으로 갈라진다.

힌트

따름정리 3.4(b)는 B4의 넷째 단계에서 등호가 성립하는 경우다. ∥D′c∥=0\|D\T\bc\|=0이 무엇을 뜻하는지 쓴다.

풀이

정리 3.3은 B4의 풀이와 같다. 따름정리 3.4(b): 분산이 같으면 σ2∥D′c∥2=0\sigma^2\|D\T\bc\|^2=0이므로 c′D=0′\bc\T D=\bzero\T이다. 그러면 c′β~=c′(A0+D)y=c′A0y+c′Dy=c′β^\bc\T\btil=\bc\T(A_0+D)\y=\bc\T A_0\y+\bc\T D\y=\bc\T\bhat이다. 곧 c′β\bc\T\bbeta의 BLUE는 확률변수로서 하나뿐이다.

B7 Frisch–Waugh–Lovell, 전략만 ★★ ​

3 · 정리 5.3 · 30분

정리 5.3을 증명하라. 그리고 X1=1X_1=\one인 경우에 결론이 “단순회귀의 기울기는 중심화한 자료의 기울기”임을 확인하라.

전략 전체 회귀의 식에 M1M_1을 곱해 X1X_1을 지우고, 남은 식이 새 회귀의 정규방정식임을 확인한다.

힌트

X1=1X_1=\one이면 H1=11′/nH_1=\one\one\T/n이고 M1x=x−xˉ1M_1\x=\x-\bar x\one이다.

풀이

정리 5.3은 B3의 단계와 같다. X1=1X_1=\one, X2=xX_2=\x이면 M1x=x−xˉ1M_1\x=\x-\bar x\one, M1y=y−yˉ1M_1\y=\y-\bar y\one이므로

b^1=(x−xˉ1)′(y−yˉ1)∥x−xˉ1∥2=SxySxx\hat b_1=\frac{(\x-\bar x\one)\T(\y-\bar y\one)}{\|\x-\bar x\one\|^2}=\frac{S_{xy}}{S_{xx}}

이다. 상수항을 “먼저 맞추고 빼는” 것이 평균을 빼는 것이다.

워크북 PDF풀이판 PDF답 확인