13회 · 최소제곱 · 노트

0 들어가며

여는 질문. 미지수가 3개인데 관측 방정식이 27개다. 방정식들은 서로 조금씩 어긋나서 모두를 만족하는 해가 없다. 27개를 어떻게 하나로 결합해야 하는가? 그리고 어떤 결합이 “가장 좋은가”?

1750년 괴팅겐의 천문학자 Tobias Mayer는 달 표면의 분화구 Manilius의 위치를 27일 동안 쟀다. 달은 지구를 향해 같은 면을 보이지만 조금씩 흔들린다(칭동). 그 흔들림을 정하는 세 개의 각을 알고 싶었다. 관측 하나가 세 각의 일차식 하나를 주므로 방정식은 27개였다. 세 개만 골라 풀면 답이 나오지만, 어느 세 개를 고르느냐에 따라 답이 달라진다. 한 해 전 Leonhard Euler는 목성과 토성의 운동에서 같은 종류의 문제를 만났다. 미지수 8개에 방정식 75개였다. Euler는 그 방정식들을 결합하지 못했다. 서로 다른 조건에서 얻은 관측을 더하면 오차가 쌓일 뿐이라고 보았기 때문이다.

Mayer는 반대로 생각했다. 27개를 9개씩 세 묶음으로 나누어 묶음마다 더하면, 미지수 3개의 방정식 3개가 된다. 더하는 동안 오차가 서로 상쇄된다는 것이 그의 직관이었다. 1757년 Boscovich는 다른 원리를 내놓았다. 보정의 절댓값 합을 최소로 하자는 것이다. 1805년 Legendre는 보정의 제곱합을 최소로 하자고 제안했다. 이것이 최소제곱이다. 4년 뒤 Gauss는 자신이 1795년부터 이 방법을 써 왔다고 주장했고, 1823년에는 정규분포를 가정하지 않고도 최소제곱이 선형불편추정량 가운데 분산이 가장 작다는 것을 증명했다. 이 결과가 Gauss–Markov 정리다.

이 노트는 그 순서를 따라간다. 1절은 결합의 문제를 선형모형으로 쓰고 Mayer와 Boscovich의 방법을 해부한다. 2절은 최소제곱을 사영의 기하로 세운다. 3절은 Gauss–Markov 정리, 4절은 정규 오차 아래의 정확한 분포(Cochran과 Craig의 정리, $t$와 $F$)를 증명한다. 5절은 Galton과 Yule에서 태어난 회귀를 다룬다. 6절은 원자료로 회귀 요약표의 모든 숫자를 직접 계산하고, 7절은 가정이 깨질 때를, 8절은 신경망의 선형층과 weight decay 속의 최소제곱을 본다.

학습 목표

1. 1.

   관측의 결합을 선형모형 $\y=X\bbeta+\beps$로 쓰고, Mayer의 묶음 평균과 Boscovich의 절댓값 방법이 어떤 추정량인지 계산한다.

2. 2.

   정규방정식과 사영행렬(hat matrix)의 성질을 증명하고, 최소제곱을 QR 분해로 계산한다.

3. 3.

   Gauss–Markov 정리를 증명하고, 정규 오차 아래에서는 최소제곱추정량이 모든 불편추정량 가운데 최선임을 보인다.

4. 4.

   정규표본의 이차형식에 관한 Cochran과 Craig의 정리를 증명하고, 그로부터 계수의 $t$ 검정과 일반선형가설의 $F$ 검정을 유도한다.

5. 5.

   회귀 요약표의 모든 숫자를 직접 계산하고, 이분산·지렛대·공선성·Yule–Simpson 역설에서 무엇이 깨지는지 안다.

그림 0.1 이번 회차 정리들의 의존 관계. 화살표는 “증명에 쓰인다”는 뜻이다.

0.1 1–12회에서 가져오는 것

앞 회차	내용
5회 보조정리 3.1 · 3.2	선형변환의 평균과 공분산, 대칭행렬의 스펙트럼 분해
5회 정리 3.8 · 3.11 · 3.17	정리 A(정규의 선형변환은 정규), 정리 B(정규에서 무상관은 독립), 정리 D(이차형식은 $\chi^2$)
5회 정리 1.5 · 따름정리 3.19	Gauss의 특성화(평균이 최선이면 오차는 정규), 이변량 정규의 회귀식
6회 정리 1.1 · 2.2, 정의 3.1 · 4.1	표본분산의 $n-1$, Student의 정리, $t$ 분포와 $F$ 분포
11회 정리 3.3 · 4.5	Lehmann–Scheffé 정리, 지수족의 완비충분통계량
12회 정의 3.1, 9회 정리 5.2	가능도비 검정, Wilks 정리

0.2 표기

관측은 $n$개, 모수는 $p$개다. 설계행렬 $X$는 $n\times p$의 상수 행렬이고 $i$번째 행을 $\x_i\T$로 쓴다. 회귀 문헌의 관행대로 반응 벡터는 소문자 굵은 $\y=(y_1,\dots,y_n)\T$로 쓰고, 확률벡터로도 같은 글자를 쓴다. $\one$은 모든 성분이 1인 벡터, $I_n$은 단위행렬이다. $\col(X)$는 $X$의 열들이 생성하는 $\R^n$의 부분공간, $\rank X$는 그 차원이다. $\|\bv\|^2=\bv\T\bv$이고 $\tr$는 대각합이다. 대칭행렬 $A,B$에 대해 $A\succeq B$는 $A-B$가 양의 준정치(모든 $\bc$에 대해 $\bc\T(A-B)\bc\ge0$)라는 뜻이다.

이 절을 PDF로 보기 (1쪽)노트북 0절

이 회차에서 읽은 절 0개 · 회차 차례