13회 강의노트 · 1749 → 1943

최소제곱

방정식 27개로 미지수 3개를

미지수보다 방정식이 많을 때 관측들을 어떻게 결합할 것인가. 18세기 천문학자들은 이 문제를 묶음 평균과 절댓값으로 풀다가, 1805년 Legendre의 최소제곱에서 하나의 답을 얻었다. 이 노트는 최소제곱을 사영의 기하로 다시 세우고, Gauss–Markov 정리로 그 최적성을, Cochran과 Craig의 정리로 정규 오차 아래의 정확한 분포를 증명한 뒤, Galton과 Yule의 회귀로 넘어간다.

노트 읽기 워크북 풀기 노트북

58쪽노트 · 10절

57개정리 · 정의 · 예제

42문항노트의 연습

34문항워크북

43개최종답 확인

읽은 절0 / 10

푼 문항0 / 34

맞힌 최종답0 / 43

강의노트PDF · 58쪽 워크북PDF · 23쪽 워크북 풀이판PDF · 16쪽 노트북ipynb · 1.0 MB

개관

다루는 것

선형모형과 결합의 문제정규방정식과 QR사영행렬과 지렛대Gauss–Markov 정리(BLUE)정규표본의 이차형식Cochran과 Craig의 정리계수의 $t$ 와 일반선형가설의 $F$ Frisch–Waugh–Lovell이분산·공선성·Yule–Simpson경사하강과 ridge

원자료

Mayer의 달 칭동 방정식 27개(1750)Boscovich의 자오선 호 5개(1757)Laplace의 토성 방정식 24개(1787)Galton의 부모–자녀 키(1886)Pearson–Lee(1903)Berkeley 대학원 입학(1973)

선수 지식

1–12회 (특히 5회 다변량 정규·정리 D, 6회 Student의 정리· $t$ · $F$ , 11회 완비충분통계량, 12회 가능도비 검정)

연표 방정식을 결합하는 법

직접 해 보기

정리 지도

노트와 워크북에 적힌 번호 참조를 모두 세어 그렸다. 왼쪽은 이 회차가 근거로 쓰는 앞 회차, 오른쪽은 이 회차의 상자를 근거로 쓰는 뒤 회차다.

차례

0들어가며2쪽PDF 1쪽
1결합의 문제 (1749–1799)5쪽정리 3정의 2예제 3연습 5PDF 3쪽
2최소제곱과 사영의 기하7쪽정리 6정의 1예제 1연습 9PDF 8쪽
3Gauss–Markov 정리6쪽정리 6예제 1연습 6PDF 15쪽
4정규 오차 아래의 분포 — Cochran과 Craig8쪽정리 8예제 2연습 6PDF 21쪽
5회귀의 탄생 — Galton에서 Yule까지5쪽정리 4예제 2연습 5PDF 29쪽
6원자료로 — 회귀 요약표의 모든 숫자3쪽예제 3연습 3PDF 34쪽
7부숴보기 — 가정이 깨질 때5쪽정리 2예제 4연습 5PDF 37쪽
8오늘의 최소제곱 — 경사하강과 weight decay4쪽정리 4정의 1예제 2연습 3PDF 42쪽
9정리와 역사 노트3쪽PDF 46쪽

정리 · 정의 · 예제

번호	내용	연습 · 문항	뒤 회차	PDF
정의 1.1	선형모형	2		4쪽
예제 1.2	Mayer의 27개 방정식			4쪽
정의 1.3	선형불편추정량			5쪽
명제 1.4	선형불편의 조건	4		5쪽
예제 1.5	묶음 평균은 선형불편추정량이다	1		5쪽
명제 1.6	Boscovich의 해는 가중 중앙값이다			6쪽
예제 1.7	다섯 개의 호			7쪽
명제 1.8	최소절댓값 해는 관측 $p$ 개를 지난다			8쪽
정의 2.1	최소제곱추정량			9쪽
정리 2.2	정규방정식	5	3	9쪽
따름정리 2.3	상수항이 있으면	2		11쪽
보조정리 2.4	대칭 멱등행렬	3	2	11쪽
정리 2.5	hat 행렬	6	2	11쪽
명제 2.6	결정계수	4		12쪽
명제 2.7	지렛대	3	1	12쪽
알고리즘 2.8	QR로 푸는 최소제곱	1		13쪽
예제 2.9	Mayer의 최소제곱 해			13쪽
보조정리 3.1	이차형식의 기댓값	2	3	16쪽
정리 3.2	최소제곱추정량의 적률	3		16쪽
정리 3.3	Gauss–Markov	7	1	17쪽
따름정리 3.4	BLUE의 여러 얼굴	1		18쪽
예제 3.5	Mayer는 얼마나 잃었나	1		18쪽
정리 3.6	정규 선형모형	2		19쪽
따름정리 3.7	Aitken의 일반화 최소제곱 (1935)	3	1	20쪽
정리 4.1	이차형식의 $\chi^2$ 판정		1	22쪽
따름정리 4.2	평균이 있을 때		4	23쪽
보조정리 4.3	이차형식의 공분산	2		23쪽
정리 4.4	Craig의 정리 (1943)	3		24쪽
정리 4.5	Cochran의 정리 (1934)	3	3	25쪽
예제 4.6	Student의 정리는 Cochran의 정리다			26쪽
정리 4.7	정규 선형모형의 표본분포	2	2	26쪽
따름정리 4.8	계수의 $t$ , 신뢰구간, 예측구간	3	1	26쪽
정리 4.9	일반선형가설	6	8	27쪽
예제 4.10	두 특별한 경우	2		28쪽
정리 5.1	모집단의 최소제곱	2	1	30쪽
예제 5.2	Galton의 928명			31쪽
정리 5.3	Frisch–Waugh–Lovell	4	2	32쪽
따름정리 5.4	계수의 분산과 분산팽창계수	2		33쪽
예제 5.5	Galton의 가족 자료			33쪽
명제 5.6	누락변수의 치우침	2	2	33쪽
알고리즘 6.1	회귀 요약표	1		35쪽
예제 6.2	Galton의 요약표			35쪽
예제 6.3	Mayer의 $\theta$ 는 정해지지 않았다			36쪽
예제 6.4	토성의 요약표			37쪽
명제 7.1	이분산 아래의 최소제곱	1		38쪽
예제 7.2	분산이 $x^2$ 에 비례할 때	1		39쪽
명제 7.3	한 점을 빼고 다시 맞추기	3		39쪽
예제 7.4	Anscombe의 네 자료 (1973)			40쪽
예제 7.5	VIF 344			40쪽
예제 7.6	Berkeley 대학원 입학 (1973)			41쪽
정리 8.1	최소제곱의 경사하강		1	43쪽
예제 8.2	Galton을 경사하강으로			43쪽
정리 8.3	경사하강은 최소노름 해로 간다	1		44쪽
정의 8.4	Ridge 추정량	1	2	44쪽
명제 8.5	ridge는 방향마다 줄인다	2		45쪽
정리 8.6	Hoerl–Kennard (1970)	1	1	45쪽
예제 8.7	공선성 자료의 ridge			45쪽