수리통계학

테마

13회 · 최소제곱 · 노트

9 정리와 역사 노트 ​

9.1 한 장 요약 ​

정리내용조건
정규방정식 (2.2)X′Xβ^=X′yX\T X\bhat=X\T\y, S(b)=S(β^)+∥X(b−β^)∥2S(\bb)=S(\bhat)+\|X(\bb-\bhat)\|^2—
hat 행렬 (2.5)HH는 col⁡(X)\col(X) 위로의 사영, tr⁡H=p\tr H=p, y^⊥e\hat\y\perp\erank⁡X=p\rank X=p
적률 (3.2)Eβ^=βE\bhat=\bbeta, Cov⁡β^=σ2(X′X)−1\Cov\bhat=\sigma^2(X\T X)^{-1}, Es2=σ2Es^2=\sigma^2Gauss–Markov 가정
Gauss–Markov (3.3)선형불편추정량 가운데 최소제곱이 최선(BLUE)Gauss–Markov 가정
정규 선형모형 (3.6)최소제곱 = MLE = UMVUE정규 오차
Aitken (3.7)(X′V−1X)−1X′V−1y(X\T V^{-1}X)^{-1}X\T V^{-1}\y가 BLUECov⁡ε=σ2V\Cov\beps=\sigma^2V
χ2\chi^2 판정 (4.1)Z′AZ∼χ2(r)  ⟺  A\Z\T A\Z\sim\chi^2(r)\iff A 멱등, 계수 rrZ∼N(0,I)\Z\sim\N(\bzero,I)
Craig (4.4) · Cochran (4.5)AB=0⇒AB=0\Rightarrow 독립, ∑ri=n  ⟺  \sum r_i=n\iff 독립인 χ2(ri)\chi^2(r_i)Z∼N(0,I)\Z\sim\N(\bzero,I)
표본분포 (4.7, 4.8)β^\bhat 정규, RSS/σ2∼χ2(n−p)\mathrm{RSS}/\sigma^2\sim\chi^2(n-p), 독립, 계수의 tt정규 오차
일반선형가설 (4.9)F=(RSS0−RSS)/qRSS/(n−p)F=\tfrac{(\mathrm{RSS}_0-\mathrm{RSS})/q}{\mathrm{RSS}/(n-p)}, 가능도비 검정정규 오차
최선의 선형예측 (5.1)β∗=(Exx′)−1ExY\bbeta^*=(E\x\x\T)^{-1}E\x Y2차 적률
Frisch–Waugh–Lovell (5.3)편회귀계수 = 잔차끼리의 회귀, VIF=1/(1−Rj2)\mathrm{VIF}=1/(1-R_j^2)—
누락변수 (5.6)Eβ~1=β1+Γβ2E\btil_1=\bbeta_1+\Gamma\bbeta_2—
샌드위치 (7.1) · 한 점 빼기 (7.3)(X′X)−1X′ΣX(X′X)−1(X\T X)^{-1}X\T\Sigma X(X\T X)^{-1}, ei/(1−hii)e_i/(1-h_{ii})—
경사하강 (8.1, 8.3)속도 (1−1/κ)k(1-1/\kappa)^k, 원점에서 출발하면 최소노름 해—
Hoerl–Kennard (8.6)평균제곱오차에서 BLUE를 이기는 ridge가 있다—

최소제곱의 모든 정리는 하나의 그림에서 나왔다. y\y를 평면 col⁡(X)\col(X)에 수직으로 내리는 것이다(그림 2.1). 정규방정식은 “잔차가 평면과 직교한다”, Gauss–Markov는 “다른 추정량은 직교하는 잡음을 더한 것”, Cochran은 “직교하는 평면들 위의 조각은 독립”, FF 검정은 “두 평면 위의 발 사이의 거리”다. 14회의 분산분석은 이 그림에 평면을 더 그린다.

9.2 Stigler의 명명 법칙 ​

이름과 발견

  • 최소제곱: 처음 출판한 사람은 Legendre(1805)다. 미국의 Robert Adrain(1808)도 따로 이르렀다. Gauss의 1795년 주장은 그의 편지와 일기로 뒷받침되지만, 출판으로 세상에 알린 것은 Legendre였다(Stigler 1981).

  • Gauss–Markov 정리: Gauss(1823)의 정리다. Markov(1900)는 그것을 교과서에 옮겼을 뿐인데 Neyman(1934)의 인용으로 이름이 붙었다. Plackett(1949)가 이를 바로잡았다.

  • Cochran의 정리: Fisher(1925)는 분산분석표에서 특수한 경우를 이미 썼다. Cochran(1934)은 그것을 일반 정리로 증명했다.

  • Craig의 정리: Craig(1943)의 필요조건 증명에는 틈이 있었다. Sakamoto(1944), Matusita(1949), Ogawa(1949)가 같은 문제를 다뤘고, 그래서 Craig–Sakamoto 정리라고도 부른다.

  • Frisch–Waugh–Lovell: 편회귀의 생각은 Yule(1907)에 있었다. Frisch와 Waugh(1933)가 시계열의 추세에서, Lovell(1963)이 일반형으로 썼다.

  • Simpson의 역설: Pearson(1899)과 Yule(1903)이 먼저 보았다. Simpson(1951)은 그 정리를 썼다.

  • Ridge: 수치해석에서는 Tikhonov(1943)의 정칙화로 먼저 나왔다.

  • 회귀: Galton의 “평범함으로의 회귀”는 유전의 현상을 가리키는 말이었다. Yule이 그것을 최소제곱 적합과 같은 것으로 만든 뒤, 유전과 무관한 모든 최소제곱 적합이 “회귀”라 불리게 되었다.

9.3 7 Pillars 지도 ​

이번 회차는 첫째 기둥 Aggregation의 완성이다. 3회의 평균에서 시작한 “관측을 결합하면 정보가 는다”는 생각이, Mayer의 묶음과 Legendre의 최소제곱을 거쳐 Gauss–Markov 정리라는 최적성으로 끝났다. 넷째 기둥 Regression도 여기서 칠한다. Galton이 유전에서 본 회귀와 천문학의 최소제곱이 Yule에게서 하나가 되었다. 4절의 FF 검정은 셋째 기둥 Likelihood가 선형모형에서 정확한 분포를 얻은 모습이다.

9.4 다음 회 — 분산분석과 실험설계 (1885 → 1954) ​

이번 회차의 설계행렬 XX는 주어진 것이었다. 천문학자는 달의 위치를 고를 수 없었다. 14회는 XX를 고르는 이야기다. Rothamsted의 Fisher는 비료와 품종을 밭에 어떻게 배치할지를 정해 그 효과를 날씨와 땅의 차이에서 떼어 냈다. 수학은 이번 회차와 같다. 처치의 효과는 사영이고, 분산분석표는 Cochran의 정리다. 새로운 것은 무작위화다. 무작위로 배치하면 XX와 오차가 상관될 길이 끊기고, 7절의 Yule–Simpson 역설이 설계 단계에서 사라진다.

참고문헌 ​

  • Mayer, T. Abhandlung über die Umwälzung des Monds um seine Axe. Kosmographische Nachrichten und Sammlungen auf das Jahr 1748 (1750). · Boscovich, R. J. De litteraria expeditione per pontificiam ditionem. Bononiensi Scientiarum et Artium Instituto Atque Academia Commentarii 4 (1757).

  • Legendre, A.-M. Nouvelles méthodes pour la détermination des orbites des comètes. Paris, 1805. · Gauss, C. F. Theoria Motus Corporum Coelestium. Hamburg, 1809. · Theoria Combinationis Observationum Erroribus Minimis Obnoxiae. Göttingen, 1823.

  • Galton, F. Regression towards mediocrity in hereditary stature. J. Anthropological Institute 15 (1886), 246–263. · Pearson, K., Lee, A. On the laws of inheritance in man. Biometrika 2 (1903), 357–462.

  • Yule, G. U. On the theory of correlation. JRSS 60 (1897), 812–854. · An investigation into the causes of changes in pauperism in England. JRSS 62 (1899), 249–295. · On the theory of correlation for any number of variables. Proc. R. Soc. A 79 (1907), 182–193.

  • Frisch, R., Waugh, F. V. Partial time regressions as compared with individual trends. Econometrica 1 (1933), 387–401. · Lovell, M. C. Seasonal adjustment of economic time series and multiple regression analysis. JASA 58 (1963), 993–1010.

  • Cochran, W. G. The distribution of quadratic forms in a normal system. Proc. Cambridge Phil. Soc. 30 (1934), 178–191. · Craig, A. T. Note on the independence of certain quadratic forms. Ann. Math. Statist. 14 (1943), 195–197. · Driscoll, M. F., Gundberg, W. R. A history of the development of Craig's theorem. American Statistician 40 (1986), 65–70.

  • Aitken, A. C. On least squares and linear combination of observations. Proc. R. Soc. Edinburgh 55 (1935), 42–48. · Plackett, R. L. A historical note on the method of least squares. Biometrika 36 (1949), 458–460.

  • Anscombe, F. J. Graphs in statistical analysis. American Statistician 27 (1973), 17–21. · White, H. A heteroskedasticity-consistent covariance matrix estimator. Econometrica 48 (1980), 817–838. · Bickel, P. J., Hammel, E. A., O'Connell, J. W. Sex bias in graduate admissions. Science 187 (1975), 398–404.

  • Hoerl, A. E., Kennard, R. W. Ridge regression: biased estimation for nonorthogonal problems. Technometrics 12 (1970), 55–67. · Koenker, R., Bassett, G. Regression quantiles. Econometrica 46 (1978), 33–50.

  • Stigler, S. M. Gauss and the invention of least squares. Ann. Statist. 9 (1981), 465–474. · The History of Statistics, 1장. Harvard, 1986. · 자료: HistData Mayer, Saturn, Galton, GaltonFamilies, PearsonLee; datasets anscombe, UCBAdmissions.

이 절을 PDF로 보기 (46쪽)노트북 9절
이 회차에서 읽은 절 0개 · 회차 차례