수리통계학

테마

13회 · 최소제곱 · 노트

6 원자료로 — 회귀 요약표의 모든 숫자 ​

통계 소프트웨어의 회귀 요약표에는 숫자가 스무 개쯤 있다. 이 절은 그 숫자들이 모두 1–4절의 정리에서 나온다는 것을 보이고, 18세기의 세 문제를 그 표로 다시 읽는다.

6.1 요약표의 해부 ​

알고리즘 6.1 (회귀 요약표) 입력은 XX (n×pn\times p, 첫 열은 1\one)와 y\y다.

  1. 1.

    알고리즘 2.8로 β^\bhat, e\e, RSS\mathrm{RSS}, (X′X)−1(X\T X)^{-1}을 구한다. s2=RSS/(n−p)s^2=\mathrm{RSS}/(n-p).

  2. 2.

    계수마다 SEj=s[(X′X)−1]jj\mathrm{SE}_j=s\sqrt{[(X\T X)^{-1}]_{jj}}, tj=β^j/SEjt_j=\hat\beta_j/\mathrm{SE}_j, pj=2P(tn−p>∣tj∣)p_j=2P(t_{n-p}>|t_j|), 구간 β^j±tn−p,0.025SEj\hat\beta_j\pm t_{n-p,0.025}\mathrm{SE}_j (따름정리 4.8).

  3. 3.

    R2=1−RSS/TSSR^2=1-\mathrm{RSS}/\mathrm{TSS}, 수정 R2=1−(1−R2)n−1n−pR^2=1-(1-R^2)\tfrac{n-1}{n-p}, F=R2/(p−1)(1−R2)/(n−p)F=\tfrac{R^2/(p-1)}{(1-R^2)/(n-p)}와 그 pp-값 P(F(p−1,n−p)>F)P(F(p-1,n-p)>F) (예제 4.10).

  4. 4.

    로그가능도 ℓ^=−n2(log⁡2π RSSn+1)\hat\ell=-\tfrac n2\bigl(\log\tfrac{2\pi\,\mathrm{RSS}}n+1\bigr) (정리 3.6(a)의 최대값), AIC=−2ℓ^+2p\mathrm{AIC}=-2\hat\ell+2p, BIC=−2ℓ^+plog⁡n\mathrm{BIC}=-2\hat\ell+p\log n.

수정 R2R^2은 R2R^2을 RSS\mathrm{RSS}와 TSS\mathrm{TSS}의 불편추정량의 비로 바꾼 것이다(1−s2/σ^y21-s^2/\hat\sigma_y^2). 변수를 더하면 R2R^2은 줄지 않지만(연습 2.5) 수정 R2R^2은 줄 수 있다. AIC와 BIC에서 모수의 수를 pp로 세는 것은 Python의 statsmodels 관행이다. R의 AIC()는 σ2\sigma^2까지 p+1p+1개로 세어 2만큼 크다. 모형을 비교할 때는 같은 관행끼리 비교하면 된다.

예제 6.2 (Galton의 요약표) 

계수SEttpp95% 구간
상수23.94152.81098.5176.5×10−176.5\times10^{-17}[18.425, 29.458][18.425,\ 29.458]
부모 키0.64630.041115.7111.7×10−491.7\times10^{-49}[0.566, 0.727][0.566,\ 0.727]
n=928n=928, s=2.2385s=2.2385, R2=0.2105R^2=0.2105, 수정 R2=0.2096R^2=0.2096, F=246.84F=246.84 (p=1.7×10−49p=1.7\times10^{-49})
ℓ^=−2063.58\hat\ell=-2063.58, AIC =4131.16=4131.16, BIC =4140.83=4140.83

기울기의 pp-값과 FF의 pp-값이 같은 것은 F=t2F=t^2이기 때문이다(연습 4.4). 부모 키가 72인치인 가족의 자녀 평균 키의 95% 신뢰구간은 70.47±0.3370.47\pm0.33, 그 가족의 자녀 한 명의 95% 예측구간은 70.47±4.4170.47\pm4.41이다(따름정리 4.8). 평균은 0.3인치 안쪽으로 알지만 한 사람은 4인치 넘게 틀릴 수 있다. R2=0.21R^2=0.21이 말하는 것이 이것이다.

6.2 Mayer (1750) — 세 방법의 비교 ​

방법β^\hat\betaα^\hat\alphaθ^\hat\theta∑ei2\sum e_i^2∑∣ei∣\sum|e_i|
최소제곱14∘33.5′14^\circ33.5'1∘30.3′1^\circ30.3'−2∘44.3′-2^\circ44.3'0.56893.220
Mayer의 묶음 평균14∘32.8′14^\circ32.8'1∘29.7′1^\circ29.7'−3∘49.1′-3^\circ49.1'0.5767—
최소절댓값14∘34.1′14^\circ34.1'1∘30.9′1^\circ30.9'−5∘2.8′-5^\circ2.8'—3.066
최소제곱의 SE2.1′2.1'2.5′2.5'1∘56.8′1^\circ56.8's=0.154∘=9.2′s=0.154^\circ=9.2'

예제 6.3 (Mayer의 θ\theta는 정해지지 않았다) 최소제곱의 계수 표에서 γ^=−0.0719\hat\gamma=-0.0719, SE=0.0508\mathrm{SE}=0.0508, t=−1.41t=-1.41, p=0.17p=0.17 (t(24)t(24))이다. γ=αsin⁡θ\gamma=\alpha\sin\theta이므로 “θ=0\theta=0”을 5%에서 기각하지 못한다. θ^=arcsin⁡(γ^/α^)\hat\theta=\arcsin(\hat\gamma/\hat\alpha)의 표준오차를 델타 방법(7회 정리 5.4)으로 구하면 1.95∘1.95^\circ다(연습 6.2). 세 방법의 θ^\hat\theta가 −2.7∘-2.7^\circ에서 −5.0∘-5.0^\circ까지 흩어진 것은 이 불확실성의 크기와 맞는다. 반면 β\beta와 α\alpha는 세 방법이 2분 안쪽에서 일치한다. 관측 하나의 오차 s=9.2′s=9.2'을 27개로 결합해 β\beta를 2.1′2.1'의 정밀도로 정했다. 대략 9.2/27=1.89.2/\sqrt{27}=1.8이다.

결합하지 않고 세 방정식만 골라 풀면 어떻게 되나? 2925가지 선택에서 β^\hat\beta의 중앙값은 14.55∘14.55^\circ로 맞지만, 범위는 −426∘-426^\circ에서 104∘104^\circ까지이고, 최소제곱 해의 1분 안쪽에 드는 것은 5.1%뿐이다. Euler가 두려워한 것은 이런 불안정이었다. 결합은 그것을 없앤다.

최소절댓값 해는 1, 5, 19번 방정식을 정확히 지난다(명제 1.8). 그 해의 절댓값 합 3.066은 최소제곱 해의 3.220보다 작고, 제곱합에서는 반대다. 각 방법은 자기 기준에서 최선이다.

6.3 Laplace의 토성 (1787) ​

목성과 토성의 운동에는 수백 년 주기의 커다란 어긋남이 있었다. Euler가 1749년에 풀지 못한 그 문제다. Laplace는 1785–1787년 두 행성의 공전주기가 거의 5:2의 비라는 데서 그 원인을 찾았고, 1591년부터 1785년까지의 관측 24개로 토성 궤도의 보정값 네 개를 정했다. 방정식은

yi=b0+b1ti+b2xi2+b3xi3+εi(i=1,…,24)y_i=b_0+b_1t_i+b_2x_{i2}+b_3x_{i3}+\varepsilon_i\qquad(i=1,\dots,24)

꼴이다. tit_i는 1750년 무렵을 0으로 잰 시간(년), xi2,xi3x_{i2},x_{i3}는 궤도 위치의 사인과 코사인, yiy_i는 관측과 이론의 차이(각의 분)다. Laplace는 Mayer와 비슷한 결합으로 풀었다.

예제 6.4 (토성의 요약표) 최소제곱 해는 b^0=3.43\hat b_0=3.43 (SE 0.27), b^1=0.0032\hat b_1=0.0032 (0.0040), b^2=0.70\hat b_2=0.70 (0.30), b^3=0.27\hat b_3=0.27 (0.32)이다. 잔차의 표준편차는 s=1.02′s=1.02'이고, 가장 큰 잔차는 1753년의 −1.68′-1.68'이다. 17–18세기 망원경 관측의 오차가 1분 정도였으므로, 잔차가 그 크기라면 이론이 관측을 설명한다는 뜻이다. 요약표의 R2=0.25R^2=0.25, F=2.24F=2.24 (p=0.11p=0.11)는 여기서 별 의미가 없다. yiy_i가 이미 “관측 −- 이론”이어서, 설명할 것이 거의 남지 않은 것이 이 모형의 성공이기 때문이다. R2R^2은 모형의 좋고 나쁨이 아니라 y\y의 변동 가운데 설명된 비율일 뿐이다.

연습문제

연습 6.1 (요약표 읽기 ★) Galton의 요약표에서 기울기의 tt, pp, 95% 구간을 계수와 SE만으로 다시 계산하라(t926,0.025=1.9625t_{926,0.025}=1.9625). 기울기가 1이라는 가설(부모만큼 자란다)의 tt는 얼마인가?

풀이

t=0.6463/0.04114=15.71t=0.6463/0.04114=15.71, p=2P(t926>15.71)=1.7×10−49p=2P(t_{926}>15.71)=1.7\times10^{-49}, 구간 0.6463±1.9625×0.04114=[0.566, 0.727]0.6463\pm1.9625\times0.04114=[0.566,\allowbreak \ 0.727]. 기울기 1의 tt는 (0.6463−1)/0.04114=−8.60(0.6463-1)/0.04114=-8.60이다. 자녀는 부모만큼 평균에서 멀어지지 않는다.

연습 6.2 (θ\theta의 델타 방법 ★★) θ=g(α,γ)=arcsin⁡(γ/α)\theta=g(\alpha,\allowbreak \gamma)=\arcsin(\gamma/\alpha)의 기울기 벡터를 구하고, 다변량 델타 방법(7회 정리 5.4)으로 SE(θ^)≈∇g′ Cov⁡^(α^,γ^) ∇g\mathrm{SE}(\hat\theta)\approx\sqrt{\nabla g\T\,\widehat{\Cov}(\hat\alpha,\hat\gamma)\,\nabla g}를 쓰라. 노트북의 공분산으로 1.95∘1.95^\circ를 확인하라.

풀이

u=γ/αu=\gamma/\alpha라 하면 ∂θ/∂α=−γ/(α21−u2)\partial\theta/\partial\alpha=-\gamma/\bigl(\alpha^2\sqrt{1-u^2}\bigr), ∂θ/∂γ=1/(α1−u2)\partial\theta/\partial\gamma=1/\bigl(\alpha\sqrt{1-u^2}\bigr). α^=1.5058\hat\alpha=1.5058, γ^=−0.0719\hat\gamma=-0.0719에서 ∇g=(0.0318, 0.6649)\nabla g=(0.0318,\ 0.6649) (라디안). 주된 항은 0.6649×0.0508=0.03380.6649\times0.0508=0.0338 라디안 =1.94∘=1.94^\circ이고, 공분산 행렬 전체를 쓰면 1.95∘1.95^\circ이다.

연습 6.3 (로그가능도와 AIC ★) 알고리즘 6.1의 ℓ^\hat\ell 식을 유도하고 Galton의 RSS=4640.27\mathrm{RSS}=4640.27, n=928n=928로 ℓ^\hat\ell, AIC, BIC를 계산하라. R의 관행이면 AIC는 얼마인가?

풀이

정리 3.6(a)의 σ^2=RSS/n\hat\sigma^2=\mathrm{RSS}/n을 로그가능도에 넣으면 −n2log⁡(2πσ^2)−n2-\tfrac n2\log(2\pi\hat\sigma^2)-\tfrac n2이다. RSS/n=5.0003\mathrm{RSS}/n=5.0003이므로 ℓ^=−464 (log⁡31.418+1)=−2063.58\hat\ell=-464\,(\log31.418+1)=-2063.58. AIC =4127.16+4=4131.16=4127.16+4=4131.16, BIC =4127.16+2log⁡928=4140.83=4127.16+2\log928=4140.83. R의 관행이면 AIC =4133.16=4133.16이다.

이 절을 PDF로 보기 (34쪽)노트북 6절
이 회차에서 읽은 절 0개 · 회차 차례