E2 · 제곱합을 비교하면 왜 카이제곱과 F가 나오는가#
1. 직선을 추가하여 줄인 오차를 어떻게 평가할까#
E1의 활동량 \(t=(0,1,2,3)^T\), 산출량 \(y=(1,2,2,5)^T\)를 다시 사용합니다. 단위와 자료의 의미도 같습니다. 절편만 사용한 잔차제곱합은 9, 절편과 기울기를 사용한 잔차제곱합은 \(9/5\)였습니다. 줄어든 오차 \(36/5\)가 단순한 잡음 적합인지 판단하려면 자료가 반복될 때 이 양이 어떻게 달라지는지 알아야 합니다.
이제 고정 설계 \(X=[\mathbf1,t]\)에 다음 확률 가정을 추가합니다.
정확한 유한표본 분포는 이 정규성과 구형 공분산에 의존합니다. 앞 장의 사영 항등식은 이 가정 없이도 참이지만, 지금부터의 카이제곱·F 분포는 그렇지 않습니다.
정규직교 방향을
로 잡으면 절편 방향 좌표는 \(q_0^Ty=5\), 기울기 방향 좌표는 \(q_1^Ty=12/\sqrt{20}=6/\sqrt5\)입니다. 따라서
각 항은 상수공간, 중심화한 활동 방향, 나머지 잔차공간의 제곱길이입니다. 차원은 각각 \(1,1,2\)입니다. 상수 평균을 제거하면 첫 항 25가 빠지고 총제곱합 9만 남습니다.
그림 134 막대 높이는 산출 단위의 제곱이며 각 공간의 차원을 함께 표시했다. 관측한 길이와 차원은 다른 양이다. 분포의 자유도는 차원으로 정해지고 실제 통계량 값은 관측 자료로 정해진다.#
2. 표준정규를 회전하면 제곱합의 분포가 보인다#
독립 표준정규 \(Z_1,\ldots,Z_r\)의 제곱합을 자유도 \(r\)의 \(\chi_r^2\)라 정의합니다. \(r=0\)이면 0에 집중한 분포입니다. 표준정규벡터는 직교변환 뒤에도 표준정규이므로, 계수 \(r\)인 직교사영 \(P=QQ^T\)에
여기서 \(Q\)의 열은 사영공간의 정규직교 기저입니다. 역으로 실 대칭 \(A\)에 \(Z^TAZ\sim\chi_r^2\)이면 \(A\)는 반드시 계수 \(r\)의 직교사영입니다. 대각합이 정수라는 조건만으로는 부족합니다.
예컨대 \(A=\operatorname{diag}(2,0)\)이면 평균은 2이지만 분포는 \(2Z_1^2\)입니다. \(\chi_2^2\)와 평균은 같고 분산은 각각 8과 4로 다릅니다. 일반 대칭행렬은 고유기저로 옮기면 \(\sum_i\lambda_iZ_i^2\)입니다. 고윳값이 모두 0 또는 1일 때만 표준 카이제곱입니다.
그림 135 두 곡선의 평균은 2로 같지만 분산은 4와 8이다. 밀도는 양의 구간에서 그렸으며 \(2\chi_1^2\)의 밀도는 0 근처에서 발산한다. 유한 표시 높이만으로 그 발산을 표현하지 않는다.#
3. 공분산이 특이하면 실제로 변하는 공간만 검사한다#
\(u\sim N(0,\Sigma)\)이고 \(\Sigma=CC^T\)에서 \(C\)가 완전 열계수 \(r\)이면 \(u=CZ\), \(Z\sim N(0,I_r)\)입니다. 따라서
정확한 판정 대상은 \(B=C^TAC\)입니다. \(B^2=B\), \(\operatorname{rank}B=q\)일 때에만 \(\chi_q^2\)가 됩니다. \(\Sigma\succ0\)이면 이 조건은 \(A\Sigma A=A\) 또는 \((A\Sigma)^2=A\Sigma\)와 동치입니다. 그러나 특이 공분산에서는 원래 공간의 그 조건이 필요하지 않습니다.
반례로 \(\Sigma=\operatorname{diag}(1,0)\), \(A=\operatorname{diag}(1,7)\)을 잡으면 \(u=(Z,0)^T\)여서 \(u^TAu=Z^2\sim\chi_1^2\)입니다. 하지만 \(A\Sigma A=\operatorname{diag}(1,0)\ne A\). 움직이지 않는 둘째 성분의 7은 분포에 영향을 주지 않습니다. 일반 공분산의 원좌표 조건은
입니다. \(A\)가 대칭이 아니면 먼저 \((A+A^T)/2\)로 바꿔야 합니다. 반대칭 부분은 이차형식에 기여하지 않습니다.
4. 두 제곱합이 독립인 이유는 무엇인가#
표준정규에서 대칭 \(A,B\)에 대해 \(Z^TAZ\)와 \(Z^TBZ\)가 독립일 필요충분조건은 \(AB=0\)입니다. 이를 중심 정규형의 Craig 정리라 합니다. 사영의 경우 두 상이 서로 직교한다는 뜻입니다. 충분성은 두 제곱합을 서로 다른 정규 좌표 블록의 함수로 쓰면 보입니다. 필요성도 마지막 절에서 적률생성함수의 혼합항으로 증명합니다.
특히 \(P\)와 \(M=I-P\)의 곱은 0이므로 적합 오차와 잔차의 제곱합이 독립입니다. 선형 통계량 \(a^TZ\)와 사영 제곱합 \(Z^TPZ\)도 \(Pa=0\)이면 서로 다른 좌표 블록에 의존하여 독립입니다. 비정규 오차에서는 직교와 무상관만으로 독립을 얻지 못합니다.
여러 대칭행렬 \(A_j\)가 \(\sum_jA_j=I\)와 \(\sum_j\operatorname{rank}A_j=n\)을 만족하면 각 \(A_j\)는 서로 직교하는 사영입니다. 따라서 표준정규의 전체 제곱합이 독립 카이제곱들로 나뉩니다. 이것이 이 장에서 사용하는 Cochran 정리입니다. 제곱합 분해의 각 행은 부분공간과 그 차원으로 읽을 수 있습니다.
일반 \(u=CZ\)에서는 독립성 조건이 \((C^TAC)(C^TBC)=0\)입니다. 특이 \(\Sigma\)에 무조건 \(A\Sigma B=0\)을 필요조건으로 쓰지 않습니다. 정확한 원좌표 조건은 \(\Sigma A\Sigma B\Sigma=0\)입니다.
5. 0이 아닌 제약은 아핀공간이다#
완전 열계수 \(X\)에 \(R\beta=r\)라는 독립 제약 \(q\)개를 부과합시다. \(S=X^TX\), \(C=RS^{-1}R^T\succ0\)라 놓으면
이 식은 계수공간의 \(S\)-내적 사영입니다. 적합값 \(X\widehat\beta_R\)는 관측공간의 아핀집합 \(\{X\beta:R\beta=r\}\) 위 유클리드 사영입니다. 두 공간과 내적을 섞지 않습니다.
기울기를 \(b_0\)로 고정하면 가장 좋은 절편은 \(\bar y-b_0\bar t\)입니다. 따라서 \(D=5(6/5-b_0)^2\)입니다. \(b_0=0\)에서는 \(36/5\), \(b_0=1\)에서는 \(1/5\)입니다. 후자는 원점을 지나는 제한공간이 아닙니다.
제약을 만족하는 \(\beta_0\) 하나를 잡아 \(y_0=X\beta_0\)라 하면, 제한된 변화공간은 \(T_R=X\ker R\)입니다. \(P_R\)을 이 선형공간의 사영이라 정의하면
\(r\ne0\)인데 \(y_0\)를 빼지 않고 \(\|(P_X-P_R)y\|^2\)라고 쓰면 일반적으로 틀립니다.
6. 두 독립 길이의 비가 F 통계량이다#
귀무가설 \(R\beta=r\) 아래에서 분자의 아핀 이동 후 평균은 제약 변화공간에 놓입니다. 그러므로
이며 두 양은 독립입니다. \(n>k\), \(q>0\)일 때
라고 정의한 비의 분포를 얻습니다. 처음 자료의 기울기 0 검정은 \(q=1\), \(n-k=2\)라 \(F=(36/5)/(9/10)=8\). 이 작은 표본에서 정확 꼬리확률은 약 0.1056입니다. 표본 내 설명력이 \(R^2=0.8\)이라는 사실만으로 작은 p값을 보장할 수는 없습니다.
이번 자유도 \((1,2)\)의 꼬리는 직접 유도할 수도 있습니다. 독립 \(Z\sim N(0,1)\), \(V\sim\chi_2^2\)에 \(F=Z^2/(V/2)\)입니다. 두 표준정규의 밀도를 극좌표로 적분하면 \(P(V>v)=e^{-v/2}\), \(v\ge0\)입니다. 그러므로 \(x>0\)에서
가운데 등식은 표준정규 밀도의 지수에 \(-Z^2/x\)를 합친 Gaussian 적분입니다. \(x=8\)을 대입하면 앞의 꼬리확률을 얻으며, 코드는 불완전 베타함수의 계산과도 대조합니다.
대립가설에서는 분자에 평균 성분이 남습니다. 비중심성은
같은 계수 차이라도 설계가 그 방향을 거의 관측하지 못하면 \(\delta\)가 작아집니다. 기울기 예에서는 \(\delta=5(b-b_0)^2/\sigma^2\)입니다. 효과의 숫자만이 아니라 활동량 변동과 잡음도 검정력에 관여합니다.
import numpy as np
import scipy.linalg as la
from scipy.special import betainc
t=np.arange(4.);y=np.array([1.,2.,2.,5.])
X=np.column_stack([np.ones(4),t]);S=X.T@X
b=la.lstsq(X,y)[0];e=y-X@b;ssu=e@e
for b0 in [0.,1.]:
R=np.array([[0.,1.]]);r=np.array([b0])
W=la.solve(S,R.T,assume_a='pos');C=R@W
br=b-W@la.solve(C,R@b-r,assume_a='pos')
ssr=la.norm(y-X@br)**2
D=float((R@b-r)@la.solve(C,R@b-r))
assert np.isclose(ssr-ssu,D) and np.allclose(R@br,r)
assert np.isclose(D,5*(1.2-b0)**2)
F=(9-ssu)/(ssu/2)
assert np.isclose(F,8.)
pvalue=betainc(1.,.5,2/(2+F))
assert np.isclose(pvalue,1-np.sqrt(F/(F+2)))
print('기울기 0의 F와 정확 꼬리확률:',F,pvalue)
기울기 0의 F와 정확 꼬리확률: 8.000000000000002 0.1055728090000841
7. Wald·LM·LR은 언제 같고 언제 다른가#
정규 선형모형에서 \(\sigma^2\)를 알고 있고 선형 등식제약을 검사하면 세 통계량은 모두 \(D/\sigma^2\)입니다. 우도가 정확한 이차식이고 제약이 아핀이기 때문입니다. 그러나 \(\sigma^2\)도 추정하면 유한표본에서 서로 달라집니다. 최대우도 분산을 사용한 판본은
처음 자료에서는 \(W=16\), \(LM=16/5\), \(LR=4\log5\)입니다. 불편 분산을 사용한 \(qF=8\)과도 구별해야 합니다. 일반 정칙모형의 점근적 동치는 별도 극한 결과이며, 이 유한표본 숫자들을 같다고 바꾸지 않습니다.
비선형 제약을 표현하는 방법도 Wald를 바꿀 수 있습니다. \(\widehat\theta=(2,1)\), 추정 공분산 \(V=I_2\)를 가정합시다. \(h_1(\theta)=\theta_1-\theta_2=0\)의 Wald는 \(1/(1^2+(-1)^2)=1/2\)입니다.
\(\theta_2\ne0\)인 모수영역에서 같은 제약을 \(h_2(\theta)=\theta_1/\theta_2-1=0\)으로 쓰면 추정점의 기울기는 \((1,-2)\)이고 Wald는 \(1/5\)입니다. 접선 근사를 평가하는 위치와 크기가 달라졌기 때문입니다. LR은 같은 제한집합과 같은 우도를 최대화하므로 제약 표현에 의존하지 않습니다. 가역 선형 재표현 \(Rh=0\)에서는 Wald의 공분산도 함께 변환되어 정확히 불변입니다.
8. 일반 가중 제곱합의 꼬리확률#
\(Q=\sum_{i=1}^m\lambda_iZ_i^2\), \(\lambda_i>0\)의 평균과 분산은 \(\sum\lambda_i\), \(2\sum\lambda_i^2\)입니다. 평균을 맞춘 카이제곱 하나로 정확히 바뀌지는 않습니다. 특성함수는
연속 분포의 특성함수 역변환 공식을 외부 해석학 전제로 사용하면
이는 Imhof 방식의 수치 적분으로 이어집니다. Davies 알고리즘은 다른 오차 제어 방식이며 여기서 범용 구현을 제공한 것으로 간주하지 않습니다. 수치 적분의 출력도 유한 허용오차의 근사입니다.
검증 가능한 예로 \(\lambda=(1,1,2,2)\)를 택합니다. 두 제곱씩 묶으면 평균 2와 4인 독립 지수변수의 합입니다. 합성곱을 적분하면
이 폐형식과 수치 적분을 대조합니다. 적분을 \(T\)에서 자르면 \(|\phi_Q(t)|\le Ct^{-m/2}\), \(C=\prod_i(2\lambda_i)^{-1/2}\)라서 꼬리 오차는 \(C/[\pi(m/2)T^{m/2}]\) 이하입니다. 적분기의 추정 오차와 이 절단 상한은 다른 양입니다.
from scipy.integrate import quad
weights=np.array([1.,1.,2.,2.]);threshold=8.;T=200.
def integrand(t):
if t==0:return weights.sum()-threshold
phase=.5*np.arctan(2*t*weights).sum()-threshold*t
amplitude=np.prod((1+(2*t*weights)**2)**(-.25))
return amplitude*np.sin(phase)/t
value,quad_error=quad(integrand,0,T,epsabs=1e-9,limit=2000)
tail=.5+value/np.pi
bound=np.prod((2*weights)**(-.5))/(np.pi*(len(weights)/2)*T**(len(weights)/2))
exact=2*np.exp(-threshold/4)-np.exp(-threshold/2)
assert abs(tail-exact)<bound+10*quad_error/np.pi+1e-10
print('가중 제곱합 꼬리: 수치·폐형식·절단상한',tail,exact,bound)
가중 제곱합 꼬리: 수치·폐형식·절단상한 0.25235492795555803 0.25235492758449124 4.97359197162173e-07
적분 호출과 오차 반환값은 SciPy의 quad 문서를 따릅니다. 몬테카를로 비율과 소수 네 자리까지 반드시 일치하라고 요구하지 않습니다. 표본 비율에는 별도의 표준오차 \(\sqrt{p(1-p)/N}\)가 있기 때문입니다.
그림 136 평균은 두 분포에서 모두 6이다. 세로축은 꼬리확률의 로그이며 같은 평균을 맞춰도 큰 값의 확률은 다르다. 가중합 곡선은 본문의 폐형식으로 그렸다.#
9. 특이 공분산에서 역행렬만 바꾸면 충분할까#
\(d\sim N(0,V)\), \(\operatorname{rank}V=r\)이면 \(d^TV^+d\sim\chi_r^2\)입니다. 양의 고윳값 방향에서만 표준화하므로 자유도는 벡터 길이가 아닌 \(r\)입니다. 예컨대 \(d=(Z,2Z)^T\)이면 \(V=\begin{pmatrix}1&2\\2&4\end{pmatrix}\), \(V^+=V/25\)이고 통계량은 \(Z^2\)입니다.
그러나 불가능한 차이 \(d=(1,0)^T\)를 같은 식에 넣으면 \(1/25\)라는 작은 값이 나옵니다. 이 벡터는 \(\operatorname{ran}V\)에 없는데 유사역이 불가능한 방향을 버렸기 때문입니다. 확률모형이 강제하는 지지 조건도 검사해야 합니다. 추정 공분산이 작은 클러스터 수 때문에 특이해진 경우는, 알려진 정규벡터의 구조적 특이성과도 다릅니다. E3에서 그 차이를 다룹니다.
10. 연습과 전체 풀이#
1. \(A=I_3-J_3/3\)의 제곱합 분포를 구하세요.
풀이. \(J_3^2=3J_3\)이므로 \(A^2=A\), 대각합은 2입니다. \(Z^TAZ=\sum(Z_i-\bar Z)^2=2s^2\sim\chi_2^2\). 상수 방향 하나를 제거한 공간의 차원이 2입니다.
2. \(A=\operatorname{diag}(1/2,3/2)\)이면 \(Z^TAZ\)가 \(\chi_2^2\)인가요?
풀이. 평균은 2이지만 분산은 \(2(1/4+9/4)=5\)이고 카이제곱의 분산 4와 다릅니다. 고윳값도 0·1이 아니어서 아닙니다.
3. 처음 자료에서 기울기 1을 검정하는 F값을 구하세요.
풀이. \(D=5(6/5-1)^2=1/5\), 분모는 \(9/10\)이므로 \(F=2/9\). 제한 절편은 \(5/2-3/2=1\)이며 잔차제곱합은 2입니다.
4. 특이 \(\Sigma=\operatorname{diag}(1,0)\)에서 \(A=\operatorname{diag}(1,7)\)의 잘못된 판정식을 찾아보세요.
풀이. \(A\Sigma A=A\)는 실패하지만 지지 좌표의 \(C^TAC=1\)은 멱등입니다. 분포는 \(\chi_1^2\). 필요충분 판정은 실제 변하는 공간에서 해야 합니다.
5. 두 설명변수의 순차 제곱합이 순서에 따라 달라지는 이유는 무엇인가요?
풀이. 첫 변수 공간과 두 번째 변수 공간이 직교하지 않으면 두 번째에는 첫 변수로 설명한 성분을 뺀 나머지만 들어갑니다. 순서를 바꾸면 각 추가공간이 달라집니다. 최종 열공간과 전체 잔차는 같지만 각 항의 배분은 달라집니다. 변수군을 다른 모든 변수에 조건부로 검정하는 제곱합은 순차 분해와 다른 비교입니다.
6. \(d=(Z,2Z)\)의 공분산 계수와 올바른 자유도를 구하세요.
풀이. 공분산은 \(vv^T\), \(v=(1,2)\)이므로 계수 1입니다. \(V^+=vv^T/25\), \(d^TV^+d=Z^2\)이므로 자유도는 1입니다. 제약식이 두 행이라는 이유로 2를 사용하지 않습니다.
7. \(W=16\), \(LM=16/5\), \(LR=4\log5\)가 다른 것이 모순인가요?
풀이. 아닙니다. 분산을 각 위치에서 최대우도로 추정한 유한표본 통계량입니다. 같은 제한집합을 측정하지만 서로 다른 분모·로그 변환을 사용합니다. 정확히 같은 판본은 분산을 아는 정규 선형모형입니다.
8. 꼬리확률 약 \(1/4\)를 10,000회 모의실험으로 구하면 표준오차는 어느 정도인가요?
풀이. \(\sqrt{(.25)(.75)/10000}\approx.00433\). 수치 적분과 소수 네 자리 일치를 강제하는 것은 이 변동을 무시합니다. 적분 오차와 몬테카를로 오차를 따로 보고해야 합니다.
11. 지금까지의 내용을 수학의 언어로 정리해 봅시다#
이 절은 중심 Gaussian 이차형식의 필요충분조건까지 증명합니다. 일반 비중심 Craig 정리나 특성함수 역변환의 해석학 전체를 증명했다고 주장하지 않습니다.
정리 1. 카이제곱 판정과 공분산의 지지#
\(Z\sim N(0,I)\), \(A=A^T\)이면 \(Z^TAZ\sim\chi_q^2\)일 필요충분조건은 \(A^2=A\), \(\operatorname{rank}A=q\)입니다. 일반 \(u=CZ\)에서는 \(C^TAC\)에 이 조건을 적용합니다.
증명. 직교대각화와 Gaussian 회전불변성으로 이차형식은 \(\sum\lambda_iZ_i^2\)입니다. 고윳값이 0·1이면 결론을 얻습니다. 역으로 충분히 작은 실수 \(t\)에서 Gaussian 적분을 계산하면 적률생성함수는 \(\prod_i(1-2t\lambda_i)^{-1/2}\)입니다. 이것이 \((1-2t)^{-q/2}\)와 같으므로 제곱 후 역수를 취하여 다항식 항등식
을 얻습니다. 0이 아닌 \(\lambda_i\)마다 왼쪽의 근은 \(1/(2\lambda_i)\)인데 오른쪽에는 \(1/2\)만 있고 그 중복도가 \(q\)입니다. 따라서 0 아닌 고윳값은 정확히 \(q\)개이며 모두 1입니다. 일반 \(u=CZ\)는 대입으로 환원됩니다. \(C\)가 완전 열계수라 \(C(B^2-B)C^T=0\)과 \(B^2=B\)가 동치이며 이를 전개하면 \(\Sigma A\Sigma A\Sigma=\Sigma A\Sigma\)입니다. 대각합의 순환성으로 \(\operatorname{tr}B=\operatorname{tr}(A\Sigma)\). ∎
정리 2. 중심 Gaussian의 Craig 정리#
실 대칭 \(A,B\)에 두 이차형식 \(Z^TAZ,Z^TBZ\)가 독립일 필요충분조건은 \(AB=0\)입니다.
증명. \(AB=0\)이면 전치하여 \(BA=0\). 두 상이 직교하고 각 형식은 자신의 상 좌표에만 의존합니다. 정규직교 기저를 두 상과 공통 핵에 맞추면 서로 다른 독립 정규 좌표들의 함수가 되어 독립입니다.
역으로 독립이면 결합 적률생성함수의 로그가 \(s\)만의 함수와 \(t\)만의 함수의 합입니다. \(2\|sA+tB\|<1\)인 근방에서 대각화와 \(-\log(1-x)=\sum_{j\ge1}x^j/j\)로
절대수렴하는 급수라 계수를 비교할 수 있습니다. \(s^2t^2\)의 계수에는 \(j=4\)만 기여합니다. 네 단어 AABB, ABBA, BAAB, BBAA는 순환 대각합으로 \(c=\operatorname{tr}(A^2B^2)=\|AB\|_F^2\)를 주고, ABAB, BABA는 \(d=\operatorname{tr}(ABAB)\)를 줍니다. 따라서 계수는 \(2(4c+2d)\)이고 독립성에서 0입니다. 그런데
따라서 \(4c+2d\ge2c\ge0\)이고 0이려면 \(c=0\), 곧 \(AB=0\)입니다. 일반 중심 \(u=CZ\)는 두 축소행렬에 적용하며 원좌표에서는 \(\Sigma A\Sigma B\Sigma=0\)과 동치입니다. ∎
정리 3. Cochran의 직교분해#
대칭 \(A_j\)에 \(\sum A_j=I\), \(\sum\operatorname{rank}A_j=n\)이면 각 \(A_j\)는 서로 직교하는 사영입니다. 표준정규에 대한 이차형식들은 서로 독립이고 자유도가 각 계수인 카이제곱입니다.
증명. 모든 벡터 \(v=\sum A_jv\)이므로 상들의 합이 전체 공간입니다. 차원 합이 정확히 \(n\)이라 이 합은 직합입니다. \(v\in\operatorname{ran}A_i\)이면 \(v\)를 상들로 분해하는 한 방법은 \(i\)번째만 \(v\), 나머지는 0으로 두는 것입니다. 또 다른 방법은 \(\sum A_jv\)입니다. 유일성에서 \(A_iv=v\), \(A_jv=0\) (\(j\ne i\))를 얻습니다. 따라서 멱등성과 서로 곱이 0이라는 결론이 나옵니다. 대칭성이 있어 직교사영입니다. 각 공간의 정규직교 기저를 합치면 독립 좌표 블록으로 나뉘므로 상호 독립성과 분포가 따릅니다. ∎
정리 4. 제약 최소제곱과 정확 F 분포#
5절의 제약 해·제곱합 증가 공식과 6절의 중심·비중심 분포가 성립합니다.
증명. 무제약 잔차는 \(\operatorname{col}X\)에 직교하므로
제약 \(R\beta=r\)에 승수 \(\lambda\)를 붙이면 \(S(\beta-\widehat\beta)+R^T\lambda=0\). 제약에 대입하여 \(C\lambda=R\widehat\beta-r\)이고 \(R\)의 완전 행계수와 \(S\succ0\)로 \(C\succ0\)입니다. 따라서 제시한 해가 존재·유일하며, 그 보정의 \(S\)-제곱노름이 \(D\) 공식입니다.
한 허용점 \(y_0\)를 빼면 제한 집합이 \(X\ker R\)로 바뀝니다. 그 차원은 \(k-q\)이고 전체 열공간과의 차이 공간은 차원 \(q\). 제한 적합은 \(y_0+P_R(y-y_0)\), 무제약 적합은 \(y_0+P_X(y-y_0)\)입니다. 두 잔차의 직교분해로 \(D=\|(P_X-P_R)(y-y_0)\|^2\)를 얻습니다. 차이 사영과 \(I-P_X\)의 상이 직교하므로 Gaussian 좌표가 독립입니다. 귀무 아래 분자 평균은 0이어서 자유도 \(q\), 분모는 \(n-k\)입니다. 대립 아래 분자 좌표의 평균 제곱노름이 \(\delta\)이며 분모 평균은 여전히 0입니다. 비중심 카이제곱을 이 평균 이동 정규 제곱합으로 정의하면 모든 분포식이 따릅니다. ∎
정리 5. 정규 선형모형의 세 검정과 특이 Wald#
증명. 알려진 분산에서 로그우도 차이의 두 배는 \(D/\sigma^2\). Wald는 \(R\widehat\beta-r\)의 공분산 \(\sigma^2C\)로 표준화하여 같은 값입니다. 제한점 점수는 \(X^T(y-X\widehat\beta_R)/\sigma^2=S(\widehat\beta-\widehat\beta_R)/\sigma^2\)이고 정보 역행렬은 \(\sigma^2S^{-1}\)이어서 LM도 같습니다.
분산이 미지이면 최대화 값은 \(\widehat\sigma_U^2=\mathrm{SSE}_U/n\), \(\widehat\sigma_R^2=\mathrm{SSE}_R/n\). Wald에는 전자, 제한점 LM에는 후자를 대입합니다. 정규모형에서 계수와 분산의 기대정보 교차블록은 0이고 제한 분산의 점수도 0이라 이 LM 계산이 성립합니다. 집중 로그우도는 상수를 제외하고 \(-(n/2)\log(\mathrm{SSE}/n)\)이므로 LR 공식도 얻습니다.
마지막으로 \(V=U_r\Lambda_rU_r^T\)이면 \(d=U_r\Lambda_r^{1/2}Z\)로 쓸 수 있습니다. \(V^+=U_r\Lambda_r^{-1}U_r^T\)를 대입하면 \(d^TV^+d=Z^TZ\). \(\operatorname{ran}V\) 밖의 성분은 유사역에 의해 0으로 보내지므로 지지 밖 입력에는 이 확률적 해석을 적용하지 않습니다. ∎
관측된 비교 |
분포를 결정하는 구조 |
|---|---|
설명변수 추가로 줄인 오차 |
추가 부분공간의 사영 길이 |
잡음 분산으로 표준화한 제곱합 |
Gaussian 좌표의 제곱합 |
분자와 분모의 독립 |
서로 직교하는 상 |
0이 아닌 제약 |
허용점에서 평행이동한 아핀 사영 |
특이 공분산의 자유도 |
실제 지지공간의 차원 |
검정의 분포는 사영의 차원만으로 정해지지 않고 오차의 분포 가정에도 의존합니다. 다음 장에서는 오차 공분산이 항등행렬의 배수가 아닐 때 내적과 추론을 어떻게 바꾸는지 봅니다. E3로 이어 읽기.