수리통계학

테마

11회 · 충분성 · 노트

0 들어가며 ​

여는 질문. 관측의 흩어짐을 재는 방법은 둘이다. 평균에서 벗어난 거리의 평균(평균편차)과, 제곱의 평균의 제곱근(표준편차)이다. 천문학자 Eddington은 평균편차가 낫다고 했고, 젊은 Fisher는 표준편차가 낫다고 했다. 누가 옳았나?

1914년 Arthur Eddington은 별의 운동에 관한 책에서 관측 오차의 크기를 “평균편차”로 재라고 권했다. 계산이 쉽고 큰 오차에 덜 휘둘린다는 이유였다. Rothamsted 농업시험장에 막 자리를 잡은 Ronald Fisher는 1920년 왕립천문학회 월보에 반론을 실었다. 오차가 정규분포를 따르면 같은 정밀도를 얻는 데 평균편차는 표준편차보다 관측이 14% 더 필요하다(1/0.8761/0.876). 그런데 Fisher는 그 계산에서 더 놀라운 것을 보았다. 표준편차를 알고 나면, 다른 어떤 통계량도 σ\sigma에 대해 더 알려 주는 것이 없었다. 표준편차의 값이 주어지면 자료의 나머지 모양은 σ\sigma와 무관하게 분포했다. 1922년 그는 이 성질을 충분성이라 불렀다.

이 노트는 그 성질을 정리한다. 충분통계량을 정의하고, 그것을 알아보는 인수분해 정리를 증명한다(1절). 3회의 전분산 공식 한 줄로 “충분통계량에 조건을 걸면 불편추정량이 좋아진다”는 Rao–Blackwell 정리를 얻는다(2절). 완비성을 더하면 가장 좋은 불편추정량(UMVUE)을 찾는 방법이 되고, 8회의 독일 전차 추정량이 왜 최선인지 증명된다(3절). 4절은 이 모든 것이 깨끗하게 성립하는 모형인 지수족을 다루고, 9회의 Cramér–Rao 한계에 닿는 모형이 지수족뿐임을 보인다. 5절은 Basu의 정리로 6회의 Xˉ⊥S2\bar X\perp S^2를 다시 증명한다. 6절은 Newcomb의 빛의 속도 자료와 기병대에 쓰고, 7절에서는 Eddington이 이기는 곳(오염된 정규)과 터무니없는 UMVUE를 본다. 8절은 같은 생각이 Monte Carlo의 분산 줄이기와 신경망의 softmax에 있음을 본다.

학습 목표 ​

  1. 1.

    충분통계량을 정의하고 인수분해 정리로 찾으며, 충분통계량이 Fisher 정보를 보존함을 보인다.

  2. 2.

    Rao–Blackwell 정리를 전분산 공식으로 증명하고, e−λe^{-\lambda}와 독일 전차에서 분산이 줄어드는 것을 계산한다.

  3. 3.

    완비성과 Lehmann–Scheffé 정리로 UMVUE를 구하고, UMVUE의 한계(평균제곱오차, 터무니없는 예)를 안다.

  4. 4.

    지수족의 로그분배함수로 평균·분산·정보를 구하고, Cramér–Rao의 등호가 지수족에서만 성립함을 증명한다.

  5. 5.

    Basu의 정리를 증명하고 정규 표본에서 Xˉ⊥S2\bar X\perp S^2를 다시 얻는다.

그림 0.1. 이번 회차 정리들의 의존 관계. 화살표는 “증명에 쓰인다”는 뜻이다.
그림 0.1 이번 회차 정리들의 의존 관계. 화살표는 “증명에 쓰인다”는 뜻이다.

0.1 1–10회에서 가져오는 것 ​

앞 회차내용
3회 정리 2.5 · 2.6반복기댓값 E[E(Y∣X)]=EYE[E(Y\mid X)]=EY, 전분산 공식 Var⁡Y=Var⁡E(Y∣X)+EVar⁡(Y∣X)\Var Y=\Var E(Y\mid X)+E\Var(Y\mid X)
4회 정리 2.4 · 3.7Poisson의 합은 Poisson, 감마의 mgf
6회 정리 2.2Student 정리: 정규 표본에서 Xˉ⊥S2\bar X\perp S^2, (n−1)S2/σ2∼χ2(n−1)(n-1)S^2/\sigma^2\sim\chi^2(n-1)
8회 정리 1.6독일 전차: N^=k+1kM−1\hat N=\tfrac{k+1}kM-1은 불편
9회 정리 2.2 · 2.4Fisher 정보의 두 표현, Cramér–Rao 부등식과 그 등호 조건

0.2 표기 ​

X=(X1,…,Xn)\X=(X_1,\dots,X_n)은 밀도(또는 확률질량함수) f(x;θ)f(\x;\theta)를 갖는 표본이고, θ∈Ω\theta\in\Omega는 실수이거나 벡터다. 통계량 T=T(X)T=T(\X)는 θ\theta를 포함하지 않는 자료의 함수다. “τ(θ)\tau(\theta)의 불편추정량”은 모든 θ\theta에서 EθW=τ(θ)E_\theta W=\tau(\theta)인 통계량 WW다. 조건부기댓값 E(W∣T)E(W\mid T)는 3회 2절의 뜻이다.

이 절을 PDF로 보기 (1쪽)노트북 0절
이 회차에서 읽은 절 0개 · 회차 차례