11회 · 충분성 · 노트

5 보조통계량과 Basu의 정리

역사 Fisher(1925, 1934)는 분포가 모수와 무관한 통계량을 보조(ancillary)통계량이라 불렀다. 그것 자체는 모수에 대해 아무것도 알려 주지 않지만, 추정의 정밀도가 얼마인지는 알려 줄 수 있다. 인도 통계연구소의 D. Basu(1955)는 완비충분통계량과 보조통계량이 언제나 독립이라는 짧은 정리를 증명했다. 이 정리는 많은 독립성 증명을 한 줄로 만들었다.

정의 5.1 (보조통계량) 분포가 $\theta$에 의존하지 않는 통계량 $V(\X)$를 보조통계량이라 한다.

위치모형 $f(x-\theta)$에서 $X_i-X_j$나 $X_i-\bar X$, 척도모형 $f(x/\sigma)/\sigma$에서 $X_i/X_j$나 $X_i/\sum X_j$가 보조통계량이다. 위치나 척도를 바꿔도 이 값들은 변하지 않는다.

정리 5.2 (Basu (1955)) $T$가 완비충분통계량이고 $V$가 보조통계량이면, 모든 $\theta$에서 $T$와 $V$는 독립이다.

증명 전략 사건 $\{V\in B\}$의 조건부확률 $\eta(T)$를 만든다. 그 평균은 모든 $\theta$에서 같은 상수 $p_B$이므로, 완비성으로 $\eta(T)$ 자체가 그 상수다.

1. 집합 $B$를 고정하고 $p_B=P_\theta(V\in B)$라 하자. $p_B$는 $\theta$에 의존하지 않는다.$V$는 보조, 정의 5.1

2. $\eta(T)=P(V\in B\mid T)$는 $\theta$를 포함하지 않는 $T$의 함수다.$T$는 충분, 정의 1.1

3. 모든 $\theta$에서 $E_\theta\bigl[\eta(T)-p_B\bigr]=P_\theta(V\in B)-p_B=0$이다.3회 정리 2.5, 1

4. 따라서 모든 $\theta$에서 $\eta(T)=p_B$ (확률 1)이다.$T$의 완비성, 정의 3.1

5. 임의의 집합 $C$에 대해 다음이 성립하므로 $T$와 $V$는 독립이다.

   $$P_\theta(T\in C,\,V\in B)=E_\theta\bigl[1\{T\in C\}\,\eta(T)\bigr]=p_B\,P_\theta(T\in C) .$$

   반복기댓값, 4

조건 확인 완비성은 평균이 정의된 $g(T)$에 대한 조건이다. $\eta(T)-p_B$는 $-1$과 1 사이에 있으므로 평균이 언제나 정의된다. $B$와 $C$는 확률을 말할 수 있는 모든 집합(1회 7.2절의 Borel 집합)을 움직인다.

예제 5.3 (정규 표본에서 $\bar X\perp S^2$, 다시) $X_i\iid\N(\mu,\sigma^2)$에서 $\sigma^2$을 하나 고정하고 $\mu$만 모수로 보자. 그러면 $\bar X$는 $\mu$의 완비충분통계량이다(정리 4.5, 1-모수 정규). $S^2=\tfrac1{n-1}\sum(X_i-\bar X)^2$은 $X_i-\mu$들만의 함수이므로 분포가 $\mu$에 의존하지 않는다(보조). Basu로 $\bar X\perp S^2$이다. 이것이 모든 $\sigma^2$에서 성립하므로 6회 정리 2.2(b)가 증명되었다. 6회의 Helmert 변환이 직교 행렬의 계산이었다면, 이 증명은 “정보의 구조”에서 나온다. $\bar X$는 $\mu$에 대한 모든 것을 갖고, $S^2$은 $\mu$에 대해 아무것도 갖지 않으니, 둘이 겹칠 수 없다. 정규가 아니면 이 구조가 무너진다. 지수분포 표본에서는 $\bar X$가 크면 $S^2$도 크다(그림 5.1).

그림 5.1 표본 2,000개($n=10$)의 $(\bar X,S^2)$. 왼쪽: 정규 표본에서는 독립이다(Basu). 오른쪽: 지수분포 표본에서는 $\bar X$가 척도의 충분통계량이고 $S^2$은 보조가 아니어서 강하게 상관된다. 이 경우에도 Basu가 쓰이는 것은 $S^2/\bar X^2$ 같은 척도 불변량이다.

예제 5.4 (Fisher의 1920년 관찰) $X_i\iid\N(0,\sigma^2)$이면 $\|\X\|^2=\sum X_i^2$이 $\sigma^2$의 완비충분통계량이고, 방향 $\X/\|\X\|$는 척도와 무관하므로 보조다. Basu로 둘은 독립이다. 평균편차와 표준편차의 비 $d/s$는 방향만의 함수이므로 $s$와 독립이다. Fisher가 본 것이 이것이다. $s$를 알고 나면 $d$는 $\sigma$와 무관하게 흔들리는 잡음일 뿐이어서, $d$를 함께 써도 $\sigma$에 대해 더 알게 되는 것이 없다.

예제 5.5 (감마와 균등) (a) $X_i\iid$ 감마$(\alpha,\beta)$ ($\alpha$는 알고 있음)이면 $\sum X_i$는 $\beta$의 완비충분이고 $(X_1/\sum X_j,\allowbreak \dots,\allowbreak X_n/\sum X_j)$는 보조이므로 독립이다. 4회 정리 4.2의 베타–감마 관계를 다시 얻는다. (b) $\mathrm U(0,\theta)$에서 $X_{(n)}$은 완비충분이고 $X_{(1)}/X_{(n)}$은 보조이므로 독립이다. 그래서 $E\tfrac{X_{(1)}}{X_{(n)}}\cdot EX_{(n)}=EX_{(1)}$로 기댓값의 비를 계산할 수 있다(연습 5.1).

가정 주의 완비성을 빼면 정리가 무너진다. $\mathrm U(\theta,\theta+1)$에서 $(X_{(1)},X_{(n)})$은 최소충분이지만 완비가 아니고, 보조통계량인 범위 $X_{(n)}-X_{(1)}$과 독립이 아니다(범위가 크면 $X_{(1)}$은 $\theta$ 쪽에 몰린다). 반대 방향도 성립하지 않는다. 독립이라고 해서 하나가 완비충분인 것은 아니다.

연습문제

연습 5.1 (균등분포의 비 ★) $\mathrm U(0,\theta)$에서 Basu의 정리로 $E\tfrac{X_{(1)}}{X_{(n)}}=\tfrac{EX_{(1)}}{EX_{(n)}}=\tfrac1n$임을 보여라.

풀이

$X_{(1)}/X_{(n)}$은 척도를 바꿔도 같으므로 보조이고 $X_{(n)}$은 완비충분이다. Basu로 독립이므로 $EX_{(1)}=E\bigl[\tfrac{X_{(1)}}{X_{(n)}}X_{(n)}\bigr]=E\tfrac{X_{(1)}}{X_{(n)}}\,EX_{(n)}$이고 $\tfrac{\theta/(n+1)}{n\theta/(n+1)}=\tfrac1n$.

연습 5.2 (지수분포의 간격 ★★) $X_i\iid\mathrm{Exp}$ (평균 $\theta$)이면 $\sum X_i$와 $X_{(1)}/\sum X_i$가 독립임을 보이고, 이것으로 $E\bigl[X_{(1)}/\sum X_i\bigr]=\tfrac1{n^2}$을 구하라. ($EX_{(1)}=\theta/n$, 8회 연습 1.2)

풀이

$\sum X_i$는 1-모수 지수족의 완비충분통계량이고 $X_{(1)}/\sum X_i$는 척도 불변이므로 보조다. 독립이므로 $E\bigl[\tfrac{X_{(1)}}{\sum X_i}\bigr]=\tfrac{EX_{(1)}}{E\sum X_i}=\tfrac{\theta/n}{n\theta}=\tfrac1{n^2}$.

연습 5.3 (정규의 표준화된 잔차 ★★) 정규 표본에서 $(\bar X,S)$와 $\bigl(\tfrac{X_1-\bar X}S,\allowbreak \dots,\allowbreak \tfrac{X_n-\bar X}S\bigr)$가 독립임을 보여라. 두 모수 $(\mu,\sigma)$의 완비충분통계량과 위치–척도 보조통계량이다.

풀이

$(\bar X,S)$는 2-모수 정규 지수족의 완비충분통계량이다(정리 4.5). 표준화된 잔차는 $X_i\mapsto a+bX_i$ ($b>0$)에 대해 변하지 않으므로 그 분포가 $(\mu,\sigma)$에 무관하다. Basu로 독립이다.

이 절을 PDF로 보기 (18쪽)노트북 5절

이 회차에서 읽은 절 0개 · 회차 차례