11회 · 충분성 · 노트

4 지수족

역사 1935–36년 Darmois(프랑스), Koopman(미국), Pitman(호주)은 서로 모른 채 같은 질문에 같은 답을 냈다. 표본 크기에 관계없이 몇 개의 수로 줄일 수 있는 충분통계량을 갖는 분포족은 어떤 꼴인가? 답은 밀도의 로그가 모수의 함수와 자료의 함수의 곱의 합으로 쓰이는 족, 곧 지수족이었다. 정규, Poisson, 이항, 감마, 베타가 모두 여기에 든다.

4.1 정의와 로그분배함수

정의 4.1 (지수족 (자연모수꼴)) 밀도(또는 확률질량함수)가

$$f(x;\boldsymbol\eta)=h(x)\exp\bigl(\boldsymbol\eta\T\mathbf T(x)-A(\boldsymbol\eta)\bigr),\qquad\boldsymbol\eta\in\mathcal H\subset\R^k$$

꼴인 분포족을 $k$-모수 지수족이라 한다. $\boldsymbol\eta$는 자연모수, $\mathbf T(x)$는 자연 충분통계량, $A(\boldsymbol\eta)=\log\int h(x)e^{\boldsymbol\eta\T\mathbf T(x)}dx$는 로그분배함수다. $\mathcal H$는 이 적분이 유한한 $\boldsymbol\eta$의 집합이다.

예제 4.2 (자연모수로 다시 쓰기) 

분포	자연모수 $\eta$	$T(x)$	$A(\eta)$
Bernoulli$(p)$	$\log\frac p{1-p}$ (로그 오즈)	$x$	$\log(1+e^\eta)$
Poisson$(\lambda)$	$\log\lambda$	$x$	$e^\eta$
$\N(\mu,\sigma^2)$	$\bigl(\frac\mu{\sigma^2},\allowbreak \,-\frac1{2\sigma^2}\bigr)$	$(x,\,x^2)$	$-\frac{\eta_1^2}{4\eta_2}-\frac12\log(-2\eta_2)$
감마$(\alpha,\beta)$	$\bigl(\alpha-1,\allowbreak \,-\frac1\beta\bigr)$	$(\log x,\,x)$	$\log\Gamma(\eta_1+1)-(\eta_1+1)\log(-\eta_2)$
범주 $K$개	$(\eta_1,\dots,\eta_K)$ (logit)	원-핫 벡터	$\log\sum_ke^{\eta_k}$

마지막 줄의 $\nabla A$는 softmax다(8절).

정리 4.3 (로그분배함수는 적률을 만든다) $\boldsymbol\eta$가 $\mathcal H$의 내점이면

$$E_{\boldsymbol\eta}\mathbf T(X)=\nabla A(\boldsymbol\eta),\qquad\Cov_{\boldsymbol\eta}\mathbf T(X)=\nabla^2A(\boldsymbol\eta),$$

이고 $\mathbf T$의 mgf는 $M(\mathbf s)=\exp\bigl(A(\boldsymbol\eta+\mathbf s)-A(\boldsymbol\eta)\bigr)$이다. 따라서 $A$는 볼록함수다.

증명 전략 $\mathbf T$의 mgf를 $A$로 쓰면, 그 로그(누적생성함수)가 $A$의 평행이동이다. 누적생성함수의 원점에서의 1계와 2계 미분이 평균과 공분산이다.

1. $\boldsymbol\eta$가 $\mathcal H$의 내점이므로 $\|\mathbf s\|$가 작으면 $\boldsymbol\eta+\mathbf s\in\mathcal H$이다.내점의 정의

2. mgf를 계산한다.

   $$M(\mathbf s)=E_{\boldsymbol\eta}e^{\mathbf s\T\mathbf T}=\int h(x)\,e^{(\boldsymbol\eta+\mathbf s)\T\mathbf T(x)-A(\boldsymbol\eta)}dx=e^{A(\boldsymbol\eta+\mathbf s)-A(\boldsymbol\eta)} .$$

   정의 4.1, 1

3. 누적생성함수는 $K(\mathbf s)=\log M(\mathbf s)=A(\boldsymbol\eta+\mathbf s)-A(\boldsymbol\eta)$이다.2회 따름정리 3.4

4. $\nabla K(\mathbf 0)=\nabla M(\mathbf 0)/M(\mathbf 0)=E\mathbf T$이고, 3으로 이것은 $\nabla A(\boldsymbol\eta)$다.2회 정리 3.3, $M(\mathbf 0)=1$

5. $\nabla^2K(\mathbf 0)=\nabla^2M(\mathbf 0)-\nabla M(\mathbf 0)\nabla M(\mathbf 0)\T=E\mathbf T\mathbf T\T-E\mathbf T\,E\mathbf T\T=\Cov\mathbf T$이고, 3으로 이것은 $\nabla^2A(\boldsymbol\eta)$다.몫의 미분, 2회 정리 3.3

6. 모든 $\mathbf v$에서 $\mathbf v\T\nabla^2A(\boldsymbol\eta)\mathbf v=\Var(\mathbf v\T\mathbf T)\ge0$이므로 $A$는 $\mathcal H$의 내부에서 볼록이다.5, 3회 정리 6.2

조건 확인 4와 5는 mgf를 원점에서 미분해 적률을 얻는 2회 정리 3.3을 쓴다. 그 정리는 mgf가 원점의 열린 근방에서 유한할 것을 요구하고, 1이 그것을 준다. 미분과 적분의 순서를 바꾸는 근거는 [T6]이다.

따름정리 4.4 (지수족의 가능도) 자연모수에 대해 (a) 한 관측의 Fisher 정보는 $I(\boldsymbol\eta)=\nabla^2A(\boldsymbol\eta)=\Cov\mathbf T$, (b) 로그가능도 $\ell(\boldsymbol\eta)=\boldsymbol\eta\T\sum\mathbf T(x_i)-nA(\boldsymbol\eta)+$상수는 오목이고, (c) 가능도 방정식은 $\tfrac1n\sum\mathbf T(x_i)=\nabla A(\hat{\boldsymbol\eta})=E_{\hat{\boldsymbol\eta}}\mathbf T$, 곧 “충분통계량의 평균을 모형의 평균과 같게 놓기”이다.

증명 전략 로그밀도를 두 번 미분하면 자료가 사라진다. 정보, 오목성, 가능도 방정식이 모두 정리 4.3의 두 식에서 나온다. 단계별 증명은 연습 4.5(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

(c)는 지수족에서 최대가능도가 충분통계량에 대한 적률법이라는 뜻이다. Poisson의 $\hat\lambda=\bar x$, 정규의 $(\bar x,\hat\sigma^2)$, 감마의 MLE 방정식(9회 예제 4.4: $\overline{\log x}$와 $\bar x$를 맞춘다)이 모두 이 꼴이다. Pearson의 적률법(10회)이 비효율적이었던 것은 혼합분포가 지수족이 아니어서 맞춘 적률이 충분통계량이 아니었기 때문이다. 그림 4.1은 Bernoulli에서 $A$, $A'$(평균), $A''$(분산이자 정보)의 관계를 보여 준다.

그림 4.1 Bernoulli의 로그분배함수 $A(\eta)=\log(1+e^\eta)$. 왼쪽: $A$는 볼록하다. 가운데: $A'(\eta)$는 평균 $p$ (로지스틱 함수)이고, 가능도 방정식은 $A'(\hat\eta)=\bar x$다. 오른쪽: $A''(\eta)=p(1-p)$는 $T$의 분산이자 $\eta$의 Fisher 정보다. 로그 오즈가 클수록 정보가 적다.

4.2 완비충분통계량

정리 4.5 (지수족의 완비충분통계량) $X_i$가 $k$-모수 지수족에서 나왔고 $\mathcal H$가 $\R^k$의 열린 집합을 포함하면, $\mathbf S=\sum_{i=1}^n\mathbf T(X_i)$는 $\boldsymbol\eta$의 완비충분통계량이다.

증명 전략 충분성은 인수분해 정리로 보인다. 완비성은 $\mathbf S$의 분포도 지수족이라는 것을 쓰면 “평균이 0”이 “Laplace 변환이 같다”로 바뀌고, Laplace 변환의 유일성으로 끝난다.

충분성

1. 표본의 결합밀도를 지수족의 꼴로 쓴다.

   $$\prod_{i=1}^nf(x_i;\boldsymbol\eta)=\exp\bigl(\boldsymbol\eta\T\mathbf S-nA(\boldsymbol\eta)\bigr)\cdot\prod_{i=1}^nh(x_i),\qquad\mathbf S=\sum_i\mathbf T(x_i) .$$

   정의 4.1

2. 앞 인수는 $\mathbf S$와 $\boldsymbol\eta$의 함수이고 뒤 인수는 $\boldsymbol\eta$에 의존하지 않으므로 $\mathbf S$는 충분하다.정리 1.3

완비성

1. $\mathbf S$의 분포는 $h_n(\mathbf s)\,e^{\boldsymbol\eta\T\mathbf s-nA(\boldsymbol\eta)}$ 꼴이다. 1의 밀도를 $\{\mathbf S=\mathbf s\}$ 위에서 더하거나 적분하면 지수 인수는 그대로 남는다.1, [T7]

2. $E_{\boldsymbol\eta}g(\mathbf S)=0$이 모든 $\boldsymbol\eta$에서 성립한다고 하자. $e^{-nA(\boldsymbol\eta)}>0$이므로 열린 집합 위의 모든 $\boldsymbol\eta$에서 $\int g(\mathbf s)h_n(\mathbf s)e^{\boldsymbol\eta\T\mathbf s}d\mathbf s=0$이다.3

3. $g=g^+-g^-$로 나누면 $\int e^{\boldsymbol\eta\T\mathbf s}g^+(\mathbf s)h_n(\mathbf s)\,d\mathbf s=\int e^{\boldsymbol\eta\T\mathbf s}g^-(\mathbf s)h_n(\mathbf s)\,d\mathbf s$가 그 열린 집합 위에서 성립한다.4

4. 두 측도 $g^\pm h_n\,d\mathbf s$는 같다. 따라서 $h_n>0$인 곳에서 $g^+=g^-$, 곧 $g(\mathbf S)=0$ (확률 1)이다.Laplace 변환의 유일성(아래 상자)

조건 확인 아래 상자의 사실은 유한 측도에 대한 것이다. 열린 집합 안의 한 점 $\boldsymbol\eta_0$을 고르면 $E_{\boldsymbol\eta_0}|g(\mathbf S)|<\infty$이므로 $\mu^\pm(d\mathbf s)=e^{\boldsymbol\eta_0\T\mathbf s}g^\pm h_n\,d\mathbf s$는 유한 측도이고, 그 Laplace 변환은 $\boldsymbol\eta-\boldsymbol\eta_0$이 원점 근방을 움직일 때 같다. 6에는 이것을 쓴다. 열린 집합을 포함한다는 가정이 여기서 쓰인다.

증명 없이 쓰는 사실 (Laplace 변환의 유일성) 두 유한 측도의 Laplace 변환 $\int e^{\boldsymbol\eta\T\mathbf s}\mu(d\mathbf s)$이 $\boldsymbol\eta$의 열린 집합 위에서 같으면 두 측도는 같다. 2회 3절의 상자 “mgf의 유일성”과 같은 사실이다. 증명은 해석함수의 유일성(또는 특성함수의 역변환)을 쓴다.

정규 표본의 $(\sum X_i,\sum X_i^2)$, 곧 $(\bar X,S^2)$는 완비충분이고(자연모수 공간 $\R\times(-\infty,0)$이 열린 집합), Poisson의 $\sum X_i$, 이항의 성공 수도 그렇다. 3절의 UMVUE들이 이 정리 위에 선다.

4.3 Cramér–Rao의 등호는 지수족에서만

정리 4.6 (한계에 닿는 모형) 9회의 정칙조건 아래, 어떤 통계량 $W$가 모든 $\theta$에서 $\tau(\theta)=E_\theta W$에 대한 Cramér–Rao 한계 $\tfrac{\tau'(\theta)^2}{nI(\theta)}$에 닿고 $\tau'\ne0$이면, 표본의 밀도는 1-모수 지수족 $\prod f(x_i;\theta)=H(\x)\exp\bigl(c(\theta)W(\x)-d(\theta)\bigr)$이다.

증명 전략 9회 정리 2.4의 증명에서 등호가 성립하는 경우, 곧 Cauchy–Schwarz 부등식의 등호 조건을 점수에 쓰고, 얻은 식을 $\theta$에 대해 적분한다. 단계별 증명은 연습 4.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

9회 2절에서 Cramér–Rao 한계에 닿은 추정량들(Poisson의 $\bar X$, Bernoulli의 $\hat p$, 정규 평균의 $\bar X$)은 모두 지수족의 자연 충분통계량의 평균이었다. 정리는 이것이 우연이 아니라고 말한다. 그리고 지수족에서도 한계에 닿는 것은 $E\,\mathbf T$의 일차함수뿐이다. $e^{-\lambda}$의 UMVUE는 한계에 닿지 않는다(연습 2.1).

증명 없이 쓰는 사실 (Darmois–Koopman–Pitman) 받침이 모수에 의존하지 않는 분포족에서, 모든 $n$에 대해 차원이 고정된(연속인) 충분통계량이 있으면 그 족은 지수족이다. 이 과정에서는 증명하지 않는다. 균등분포 $\mathrm U(0,\theta)$는 받침이 모수에 의존해서 예외다($X_{(n)}$ 하나로 충분하지만 지수족이 아니다). Cauchy처럼 지수족이 아니면 자료를 줄일 수 없다(연습 1.4).

연습문제

연습 4.1 (감마의 로그분배함수 ★) 예제 4.2의 감마의 $A(\eta_1,\eta_2)$를 미분해 $E\log X=\psi(\alpha)+\log\beta$, $EX=\alpha\beta$를 얻어라. 9회 연습 3.3의 정보 행렬이 $\nabla^2A$와 어떤 관계인가?

풀이

$\partial_{\eta_1}A=\psi(\eta_1+1)-\log(-\eta_2)=\psi(\alpha)+\log\beta=E\log X$, $\partial_{\eta_2}A=-\tfrac{\eta_1+1}{\eta_2}=\alpha\beta=EX$. $(\alpha,\beta)$로 바꾸면 야코비 $\diag(1,1/\beta^2)$를 양쪽에 곱해 9회 연습 3.3의 행렬 $\smat{\psi'(\alpha)&1/\beta\\1/\beta&\alpha/\beta^2}$가 나온다(9회 연습 2.2의 다변수판).

연습 4.2 (Poisson의 누적량 ★) Poisson의 $A(\eta)=e^\eta$의 모든 미분이 $\lambda$임을 보이고, Poisson의 모든 누적량이 $\lambda$라는 것을 확인하라.

풀이

$A(\eta)=e^\eta$의 $k$차 미분은 모두 $e^\eta=\lambda$이고, 누적생성함수 $A(\eta+s)-A(\eta)$의 $s=0$에서의 $k$차 미분이 $k$차 누적량이다.

연습 4.3 (한계에 닿는 함수 ★★) Poisson에서 Cramér–Rao 한계에 닿는 불편추정량이 있는 $\tau(\lambda)$는 $a\lambda+b$ 꼴뿐임을 정리 4.6의 증명으로 보여라.

풀이

등호이면 점수 $\tfrac n\lambda(\bar x-\lambda)=a(\lambda)(W-\tau(\lambda))$가 모든 $\lambda$에서 성립하므로 $W=\tau(\lambda)+\tfrac n{\lambda a(\lambda)}(\bar x-\lambda)$이다. 왼쪽은 $\lambda$에 무관하므로 $\bar x$의 계수 $c=\tfrac n{\lambda a(\lambda)}$가 상수이고, $\tau(\lambda)=c\lambda+(W-c\bar x)$에서 $W-c\bar x$도 상수다. 곧 $\tau(\lambda)=a\lambda+b$.

연습 4.4 (softmax ★★) 범주 분포의 $A(\boldsymbol\eta)=\log\sum_ke^{\eta_k}$에서 $\nabla A=\mathrm{softmax}(\boldsymbol\eta)$, $\nabla^2A=\diag(\mathbf p)-\mathbf p\mathbf p\T$임을 보여라. 이 행렬은 가역이 아니다. 왜인가? (식별가능성, 9회 연습 1.3)

풀이

$\partial_kA=\tfrac{e^{\eta_k}}{\sum_je^{\eta_j}}=p_k$, $\partial_l\partial_kA=p_k(\delta_{kl}-p_l)$. $(\diag\mathbf p-\mathbf p\mathbf p\T)\mathbf 1=\mathbf p-\mathbf p=\mathbf 0$이므로 가역이 아니다. 모든 logit에 같은 수를 더해도 분포가 같아서($\boldsymbol\eta$가 식별되지 않아서) 그 방향의 정보가 0이다.

연습 4.5 (지수족의 가능도: 증명 ★ 유도형) 따름정리 4.4를 다음 순서로 증명하라.

1. (a)

   한 관측의 로그밀도 $\log f(x;\boldsymbol\eta)=\log h(x)+\boldsymbol\eta\T\mathbf T(x)-A(\boldsymbol\eta)$의 헤세 행렬이 $-\nabla^2A(\boldsymbol\eta)$로 $x$에 의존하지 않음을 보이고, 9회 정리 2.2의 둘째 표현으로 $I(\boldsymbol\eta)=\nabla^2A(\boldsymbol\eta)$를 얻어라.

2. (b)

   $\ell(\boldsymbol\eta)$의 헤세 행렬이 $-n\nabla^2A(\boldsymbol\eta)$임을 보이고, 정리 4.3로 $\ell$이 오목임을 결론지어라.

3. (c)

   $\nabla\ell(\hat{\boldsymbol\eta})=\mathbf 0$을 풀어 가능도 방정식 $\tfrac1n\sum\mathbf T(x_i)=\nabla A(\hat{\boldsymbol\eta})=E_{\hat{\boldsymbol\eta}}\mathbf T$를 얻어라. (b)로 이 방정식의 해는 최대점이다. 왜인가?

풀이

(a) $\nabla_{\boldsymbol\eta}\log f=\mathbf T(x)-\nabla A(\boldsymbol\eta)$이고 $\nabla^2_{\boldsymbol\eta}\log f=-\nabla^2A(\boldsymbol\eta)$이다. 이것은 $x$를 포함하지 않으므로 9회 정리 2.2의 둘째 표현 $I=-E\nabla^2\log f$는 $\nabla^2A(\boldsymbol\eta)$ 자신이다. 정리 4.3로 이것은 $\Cov\mathbf T$이다. (b) $\ell(\boldsymbol\eta)=\sum_i\log h(x_i)+\boldsymbol\eta\T\sum_i\mathbf T(x_i)-nA(\boldsymbol\eta)$의 헤세 행렬은 $-n\nabla^2A(\boldsymbol\eta)$이고, 정리 4.3로 $\nabla^2A$는 양의 준정부호이므로 $\ell$은 오목이다. (c) $\nabla\ell(\boldsymbol\eta)=\sum_i\mathbf T(x_i)-n\nabla A(\boldsymbol\eta)=\mathbf 0$을 $n$으로 나누면 가능도 방정식이고, 정리 4.3로 $\nabla A(\hat{\boldsymbol\eta})=E_{\hat{\boldsymbol\eta}}\mathbf T$이다. 오목함수는 기울기가 0인 점에서 최대가 되므로 해는 최대점이다. 열린 정의역에서 오목함수의 정류점은 전역 최대점이기 때문이다 [T4].

연습 4.6 (Cramér–Rao의 등호: 증명 ★★ 유도형) 정리 4.6를 다음 순서로 증명하라. $s(\x;\theta)=\partial_\theta\log\prod f(x_i;\theta)$는 표본의 점수다.

1. (a)

   9회 정리 2.4의 증명에서 $\Cov_\theta(W,\allowbreak s)=\tau'(\theta)$이고 한계는 Cauchy–Schwarz 부등식 $\Cov(W,s)^2\le\Var W\,\Var s$에서 나왔다. 등호이면 $\theta$마다 상수 $a(\theta)$가 있어 $s(\X;\theta)=a(\theta)\bigl(W(\X)-\tau(\theta)\bigr)$ (확률 1)임을 보여라. $E_\theta s=0$을 어디서 쓰는가?

2. (b)

   (a)의 식을 $\theta$에 대해 적분해 $\log\prod f(x_i;\theta)=c(\theta)W(\x)-d(\theta)+\log H(\x)$ ($c'=a$, $d'=a\tau$)를 얻어라. 적분 상수가 $\x$에만 의존하는 이유는?

3. (c)

   Poisson 표본과 $W=\bar X$에서 $a(\lambda)$, $c(\lambda)$, $d(\lambda)$, $H(\x)$를 구해 (b)의 꼴을 확인하라.

풀이

(a) $E_\theta s=0$이므로 $\Cov_\theta(W,\allowbreak s)=E_\theta\bigl[(W-\tau(\theta))\,s\bigr]=\tau'(\theta)$이다. Cauchy–Schwarz의 등호는 두 중심화된 변수가 일차종속일 때, 곧 $s-Es=s$가 $W-\tau(\theta)$의 상수배일 때다(3회 정리 4.4의 등호 조건). $\tau'\ne0$이므로 $s$는 0이 아니고 상수 $a(\theta)$는 0이 아니다. (b) $\partial_\theta\log\prod f(x_i;\theta)=a(\theta)W(\x)-a(\theta)\tau(\theta)$를 $\theta$에 대해 적분한다. $c(\theta)=\int a$, $d(\theta)=\int a\tau$로 두면 $\log\prod f(x_i;\theta)=c(\theta)W(\x)-d(\theta)+K(\x)$이다. 적분은 $\x$를 고정하고 $\theta$에 대해 했으므로 적분 상수 $K$는 $\x$에만 의존하고, $H(\x)=e^{K(\x)}$이다. (c) $s=\sum_i(x_i/\lambda-1)=\tfrac n\lambda(\bar x-\lambda)$이므로 $a(\lambda)=\tfrac n\lambda$, $\tau(\lambda)=\lambda$이다. $c(\lambda)=n\log\lambda$, $d(\lambda)=n\lambda$이고 $\prod f=\exp(n\bar x\log\lambda-n\lambda)\cdot\tfrac1{\prod x_i!}$이므로 $H(\x)=1/\prod x_i!$이다.

이 절을 PDF로 보기 (13쪽)노트북 4절

이 회차에서 읽은 절 0개 · 회차 차례