수리통계학

테마

9회 · 최대가능도 · 워크북

B. 빈칸 증명 ​

노트의 단계형 증명을 책을 덮고 다시 쓴다. 같은 정리를 여러 번 만나며 도움이 줄어든다. 1 단계는 주어지고 근거만 빈칸이다. 2 단계의 이름만 주어진다. 3 전략만 주어진다. 근거에는 정칙조건의 번호, 정리 번호, 앞 회차의 정리, 도구 번호를 쓴다.

B1 MLE의 점근정규성, 근거 채우기 ★★ ​

1 · 정리 3.1 · 15분

정칙조건 아래 θ^n\hat\theta_n이 가능도 방정식의 일치하는 근이면 n(θ^n−θ0)→DN(0,1/I(θ0))\sqrt n(\hat\theta_n-\theta_0)\xrightarrow{D}\N(0,\allowbreak 1/I(\theta_0))이다. 각 단계의 근거를 써라.

  1. 0=ℓ′(θ^n)=ℓ′(θ0)+(θ^n−θ0)ℓ′′(θ0)+12(θ^n−θ0)2ℓ′′′(θn∗)0=\ell'(\hat\theta_n)=\ell'(\theta_0)+(\hat\theta_n-\theta_0)\ell''(\theta_0)+\tfrac12(\hat\theta_n-\theta_0)^2\ell'''(\theta_n^*)이다.왜?Taylor, (R3) [T8]

  2. n(θ^n−θ0)=n−1/2ℓ′(θ0)−n−1ℓ′′(θ0)−12(θ^n−θ0)n−1ℓ′′′(θn∗)\sqrt n(\hat\theta_n-\theta_0)=\dfrac{n^{-1/2}\ell'(\theta_0)}{-n^{-1}\ell''(\theta_0)-\tfrac12(\hat\theta_n-\theta_0)n^{-1}\ell'''(\theta_n^*)}이다.왜?1을 정리

  3. n−1/2ℓ′(θ0)→DN(0,I(θ0))n^{-1/2}\ell'(\theta_0)\xrightarrow{D}\N(0,\allowbreak I(\theta_0))이다.왜?정리 2.2, 7회 정리 3.1

  4. −n−1ℓ′′(θ0)→PI(θ0)-n^{-1}\ell''(\theta_0)\xrightarrow{P}I(\theta_0)이다.왜?정리 2.2, 7회 정리 1.6

  5. 12(θ^n−θ0) n−1ℓ′′′(θn∗)→P0\tfrac12(\hat\theta_n-\theta_0)\,n^{-1}\ell'''(\theta_n^*)\xrightarrow{P}0이다.왜?(R5), 정리 1.6, 7회 정리 2.5

  6. n(θ^n−θ0)→DN(0,1/I(θ0))\sqrt n(\hat\theta_n-\theta_0)\xrightarrow{D}\N(0,\allowbreak 1/I(\theta_0))이다.왜?Slutsky, 7회 정리 4.2

힌트

근거는 짧게 쓴다. 예: “(R5)”, “7회 정리 4.2”. 분자는 중심극한정리, 분모의 첫 항은 대수의 법칙이다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 3.1의 단계형 증명과 같다. 다섯째 단계에서 θn∗\theta_n^*가 (R5)의 근방 안에 들어갈 확률이 1로 가는 것은 ∣θn∗−θ0∣≤∣θ^n−θ0∣|\theta_n^*-\theta_0|\le|\hat\theta_n-\theta_0|와 일치성(정리 1.6) 때문이다.

B2 Cramér–Rao 부등식, 근거 채우기 ★★ ​

1 · 정리 2.4 · 15분

정칙조건 아래 EθT=k(θ)E_\theta T=k(\theta)이고 Var⁡θT<∞\Var_\theta T<\infty이면 Var⁡θT≥k′(θ)2/(nI(θ))\Var_\theta T\ge k'(\theta)^2/(nI(\theta))이다. 근거를 채워라.

  1. k(θ)=∫T(x)L(θ;x) dxk(\theta)=\int T(\x)L(\theta;\x)\,d\x이다.왜?기댓값의 정의

  2. k′(θ)=∫T ∂L∂θ dx=Eθ[T ℓ′(θ)]k'(\theta)=\int T\,\tfrac{\partial L}{\partial\theta}\,d\x=E_\theta[T\,\ell'(\theta)]이다.왜?(R4) 미분과 적분의 교환 [T6], ∂θL=ℓ′L\partial_\theta L=\ell'L

  3. Eθ[Tℓ′(θ)]=Cov⁡(T−k(θ),ℓ′(θ))E_\theta[T\ell'(\theta)]=\Cov(T-k(\theta),\allowbreak \ell'(\theta))이다.왜?Eθℓ′(θ)=0E_\theta\ell'(\theta)=0, 정리 2.2

  4. k′(θ)2≤Var⁡T⋅Var⁡ℓ′(θ)k'(\theta)^2\le\Var T\cdot\Var\ell'(\theta)이다.왜?Cauchy–Schwarz, 3회 정리 4.4

  5. Var⁡ℓ′(θ)=nI(θ)\Var\ell'(\theta)=nI(\theta)이다.왜?정리 2.2(독립합의 분산)

힌트

점수의 평균이 0이라는 사실이 두 번 쓰인다. 하나는 셋째 단계, 하나는 다섯째 단계의 분산 계산이다.

풀이

빈칸의 빨간 글씨가 근거다. 둘째 단계에서 엄밀하게는 T⋅LT\cdot L에 대해 순서를 바꾸므로 ∣T ∂θL∣|T\,\partial_\theta L|이 적분가능한 함수로 눌려야 한다(노트의 조건 확인). 넷째 단계의 등호는 T−k(θ)T-k(\theta)가 ℓ′(θ)\ell'(\theta)의 상수배일 때뿐이다.

B3 기대 로그가능도의 최대, 근거 채우기 ★★ ​

1 · 보조정리 1.4 · 15분

식별가능하고 기댓값이 존재하면 θ≠θ0\theta\ne\theta_0에서 Eθ0log⁡f(X;θ)<Eθ0log⁡f(X;θ0)E_{\theta_0}\log f(X;\theta)<E_{\theta_0}\log f(X;\theta_0)이다. 근거를 채워라. A={x:f(x;θ0)>0}A=\{x:f(x;\theta_0)>0\}, Y=f(X;θ)/f(X;θ0)Y=f(X;\theta)/f(X;\theta_0)이다.

  1. YY는 확률 1로 정의되고 Y≥0Y\ge0이다.왜?Pθ0(X∈A)=1P_{\theta_0}(X\in A)=1, 받침의 정의

  2. Eθ0log⁡Y≤log⁡Eθ0YE_{\theta_0}\log Y\le\log E_{\theta_0}Y이다.왜?log⁡\log는 오목, Jensen(2회 정리 5.9)

  3. Eθ0Y=∫Af(x;θ) dx≤1E_{\theta_0}Y=\int_Af(x;\theta)\,dx\le1이다.왜?기댓값의 정의, 밀도의 적분은 1

  4. Eθ0log⁡f(X;θ)≤Eθ0log⁡f(X;θ0)E_{\theta_0}\log f(X;\theta)\le E_{\theta_0}\log f(X;\theta_0)이다.왜?2 3, log⁡\log의 단조성

  5. 등호이면 Y≡1Y\equiv1이고 두 밀도가 같다.왜?log⁡\log의 순오목, Jensen의 등호 조건

  6. θ≠θ0\theta\ne\theta_0이면 부등식은 엄격하다.왜?식별가능성 [T2]

힌트

다섯째 단계는 둘째와 셋째 단계가 모두 등호여야 한다는 데서 출발한다.

풀이

빈칸의 빨간 글씨가 근거다. 다섯째 단계에서 Jensen의 등호로 YY가 상수 cc이고, 셋째 단계의 등호와 log⁡c=0\log c=0에서 c=1c=1이다. 그러면 AA 위에서 두 밀도가 같고, ∫Af(x;θ)dx=1\int_Af(x;\theta)dx=1이므로 AA 밖에서는 f(x;θ)=0f(x;\theta)=0이다.

B4 MLE의 점근정규성, 단계의 이름만 ★★ ​

2 · 정리 3.1 · 25분

정리 3.1을 증명하라. 단계의 이름만 주어진다. 각 단계 아래에 식과 근거를 써라.

  1. 가능도 방정식을 θ0\theta_0 둘레에서 Taylor 전개한다

  2. n(θ^n−θ0)\sqrt n(\hat\theta_n-\theta_0)를 분자와 분모의 비로 쓴다

  3. 분자의 극한분포

  4. 분모의 첫 항의 확률극한

  5. 분모의 둘째 항이 0으로 감

  6. Slutsky로 합친다

힌트

B1에서 채운 근거를 다시 보지 말고 쓴다. 다섯째 단계에는 일치성과 (R5)가 모두 필요하다.

풀이

  1. 0=ℓ′(θ^n)=ℓ′(θ0)+(θ^n−θ0)ℓ′′(θ0)+12(θ^n−θ0)2ℓ′′′(θn∗)0=\ell'(\hat\theta_n)=\ell'(\theta_0)+(\hat\theta_n-\theta_0)\ell''(\theta_0)+\tfrac12(\hat\theta_n-\theta_0)^2\ell'''(\theta_n^*).(R3) [T8]

  2. n(θ^n−θ0)=n−1/2ℓ′(θ0)−n−1ℓ′′(θ0)−12(θ^n−θ0)n−1ℓ′′′(θn∗)\sqrt n(\hat\theta_n-\theta_0)=\tfrac{n^{-1/2}\ell'(\theta_0)}{-n^{-1}\ell''(\theta_0)-\frac12(\hat\theta_n-\theta_0)n^{-1}\ell'''(\theta_n^*)}.1

  3. ℓ′(θ0)=∑s(Xi;θ0)\ell'(\theta_0)=\sum s(X_i;\theta_0), 평균 0, 분산 II: n−1/2ℓ′(θ0)→DN(0,I)n^{-1/2}\ell'(\theta_0)\xrightarrow{D}\N(0,\allowbreak I).정리 2.2, CLT

  4. −n−1ℓ′′(θ0)→PI(θ0)-n^{-1}\ell''(\theta_0)\xrightarrow{P}I(\theta_0).정리 2.2, Khinchin

  5. ∣n−1ℓ′′′(θn∗)∣≤n−1∑M(Xi)|n^{-1}\ell'''(\theta_n^*)|\le n^{-1}\sum M(X_i)가 확률적으로 유계이고 θ^n−θ0→P0\hat\theta_n-\theta_0\xrightarrow{P}0.(R5), 정리 1.6

  6. 분모 →PI\xrightarrow{P}I이므로 극한은 N(0,I)/I=N(0,1/I)\N(0,I)/I=\N(0,1/I).Slutsky

B5 Cramér–Rao 부등식, 단계의 이름만 ★★ ​

2 · 정리 2.2, 2.4 · 25분

정리 2.4를 증명하라. 증명에 쓰이는 정리 2.2의 두 사실(Eℓ′=0E\ell'=0, Var⁡ℓ′=nI\Var\ell'=nI)도 ∫f dx=1\int f\,dx=1에서 출발해 함께 보여라.

  1. ∫f dx=1\int f\,dx=1을 미분해 점수의 평균이 0임을 보인다

  2. k(θ)k(\theta)를 적분으로 쓰고 미분한다

  3. k′(θ)k'(\theta)를 TT와 점수의 공분산으로 바꾼다

  4. Cauchy–Schwarz를 쓴다

  5. 점수의 분산을 정보로 바꾸고 정리한다

힌트

첫 단계와 둘째 단계는 같은 일, 곧 미분과 적분의 순서 바꾸기를 서로 다른 함수에 한다. 첫 단계는 T≡1T\equiv1인 경우다.

풀이

  1. 0=ddθ∫f dx=∫s f dx=E s0=\tfrac d{d\theta}\int f\,dx=\int s\,f\,dx=E\,s, 표본이면 Eℓ′=0E\ell'=0.(R4) [T6]

  2. k′(θ)=∫T ∂θL dx=E[Tℓ′(θ)]k'(\theta)=\int T\,\partial_\theta L\,d\x=E[T\ell'(\theta)].(R4)를 TLTL에

  3. E[Tℓ′]=Cov⁡(T−k,ℓ′)E[T\ell']=\Cov(T-k,\ell').1

  4. k′(θ)2≤Var⁡T⋅Var⁡ℓ′k'(\theta)^2\le\Var T\cdot\Var\ell'.3회 정리 4.4

  5. Var⁡ℓ′=∑Var⁡s(Xi)=nI(θ)\Var\ell'=\sum\Var s(X_i)=nI(\theta); 나누면 끝.독립합의 분산

B6 MLE의 점근정규성, 전략만 ★★ ​

3 · 정리 3.1 · 35분

정리 3.1을 증명하라. 쓰는 정칙조건을 단계마다 밝혀라.

전략 가능도 방정식을 θ0\theta_0 둘레에서 Taylor 전개해 분자와 분모의 비로 쓴다. 분자는 중심극한정리로, 분모는 대수의 법칙으로 다루고 Slutsky로 합친다.

힌트

단계는 여섯이다. 다 쓴 뒤 (R3), (R4), (R5), 0<I<∞0<I<\infty, 일치성이 각각 어디에 쓰였는지 표시해 본다.

풀이

B4의 풀이와 같다. (R3)은 Taylor 전개에, (R4)는 정리 2.2를 거쳐 분자의 평균과 분산, 분모의 극한에, (R5)와 일치성은 나머지항을 누르는 데 쓰인다. 0<I(θ0)0<I(\theta_0)은 마지막에 분모로 나누는 데, I<∞I<\infty는 중심극한정리에 쓰인다.

B7 기대 로그가능도의 최대, 전략만 ★★ ​

3 · 보조정리 1.4 · 35분

보조정리 1.4를 증명하라. 등호의 경우까지 다룬다.

전략 두 밀도의 비의 로그에 Jensen 부등식을 써서 기댓값과 로그의 순서를 바꾸고, 밀도의 적분이 1을 넘지 않음을 쓴다. 등호의 경우를 따로 보아 식별가능성으로 엄격한 부등식을 얻는다.

힌트

f(x;θ0)=0f(x;\theta_0)=0인 곳에서 비가 정의되지 않는 문제를 받침 AA로 처리한다. 셋째 단계의 부등식 ∫Af(x;θ)dx≤1\int_Af(x;\theta)dx\le1이 등호가 아닐 수 있는 이유는?

풀이

노트 보조정리 1.4의 단계형 증명과 같다(B3의 풀이). ∫Af(x;θ)dx<1\int_Af(x;\theta)dx<1인 경우는 f(⋅;θ)f(\cdot;\theta)가 AA 밖에도 질량을 둘 때다. 그때는 등호가 될 수 없으므로 부등식이 바로 엄격하다. 이산이면 적분을 합으로 바꾸면 된다.

워크북 PDF풀이판 PDF답 확인