종합 모의고사 · 모의고사

A. 모의고사 A

시간은 180분이고 6문항, 100점이다. 강의노트, 워크북, 증명 도구 상자를 덮고 푼다. 분위수처럼 계산에 필요한 수치는 문제에 주어져 있다. 증명에는 단계마다 근거를 단다.

A1 기록값의 수

15점 · 25분

$X_1,X_2,\dots$가 연속분포를 따르는 iid 확률변수이다. $X_1$은 기록값이고, $k\ge2$이면 $X_k>\max(X_1,\dots,X_{k-1})$일 때 $X_k$를 기록값이라 한다. $I_k$를 $X_k$가 기록값이라는 사건의 지시함수, $R_n=I_1+\cdots+I_n$을 처음 $n$개 가운데 기록값의 수라 하자. $(X_1,\dots,X_k)$의 $k!$가지 크기 순서가 모두 같은 확률이라는 사실은 증명 없이 써도 된다.

1. (a)

   (4점) $P(I_k=1)=1/k$임을 보여라. $j<k$이면 $P(I_j=1,I_k=1)=1/(jk)$임을 보이고, $I_j$와 $I_k$가 독립임을 결론지어라.

2. (b)

   (4점) $ER_n=\sum_{k=1}^n\frac1k$, $\Var R_n=\sum_{k=1}^n\bigl(\frac1k-\frac1{k^2}\bigr)$임을 보여라.

3. (c)

   (3점) $n=10$이다. $\sum_{k=1}^{10}\frac1k\approx2.929$, $\sum_{k=1}^{10}\frac1{k^2}\approx1.550$을 써서 $P(R_{10}\ge6)$의 Markov 상한과 Chebyshev 상한을 구하라.

4. (d)

   (4점) $0\le\sum_{k=1}^n\frac1k-\log n\le1$을 써서 $R_n/\log n$이 1로 확률수렴함을 보여라.

풀이

(a) $I_k=1$은 $(X_1,\dots,X_k)$ 가운데 가장 큰 것이 $X_k$라는 사건이다. $k!$가지 순서 가운데 $X_k$가 맨 위인 것은 나머지 $k-1$개의 순서 $(k-1)!$가지이므로 $P(I_k=1)=(k-1)!/k!=1/k$이다. $j<k$이면 $I_j=I_k=1$은 “$X_k$가 처음 $k$개 가운데 가장 크고, $X_j$가 처음 $j$개 가운데 가장 크다”는 사건이다. $X_k$를 맨 위에 두면 $X_1,\dots,X_{k-1}$의 순서는 $(k-1)!$가지이고, 그 가운데 $X_j$가 처음 $j$개 가운데 가장 큰 것은 대칭으로 $1/j$의 비율, 곧 $(k-1)!/j$가지다. 따라서

$$P(I_j=1,I_k=1)=\frac{(k-1)!/j}{k!}=\frac1{jk}=P(I_j=1)\,P(I_k=1)$$

이다. 지시함수 둘은 “둘 다 1”의 확률이 곱으로 갈라지면 독립이다(1회 정리 5.8로 나머지 세 칸도 곱이 된다).

(b) 선형성으로 $ER_n=\sum_kP(I_k=1)=\sum_k1/k$이다. $\Var I_k=\frac1k(1-\frac1k)$이고, (a)로 $j\ne k$이면 $\Cov(I_j,\allowbreak I_k)=\frac1{jk}-\frac1j\cdot\frac1k=0$이다. 합의 분산은 분산의 합에 공분산의 두 배를 더한 것이고(3회 정리 4.2), 공분산이 모두 0이므로 $\Var R_n=\sum_k\bigl(\frac1k-\frac1{k^2}\bigr)$이다.

(c) $ER_{10}\approx2.929$, $\Var R_{10}\approx2.929-1.550=1.379$이다. Markov: $P(R_{10}\ge6)\le ER_{10}/6\approx0.488$. Chebyshev: $R_{10}\ge6$이면 $|R_{10}-ER_{10}|\ge6-2.929=3.071$이므로

$$P(R_{10}\ge6)\le\frac{\Var R_{10}}{3.071^2}=\frac{1.379}{9.431}\approx0.146 .$$

분산의 정보를 쓰는 Chebyshev 쪽이 세 배 넘게 좁다. 정확한 값은 약 $0.020$이다(첫째 종류 Stirling 수로 계산한다).

(d) $h_n=\sum_{k\le n}1/k$로 두면 $E(R_n/\log n)=h_n/\log n\to1$이고, (b)로 $\Var R_n\le h_n$이므로 $\Var(R_n/\log n)\le h_n/(\log n)^2\le(\log n+1)/(\log n)^2\to0$이다. $\varepsilon>0$에 대해 $n$이 크면 $|h_n/\log n-1|\le1/\log n<\varepsilon/2$이므로 Chebyshev로

$$P\Bigl(\Bigl|\frac{R_n}{\log n}-1\Bigr|>\varepsilon\Bigr)\le P\Bigl(\Bigl|\frac{R_n-h_n}{\log n}\Bigr|>\frac\varepsilon2\Bigr)\le\frac{4h_n}{\varepsilon^2(\log n)^2}\to0$$

이다. 기록값은 $n$개 가운데 $\log n$개 정도뿐이다. $n=10^6$이어도 평균 14.4개다.

채점 기준 (a) 4점: $1/k$의 세기 2점, $1/(jk)$의 세기 1점, 독립의 결론 1점. 대칭만 말하고 순서를 세지 않으면 1점 감점. (b) 4점: 평균 1점, 공분산이 0임 2점, 분산 1점. 독립을 쓰지 않고 분산을 더하면 2점 감점. (c) 3점: Markov 1점, Chebyshev 2점(편차 $3.071$을 쓰는 단계 포함). (d) 4점: 평균과 분산의 극한 2점, Chebyshev와 $\varepsilon/2$로 나누는 단계 2점.

관련 1회 정리 5.8(여사건과의 독립), 2회 정리 1.10(선형성)·정리 5.1(Markov)·정리 5.3(Chebyshev), 3회 정리 4.2(공분산의 계산 규칙), 15회 보조정리 1.3(순위는 균등한 순열)

최종답 (a) $P(I_j=I_k=1)=\tfrac1{jk}$ (c) $\text{Chebyshev 상한}\approx0.146$

A2 지수분포의 비에 대한 조건부 분포

15점 · 25분

$X$와 $Y$가 독립이고 둘 다 밀도 $e^{-x}$ ($x>0$)를 갖는다. $U=X/Y$, $V=Y$로 둔다.

1. (a)

   (4점) $(U,V)$의 결합밀도를 구하고, $U$의 밀도가 $f_U(u)=(1+u)^{-2}$ ($u>0$)임을 보여라. $EU=\infty$임을 보여라.

2. (b)

   (4점) $U=u$일 때 $V$의 조건부 분포를 구하고, $E(X\mid U=u)$를 구하라.

3. (c)

   (3점) $W=U/(1+U)$가 $\mathrm U(0,1)$을 따름을 보여라.

4. (d)

   (4점) $\Var(X\mid U)$를 $W$로 쓰고, 전분산 공식으로 $\Var X=1$을 다시 얻어라. $E[\Var(X\mid U)]$는 얼마인가?

풀이

(a) $x=uv$, $y=v$이므로 Jacobian은 $\bigl|\partial(x,\allowbreak y)/\partial(u,\allowbreak v)\bigr|=\bigl|\det\smat{v&u\\0&1}\bigr|=v$이다. 3회 정리 5.1로

$$f_{U,V}(u,v)=e^{-uv}e^{-v}\cdot v=v\,e^{-(1+u)v},\qquad u>0,\ v>0 .$$

$v$로 적분하면 $\int_0^\infty v\,e^{-(1+u)v}\,dv=(1+u)^{-2}$이다(감마 적분, 4회 정리 3.5). $EU=\int_0^\infty u(1+u)^{-2}du$는 $u\to\infty$에서 피적분함수가 $1/u$처럼 줄어 발산한다.

(b) $f(v\mid u)=f_{U,V}(u,\allowbreak v)/f_U(u)=(1+u)^2v\,e^{-(1+u)v}$이므로 $U=u$일 때 $V\sim\Gamma(2,\ \text{율 }1+u)$이고 $E(V\mid U=u)=2/(1+u)$이다. $X=UV$이므로 $E(X\mid U=u)=u\,E(V\mid U=u)=\dfrac{2u}{1+u}$이다. $EU=\infty$인데도 이 조건부 기댓값은 $2$보다 작다.

(c) $w=u/(1+u)$는 $(0,\infty)$에서 $(0,1)$로 가는 증가함수이고 $u=w/(1-w)$, $du/dw=(1-w)^{-2}$이다. $1+u=1/(1-w)$이므로 $f_W(w)=(1-w)^2\cdot(1-w)^{-2}=1$ ($0<w<1$)이다. $W=X/(X+Y)$이므로 4회 정리 4.2(베타–감마)의 특수한 경우이기도 하다.

(d) $\Var(V\mid U=u)=2/(1+u)^2$이므로 $\Var(X\mid U=u)=u^2\cdot2/(1+u)^2=2w^2$, 곧 $\Var(X\mid U)=2W^2$이고 $E(X\mid U)=2W$이다. 3회 정리 2.6으로

$$\Var X=E[2W^2]+\Var(2W)=2\cdot\tfrac13+4\cdot\tfrac1{12}=\tfrac23+\tfrac13=1$$

이다. $E[\Var(X\mid U)]=\tfrac23$이다. $X$의 흩어짐의 $\tfrac23$은 비 $U$를 알아도 남고, $\tfrac13$은 $U$로 설명된다.

채점 기준 (a) 4점: Jacobian과 결합밀도 2점, 주변밀도 1점, $EU=\infty$ 1점. 지지집합을 적지 않으면 1점 감점. (b) 4점: 조건부 분포 2점, $X=UV$로 조건부 기댓값 2점. (c) 3점: 변환과 미분 2점, 결론 1점. (d) 4점: 조건부 분산 2점, 전분산 계산 2점.

관련 3회 정리 5.1(Jacobian 변수변환)·정의 2.2(조건부 밀도)·정리 2.6(전분산 공식), 4회 정리 3.5(감마함수)·정리 4.2(베타와 감마)

최종답 (a) $f_U(u)=(1+u)^{-2}$ (b) $\tfrac{2u}{1+u}$ (d) $E[\Var(X\mid U)]=\tfrac23$

A3 생존확률의 두 추정량

15점 · 25분

$X_1,\dots,X_n$이 밀도 $\theta^{-1}e^{-x/\theta}$ ($x>0$)인 iid 표본이다. $t>0$을 고정하고 $\psi=P(X_1>t)=e^{-t/\theta}$를 추정한다. 두 추정량

$$\hat\psi_1=\frac1n\sum_{i=1}^n\mathbf 1\{X_i>t\},\qquad \hat\psi_2=\exp(-t/\bar X_n)$$

을 비교한다.

1. (a)

   (3점) $\sqrt n(\hat\psi_1-\psi)$의 극한분포를 구하라.

2. (b)

   (4점) $\sqrt n(\hat\psi_2-\psi)$의 극한분포를 구하라. 근사분산 $v_2(t,\theta)$를 적어라.

3. (c)

   (4점) $x=t/\theta$로 두고 두 근사분산의 비 $v_2/v_1$을 $x$의 식으로 쓴 뒤, 모든 $x>0$에서 1보다 작음을 보여라. $t=\theta$일 때 그 비는 얼마인가? ($e\approx2.718$)

4. (d)

   (4점) 실제 자료가 $\mathrm U(0,2)$에서 나왔고 $t=1$이다. 두 추정량은 각각 무엇으로 확률수렴하는가? 이 결과와 (c)에서 추정량을 고르는 기준을 한 문장으로 적어라.

풀이

(a) $\mathbf 1\{X_i>t\}$는 성공률 $\psi$의 iid Bernoulli이므로 CLT(7회 정리 3.1)로 $\sqrt n(\hat\psi_1-\psi)\to\N(0,\allowbreak \psi(1-\psi))$이다.

(b) $E X_1=\theta$, $\Var X_1=\theta^2$이므로 $\sqrt n(\bar X_n-\theta)\to\N(0,\allowbreak \theta^2)$이다. $g(m)=e^{-t/m}$는 $m>0$에서 미분가능하고 $g'(\theta)=\frac t{\theta^2}e^{-t/\theta}\ne0$이므로 델타 방법(7회 정리 4.4)으로

$$\sqrt n(\hat\psi_2-\psi)\to\N\bigl(0,\ g'(\theta)^2\theta^2\bigr),\qquad v_2=\Bigl(\frac t\theta\Bigr)^2e^{-2t/\theta} .$$

(c) $v_1=\psi(1-\psi)=e^{-x}(1-e^{-x})$, $v_2=x^2e^{-2x}$이므로 $v_2/v_1=\dfrac{x^2e^{-x}}{1-e^{-x}}=\dfrac{x^2}{e^x-1}$이다. $h(x)=e^x-1-x^2$로 두면 $h(0)=0$이고 $h'(x)=e^x-2x>0$이다($e^x-2x$의 최솟값은 $x=\log2$에서 $2-2\log2>0$). 따라서 $x>0$에서 $h(x)>0$, 곧 $v_2/v_1<1$이다. $t=\theta$이면 $1/(e-1)\approx0.582$이다. 모형이 맞으면 $\hat\psi_2$로 같은 정밀도를 얻는 데 표본이 약 58%만 필요하다.

(d) $\hat\psi_1\to P(X>1)=\tfrac12$이다(대수의 법칙). $\bar X_n\to EX=1$이고 $m\mapsto e^{-1/m}$은 $m=1$에서 연속이므로 연속사상 정리(7회 정리 1.3)로 $\hat\psi_2\to e^{-1}\approx0.368$이다. $\hat\psi_2$는 참값 $\tfrac12$이 아닌 곳으로 간다. 모형이 맞을 때의 효율(c)과 모형이 틀릴 때의 일치성(d)을 맞바꾸는 선택이다. 자료가 지수분포를 따른다는 근거가 약하면 $\hat\psi_1$이 안전하다.

채점 기준 (a) 3점: Bernoulli 평균임 1점, 분산 $\psi(1-\psi)$ 2점. (b) 4점: $\bar X$의 CLT 1점, $g'$ 계산 2점, 델타 방법의 조건($g'(\theta)\ne0$) 1점. (c) 4점: 비의 식 2점, 부등식의 증명 1점, 수치 1점. 부등식을 그림이나 몇 점의 값으로만 주장하면 1점 감점. (d) 4점: 두 극한 각 1점, 연속사상 정리를 밝힘 1점, 효율–일치성의 맞바꿈 1점.

관련 7회 정리 1.3(연속사상)·정리 1.6(Khinchin)·정리 3.1(CLT)·정리 4.4(델타 방법), 15회 2절(효율의 비교)

최종답 (b) $v_2=(t/\theta)^2e^{-2t/\theta}$ (c) $\tfrac1{e-1}\approx0.582$ (d) $\hat\psi_2\to e^{-1}\approx0.368$

A4 Pareto 분포: 추정과 검정

20점 · 40분

$X_1,\dots,X_n$이 밀도

$$f(x;\theta)=\theta\,x^{-(\theta+1)},\qquad x>1,\ \theta>0$$

인 iid 표본이다. $T=\sum_{i=1}^n\log X_i$로 둔다.

1. (a)

   (4점) $\theta$의 MLE를 구하고, 그것이 가능도의 유일한 최댓점임을 보여라.

2. (b)

   (4점) Fisher 정보 $I(\theta)$를 구하고 MLE의 극한분포를 적어라. 정칙 조건 가운데 이 분포족에서 확인해야 할 것을 하나 들어 확인하라.

3. (c)

   (5점) $Y_i=\log X_i$의 분포를 구하라. $T$가 완비충분통계량임을 보이고 $\theta$의 UMVUE를 구하라. 그 분산을 Cramér–Rao 한계와 비교하라.

4. (d)

   (4점) $H_0:\theta\le\theta_0$ 대 $H_1:\theta>\theta_0$의 크기 $\alpha$ UMP 검정을 구하고, 기각역의 경계를 $\chi^2$ 분위수로 적어라.

5. (e)

   (3점) $n=10$, $\theta_0=2$, $\alpha=0.05$이다. $\chi^2(20)$의 하위 5% 분위수는 $10.851$이다. 기각역의 경계를 수로 구하라. 관측값이 $T=2.5$이면 결론은? ($P(\chi^2(20)\le10)\approx0.032$)

풀이

(a) 로그가능도는 $\ell(\theta)=n\log\theta-(\theta+1)T$이다. $\ell'(\theta)=n/\theta-T$이고 $T>0$(모든 $x_i>1$)이므로 $\ell'$은 $\theta<n/T$에서 양수, $\theta>n/T$에서 음수다. 따라서 $\hat\theta=n/T$가 유일한 최댓점이다. $\ell''(\theta)=-n/\theta^2<0$으로 오목성으로도 확인된다.

(b) $\partial_\theta\log f=1/\theta-\log x$, $-\partial_\theta^2\log f=1/\theta^2$이므로 $I(\theta)=1/\theta^2$이다(9회 정리 2.2의 둘째 표현). 9회 정리 3.1로 $\sqrt n(\hat\theta-\theta)\to\N(0,\allowbreak \theta^2)$이다. 확인할 조건: 지지집합 $\{x>1\}$이 $\theta$에 의존하지 않는다. (덧붙여 $\log f$는 $\theta$에 대해 무한 번 미분가능하고, 셋째 도함수 $2/\theta^3$은 $\theta$ 근방에서 유계다.) 균등분포 $\mathrm U(0,\theta)$와 달리 이 조건이 성립하므로 $\sqrt n$ 정규근사가 맞다.

(c) $P(Y>y)=P(X>e^y)=e^{-\theta y}$이므로 $Y_i\sim\mathrm{Exp}(\text{율 }\theta)$이고 $T\sim\Gamma(n,\allowbreak \ \text{율 }\theta)$이다. $f(x;\theta)=\theta\exp(-\theta\log x)\,x^{-1}$은 자연모수 $-\theta$가 열린 구간 $(-\infty,0)$을 채우는 지수족이므로 $T$는 완비충분통계량이다(11회 정리 4.5). $E(1/T)=\theta/(n-1)$ ($n\ge2$)이므로 $(n-1)/T$는 $\theta$의 불편추정량이고, $T$의 함수이므로 Lehmann–Scheffé(11회 정리 3.3)로 UMVUE다. $E(1/T^2)=\theta^2/((n-1)(n-2))$이므로 $n\ge3$에서

$$\Var\Bigl(\frac{n-1}T\Bigr)=\frac{(n-1)^2\theta^2}{(n-1)(n-2)}-\theta^2=\frac{\theta^2}{n-2}>\frac{\theta^2}n=\frac1{nI(\theta)} .$$

UMVUE도 Cramér–Rao 한계(9회 정리 2.4)에 닿지 않는다. 한계에 닿는 것은 $T/n$으로 추정하는 $1/\theta$뿐이다(11회 정리 4.6).

(d) $\theta_1>\theta_0$이면 가능도비 $\prod f(x_i;\theta_1)/\prod f(x_i;\theta_0)=(\theta_1/\theta_0)^n e^{-(\theta_1-\theta_0)T}$은 $T$의 감소함수, 곧 $-T$의 증가함수다. 단조가능도비를 가지므로 Karlin–Rubin(12회 정리 2.4)으로 “$T<c$이면 기각”이 UMP다. $2\theta T\sim\chi^2(2n)$이므로 $P_{\theta_0}(T<c)=\alpha$에서 $c=\chi^2_{2n,\alpha}/(2\theta_0)$이다($\chi^2_{2n,\alpha}$는 하위 $\alpha$ 분위수). $T$가 연속이므로 확률화가 필요 없다.

(e) $c=10.851/4\approx2.713$이다. $T=2.5<2.713$이므로 $H_0$을 기각한다. 유의확률은 $P_{\theta_0}(T\le2.5)=P(\chi^2(20)\le4\cdot2.5)\approx0.032$이다.

채점 기준 (a) 4점: 로그가능도 1점, 점수방정식 1점, 유일한 최댓점의 논증 2점(경계와 부호 변화 또는 오목성). (b) 4점: 정보 2점, 극한분포 1점, 조건 확인 1점. (c) 5점: $Y$의 분포 1점, 완비충분 1점, 불편성과 Lehmann–Scheffé 2점, 분산 비교 1점. MLE를 UMVUE라 하면 2점 감점. (d) 4점: 단조가능도비의 방향 2점, $\chi^2$ 변환으로 경계 2점. 기각 방향을 $T>c$로 쓰면 3점 감점. (e) 3점: 경계 1점, 결론 1점, 유의확률 1점.

관련 9회 정리 2.2(정보의 두 표현)·정리 2.4(Cramér–Rao)·정리 3.1(점근정규성), 11회 정리 3.3(Lehmann–Scheffé)·정리 4.5(지수족의 완비충분통계량)·정리 4.6(한계에 닿는 모형), 12회 정의 2.2·정리 2.4(Karlin–Rubin), 4회 정리 3.7(감마의 적률)

최종답 (a) $\hat\theta=n/T$ (b) $\sqrt n(\hat\theta-\theta)\to\N(0,\theta^2)$ (c) $(n-1)/T$ (e) $c\approx2.713$

A5 직교 다항식 회귀

20점 · 40분

$x=-2,-1,0,1,2$에서 반응을 하나씩 관측해 $y=(5,\,2,\,1,\,3,\,9)$를 얻었다. 모형은 $z_i=x_i^2-2$로 두고

$$y_i=\beta_0+\beta_1x_i+\beta_2z_i+\varepsilon_i,\qquad \varepsilon_i\iid\N(0,\sigma^2)$$

이다. $t_{2,0.975}=4.303$, $F_{1,2;0.95}=18.51$, $\sqrt{0.02}\approx0.1414$를 써도 된다.

1. (a)

   (4점) 설계행렬 $X$를 쓰고 $X\T X$가 대각행렬임을 보여라. 최소제곱추정값 $\hat\beta$를 구하라.

2. (b)

   (4점) 잔차제곱합과 $s^2$을 구하라. $\hat\beta$와 $s^2$의 분포, 그리고 둘의 관계를 적어라.

3. (c)

   (4점) $\tilde\beta_1=(y_5-y_1)/4$가 $\beta_1$의 선형불편추정량임을 보이고, $\Var\hat\beta_1/\Var\tilde\beta_1$을 구하라. 이 비가 1보다 작다는 것은 어느 정리의 한 예인가?

4. (d)

   (5점) 이차항이 필요한지 $H_0:\beta_2=0$을 수준 0.05에서 $F$ 검정으로 검정하라. $F$ 통계량의 값을 적어라.

5. (e)

   (3점) $\beta_1$의 95% 신뢰구간을 구하라.

풀이

(a) $X$의 세 열은 $\mathbf 1=(1,1,1,1,1)$, $x=(-2,-1,0,1,2)$, $z=(2,-1,-2,-1,2)$이다. $\mathbf 1\T x=0$, $\mathbf 1\T z=0$, $x\T z=-4+1+0-1+4=0$이므로 $X\T X=\diag(5,10,14)$이다. 정규방정식(13회 정리 2.2)이 성분마다 갈라져

$$\hat\beta_0=\frac{\sum y_i}5=4,\qquad \hat\beta_1=\frac{\sum x_iy_i}{10}=\frac{9}{10},\qquad \hat\beta_2=\frac{\sum z_iy_i}{14}=\frac{21}{14}=1.5$$

이다.

(b) 적합값은 $(5.2,\,1.6,\,1.0,\,3.4,\,8.8)$, 잔차는 $(-0.2,\,0.4,\,0,\,-0.4,\,0.2)$이므로 잔차제곱합은 $0.4$이고 $s^2=0.4/(5-3)=0.2$이다. 13회 정리 4.7로 $\hat\beta\sim\N_3(\beta,\allowbreak \sigma^2(X\T X)^{-1})$, $2s^2/\sigma^2\sim\chi^2(2)$이고 $\hat\beta$와 $s^2$은 독립이다. $(X\T X)^{-1}$이 대각이므로 $\hat\beta_0,\allowbreak \hat\beta_1,\allowbreak \hat\beta_2$도 서로 독립이다.

(c) $E\tilde\beta_1=\frac14\bigl[(\beta_0+2\beta_1+2\beta_2)-(\beta_0-2\beta_1+2\beta_2)\bigr]=\beta_1$이다($z_1=z_5=2$). $\Var\tilde\beta_1=2\sigma^2/16=\sigma^2/8$, $\Var\hat\beta_1=\sigma^2/10$이므로 비는 $\tfrac{8}{10}=\tfrac45$이다. Gauss–Markov 정리(13회 정리 3.3)의 한 예다. 선형불편추정량 가운데 $\hat\beta_1$의 분산이 가장 작다.

(d) 일반선형가설(13회 정리 4.9)에서 $C=(0,0,1)$, $q=1$이므로

$$F=\frac{\hat\beta_2^2/[(X\T X)^{-1}]_{33}}{s^2}=\frac{1.5^2\cdot14}{0.2}=157.5$$

이고 $H_0$에서 $F\sim F(1,2)$이다. $157.5>18.51$이므로 $H_0$을 기각한다. $t=\hat\beta_2/(s/\sqrt{14})\approx12.55$이고 $t^2=F$이다. 제한모형의 잔차제곱합 $0.4+31.5=31.9$로 $(31.9-0.4)/0.2=157.5$를 얻어도 같다.

(e) $\hat\beta_1\pm t_{2,0.975}\,s/\sqrt{10}=0.9\pm4.303\sqrt{0.02}\approx0.9\pm0.608$, 곧 $[0.29,\ 1.51]$이다. 자유도가 2뿐이어서 $t$ 분위수가 정규의 1.96보다 두 배 넘게 크다.

채점 기준 (a) 4점: 설계행렬 1점, 직교성 1점, $\hat\beta$ 2점. (b) 4점: 잔차제곱합과 $s^2$ 2점(자유도 $n-p=2$로 나누지 않으면 1점 감점), 분포와 독립 2점. (c) 4점: 불편성 1점, 분산의 비 2점, Gauss–Markov 1점. (d) 5점: 통계량 3점, 기준과 결론 2점. (e) 3점: 공식 2점, 수치 1점.

관련 13회 정리 2.2(정규방정식)·정리 3.3(Gauss–Markov)·정리 4.7(정규선형모형의 표본분포)·따름정리 4.8($t$, 신뢰구간)·정리 4.9(일반선형가설)

최종답 (b) $s^2=0.2$ (c) $\tfrac45$ (d) $F=157.5$ (e) $0.9\pm0.608$

A6 척도 손실에서의 Bayes 추정과 minimax

15점 · 25분

$X_1,\dots,X_n$ ($n\ge3$)이 밀도 $\lambda e^{-\lambda x}$ ($x>0$)인 iid 표본이고 $T=\sum X_i$이다. 사전분포는 $\lambda\sim\Gamma(\alpha,\allowbreak \ \text{율 }\beta)$, 곧 밀도가 $\lambda^{\alpha-1}e^{-\beta\lambda}$에 비례한다. 손실은 상대오차의 제곱 $L(\lambda,d)=(d/\lambda-1)^2$이다. 답의 식에서 $\alpha,\beta$는 alpha, beta로 쓴다.

1. (a)

   (3점) $\lambda$의 사후분포를 구하라.

2. (b)

   (4점) 이 손실에서 Bayes 추정량을 구하고, 그때의 사후 기대손실이 $1/(\alpha+n-1)$임을 보여라.

3. (c)

   (5점) $c>0$에 대해 $d_c=c/T$의 위험 $R(\lambda,d_c)$를 구하라. 위험이 $\lambda$에 의존하지 않음을 보이고, MLE의 위험을 구하라. MLE는 허용적인가?

4. (d)

   (3점) $d_{n-2}=(n-2)/T$가 minimax임을 보이고, 그 위험을 구하라.

풀이

(a) 사후밀도는 $\lambda^{\alpha-1}e^{-\beta\lambda}\cdot\lambda^ne^{-\lambda T}\propto\lambda^{\alpha+n-1}e^{-(\beta+T)\lambda}$이므로 $\Gamma(\alpha+n,\allowbreak \ \text{율 }\beta+T)$이다(16회 정리 1.2).

(b) $E[(d/\lambda-1)^2\mid\x]=d^2E[\lambda^{-2}\mid\x]-2dE[\lambda^{-1}\mid\x]+1$은 $d$의 이차식이므로 $d^*=E[\lambda^{-1}\mid\x]/E[\lambda^{-2}\mid\x]$에서 최소다. $a=\alpha+n$, $b=\beta+T$로 두면 $E[\lambda^{-1}\mid\x]=b/(a-1)$, $E[\lambda^{-2}\mid\x]=b^2/((a-1)(a-2))$ ($a>2$)이므로

$$d^*=\frac{a-2}{b}=\frac{\alpha+n-2}{\beta+T},\qquad \min_d E[L\mid\x]=1-\frac{(E[\lambda^{-1}\mid\x])^2}{E[\lambda^{-2}\mid\x]}=1-\frac{a-2}{a-1}=\frac1{\alpha+n-1}$$

이다. 최소 사후 기대손실은 자료에 의존하지 않는다.

(c) $T\sim\Gamma(n,\allowbreak \ \text{율 }\lambda)$이므로 $E(1/T)=\lambda/(n-1)$, $E(1/T^2)=\lambda^2/((n-1)(n-2))$이다. 따라서

$$R(\lambda,d_c)=E\Bigl(\frac c{\lambda T}-1\Bigr)^2=\frac{c^2}{(n-1)(n-2)}-\frac{2c}{n-1}+1$$

이고 $\lambda$가 없다. MLE는 $\hat\lambda=n/T$이므로 $c=n$을 넣으면 $R=\dfrac{n+2}{(n-1)(n-2)}$이다. 위험은 $c$의 이차식이고 $c=n-2$에서 최소 $1/(n-1)$이다. $\dfrac{n+2}{(n-1)(n-2)}-\dfrac1{n-1}=\dfrac4{(n-1)(n-2)}>0$이므로 $d_{n-2}$가 모든 $\lambda$에서 MLE보다 위험이 작다. MLE는 허용적이지 않다. $n=10$이면 위험은 $\tfrac16$ 대 $\tfrac19$이다.

(d) 임의의 추정량 $\delta$와 사전분포 $\pi_{\alpha,\beta}$에 대해 위험의 최댓값은 Bayes 위험보다 작지 않고, Bayes 위험은 Bayes 추정량에서 가장 작다. (b)로 Bayes 추정량의 사후 기대손실은 상수 $1/(\alpha+n-1)$이므로 그 Bayes 위험도 $1/(\alpha+n-1)$이다. 따라서

$$\sup_\lambda R(\lambda,\delta)\ \ge\ r(\pi_{\alpha,\beta},\delta)\ \ge\ \frac1{\alpha+n-1}\qquad(\alpha>0)$$

이고 $\alpha\downarrow0$으로 보내면 $\sup_\lambda R(\lambda,\allowbreak \delta)\ge1/(n-1)=\sup_\lambda R(\lambda,\allowbreak d_{n-2})$이다. 그러므로 $d_{n-2}$는 minimax이고 위험은 $1/(n-1)$이다. $d_{n-2}$는 어떤 정칙 사전분포의 Bayes 추정량도 아니다($\alpha=\beta=0$의 극한이다). 그래서 16회 정리 2.3(b)를 바로 쓰지 않고 극한으로 논증했다.

채점 기준 (a) 3점: 켤레 계산 2점, 모수 1점. (b) 4점: 이차식의 최소화 2점, 역적률 계산 1점, 사후 기대손실 1점. (c) 5점: $T$의 역적률 2점, 위험의 식 1점, MLE의 위험 1점, 지배하는 추정량과 비허용성 1점. (d) 3점: $\sup\ge$ Bayes 위험의 부등식 1점, 극한 논증 2점. 상수 위험만 말하고 극한 논증이 없으면 1점만 준다.

관련 16회 정리 1.2(켤레 사전분포)·정리 2.1(Bayes 추정량)·정리 2.3(Bayes 추정량의 두 성질), 4회 정리 3.7(감마의 적률), 16회 워크북 C3(Bayes 위험의 극한과 minimax)

최종답 (b) $\tfrac{\alpha+n-2}{\beta+T}$ (c) $\tfrac{n+2}{(n-1)(n-2)}$ (d) $\tfrac1{n-1}$

시험지 PDF풀이판 PDF답 확인