2회 · 기댓값·부등식·대수의 법칙 · 워크북

C. 증명 문제

노트의 정리를 변형하고, 일반화하고, 반례로 경계를 확인한다. 증명은 노트의 단계형 모양으로 쓴다. 한 줄에 한 단계, 줄마다 근거. 기댓값과 합·극한의 순서를 바꾸는 곳에서는 조건을 따로 확인한다.

C1 유계인 확률변수의 분산 ★★

[T4] · 정리 2.2(c), 따름정리 5.6 · 15분

$P(a\le X\le b)=1$이면 $\Var X\le\tfrac{(b-a)^2}4$임을 보여라. 등호는 언제 성립하는가?

힌트

정리 2.2(c)에서 $c$를 구간의 가운데로 잡는다. 등호의 경우는 “음이 아닌 확률변수의 기댓값이 0이면 그 변수는 확률 1로 0”(노트 연습 5.8)을 쓴다.

풀이

$c=\tfrac{a+b}2$로 두면 $|X-c|\le\tfrac{b-a}2$이므로 정리 2.2(c)와 단조성으로

$$\Var X\le\Var X+(\mu-c)^2=E(X-c)^2\le\frac{(b-a)^2}4 .$$

등호이면 두 부등호가 모두 등호다. 첫째로 $\mu=c$이다. 둘째로 $Y=\tfrac{(b-a)^2}4-(X-c)^2\ge0$이고 $EY=0$이므로 노트 연습 5.8(c)로 $P(Y=0)=1$, 곧 $X\in\{a,b\}$이다. 그러면 $EX=c$에서 $P(X=a)=P(X=b)=\tfrac12$이다. 거꾸로 이 분포는 분산이 $\tfrac{(b-a)^2}4$이다. $[0,1]$의 Bernoulli에서 $pq\le\tfrac14$가 이 결과의 특수한 경우다.

C2 곱의 기댓값이 갈라져도 독립은 아니다 ★

[T2] · 정리 2.7, 2.8 · 10분

$X$가 $-1,0,1$을 같은 확률로 갖고 $Y=X^2$이다.

1. (a)

   $E(XY)=EX\cdot EY$임을 보여라.

2. (b)

   $X$와 $Y$가 독립이 아님을 보여라.

3. (c)

   $\Var(X+Y)=\Var X+\Var Y$인가? 정리 2.8의 증명에서 실제로 쓰인 가정이 무엇인지와 연결해 설명하라.

힌트

(b) 정의 2.6의 식이 한 점 $(x,y)$에서라도 깨지면 된다. (c)는 교차항 $E(D_XD_Y)$를 계산한다.

풀이

(a) $XY=X^3=X$이므로 $E(XY)=EX=0=EX\cdot EY$이다. (b) $P(X=0,Y=0)=P(X=0)=\tfrac13$이지만 $P(X=0)P(Y=0)=\tfrac13\cdot\tfrac13=\tfrac19$이다. $X$를 알면 $Y$가 정해지므로 정보가 없다는 뜻의 독립과 거리가 멀다. (c) $EY=\tfrac23$, $\Var X=\tfrac23$, $\Var Y=EY^2-(EY)^2=\tfrac23-\tfrac49=\tfrac29$이다. $X+Y$는 $0,0,2$를 같은 확률로 가지므로 평균 $\tfrac23$, $\Var(X+Y)=\tfrac43-\tfrac49=\tfrac89=\tfrac23+\tfrac29$로 성립한다. 정리 2.8의 증명이 쓴 것은 교차항 $E(D_XD_Y)=E(XY)-EX\,EY=0$뿐이고, 독립은 그것을 보장하는 한 가지 방법이었다. 정리 2.7의 거꾸로는 성립하지 않는다.

C3 평균이 있으면 꼬리는 $1/x$1/x보다 빨리 준다 ★★

[T5], [T6] · 정리 1.13 · 20분

1. (a)

   $X\ge0$이 밀도 $f$를 갖고 $EX<\infty$이면 $x\,P(X>x)\to0$ ($x\to\infty$)임을 보여라.

2. (b)

   거꾸로는 성립하지 않는다. $x\ge e$에서 $P(X>x)=\tfrac{e}{x\log x}$, $x<e$에서 $P(X>x)=1$인 $X$가 있다. 이것이 분포함수를 주는지 확인하고, $x\,P(X>x)\to0$이지만 $EX=\infty$임을 보여라.

힌트

(a) $x\,P(X>x)=x\int_x^\infty f(t)\,dt\le\int_x^\infty t\,f(t)\,dt$이고, 오른쪽은 수렴하는 적분의 꼬리다. (b) 꼬리 공식과 $\tfrac{d}{dx}\log\log x=\tfrac1{x\log x}$.

풀이

(a) $t\ge x$에서 $x\le t$이므로 $x\,P(X>x)=\int_x^\infty x\,f(t)\,dt\le\int_x^\infty t\,f(t)\,dt$이다. $\int_0^\infty tf(t)\,dt=EX<\infty$이므로 오른쪽은 $\int_0^\infty tf-\int_0^xtf\to0$이다 [T5]. 왼쪽은 음이 아니므로 0으로 간다.

(b) $G(x)=P(X>x)$는 $x<e$에서 1, $x=e$에서 $\tfrac e{e\cdot1}=1$로 이어지고, $x\log x$가 증가하므로 $x\ge e$에서 감소하며 0으로 간다. 따라서 $F=1-G$는 연속인 분포함수다. $x\,G(x)=\tfrac e{\log x}\to0$이지만 꼬리 공식으로

$$EX=\int_0^\infty G(x)\,dx\ge\int_e^A\frac{e}{x\log x}\,dx=e\,\log\log A\to\infty .$$

(a)의 조건 $x\,P(X>x)\to0$은 평균이 있기 위한 필요조건이지 충분조건이 아니다.

C4 Jensen의 등호 ★★★

[T2], [T4] · 보조정리 5.8, 정리 5.9 · 25분

$\varphi$가 열린 구간 $I$에서 순볼록이다. 곧 $x\ne y$, $0<\lambda<1$이면 $\varphi(\lambda x+(1-\lambda)y)<\lambda\varphi(x)+(1-\lambda)\varphi(y)$이다. 정리 5.9의 가정 아래 $\varphi(EX)=E\varphi(X)$이면 $P(X=EX)=1$임을 보여라.

힌트

받침선 $\ell$이 $\mu$ 밖의 점 $x_0$에서 그래프에 닿으면, $x_0$과 $\mu$의 중점에서 순볼록성과 모순이다(귀류). 그러면 $\varphi(X)-\ell(X)$는 음이 아니고 기댓값이 0이다.

풀이

$\mu=EX$와 보조정리 5.8의 받침선 $\ell(x)=\varphi(\mu)+b(x-\mu)$를 잡는다.

1. $x\ne\mu$이면 $\varphi(x)>\ell(x)$이다. 어떤 $x_0\ne\mu$에서 $\varphi(x_0)=\ell(x_0)$이라 하면 중점 $z=\tfrac{x_0+\mu}2$에서 $\varphi(z)<\tfrac12\varphi(x_0)+\tfrac12\varphi(\mu)=\tfrac12\ell(x_0)+\tfrac12\ell(\mu)=\ell(z)$인데, 이는 $\varphi\ge\ell$과 모순이다.순볼록, $\ell$은 일차식 [T2]

2. $Y=\varphi(X)-\ell(X)\ge0$이고 $EY=E\varphi(X)-\varphi(\mu)=0$이다.정리 5.9의 증명 4

3. $P(Y=0)=1$이다.노트 연습 5.8(c)

4. $Y=0$이면 1로 $X=\mu$이므로 $P(X=\mu)=1$이다.

분산의 경우($\varphi(x)=x^2$)에는 이것이 따름정리 5.6이다.

C5 분위수 함수의 성질 ★★

[T5] · 보조정리 4.6 · 15분

분포함수 $F$의 분위수 함수 $F^-(u)=\inf\{x:F(x)\ge u\}$ ($0<u<1$)에 대해 (a) $F^-$가 비감소임을, (b) $F^-$가 왼쪽 연속임을 보여라. (c) $X\sim\mathrm{Bernoulli}(\tfrac12)$이면 $F^-$는 어떤 함수인가? (b)와 맞는지 확인하라.

힌트

(b) $u_n\uparrow u$이면 $F^-(u_n)$은 증가하고 $F^-(u)$ 이하이므로 극한 $L$이 있다. $L\ge F^-(u)$를 보이려면 보조정리 4.6을 $F^-(u_n)\le L$에 쓴다.

풀이

(a) $u<v$이면 $\{x:F(x)\ge v\}\subset\{x:F(x)\ge u\}$이므로 하한은 $F^-(u)\le F^-(v)$이다. (b) $u_n\uparrow u$이면 (a)로 $F^-(u_n)$은 증가하고 $F^-(u)$ 이하이므로 극한 $L\le F^-(u)$가 있다 [T5]. 모든 $n$에서 $F^-(u_n)\le L$이므로 보조정리 4.6으로 $u_n\le F(L)$이고, $n\to\infty$이면 $u\le F(L)$이다. 다시 보조정리 4.6으로 $F^-(u)\le L$이다. 따라서 $L=F^-(u)$이다. (c) $F(x)=0$ ($x<0$), $\tfrac12$ ($0\le x<1$), $1$ ($x\ge1$)이므로 $F^-(u)=0$ ($0<u\le\tfrac12$), $1$ ($\tfrac12<u<1$)이다. $u=\tfrac12$에서 왼쪽 극한 0과 값 0이 같고, 오른쪽에서는 1로 뛴다. 왼쪽 연속이다.

C6 연속함수는 확률수렴을 보존한다 ★★

[T5] · 정의 6.1, 정리 6.2 · 15분

$Y_n\xrightarrow{P}c$이고 $g$가 $c$에서 연속이면 $g(Y_n)\xrightarrow{P}g(c)$임을 보여라. 이것으로 $\hat p_n(1-\hat p_n)\xrightarrow{P}p(1-p)$와 $\sqrt{\hat p_n}\xrightarrow{P}\sqrt p$를 결론지어라.

힌트

$\varepsilon>0$에 대해 연속성의 $\delta$를 잡으면 $\{|g(Y_n)-g(c)|\ge\varepsilon\}\subset\{|Y_n-c|\ge\delta\}$이다.

풀이

$\varepsilon>0$을 고정한다. $g$가 $c$에서 연속이므로 $|y-c|<\delta$이면 $|g(y)-g(c)|<\varepsilon$인 $\delta>0$이 있다 [T5]. 대우로 $|g(y)-g(c)|\ge\varepsilon$이면 $|y-c|\ge\delta$이므로 $\{|g(Y_n)-g(c)|\ge\varepsilon\}\subset\{|Y_n-c|\ge\delta\}$이고, 단조성으로 $P(|g(Y_n)-g(c)|\ge\varepsilon)\le P(|Y_n-c|\ge\delta)\to0$이다. 정리 6.2로 $\hat p_n\xrightarrow{P}p$이고, $g(y)=y(1-y)$와 $g(y)=\sqrt{y}$ ($y\ge0$)는 연속이다. 앞의 것은 Chebyshev 한계의 분산 $pq$를 자료로 추정하는 근거다.

C7 닮은 관측의 대수의 법칙 ★★

[T5] · 정리 2.8의 증명, 정리 6.3 · 20분

이산 확률공간 위의 $X_1,X_2,\dots$가 모두 평균 $\mu$, 분산 $\sigma^2$을 갖고, $D_i=X_i-\mu$에 대해 $E(D_iD_j)=\sigma^2\rho^{|i-j|}$ ($|\rho|<1$)이다.

1. (a)

   $\Var\bar X_n=\tfrac{\sigma^2}{n^2}\sum_{i,j=1}^n\rho^{|i-j|}\le\tfrac{\sigma^2}n\cdot\tfrac{1+|\rho|}{1-|\rho|}$임을 보여라.

2. (b)

   $\bar X_n\xrightarrow{P}\mu$임을 보여라.

3. (c)

   $\rho=\tfrac12$이면 $\lim_n n\Var\bar X_n/\sigma^2$은 얼마인가? 서로 닮은 관측 $n$개는 독립인 관측 몇 개만큼의 정보를 갖는가?

힌트

(a) 정리 2.8의 증명 2의 전개는 독립을 쓰지 않는다. $\sum_{i,j}|\rho|^{|i-j|}\le n\bigl(1+2\sum_{k\ge1}|\rho|^k\bigr)$. (c) $\tfrac1n\sum_{i,j}\rho^{|i-j|}=1+2\sum_{k=1}^{n-1}(1-\tfrac kn)\rho^k$.

풀이

(a) 선형성으로 $\Var\bar X_n=\tfrac1{n^2}E(\sum_iD_i)^2=\tfrac1{n^2}\sum_{i,j}E(D_iD_j)=\tfrac{\sigma^2}{n^2}\sum_{i,j}\rho^{|i-j|}$이다. $i$를 고정하면 $|i-j|=k\ge1$인 $j$는 많아야 두 개이므로 $\sum_j|\rho|^{|i-j|}\le1+2\sum_{k\ge1}|\rho|^k=\tfrac{1+|\rho|}{1-|\rho|}$이고, $i$에 대해 더하면 결론이다 [T5]. (b) Chebyshev로 $P(|\bar X_n-\mu|\ge\varepsilon)\le\tfrac{\sigma^2(1+|\rho|)}{n\varepsilon^2(1-|\rho|)}\to0$이다. (c) $\tfrac1n\sum_{i,j}\rho^{|i-j|}=1+2\sum_{k=1}^{n-1}(1-\tfrac kn)\rho^k\to1+\tfrac{2\rho}{1-\rho}=\tfrac{1+\rho}{1-\rho}=3$이다. $\Var\bar X_n\approx\tfrac{3\sigma^2}n$은 독립인 관측 $n/3$개의 분산과 같다. 대수의 법칙은 성립하지만 같은 정확도를 얻으려면 관측이 세 배 필요하다. 노트 7.4절의 “독립이 아니면”에서 $\rho=1$인 극단을 보았다.

최종답 (c) $3$

C8 성공 수가 짝수일 확률 ★★

예제 3.8 · 15분

$K\sim\mathrm b(n,p)$이고 $G(z)=E\,z^K$가 확률생성함수다. (a) $G(z)=(q+pz)^n$임을 보여라. (b) $P(K\text{가 짝수})=\tfrac12\bigl(1+(q-p)^n\bigr)$임을 보여라. (c) $n=10$, $p=0.3$이면 이 확률은 얼마인가?

힌트

(b) $G(1)+G(-1)=\sum_kP(K=k)\bigl(1+(-1)^k\bigr)$이다.

풀이

(a) 이항정리로 $G(z)=\sum_k\tbinom nk(pz)^kq^{n-k}=(q+pz)^n$이다. (b) $1+(-1)^k$은 $k$가 짝수이면 2, 홀수이면 0이므로 $G(1)+G(-1)=2P(K\text{ 짝수})$이다. $G(1)=1$, $G(-1)=(q-p)^n$이므로 결론이다. (c) $\tfrac12(1+0.4^{10})=\tfrac{9766649}{19531250}\approx0.50005$이다. $|q-p|<1$이면 $n$이 커질수록 짝수와 홀수가 같은 확률에 가까워진다. $p=\tfrac12$이면 $n\ge1$에서 정확히 $\tfrac12$이다.

최종답 (b) $\tfrac12\bigl(1+(q-p)^n\bigr)$ (c) $\approx0.50005$

C9 $[0,1]$[0,1] 값의 mgf와 Chernoff 한계 ★★★

[T4] · 정리 8.1, 3.6 · 25분

$X$가 확률 1로 $[0,1]$에 있고 $EX=\mu$이다.

1. (a)

   $0\le x\le1$이면 $e^{tx}\le(1-x)+x\,e^t$임을 볼록성으로 보여라.

2. (b)

   $M_X(t)\le1-\mu+\mu e^t$임을 보여라. 오른쪽은 어떤 분포의 mgf인가?

3. (c)

   $X_1,\dots,X_n$이 독립인 이산 확률변수이고 모두 (b)의 조건을 만족하면, $\mu<a<1$에서 $P(\bar X_n\ge a)\le e^{-nD(a\|\mu)}$임을 정리 8.1의 증명을 따라 보여라.

힌트

(a) $x=(1-x)\cdot0+x\cdot1$로 보고 $s\mapsto e^{ts}$의 볼록성을 쓴다. (c) Chernoff 한계(따름정리 5.2)와 정리 3.6(b) 뒤에는 이항분포와 같은 식이 남는다.

풀이

(a) $s\mapsto e^{ts}$는 볼록이고 $x=(1-x)\cdot0+x\cdot1$이므로 $e^{tx}\le(1-x)e^0+x\,e^{t}$이다. (b) (a)를 $X$에 쓰고 단조성과 선형성으로 $M_X(t)\le1-\mu+\mu e^t$이다. 오른쪽은 $\mathrm{Bernoulli}(\mu)$의 mgf다. 같은 평균을 갖는 $[0,1]$의 분포 가운데 mgf가 가장 큰 것은 양 끝에 몰린 Bernoulli다. (c) $t>0$에서 따름정리 5.2와 정리 3.6(b)로

$$P\Bigl(\sum_iX_i\ge na\Bigr)\le e^{-tna}\prod_iM_{X_i}(t)\le e^{-tna}(1-\mu+\mu e^t)^n$$

이다. 오른쪽은 정리 8.1의 증명에서 $p=\mu$로 둔 식과 같으므로, 같은 $t$로 최소화하면 $e^{-nD(a\|\mu)}$이다. 정리 8.2의 증명이 그대로 이어져 $P(|\bar X_n-\mu|\ge\varepsilon)\le2e^{-2n\varepsilon^2}$를 얻는다. 이것이 노트 8.1절 끝에서 말한 일반적인 Hoeffding 부등식이다.

워크북 PDF풀이판 PDF답 확인