2회 · 기댓값·부등식·대수의 법칙 · 노트

7 부숴보기 — 가정을 빼면

이 회차의 정리들에는 모두 “기댓값이 존재하면”, “분산이 유한하면”, “mgf가 0의 근방에서 존재하면”, “독립이면”이라는 조건이 붙어 있다. 조건을 하나씩 빼 본다.

7.1 기댓값이 무한대 — St. Petersburg 역설

역사 Nicolaus Bernoulli(Jacob의 조카)는 1713년 Montmort에게 보낸 편지에서 다음 내기를 물었다. 공평한 동전을 앞면이 나올 때까지 던져, $k$번째에 처음 앞면이 나오면 $2^k$ 두카트를 받는다. 이 내기에 들어가는 값으로 얼마를 내겠는가? 25년 뒤 그의 사촌 Daniel Bernoulli가 상트페테르부르크 학술원의 논문집(1738)에 해법을 실었고, 문제는 그 도시의 이름을 얻었다.

상금 $X=2^K$, $P(K=k)=2^{-k}$이므로

$$EX=\sum_{k=1}^\infty2^k\cdot2^{-k}=1+1+1+\cdots=\infty .$$

기댓값으로 값을 매기면(Huygens의 규칙) 어떤 금액을 내도 싸다. 그러나 실제로 20두카트를 내겠다는 사람도 드물다. 상금의 중앙값은 2두카트이고, 4두카트 이하일 확률이 $\tfrac34$이다.

Daniel Bernoulli의 해법은 돈의 쓸모가 금액에 비례하지 않는다는 것이었다. 가진 돈이 늘수록 같은 1두카트의 쓸모는 줄어든다. 그는 쓸모의 증가가 가진 돈에 반비례한다고 놓아 $u(w)=\log w$를 얻었다. 그러면

$$E\log_2X=\sum_{k=1}^\infty k\,2^{-k}=2$$

이므로 확실성 등가(예제 5.11)는 $2^2=4$두카트다. 기댓값은 무한대인데 이 내기의 값은 4두카트라는 것이다.

그림 7.1 St. Petersburg 내기. 왼쪽: $n$판의 평균 상금 경로 20개. 큰 상금이 가끔 경로를 위로 튕겨 올리고, 그 사이에는 천천히 내려온다. 오른쪽: 경로들의 중앙값은 $\log_2n$(점선)을 따라 자란다.

대수의 법칙은 어떻게 되나? 평균이 무한대이므로 정리 6.3을 쓸 수 없고, 실제로 $\bar X_n$은 어떤 상수로도 수렴하지 않는다. 그림 7.1에서 평균 상금은 $\log_2n$처럼 자란다. Feller(1945)는 이것을 정확히 했다. $\bar X_n/\log_2n\xrightarrow{P}1$이다(연습 7.3). 1,000판의 공평한 참가비는 판마다 약 10두카트, 100만 판이면 약 20두카트다. 공평한 값이 판의 수에 따라 달라지는 내기다.

7.2 기댓값이 없다 — Cauchy

Cauchy 분포에는 기댓값이 없다(예제 1.8). 이 경우 표본평균은 더 극적으로 행동한다. 독립인 Cauchy 확률변수 $n$개의 평균 $\bar X_n$은 다시 같은 Cauchy 분포를 따른다(7회에서 증명한다). 1,000개를 평균해도 한 개를 볼 때보다 나아지는 것이 없다. 그림 7.2의 경로는 몇 번이고 큰 값에 끌려가고 어디에도 정착하지 않는다.

분산은 무한대이지만 평균은 있는 경우도 있다. Pareto 분포(연습 4.6)에서 $\alpha=1.5$이면 $EX=3$이고 $EX^2=\infty$이다. 이때는 Chebyshev 부등식을 쓸 수 없지만, 대수의 법칙의 결론 $\bar X_n\xrightarrow{P}3$은 여전히 참이다(Khinchin, 7회). 다만 수렴이 $1/\sqrt n$보다 훨씬 느리다. 오른쪽 꼬리가 무거운 손실, 소득, 파일 크기 같은 자료에서 평균이 오래 흔들리는 이유다.

그림 7.2 누적 표본평균의 경로 각 10개. 왼쪽: 정규분포(분산 유한)는 $1/\sqrt n$로 정착한다. 가운데: Pareto $\alpha=1.5$(평균 3, 분산 무한대)는 정착하지만 느리다. 오른쪽: Cauchy(평균 없음)는 정착하지 않는다.

7.3 적률이 분포를 정하지 못한다

mgf의 유일성(3.3절)에는 “0의 근방에서 존재하면”이라는 조건이 있다. 이 조건을 빼면, 곧 모든 적률이 있어도 mgf가 없으면 적률이 분포를 정하지 못할 수 있다.

정리 7.1 (적률이 모두 같은 두 분포) $\phi(y)=\tfrac1{\sqrt{2\pi}}e^{-y^2/2}$로 두고 $x>0$에서

$$f(x)=\frac1x\,\phi(\log x),\qquad f_a(x)=f(x)\bigl[1+a\sin(2\pi\log x)\bigr],\quad |a|\le1$$

라 하자. 그러면 모든 $k=0,1,2,\dots$에 대해 $\int_0^\infty x^kf_a(x)\,dx=\int_0^\infty x^kf(x)\,dx=e^{k^2/2}$이다.

증명 $\int_0^\infty x^kf(x)\sin(2\pi\log x)\,dx=0$을 보이면 된다. $x=e^y$로 치환하면 $dx=e^ydy$, $f(e^y)e^y=\phi(y)$이므로 적분은 $\int_{-\infty}^\infty e^{ky}\phi(y)\sin(2\pi y)\,dy$이다. 지수를 완전제곱으로 쓰면 $ky-\tfrac{y^2}2=\tfrac{k^2}2-\tfrac{(y-k)^2}2$이므로 $y=k+z$로 다시 치환해

$$e^{k^2/2}\int_{-\infty}^\infty\phi(z)\sin\bigl(2\pi(z+k)\bigr)\,dz=e^{k^2/2}\int_{-\infty}^\infty\phi(z)\sin(2\pi z)\,dz=0 .$$

$k$가 정수이므로 $\sin(2\pi(z+k))=\sin(2\pi z)$이고, $\phi$는 짝함수, $\sin$은 홀함수이므로 적분은 0이다. 같은 계산에서 $\sin$을 빼면 $\int x^kf=e^{k^2/2}\int\phi$이다.

$\int\phi=1$은 5회에서 증명한다(가우스 적분). 그러면 $f$는 로그정규분포의 밀도($\log X$가 표준정규)이고, $f_a$도 음이 아니고 적분이 1인 밀도다. 두 분포는 다르지만($a\ne0$이면 $f_a$는 물결친다) 모든 적률이 같다(Heyde, 1963). 로그정규분포에는 mgf가 없다. $t>0$이면 $E\,e^{tX}=\infty$이다(연습 7.4). 적률의 수열 $e^{k^2/2}$이 너무 빨리 자라서 분포를 묶어 두지 못하는 것이다.

그림 7.3 로그정규 밀도 $f$(검정)와 $f_a$, $a=\pm\tfrac12$. 세 밀도의 1차, 2차, 3차, … 모든 적률이 같다.

7.4 독립이 아니면

$X_1$이 $\mathrm{Bernoulli}(\tfrac12)$이고 $X_2=X_3=\cdots=X_1$이면, 각 $X_i$의 평균은 $\tfrac12$이지만 $\bar X_n=X_1$은 0 아니면 1이다. 대수의 법칙이 무너진다. 정리 2.8의 교차항 $E(D_iD_j)$가 0이 아니라 $\tfrac14$이기 때문이다. 관측들이 서로 닮아 있으면 $n$개의 관측이 담은 정보는 $n$개보다 적다. 3회에서 이것을 “유효 표본 크기”로 잰다.

연습문제

연습 7.1 (은행의 한도 ★) St. Petersburg 내기를 여는 카지노의 돈이 $2^{20}$두카트(약 100만)뿐이어서, 상금이 그보다 크면 $2^{20}$만 준다. 기대 상금이 21두카트임을 보여라. 기댓값을 무한대로 만든 것은 확률이 $2^{-20}$보다 작은 사건들이었다.

풀이

$K\le20$이면 상금 $2^K$, $K>20$이면 $2^{20}$이므로 기대 상금은 $\sum_{k=1}^{20}2^k2^{-k}+2^{20}P(K>20)=20+2^{20}\cdot2^{-20}=21$두카트.

연습 7.2 (가진 돈이 있으면 ★★) 처음 가진 돈이 $w$이고 효용이 $\log$이면, 참가비 $c$를 낼 의향이 있는 최대 $c$는 $\sum_k2^{-k}\log(w-c+2^k)=\log w$의 해다. 노트북으로 $w=100$과 $w=10^6$일 때 $c$를 구하라.

풀이

참가비 $c$를 내고 참가하면 가진 돈이 $w-c+2^K$이므로, 기대 효용이 참가하지 않을 때의 $\log w$와 같아지는 $c$가 최대 참가비다. 노트북의 수치 풀이로 $w=100$이면 $c\approx7.8$, $w=10^6$이면 $c\approx20.9$두카트. 부자일수록 더 많이 낼 의향이 있지만, 백만장자도 21두카트를 넘지 않는다.

연습 7.3 (Feller의 정규화 ★★★) St. Petersburg 상금 $X_1,\dots,X_n$이 독립이다. $b_n=n\log_2n$, $Y_i=X_i\mathbf 1\{X_i\le b_n\}$으로 자른다. (a) $P(\text{어떤 }X_i\ne Y_i)\le nP(X_1>b_n)\le\tfrac{2n}{b_n}\to0$. (b) $EY_i=\lfloor\log_2b_n\rfloor$, $\Var Y_i\le EY_i^2\le2b_n$. (c) Chebyshev로 $\bigl(\sum Y_i-nEY_1\bigr)/b_n\xrightarrow{P}0$이고, $nEY_1/b_n\to1$이다. 이것으로 $\sum X_i/(n\log_2n)\xrightarrow{P}1$을 결론지어라.

풀이

(a) $P(X_1>b)=P(K>\log_2b)=2^{-\lfloor\log_2b\rfloor}\le\tfrac2b$이고 Boole 부등식으로 $P(\text{어떤 }X_i\ne Y_i)\le\tfrac{2n}{b_n}=\tfrac2{\log_2n}\to0$. (b) $EY_1=\sum_{k:2^k\le b_n}2^k2^{-k}=\lfloor\log_2b_n\rfloor$, $EY_1^2=\sum_{k:2^k\le b_n}2^k\le2\cdot2^{\lfloor\log_2b_n\rfloor}\le2b_n$. (c) $Y_i$들은 독립이므로 $\Var\sum Y_i\le2nb_n$이고 Chebyshev로

$$P\Bigl(\Bigl|\sum_iY_i-nEY_1\Bigr|\ge\varepsilon b_n\Bigr)\le\frac{2nb_n}{\varepsilon^2b_n^2}=\frac2{\varepsilon^2\log_2n}\to0 .$$

또 $\tfrac{nEY_1}{b_n}=\tfrac{\lfloor\log_2(n\log_2n)\rfloor}{\log_2n}\to1$. (a)로 $\sum X_i=\sum Y_i$일 확률이 1로 가므로 $\sum X_i/b_n\xrightarrow{P}1$.

연습 7.4 (로그정규에는 mgf가 없다 ★★) $X=e^Y$, $Y$가 표준정규이면 $t>0$에 대해 $E\,e^{tX}=\infty$임을 보여라. (힌트: $e^{tx}\ge\tfrac{(tx)^k}{k!}$이므로 $E\,e^{tX}\ge\tfrac{t^k}{k!}e^{k^2/2}$이고, 이것은 $k\to\infty$에서 발산한다.)

풀이

$x>0$이면 $e^{tx}\ge\tfrac{(tx)^k}{k!}$이므로 $E\,e^{tX}\ge\tfrac{t^k}{k!}EX^k=\tfrac{t^ke^{k^2/2}}{k!}$. $k!\le k^k=e^{k\log k}$이므로 오른쪽은 $\exp\bigl(\tfrac{k^2}2-k\log k+k\log t\bigr)\to\infty$.

연습 7.5 (어떤 적률이 있나 ★) Pareto 분포 $F(x)=1-x^{-\alpha}$ ($x\ge1$)에서 $EX^k<\infty$일 필요충분조건을 구하라. 이 분포에 mgf가 있나?

풀이

$EX^k=\alpha\int_1^\infty x^{k-\alpha-1}dx<\infty\iff k<\alpha$, 그때 $\tfrac{\alpha}{\alpha-k}$. 차수가 $\alpha$ 이상인 적률은 없으므로 mgf도 없다($t>0$이면 $e^{tx}\ge(tx)^k/k!$를 $k>\alpha$로 쓴다).

이 절을 PDF로 보기 (44쪽)노트북 7절

이 회차에서 읽은 절 0개 · 회차 차례