2회 · 기댓값·부등식·대수의 법칙 · 노트

5 부등식 — 기댓값으로 꼬리를 누르기

분포를 모르고 평균과 분산만 알 때, 확률변수가 평균에서 멀리 떨어질 확률에 대해 무엇을 말할 수 있나? 놀랍게도 꽤 많이 말할 수 있다. 이 절의 세 부등식은 모두 한 그림에서 나온다. 함수 하나를 다른 함수로 누르고, 양변의 기댓값을 취하는 것이다.

역사 Irénée-Jules Bienaymé는 1853년 Laplace의 최소제곱법을 옹호하는 논문에서, 독립인 오차의 합이 평균에서 벗어날 확률을 분산으로 누르는 부등식을 증명했다. Pafnuty Chebyshev는 1867년 “평균값에 대하여”에서 같은 부등식을 독립적으로 증명하고, 그것으로 대수의 법칙을 몇 줄에 증명했다. 같은 해 Liouville의 학술지는 Bienaymé의 1853년 논문을 Chebyshev의 논문 바로 앞에 다시 실었고, Chebyshev는 뒤에 Bienaymé의 우선권을 인정했다. 더 단순한 첫 부등식은 Chebyshev의 제자 Andrei Markov의 이름으로 불린다.

5.1 Markov와 Chebyshev

그림 5.1 Markov와 Chebyshev 부등식의 그림. 빨간 계단 함수를 파란 함수가 위에서 누른다. 양변의 기댓값을 취하면 부등식이 된다.

정리 5.1 (Markov 부등식) $X\ge0$이고 $a>0$이면

$$P(X\ge a)\le\frac{EX}a .$$

증명 전략 지시함수를 $x$로 위에서 누르고(그림 5.1의 왼쪽), 양변의 기댓값을 취한다 [T4].

1. 모든 $x\ge0$에서 $a\,\mathbf 1\{x\ge a\}\le x$이다. $x\ge a$이면 좌변이 $a\le x$이고, $x<a$이면 좌변이 $0\le x$이다.경우 나누기

2. $E\bigl[a\,\mathbf 1\{X\ge a\}\bigr]\le EX$이다.단조성, 정리 1.10(b)

3. $E\bigl[a\,\mathbf 1\{X\ge a\}\bigr]=a\,P(X\ge a)$이다.선형성, $E\,\mathbf 1_A=P(A)$ (예제 1.2)

4. 2 3을 $a>0$으로 나누면 결론이다.

따름정리 5.2 (일반화된 Markov 부등식) $\varphi\ge0$이 증가함수이고 $\varphi(a)>0$이면 $P(X\ge a)\le E\varphi(X)/\varphi(a)$. 특히 mgf가 있으면 $t>0$에 대해

$$P(X\ge a)\le e^{-ta}M(t)\qquad\text{(Chernoff 한계)} .$$

증명 $\{X\ge a\}\subset\{\varphi(X)\ge\varphi(a)\}$이므로 단조성과 Markov 부등식을 $\varphi(X)$에 쓴다. 둘째 식은 $\varphi(x)=e^{tx}$이다.

정리 5.3 (Chebyshev 부등식) $\Var X=\sigma^2<\infty$이고 $\mu=EX$이면 모든 $c>0$에 대해

$$P\bigl(|X-\mu|\ge c\bigr)\le\frac{\sigma^2}{c^2},\qquad\text{곧}\qquad P\bigl(|X-\mu|\ge k\sigma\bigr)\le\frac1{k^2} .$$

증명 전략 거리의 사건을 제곱의 사건으로 바꾸고, 음이 아닌 확률변수 $(X-\mu)^2$에 Markov 부등식을 쓴다.

1. $c>0$이므로 $\{|X-\mu|\ge c\}=\{(X-\mu)^2\ge c^2\}$이다.$t\mapsto t^2$은 $t\ge0$에서 증가 [T1]

2. $P\bigl((X-\mu)^2\ge c^2\bigr)\le E(X-\mu)^2/c^2=\sigma^2/c^2$이다.정리 5.1, 정의 2.1

3. $c=k\sigma$를 넣으면 둘째 식이다.

분포가 무엇이든 평균에서 표준편차의 2배 이상 떨어질 확률은 $\tfrac14$ 이하, 3배 이상은 $\tfrac19$ 이하다. 대부분의 분포에서 실제 확률은 이보다 훨씬 작다(지수분포에서 2배 이상은 $e^{-3}\approx0.050$). 그러나 이 한계는 더 줄일 수 없다.

예제 5.4 (Chebyshev 한계는 정확하다) $k>1$에 대해 $X$가 $-k$와 $k$를 각각 확률 $\tfrac1{2k^2}$로, $0$을 확률 $1-\tfrac1{k^2}$로 가지면 $\mu=0$, $\sigma^2=k^2\cdot\tfrac1{k^2}=1$이고 $P(|X|\ge k\sigma)=\tfrac1{k^2}$이다. 등호가 성립한다. 평균과 분산만으로는 이보다 나은 한계를 말할 수 없다. 더 나은 한계를 원하면 더 많은 정보가 필요하다. 8절의 Hoeffding 부등식은 “값이 $[0,1]$ 안에 있다”는 정보를 쓴다.

예제 5.5 (Weldon의 주사위는 공평했나) 예제 2.11에서 공평한 주사위 모형 아래 $\bar K$는 평균 4, 분산 $\tfrac{8/3}{26306}$을 갖는다. Chebyshev 부등식으로

$$P\bigl(|\bar K-4|\ge0.0522\bigr)\le\frac{(8/3)/26306}{0.0522^2}\approx0.037 .$$

공평한 주사위라면 이만큼 벗어나는 일은 많아야 100번에 4번이다. 분포를 전혀 가정하지 않고 얻은 결론이다. 7회의 정규근사로는 이 확률이 $2\times10^{-7}$ 정도다. Weldon의 주사위는 5·6이 조금 더 잘 나왔다. 흔히 드는 설명은 이렇다. 눈을 파서 새긴 주사위는 눈이 많은 면이 조금 가벼워서, 그 면이 위로 오기 쉽다.

따름정리 5.6 (분산이 0이면 상수) $\Var X=0$이면 $P(X=\mu)=1$이다.

증명 전략 Chebyshev 부등식을 $c=\tfrac1n$마다 쓰고, 사건열의 극한에 1회 정리 4.7(연속성)을 쓴다 [T5]. 단계별 증명은 연습 5.8(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

5.2 Jensen

정의 5.7 (볼록함수) 구간 $I$ 위의 함수 $\varphi$가 모든 $x,y\in I$와 $0\le\lambda\le1$에 대해

$$\varphi\bigl(\lambda x+(1-\lambda)y\bigr)\le\lambda\varphi(x)+(1-\lambda)\varphi(y)$$

를 만족하면 볼록이라 한다. 그래프 위의 두 점을 잇는 현이 그래프 위에 있다는 뜻이다. $-\varphi$가 볼록이면 $\varphi$를 오목이라 한다.

$\varphi$가 두 번 미분가능하면 $\varphi''\ge0$일 때 볼록이다(연습 5.6). $x^2$, $e^x$, $|x|$, $x\log x$는 볼록이고, $\log x$와 $\sqrt x$는 오목이다.

보조정리 5.8 (받침선) $\varphi$가 열린 구간 $I$에서 볼록이고 $\mu\in I$이면, 어떤 기울기 $b$에 대해

$$\varphi(x)\ge\varphi(\mu)+b\,(x-\mu)\qquad\text{모든 }x\in I .$$

증명 

1단계: 기울기는 오른쪽으로 갈수록 크다. $x<\mu<y$이면 $\mu=\lambda x+(1-\lambda)y$, $\lambda=\tfrac{y-\mu}{y-x}$이다. 볼록성에 넣고 정리하면

$$\frac{\varphi(\mu)-\varphi(x)}{\mu-x}\le\frac{\varphi(y)-\varphi(\mu)}{y-\mu} .$$

(양변에 $(\mu-x)(y-\mu)>0$을 곱하면 볼록성의 식과 같아진다. 연습 5.5.)

2단계: 사이의 기울기. 왼쪽 기울기들 $\tfrac{\varphi(\mu)-\varphi(x)}{\mu-x}$ ($x<\mu$)는 어떤 오른쪽 기울기보다도 작으므로 위로 유계다. 그 상한을 $b$라 하자. 그러면 모든 $x<\mu<y$에 대해

$$\frac{\varphi(\mu)-\varphi(x)}{\mu-x}\le b\le\frac{\varphi(y)-\varphi(\mu)}{y-\mu} .$$

왼쪽 부등식에 $\mu-x>0$을 곱하면 $\varphi(x)\ge\varphi(\mu)+b(x-\mu)$, 오른쪽 부등식에 $y-\mu>0$을 곱하면 $\varphi(y)\ge\varphi(\mu)+b(y-\mu)$이다. $x=\mu$에서는 등호다. ($I$가 열린 구간이어서 $\mu$의 양쪽에 점이 있다.)

그림 5.2 Jensen 부등식. 두 점 분포에서 $E\varphi(X)$는 현의 중점이고 $\varphi(EX)$는 그 아래 곡선 위의 점이다. 일반적인 증명은 받침선 $\ell$(보조정리 5.8)을 쓴다.

정리 5.9 (Jensen 부등식) $\varphi$가 열린 구간 $I$에서 볼록이고, $P(X\in I)=1$, $E|X|<\infty$, $E|\varphi(X)|<\infty$이면

$$\varphi(EX)\le E\,\varphi(X) .$$

$\varphi$가 오목이면 부등호가 반대다.

증명 전략 볼록함수의 그래프는 한 점에서의 받침선보다 위에 있다(보조정리 5.8). 그 점을 $\mu=EX$로 잡고 양변의 기댓값을 취하면, 받침선은 일차식이라 기댓값이 $\varphi(\mu)$가 된다.

1. $\mu=EX$는 $I=(\alpha,\beta)$ 안에 있다($\alpha,\beta$는 $\pm\infty$일 수 있다). 확률 1로 $\alpha<X<\beta$이므로 $\alpha\le\mu\le\beta$이고, $\mu=\alpha$이면 $X-\alpha>0$인데 $E(X-\alpha)=0$이다. Markov 부등식으로 모든 $n$에서 $P(X-\alpha\ge\tfrac1n)\le0$이고, 연속성으로 $P(X>\alpha)=0$이 되어 모순이다. $\mu=\beta$도 같다.정리 5.1, 1회 정리 4.7

2. 받침선 $\ell(x)=\varphi(\mu)+b(x-\mu)$가 있어 $I$에서 $\varphi\ge\ell$이다.보조정리 5.8, 1

3. $P(X\in I)=1$이므로 $E\,\varphi(X)\ge E\,\ell(X)$이다.단조성, 정리 1.10(b)

4. $E\,\ell(X)=\varphi(\mu)+b\,(EX-\mu)=\varphi(\mu)$이다.선형성, 정리 1.10(a)

5. 오목이면 $-\varphi$에 1–4를 쓴다.정의 5.7

조건 확인 3에서 단조성을 쓰려면 두 기댓값이 존재해야 한다. $E|\varphi(X)|<\infty$는 가정이고, $E|\ell(X)|\le|\varphi(\mu)|+|b|\bigl(E|X|+|\mu|\bigr)<\infty$이다. $E|X|<\infty$라는 가정이 여기서 쓰인다.

따름정리 5.10 (Jensen의 따름정리들) 

1. (a)

   $(EX)^2\le EX^2$, $|EX|\le E|X|$.

2. (b)

   $X>0$이면 $E\log X\le\log EX$, $\ E\tfrac1X\ge\tfrac1{EX}$.

3. (c)

   (산술–기하 평균) $a_1,\dots,a_n>0$이면 $\sqrt[n]{a_1\cdots a_n}\le\tfrac1n(a_1+\cdots+a_n)$.

4. (d)

   (Lyapunov) $0<r<s$이면 $\bigl(E|X|^r\bigr)^{1/r}\le\bigl(E|X|^s\bigr)^{1/s}$.

증명 전략 식마다 알맞은 볼록함수나 오목함수와 확률변수를 골라 정리 5.9에 넣는다. (c)는 값 $a_i$들을 같은 확률로 갖는 확률변수를 만든다. 단계별 증명은 연습 5.9(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

예제 5.11 (오목한 효용 — 위험 회피) 돈 $w$의 “쓸모”를 증가하는 오목함수 $u(w)$로 재는 사람은 불확실한 금액 $W$보다 그 기댓값을 확실하게 받는 쪽을 언제나 좋아한다. Jensen으로 $E\,u(W)\le u(EW)$이기 때문이다. $E\,u(W)=u(c)$인 확실한 금액 $c$를 확실성 등가라 하면 $c\le EW$이고, 그 차이가 위험 프리미엄이다. 7절에서 Daniel Bernoulli가 이 생각으로 St. Petersburg 역설을 푸는 것을 본다.

연습문제

연습 5.1 (Markov도 정확하다 ★) $a>0$에 대해 등호 $P(X\ge a)=EX/a$가 성립하는 음이 아닌 $X$를 하나 만들어라. 언제 등호가 성립하는가?

풀이

$X$가 $a$를 확률 $\pi$로, 0을 확률 $1-\pi$로 가지면 $P(X\ge a)=\pi=EX/a$. 등호는 증명의 부등식 $a\mathbf 1\{X\ge a\}\le X$가 확률 1로 등식일 때, 곧 $X\in\{0,a\}$일 때뿐이다.

연습 5.2 (한계와 실제 ★) $k=1.5,2,3$에 대해 $P(|X-\mu|\ge k\sigma)$를 $\mathrm U(0,1)$과 $\mathrm{Exp}(1)$에서 정확히 구하고 $1/k^2$과 비교하라.

풀이

$\mathrm U(0,1)$: $\sigma=0.2887$. $k=1.5$이면 $P=1-2(0.433)=0.134$, $k=2,3$이면 $k\sigma>\tfrac12$이어서 0이다. $\mathrm{Exp}(1)$: $\mu=\sigma=1$이고 $X\ge0$이므로 $P(|X-1|\ge k)=P(X\ge1+k)=e^{-(1+k)}$: $0.082,\ 0.050,\ 0.018$. 한계 $1/k^2$은 $0.444,\ 0.25,\ 0.111$이다.

연습 5.3 (한쪽 꼬리 — Cantelli ★★★) $c>0$이면 $P(X-\mu\ge c)\le\tfrac{\sigma^2}{\sigma^2+c^2}$임을 보여라. (힌트: 모든 $s\ge0$에서 $P(X-\mu\ge c)\le P\bigl((X-\mu+s)^2\ge(c+s)^2\bigr)$에 Markov를 쓰고 $s$에 대해 최소화한다.) $k=2$이면 한쪽 꼬리는 $\tfrac15$ 이하다.

풀이

$s\ge0$이면 $X-\mu\ge c$에서 $X-\mu+s\ge c+s>0$이므로 $\{X-\mu\ge c\}\subset\{(X-\mu+s)^2\ge(c+s)^2\}$이고, Markov로

$$P(X-\mu\ge c)\le\frac{E(X-\mu+s)^2}{(c+s)^2}=\frac{\sigma^2+s^2}{(c+s)^2} .$$

오른쪽을 $s$로 미분하면 $s=\sigma^2/c$에서 최소이고, 그 값은 $\tfrac{\sigma^2(c^2+\sigma^2)/c^2}{(c^2+\sigma^2)^2/c^2}=\tfrac{\sigma^2}{\sigma^2+c^2}$. $c=2\sigma$이면 $\tfrac15$이다. 양쪽 Chebyshev($\tfrac14$)보다 작다.

연습 5.4 (평균과 중앙값은 $\sigma$ 이내 ★★) 연속 확률변수의 중앙값 $m$과 평균 $\mu$에 대해 $|\mu-m|\le\sigma$임을 보여라. (힌트: $|\mu-m|=|E(X-m)|\le E|X-m|\le E|X-\mu|\le\sigma$. 각 부등호의 이유를 대라. 연습 2.2을 쓴다.)

풀이

$|\mu-m|=|E(X-m)|\le E|X-m|$ (정리 1.10(c)) $\le E|X-\mu|$ (연습 2.2: 중앙값이 절대오차를 최소로 한다) $\le\sqrt{E(X-\mu)^2}=\sigma$ (따름정리 5.10(a)를 $|X-\mu|$에 쓴다).

연습 5.5 (기울기의 단조성 ★★) 보조정리 5.8의 1단계 부등식을 볼록성의 정의에서 직접 유도하라.

풀이

$\lambda=\tfrac{y-\mu}{y-x}$이면 $\lambda x+(1-\lambda)y=\mu$이다. 볼록성 $\varphi(\mu)\le\lambda\varphi(x)+(1-\lambda)\varphi(y)$에 $y-x$를 곱하면 $(y-x)\varphi(\mu)\le(y-\mu)\varphi(x)+(\mu-x)\varphi(y)$. 왼쪽을 $(y-\mu)\varphi(\mu)+(\mu-x)\varphi(\mu)$로 쓰고 정리하면 $(y-\mu)\bigl(\varphi(\mu)-\varphi(x)\bigr)\le(\mu-x)\bigl(\varphi(y)-\varphi(\mu)\bigr)$이고, 양변을 $(y-\mu)(\mu-x)>0$으로 나누면 된다.

연습 5.6 (두 번 미분가능한 볼록함수 ★★) $\varphi''\ge0$이면 $\varphi$가 볼록임을 보여라. (힌트: $z=\lambda x+(1-\lambda)y$에서의 접선 $\varphi(z)+\varphi'(z)(t-z)$가 테일러 정리로 그래프 아래에 있음을 보이고, $t=x,y$를 넣어 $\lambda$, $1-\lambda$를 곱해 더한다.)

풀이

테일러 정리로 $\varphi(t)=\varphi(z)+\varphi'(z)(t-z)+\tfrac12\varphi''(\xi)(t-z)^2\ge\varphi(z)+\varphi'(z)(t-z)$. $t=x$에 $\lambda$, $t=y$에 $1-\lambda$를 곱해 더하면 $\lambda\varphi(x)+(1-\lambda)\varphi(y)\ge\varphi(z)+\varphi'(z)\bigl(\lambda x+(1-\lambda)y-z\bigr)=\varphi(z)$.

연습 5.7 (평균 속력 ★) 같은 거리를 $n$번 가는데 $i$번째에 속력 $v_i$로 갔다. 전체의 평균 속력은 $v_i$들의 조화평균임을 보이고, 따름정리 5.10(b)로 산술평균보다 크지 않음을 보여라. 60km/h로 가고 40km/h로 돌아오면 평균 속력은?

풀이

거리 $d$를 $n$번 가는 데 걸린 시간은 $\sum d/v_i$이므로 평균 속력은 $\tfrac{nd}{\sum d/v_i}=\bigl(\tfrac1n\sum\tfrac1{v_i}\bigr)^{-1}$, 조화평균이다. $X$가 $v_i$들을 확률 $\tfrac1n$씩 가지면 $E\tfrac1X\ge\tfrac1{EX}$이므로 조화평균 $\le$ 산술평균. $60$과 $40$이면 $\tfrac2{1/60+1/40}=48$km/h. 50이 아니다. 느린 쪽에서 더 오래 머물기 때문이다.

연습 5.8 (분산이 0이면 상수: 증명 ★ 유도형) 따름정리 5.6를 다음 순서로 증명하라.

1. (a)

   Chebyshev 부등식으로 모든 $n$에서 $P(|X-\mu|\ge\tfrac1n)=0$임을 보여라.

2. (b)

   사건 $A_n=\{|X-\mu|\ge\tfrac1n\}$이 증가하고 $\bigcup_nA_n=\{X\ne\mu\}$임을 원소 추적으로 보여라.

3. (c)

   1회 정리 4.7로 $P(X\ne\mu)=0$을 결론지어라. 같은 논리로 “$X\ge0$이고 $EX=0$이면 $P(X=0)=1$”도 보여라.

풀이

(a) Chebyshev 부등식(정리 5.3)에 $c=\tfrac1n$을 넣으면 $P(|X-\mu|\ge\tfrac1n)\le n^2\Var X=0$이다. (b) $|X(\omega)-\mu|\ge\tfrac1n$이면 $|X(\omega)-\mu|\ge\tfrac1{n+1}$이므로 $A_n\subset A_{n+1}$이다. $\omega\in\bigcup_nA_n$이면 $X(\omega)\ne\mu$이고, 거꾸로 $X(\omega)\ne\mu$이면 $|X(\omega)-\mu|>0$이므로 $\tfrac1n\le|X(\omega)-\mu|$인 $n$이 있다(아르키메데스 성질). (c) 1회 정리 4.7(a)로 $P(X\ne\mu)=\lim_nP(A_n)=0$이다. $X\ge0$, $EX=0$이면 Markov 부등식으로 $P(X\ge\tfrac1n)\le n\,EX=0$이고, $\{X\ge\tfrac1n\}\uparrow\{X>0\}$에 같은 논리를 쓰면 $P(X>0)=0$이다.

연습 5.9 (Jensen의 따름정리들: 증명 ★★ 유도형) 따름정리 5.10를 다음 순서로 증명하라. 각 단계에서 쓰는 볼록함수(또는 오목함수)와 구간 $I$를 밝혀라.

1. (a)

   $\varphi(x)=x^2$과 $\varphi(x)=|x|$로 (a)를 얻어라.

2. (b)

   $\log$가 $(0,\infty)$에서 오목이고 $1/x$가 볼록임을 이계도함수로 확인하고(연습 5.6) (b)를 얻어라.

3. (c)

   $X$가 값 $a_1,\dots,a_n$을 각각 확률 $\tfrac1n$로 갖는다고 하고 (b)의 첫 식에서 (c)를 얻어라. $a_i$들 가운데 같은 값이 있어도 되는가?

4. (d)

   $Y=|X|^r$, $\varphi(y)=|y|^{s/r}$로 (d)를 얻어라. $E|X|^r<\infty$는 어디서 나오는가?

풀이

(a) $\varphi(x)=x^2$은 $\R$에서 볼록이므로($\varphi''=2\ge0$) $(EX)^2\le EX^2$이다. $|x|$는 삼각부등식 $|\lambda x+(1-\lambda)y|\le\lambda|x|+(1-\lambda)|y|$로 볼록이므로 $|EX|\le E|X|$이다. 첫 식은 $EX^2<\infty$일 때, 둘째 식은 $E|X|<\infty$일 때 쓴다. (b) $I=(0,\infty)$에서 $(\log x)''=-1/x^2<0$이므로 $\log$는 오목이고(연습 5.6를 $-\log$에), $(1/x)''=2/x^3>0$이므로 $1/x$는 볼록이다. 정리 5.9으로 $E\log X\le\log EX$, $E\tfrac1X\ge\tfrac1{EX}$이다(두 기댓값이 존재할 때). (c) $X$가 값 $a_i$를 확률 $\tfrac1n$로 갖게 하면(같은 값이 여러 번 나오면 그 확률을 더한다) $EX=\tfrac1n\sum a_i$, $E\log X=\tfrac1n\sum\log a_i$이다. (b)로 $\tfrac1n\sum\log a_i\le\log\bigl(\tfrac1n\sum a_i\bigr)$이고, 지수함수가 증가하므로 양변에 지수를 취하면 $(a_1\cdots a_n)^{1/n}\le\tfrac1n\sum a_i$이다. 같은 값이 있어도 된다. (d) $Y=|X|^r\ge0$이고 $\varphi(y)=|y|^{s/r}$은 $s/r>1$이므로 $\R$에서 볼록이다. $E|X|^s<\infty$이면 2.4절의 $|x|^r\le1+|x|^s$로 $E|X|^r<\infty$이다. Jensen으로 $(EY)^{s/r}\le E\,Y^{s/r}=E|X|^s$이고, 양변을 $\tfrac1s$제곱하면(증가함수) $(E|X|^r)^{1/r}\le(E|X|^s)^{1/s}$이다.

이 절을 PDF로 보기 (31쪽)노트북 5절

이 회차에서 읽은 절 0개 · 회차 차례