2회 · 기댓값·부등식·대수의 법칙 · 노트

0 들어가며

여는 질문. 항아리에 흰 돌 3,000개와 검은 돌 2,000개가 들어 있다. 우리는 그 수를 모르고, 돌을 하나 꺼내 색을 보고 다시 넣기를 되풀이할 수 있을 뿐이다. 몇 번 꺼내면 “흰 돌의 비율이 $\tfrac{29}{50}$과 $\tfrac{31}{50}$ 사이에 든다”는 쪽에 1,000 대 1로 걸 수 있는가?

Jacob Bernoulli가 Ars Conjectandi(추측의 기술)의 마지막 장에서 스스로 던지고 스스로 답한 질문이다. 그는 이 질문의 답이 유한하다는 것, 곧 시행을 충분히 많이 하면 관측한 비율이 참 비율에 얼마든지 가까워진다는 것을 증명하는 데 20년을 썼다. 그리고 실제로 수를 넣어 25,550번이라는 답을 얻었다. 책은 그 계산 바로 뒤에서 끝난다. Bernoulli는 1705년에 죽었고 책은 1713년에야 조카 Nicolaus의 손으로 출판되었다.

오늘의 답은 약 6,500번이다(6절). Bernoulli의 증명은 옳았지만 어림이 거칠었다. 그 차이를 메운 도구가 이 노트의 중심이다. 확률변수의 기댓값과 분산, 그리고 그 둘만으로 꼬리 확률을 누르는 부등식이다. 1853년 Bienaymé와 1867년 Chebyshev는 이 부등식으로 Bernoulli의 정리를 몇 줄로 다시 증명했다. 이 짧은 증명이 대수의 법칙의 표준적인 증명이다.

기댓값 자체는 더 오래되었다. 1657년 Huygens는 “확률”이라는 말을 쓰기 전에 도박의 “기대”(expectatio)를 정의했다(1절). 이 노트는 그 기대를 확률변수의 기댓값으로 세우고(1절), 분산과 적률(2절), 적률을 한 함수에 담는 적률생성함수(3절), 확률변수의 함수의 분포(4절)를 차례로 다룬 뒤, 부등식(5절)으로 대수의 법칙(6절)을 증명한다. 7절은 기댓값이 없거나 적률이 분포를 정하지 못하는 경우를 보고, 8절은 같은 도구가 오늘의 학습 이론과 정보 이론에서 어떻게 쓰이는지 본다.

학습 목표

1. 1.

   이산·연속 확률변수의 기댓값을 정의하고, 존재 조건(절대수렴)이 왜 필요한지 설명한다.

2. 2.

   함수의 기댓값, 선형성, 꼬리 공식을 증명하고 지시변수로 기댓값을 계산한다.

3. 3.

   분산과 적률, 독립인 이산 확률변수의 합의 분산을 증명하고 이항분포의 평균과 분산을 구한다.

4. 4.

   적률생성함수로 적률을 구하고, 독립합의 분포를 적률생성함수의 곱으로 찾는다.

5. 5.

   단조변환의 밀도 공식과 확률적분변환을 증명하고, 역변환 표집을 구현한다.

6. 6.

   Markov·Chebyshev·Jensen 부등식을 증명하고, 대수의 법칙을 Chebyshev로 증명한다.

7. 7.

   Bernoulli의 질문에 다섯 가지로 답하고(Bernoulli · Chebyshev · Hoeffding · 정규근사 · 정확한 계산), 차이가 어디서 오는지 설명한다.

그림 0.1 이번 회차 정리들의 의존 관계. 화살표는 “증명에 쓰인다”는 뜻이다.

0.1 1회에서 가져오는 것

이 노트는 1회의 정의와 정리 위에 선다. 쓰는 것을 모아 둔다. 번호는 1회 노트의 번호다.

1회	내용
정의 4.2 · 정리 4.3	확률의 공리, 여사건 $P(A^c)=1-P(A)$, 단조성, Boole 부등식 $P(\bigcup A_i)\le\sum P(A_i)$
정리 4.7	연속성: $A_n\uparrow A$이면 $P(A_n)\uparrow P(A)$, $A_n\downarrow A$이면 $P(A_n)\downarrow P(A)$
정리 4.9	이산 확률공간: $\Omega=\{\omega_1,\allowbreak \omega_2,\allowbreak \dots\}$, $P(A)=\sum_{\omega_i\in A}p_i$
정의 5.7 · 5.9	두 사건의 독립 $P(AB)=P(A)P(B)$, 여러 사건의 상호 독립
정의 6.1 · 6.2 · 정리 6.3	확률변수, 분포함수 $F(x)=P(X\le x)$와 그 성질 (비감소, 양 끝, 오른쪽 연속)
정의 6.4 · 6.6 · 정리 6.7	확률질량함수 $p(x)$, 확률밀도함수 $f(x)$, $P(a<X\le b)=\int_a^bf$
정리 1.6	이항정리 $(a+b)^n=\sum_k\tbinom nk a^kb^{n-k}$
상자 (4.6절)	음이 아닌 급수는 순서를 바꾸거나 묶어서 더해도 값이 같다

0.2 절대수렴

기댓값은 “값 × 확률”의 합이다. 값이 무한히 많으면 이 합은 급수이고, 급수는 더하는 순서에 따라 값이 달라질 수 있다. 확률변수의 값에는 정해진 순서가 없으므로, 순서에 따라 달라지는 합은 기댓값이 될 자격이 없다. 순서에 상관없는 급수가 바로 절대수렴하는 급수다.

보조정리 0.1 (절대수렴하는 급수의 재배열) $\sum_i|a_i|<\infty$이면 $\sum_ia_i$는 항의 순서를 어떻게 바꾸거나 어떻게 묶어 더해도 같은 값으로 수렴한다.

증명 전략 항을 양의 부분과 음의 부분으로 쪼갠다. 두 부분은 음이 아닌 급수이므로 1회 4.6절의 상자를 쓸 수 있다 [T5]. 단계별 증명은 연습 0.2(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

절대수렴하지 않으면 사정이 다르다. $1-\tfrac12+\tfrac13-\tfrac14+\cdots$는 $\log2$로 수렴하지만, 양수 항 둘에 음수 항 하나씩 더하는 순서로 바꾸면 $\tfrac32\log2$로 수렴한다. Riemann은 조건수렴하는 급수를 재배열하면 어떤 실수로도 수렴하게 만들 수 있음을 보였다(연습 0.1). 그래서 기댓값의 정의에는 언제나 “절대수렴하면”이라는 조건이 붙는다. 적분도 같다. 이상적분 $\int_{-\infty}^\infty g$는 $\int|g|<\infty$일 때만 자르는 방법에 상관없는 값을 갖는다.

연습문제

연습 0.1 (재배열하면 값이 바뀐다 ★★) $s=1-\tfrac12+\tfrac13-\cdots=\log2$를 받아들이고, 양수 항 둘 다음에 음수 항 하나를 놓는 재배열 $1+\tfrac13-\tfrac12+\tfrac15+\tfrac17-\tfrac14+\cdots$의 합이 $\tfrac32\log2$임을 보여라. (힌트: $\tfrac12s=\tfrac12-\tfrac14+\tfrac16-\cdots$에 0을 끼워 $s$와 더한다.)

풀이

$\tfrac12s=\tfrac12-\tfrac14+\tfrac16-\tfrac18+\cdots$의 항 사이에 0을 끼워 $0+\tfrac12+0-\tfrac14+0+\tfrac16+0-\tfrac18+\cdots$로 쓴다(값은 그대로 $\tfrac12s$). 이것을 $s=1-\tfrac12+\tfrac13-\tfrac14+\tfrac15-\tfrac16+\tfrac17-\tfrac18+\cdots$와 항별로 더하면(수렴하는 두 급수의 합)

$$1+0+\tfrac13-\tfrac12+\tfrac15+0+\tfrac17-\tfrac14+\cdots=\tfrac32s .$$

0을 지우면 양수 항 둘 다음에 음수 항 하나인 재배열이 되고, 그 합은 $\tfrac32\log2$이다. 같은 항들을 다른 순서로 더해 다른 값을 얻었다.

연습 0.2 (절대수렴하는 급수의 재배열: 증명 ★★ 유도형) 보조정리 0.1를 다음 순서로 증명하라.

1. (a)

   $a_i^+=\max(a_i,0)$, $a_i^-=\max(-a_i,0)$으로 두면 $a_i=a_i^+-a_i^-$, $|a_i|=a_i^++a_i^-$, $0\le a_i^\pm\le|a_i|$임을 확인하라.

2. (b)

   $\sum_ia_i^+$와 $\sum_ia_i^-$가 유한함을 보여라. 음이 아닌 급수의 부분합이 위로 유계이면 수렴한다는 것을 어디서 쓰는가?

3. (c)

   순서를 바꾼 급수 $\sum_ka_{\sigma(k)}$의 부분합이 $\sum_{k\le K}a^+_{\sigma(k)}-\sum_{k\le K}a^-_{\sigma(k)}$임을 쓰고, 1회 4.6절의 상자로 $\sum_ka_{\sigma(k)}=\sum_ia_i^+-\sum_ia_i^-$를 결론지어라. 묶어 더하는 경우도 같은 논리임을 설명하라.

풀이

(a) $a_i\ge0$이면 $a_i^+=a_i$, $a_i^-=0$이고, $a_i<0$이면 $a_i^+=0$, $a_i^-=-a_i$이다. 두 경우 모두 $a_i=a_i^+-a_i^-$, $|a_i|=a_i^++a_i^-$이고, 따라서 $0\le a_i^\pm\le|a_i|$이다. (b) $\sum_{i\le n}a_i^+\le\sum_{i\le n}|a_i|\le\sum_i|a_i|<\infty$이므로 음이 아닌 급수 $\sum a_i^+$의 부분합은 증가하고 위로 유계이다. 유계인 단조수열은 수렴하므로 $\sum a_i^+$는 유한하다 [T5]. $\sum a_i^-$도 같다. (c) 재배열 $\sigma$에 대해 부분합은 $\sum_{k\le K}a_{\sigma(k)}=\sum_{k\le K}a^+_{\sigma(k)}-\sum_{k\le K}a^-_{\sigma(k)}$이다. 1회 4.6절의 상자로 음이 아닌 급수 $\sum_ka^+_{\sigma(k)}$는 순서와 상관없이 $\sum_ia_i^+$로 수렴하고, $\sum_ka^-_{\sigma(k)}$는 $\sum_ia_i^-$로 수렴한다. 두 수렴하는 수열의 차는 차로 수렴하므로 $\sum_ka_{\sigma(k)}=\sum_ia_i^+-\sum_ia_i^-$이다. 이 값은 $\sigma$에 의존하지 않는다. 묶어 더하는 경우도 각 묶음 안에서 같은 분해를 하고, 음이 아닌 급수는 묶어 더해도 값이 같다는 것(같은 상자)을 $a^+$와 $a^-$에 따로 쓰면 된다.

이 절을 PDF로 보기 (1쪽)노트북 0절

이 회차에서 읽은 절 0개 · 회차 차례