테마
2회 · 기댓값·부등식·대수의 법칙 · 노트
2 분산과 적률 — 흩어짐을 재는 수
기댓값은 분포의 위치를 하나의 수로 말한다. Bernoulli의 질문에 답하려면 한 가지가 더 필요하다. 관측한 비율이 참값 둘레에 얼마나 흩어지는가다. 이 절은 흩어짐의 표준 척도인 분산을 정의하고, 이항분포의 분산 와 독립합의 분산 공식을 증명한다. 6절의 대수의 법칙은 이 두 결과와 5절의 Chebyshev 부등식을 합친 것이다.
이름의 역사 흩어짐을 재는 일은 천문학의 관측오차에서 시작했다. Gauss(1809, 1821)는 오차 제곱의 평균을 기준으로 삼았고, Karl Pearson(1894)이 그 제곱근에 standard deviation이라는 이름을 붙였다. variance라는 말은 Fisher(1918)가 처음 썼다. 개념은 이름보다 150년 앞섰다. de Moivre(1733)는 이항분포의 흩어짐이 에 비례한다는 것을 이미 알고 있었다(5회).
2.1 분산
정의 2.1 (분산과 표준편차) 인 확률변수 의 평균을 라 할 때
을 분산이라 하고, 를 표준편차라 한다. , 로도 쓴다.
이면 이므로 이고, 이므로 분산도 유한하다. 분산은 무게중심 둘레의 “관성 모멘트”다. 평균에서 멀리 떨어진 질량이 제곱으로 무겁게 센다.
정리 2.2 (분산의 계산) 이고 일 때
- (a)
.
- (b)
. 따라서 .
- (c)
모든 실수 에 대해 . 따라서 은 에서 가장 작다.
증명 전략 (c)를 먼저 보인다. 를 제곱하고 선형성을 쓰면 가운데 항이 사라진다. (a)와 (b)는 (c)와 정의에서 바로 나온다. 단계별 증명은 연습 2.10(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.
(c)는 한 줄이지만 깊다. 를 상수 하나로 예측해야 하고 손실이 제곱오차이면, 가장 좋은 예측은 평균이고 그때의 손실이 분산이다. 13회의 최소제곱법은 이 사실을 여러 변수로 넓힌 것이다. 손실이 절대오차 이면 가장 좋은 예측은 중앙값이 된다(연습 2.2).
예제 2.3 (기본적인 분산들)
Bernoulli. , 이면 이므로 . 이 값은 에서 가장 크고, 언제나 이다.
주사위. 이므로 .
균등분포. 이면 , 이고 이므로 정리 2.2(b)로 .
지수분포. 부분적분을 두 번 하면 이므로 . 표준편차가 평균과 같다.
2.2 이항분포의 평균과 분산
정리 2.4 (이항분포) 가 성공 확률 인 독립 시행 번의 성공 수이면, 곧
이면 (로 쓴다)
증명 전략 pmf의 합이 1이라는 것은 이항정리(1회 정리 1.6)다. 같은 정리를 한 번 더 쓴다. 로 를 계수 안으로 흡수하고, 분산은 을 같은 방법으로 구해 얻는다. 단계별 증명은 연습 2.11(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.
따름정리 2.5 (관측 비율의 평균과 분산) 이면
관측 비율은 평균적으로 참값이고, 흩어짐의 표준편차는 에 비례해 준다. 시행을 4배로 늘려야 흩어짐이 절반이 된다(그림 2.1). 이것이 1회 8.1절에서 시뮬레이션으로 본 이고, Bernoulli의 정리의 씨앗이다.
2.3 독립인 이산 확률변수
이항분포의 분산은 “번 시행의 분산이 한 번의 분산의 배”라는 것을 말해 준다. 이것은 독립이면 언제나 참이다.
정의 2.6 (독립인 이산 확률변수) 이산 확률변수 이 모든 값 에 대해
을 만족하면 독립이라 한다.
이 정의는 1회 정의 5.9의 사건의 상호 독립과 같은 말이다. 모든 값의 조합에서 사건 이 상호 독립이라는 것이다. 정의에는 개를 모두 곱하는 식만 있지만, 일부만 고른 식은 나머지 변수의 값에 대해 더하면 나온다(연습 2.6). 같은 이유로 독립인 들의 함수 도 독립이다.
정리 2.7 (독립이면 곱의 기댓값은 기댓값의 곱) 가 독립인 이산 확률변수이고 이면 이고
증명 전략 를 하나의 이산 확률변수로 보고 정리 1.9(a)를 쓴다. 독립이면 이중합이 두 합의 곱으로 갈라진다. 먼저 절댓값으로 합이 유한함을 보이고, 그다음 절댓값 없이 계산한다 [T5]. 단계별 증명은 연습 2.12(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.
정리 2.8 (독립합의 분산) 이 독립인 이산 확률변수이고 분산이 유한하면
특히 모두 분산이 이면 표본평균 에 대해 .
증명 전략 중심을 뺀 로 분산을 “합의 제곱의 기댓값”으로 쓴다. 제곱을 전개하면 교차항이 생기고, 독립이 교차항을 0으로 만든다.
, 로 두면 이고 이다.정리 1.11
분산의 정의에 넣고 제곱을 전개한다.
이다. 이고 오른쪽의 기댓값이 유한하기 때문이다. [T4]
이면 와 는 독립이다.독립인 변수의 함수 (2.3절)
이다.3 4, 정리 2.7
남는 것은 이다.정의 2.1
모두 분산이 이면 이다.정리 2.2(b),
조건 확인 전개한 합의 기댓값을 항마다 나눠 쓰려면(선형성) 각 항의 기댓값이 존재해야 한다. 제곱항은 분산이 유한하다는 가정으로, 교차항은 3으로 확인했다.
증명에서 쓴 것은 인 쌍마다 이라는 것뿐이다. 그러니 쌍별 독립이면 충분하다(연습 2.5). 연속 확률변수에 대한 같은 정리는 3회에서 증명하고, 그때 에 공분산이라는 이름을 붙인다.
2.4 적률
정의 2.10 (적률 · 왜도 · 첨도) 일 때 를 의 차 적률, 를 차 중심적률이라 한다. 분산이 이면
로 정의한다.
차 적률이 있으면 그보다 낮은 차수의 적률도 모두 있다. 이면 이기 때문이다. 왜도와 첨도는 ()로 바꿔도 변하지 않는 모양의 수다. 왜도는 오른쪽 꼬리가 길면 양수다. 초과첨도의 은 5회의 정규분포에서 0이 되도록 맞춘 것이다. 지수분포는 , 이고, 균등분포는 , 이다(연습 2.7).
역사 동물학자 W. F. R. Weldon은 1894년 주사위 12개를 한꺼번에 굴려 5나 6이 나온 주사위의 수를 세는 일을 26,306번 되풀이하고, 그 기록을 Galton과 Karl Pearson에게 보냈다. Pearson은 1900년 이 자료로 적합도 검정을 처음 보였다(8회).
예제 2.11 (Weldon의 주사위 (1894)) 공평한 주사위라면 한 번 굴릴 때 5·6이 나온 수 는 이므로 , 이다. Weldon의 기록에서 계산한 평균과 분산은 다음과 같다(자료는 vcd::WeldonDice, 10개 이상은 10으로 묶여 있다).
평균이 4보다 크다. 이 차이가 우연인지는 평균의 흩어짐에 달려 있다. 굴림들이 독립이면 정리 2.8으로 의 표준편차는 이므로, 차이는 표준편차의 5배다. 5절의 Chebyshev 부등식이 이것을 확률의 말로 바꾼다(예제 5.5).
연습문제
연습 2.1 (두 주사위의 합 ★) 두 주사위 눈의 합 의 평균과 분산을 (a) pmf로 직접, (b) 정리 2.8으로 구하라.
풀이
(a) ()에서 , , . (b) 두 눈이 독립이므로 .
연습 2.2 (중앙값은 절대오차를 최소로 한다 ★★) 가 연속이고 이며 중앙값 ()이 있다. 일 때 임을 보이고, 가 에서 가장 작음을 결론지어라. (힌트: 을 , , 로 나눈다.)
풀이
이면 에 대해 ()이므로 이다. 기댓값을 취하고 (유계인 함수의 유한 구간 적분이므로) 순서를 바꾸면, 가 연속이어서 이므로
이면 이기 때문이다. 도 같다. 따라서 는 에서 가장 작다.
연습 2.3 (기하분포의 분산 ★★) 기하분포에서 임을 보여라(연습 1.6을 써도 좋다). 6이 나올 때까지 던지는 횟수의 표준편차는?
풀이
연습 1.6로 이므로 . 이면 , 표준편차 번. 평균 6번에 표준편차 5.5번이니 기다리는 시간은 크게 흔들린다.
연습 2.4 (포커의 에이스 ★★) 52장에서 5장을 뽑을 때 에이스의 수 의 평균과 분산을 지시변수로 구하라. 이항분포 의 분산과 비교하고, 왜 더 작은지 설명하라.
풀이
, 번째 카드가 에이스, 이므로 . 이면 이고 순서쌍 가 20개이므로 . 따라서
의 분산은 로 더 크다. 되돌려 넣지 않으므로 에이스 하나가 나오면 다음 에이스가 나올 확률이 줄어든다(). 교차항이 음수가 되어 분산이 줄어든다.
연습 2.5 (쌍별 독립이면 충분하다 ★★) 1회 예제 5.10의 Bernstein 정사면체에서 를 각 색이 바닥에 있는 사건의 지시변수라 하자. 셋은 쌍별 독립이지만 상호 독립이 아니다. 를 직접 계산해 와 같음을 확인하라.
풀이
각 지시변수는 이므로 분산 이고 합은 . 직접 계산: 면 R, G, B에서 , 면 RGB에서 3이므로 는 확률 로 1, 로 3이다. 평균 , , 분산 . 같다.
연습 2.6 (독립의 정의에서 일부만 ★) 정의 2.6가 성립하면 임을 보여라. (힌트: 의 모든 값에 대해 더한다.)
풀이
의 모든 값에 걸친 사건 들은 서로소이고 합집합이 이므로 (P3)으로 좌변의 합은 이다. 우변의 합은 .
연습 2.7 (모양의 수 ★) 의 왜도와 초과첨도가 , 임을 보이고, 에서 를 써서 , 을 확인하라. Bernoulli()의 왜도는 임을 보여라.
풀이
: 대칭이므로 3차 중심적률은 0. , 이므로 . : . , 이므로 , . Bernoulli: 이므로 .
연습 2.8 (두 독립 복사본 ★★) 와 이 독립이고 분포가 같은 이산 확률변수이면 임을 보여라. 분산은 “무작위로 뽑은 두 값의 차이”로도 정의할 수 있다.
풀이
. 둘째 등호에서 독립이므로 (정리 2.7)이고 분포가 같다.
연습 2.9 (Weldon의 분산 ★) Weldon의 자료에서 주사위 하나가 5·6을 낼 확률을 로 추정하면 이항분포의 분산 은 얼마인가? 관측한 분산 2.696과 비교하라.
풀이
이므로 . 관측한 분산 2.696과 매우 가깝다. 공평하지 않을 뿐, 주사위마다 5·6이 나올 확률이 약 인 이항 모형은 자료의 흩어짐을 잘 설명한다.
연습 2.10 (분산의 계산: 증명 ★ 유도형) , 이다. 정리 2.2를 다음 순서로 증명하라.
- (a)
을 확인하고, 세 항의 기댓값이 모두 존재함을 보여라.
- (b)
선형성(정리 1.10)으로 가운데 항의 기댓값이 0임을 보이고 (c)를 얻어라.
- (c)
(c)에 을 넣어 (a)를 얻어라.
- (d)
의 평균이 임을 쓰고 (b)를 얻어라.
풀이
(a) 전개는 , 에 대한 이다. , , 상수의 기댓값은 그 상수이므로 세 항의 기댓값이 모두 존재한다. (b) 선형성(정리 1.10(a))으로 이고, 이므로 이다. 오른쪽 둘째 항이 에서만 0이므로 에서 가장 작다. (c) 이면 이다. (d) 선형성으로 이므로 이다. 제곱근을 취하면 이다.
연습 2.12 (곱의 기댓값: 증명 ★★ 유도형) 정리 2.7를 다음 순서로 증명하라.