테마
3회 · 왜 평균을 내는가 · 노트
0 들어가며
여는 질문. 천문학자가 같은 별의 위치를 여섯 번 쟀다. 여섯 값의 평균을 쓰는 것이 가장 조심스럽게 잰 한 번의 값을 쓰는 것보다 정말 나은가? 낫다면 얼마나 나은가?
지금은 답이 자명해 보인다. 그러나 18세기 중반까지 천문학자들은 이 질문에 쉽게 답하지 못했다. 서로 다른 관측을 평균하면 좋은 관측이 나쁜 관측에 섞여 망가진다고 걱정하는 사람이 많았다. 1755년 Thomas Simpson은 왕립학회 회장에게 보낸 편지에서 처음으로 이것을 계산했다. 관측 오차에 확률분포를 주고, 여섯 오차의 합의 분포를 de Moivre의 생성함수로 구해, 평균이 참값 가까이 있을 확률이 한 번의 관측보다 훨씬 크다는 것을 보였다(6절).
얼마나 나은가에 대한 답은 이다. 독립인 관측 개의 평균은 표준편차가 한 관측의 이다. 2회는 이것을 이산 확률변수에서 증명했다. 그런데 이 법칙이 늘 알려져 있었던 것은 아니다. 런던 조폐국은 13세기부터 금화의 무게를 공개적으로 검사했는데(Pyx 재판), 동전 개의 총무게에 대한 허용오차를 이 아니라 에 비례하게 잡았다. 그 틈은 수백 년 동안 열려 있었다(6.3절).
의 법칙을 연속 확률변수까지, 그리고 서로 닮은 관측까지 다루려면 여러 확률변수를 함께 다루는 언어가 필요하다. 이 노트는 그 언어를 세운다. 결합분포와 주변분포(1절), 조건부분포와 조건부기댓값(2절), 독립(3절), 공분산과 상관(4절), 여러 변수의 변수변환(5절)이다. 6절에서 그 언어로 의 법칙과 그 한계(상관된 관측, 유효 표본 크기)를 증명한다. 7절은 확률 0인 사건에 조건을 거는 역설과 평균으로 줄지 않는 오차를, 8절은 신경망 초기화·재매개화·앙상블에서 같은 계산을 본다.
학습 목표
- 1.
결합분포에서 주변분포와 조건부분포를 구하고, 함수의 기댓값을 이중합·이중적분으로 계산한다.
- 2.
반복기댓값과 전분산 공식을 증명하고, 조건부기댓값이 가장 좋은 예측임을 보인다.
- 3.
독립을 결합밀도의 인수분해로 판정하고, 2회의 독립합 정리들을 연속 확률변수로 넓힌다.
- 4.
공분산과 상관계수를 정의하고, Cauchy–Schwarz 부등식으로 을 증명한다.
- 5.
야코비안 변수변환을 증명하고, 그것으로 가우스 적분, Box–Muller 방법, 합성곱, Cauchy 분포를 얻는다.
- 6.
공분산행렬로 를 증명하고, 의 법칙이 상관과 편향 앞에서 어떻게 무너지는지 보인다.
0.1 1–2회에서 가져오는 것
| 앞 회차 | 내용 |
|---|---|
| 1회 정의 5.1 · 정리 5.4 | 조건부확률 , 전확률 공식 |
| 1회 정의 5.7 · 5.9 | 사건의 독립, 상호 독립 |
| 1회 정의 6.4 · 6.6 | 확률질량함수, 확률밀도함수 |
| 2회 정리 1.9 · 1.11 | 함수의 기댓값, 이산 확률공간에서의 선형성 |
| 2회 1.4절·1.5절의 상자 | 연속형 함수의 기댓값의 계산 규칙, 음이 아닌 함수의 적분 순서 (Tonelli) |
| 2회 정리 2.2 · 2.7 · 2.8 | 분산의 성질, 독립인 이산 변수의 , 독립합의 분산 |
| 2회 정리 3.3 · 3.6 · 상자 | mgf와 적률, 아핀 변환, 독립합의 mgf(이산), mgf의 유일성 |
| 2회 정리 4.3 | 단조변환의 밀도 |
| 2회 정리 5.3 · 6.3 | Chebyshev 부등식, 약한 대수의 법칙 |
2회에는 “이산에서 증명하고, 연속은 3회”라는 꼬리표가 붙은 정리가 셋 있었다. 선형성 (2회 정리 1.11), 독립합의 분산(2회 정리 2.8), 독립합의 mgf(2회 정리 3.6(b))다. 이 노트에서 차례로 그 꼬리표를 뗀다(따름정리 1.9, 정리 3.4).
0.2 행렬과 벡터의 표기
6절에서 확률벡터를 쓴다. 벡터는 굵은 글자 로 쓰고 열벡터로 본다. 는 전치다. 두 벡터의 내적은 이다. 정사각행렬 의 행렬식은 , 역행렬은 이다. 대칭행렬 가 모든 에 대해 이면 양의 준정부호라 하고 으로 쓴다.