16회 · 베이즈의 귀환 · 노트

0 들어가며

여는 질문. 1745년부터 1770년까지 파리에서 남아 251,527명, 여아 241,945명이 태어났다. Laplace는 물었다. 남아가 태어날 확률이 $1/2$보다 크다는 것을 우리는 얼마나 확신할 수 있는가? 그리고 이 질문에 답하려면 확률이 무엇에 대한 것이어야 하는가?

이 과정은 1회에서 확률의 공리로, 4회에서 Bayes의 당구대로 시작했다. 당구공이 멈춘 자리를 모르는 채 공을 몇 번 더 굴려 그 자리를 추론하는 문제였다. 그때 모르는 자리 $p$는 확률변수였다. 공이 떨어진 자리는 균등분포를 따랐기 때문이다. 그 뒤의 회차들에서 모수는 고정된 미지수였다. 7회의 대수의 법칙, 9회의 최대가능도, 12회의 검정, 13회의 최소제곱은 모두 “참값 $\theta$는 하나이고, 무작위인 것은 자료”라는 관점 위에 섰다.

이 마지막 회차는 그 관점을 뒤집는다. 모수에도 확률을 준다. 그러면 추론은 한 가지 계산이 된다. 자료가 주어졌을 때 모수의 조건부분포, 곧 사후분포를 구하는 것이다. Laplace는 1774년 이 계산을 일반화했고, 1781–1786년 파리와 런던의 출생 기록에 썼다. Fisher는 사전분포가 주관적이라며 이것을 거부했고, 20세기 전반의 통계학은 그를 따랐다. 베이즈 추론은 Jeffreys의 책, Bletchley Park의 암호 해독, 그리고 1953년 Los Alamos의 몬테카를로 속에서 살아남았다. 1990년 Gelfand와 Smith가 Gibbs 표집을 통계학에 소개하면서 계산의 벽이 무너졌다. 같은 시기에 다른 방향에서 놀라운 결과가 나왔다. Stein(1956)은 정규 평균 세 개 이상을 함께 추정할 때 표본평균이 최선이 아님을 보였다. 그 더 나은 추정량은 사전분포를 쓰지 않고도 베이즈 추정량처럼 행동했다.

색이 바뀐다 이 과정의 그림과 수식에서 모수는 보라(고정된 미지수), 자료와 확률변수는 청록이었다. 이번 회차부터 모수 $\cdat{\theta}$도 청록이다. 모수가 확률변수가 되었기 때문이다.

1절은 사후분포와 켤레 사전분포로 Laplace의 계산을 재현한다. 2절은 사후평균이 제곱손실의 Bayes 추정량임을 보이고 Jeffreys 사전분포를 다룬다. 3절은 Bayes 인수와 Turing의 “증거의 무게”, 4절은 MCMC의 원리(상세 균형, Metropolis–Hastings, Gibbs)를 증명한다. 5절은 James–Stein 정리와 그것의 경험적 Bayes 해석, 6절은 Efron–Morris의 타율 자료로 그것을 확인한다. 7절은 사전분포와 MCMC가 실패하는 곳, 8절은 ridge·lasso·weight decay와 Langevin 표집 속의 베이즈다. 9절은 16회 전체를 정리한다.

학습 목표

1. 1.

   켤레 사전분포로 사후분포를 구하고, 파리 출생 자료의 $P(p\le\tfrac12\mid\text{자료})=1.15\times10^{-42}$를 정확한 계산과 Laplace 근사로 구한다.

2. 2.

   손실함수에 따른 Bayes 추정량(사후평균·사후중앙값)을 유도하고, Jeffreys 사전분포의 불변성을 증명한다.

3. 3.

   상세 균형에서 Metropolis–Hastings와 Gibbs 표집의 정상분포를 증명하고, 구현해 $\hat R$로 수렴을 진단한다.

4. 4.

   Stein의 보조정리로 James–Stein 정리를 증명하고, 그것을 경험적 Bayes와 Galton의 회귀로 해석한다.

5. 5.

   타율 자료로 James–Stein·계층 Bayes를 비교하고, ridge·lasso·weight decay·Langevin 표집을 사전분포의 언어로 읽는다.

그림 0.1 이번 회차 정리들의 의존 관계. 화살표는 “증명에 쓰인다”는 뜻이다.

0.1 1–15회에서 가져오는 것

앞 회차	내용
1회 정리 5.5 · 4회 정리 4.5	Bayes 정리, Bayes의 당구대(베타 사후분포)
4회 5절 · 5회 따름정리 2.2	Laplace 분포(1774), 정규를 정규로 섞으면 축소
3회 정리 2.5 · 2.6	반복기댓값, 전분산 공식
7회 정리 6.1 · 9회 정의 2.1	몬테카를로의 오차, Fisher 정보
12회 정리 5.2 · 정의 4.1	Bayes 규칙(사후 기대손실 최소), 축차확률비 검정
13회 정의 8.4 · 정리 8.6	ridge, Hoerl–Kennard

0.2 표기

사전분포의 밀도를 $\pi(\theta)$, 가능도를 $f(\x\mid\theta)$로 쓴다. 사후분포는 $\pi(\theta\mid\x)\propto\pi(\theta)f(\x\mid\theta)$이고, 비례상수 $m(\x)=\int\pi(\theta)f(\x\mid\theta)\,d\theta$를 주변 가능도(증거)라 한다. 사후분포의 평균, 중앙값, 최빈값을 각각 사후평균, 사후중앙값, MAP라 한다. 적분이 유한하지 않은 “사전분포”(예컨대 실수 전체의 균등)를 비정칙 사전분포라 한다.

이 절을 PDF로 보기 (1쪽)노트북 0절

이 회차에서 읽은 절 0개 · 회차 차례