16회 강의노트 · 1763 → 1990

베이즈의 귀환

MCMC와 Stein의 역설

이 과정은 Bayes의 당구대에서 시작했다. 마지막 회차는 그리로 돌아간다. 모수를 고정된 미지수가 아니라 확률변수로 보는 순간, 추론은 사후분포를 계산하는 일이 된다. Laplace는 그 계산으로 남아의 출생 확률을 재었고, Fisher는 그것을 거부했으며, 베이즈 추론은 암호 해독과 몬테카를로 속에서 살아남아 1990년 Gibbs 표집과 함께 돌아왔다. 같은 시기 Stein은 정규 평균 세 개 이상을 함께 추정할 때 표본평균이 최선이 아님을 보였다. 그 답은 Galton의 회귀였다.

노트 읽기 워크북 풀기 노트북

52쪽노트 · 10절

36개정리 · 정의 · 예제

40문항노트의 연습

34문항워크북

51개최종답 확인

읽은 절0 / 10

푼 문항0 / 34

맞힌 최종답0 / 51

강의노트PDF · 52쪽 워크북PDF · 23쪽 워크북 풀이판PDF · 16쪽 노트북ipynb · 1.1 MB

개관

다루는 것

사후분포와 켤레 사전분포Laplace 근사사후평균과 Bayes 추정Jeffreys 사전분포의 불변성Bayes 인수와 증거의 무게마르코프 연쇄와 상세 균형Metropolis–Hastings와 Gibbs $\hat R$ Stein의 보조정리와 James–Stein경험적·계층 Bayesridge·lasso와 사전분포Langevin 표집

원자료

Laplace의 파리 출생 기록(1745–1770)Arbuthnot의 런던 세례 기록(1629–1710)Efron–Morris의 1970년 타율 18명

선수 지식

1–15회 (특히 1회 Bayes 정리, 4회 베타분포와 당구대, 5회 축소, 7회 몬테카를로, 9회 Fisher 정보, 12회 Bayes 규칙, 13회 ridge)

연표 모수에 확률을 주다

직접 해 보기

정리 지도

노트와 워크북에 적힌 번호 참조를 모두 세어 그렸다. 왼쪽은 이 회차가 근거로 쓰는 앞 회차, 오른쪽은 이 회차의 상자를 근거로 쓰는 뒤 회차다.

차례

0들어가며2쪽PDF 1쪽
1Laplace의 역확률 (1763–1812)4쪽정리 2정의 1예제 1연습 4PDF 3쪽
2Bayes 추정과 Jeffreys 사전분포6쪽정리 4정의 1예제 2연습 6PDF 7쪽
3Fisher의 거부와 증거의 무게4쪽정리 2정의 1예제 2연습 4PDF 13쪽
4MCMC — 사후분포에서 뽑기5쪽정리 4정의 3연습 7PDF 17쪽
5Stein의 역설5쪽정리 4연습 6PDF 22쪽
6Efron–Morris의 타율4쪽정리 1예제 1연습 4PDF 27쪽
7베이즈가 실패할 때3쪽연습 3PDF 31쪽
8오늘 — 벌점은 사전분포다5쪽정리 4정의 1연습 6PDF 34쪽
9정리와 역사 노트4쪽PDF 39쪽

정리 · 정의 · 예제

번호	내용	연습 · 문항	뒤 회차	PDF
정의 1.1	사후분포			4쪽
정리 1.2	켤레 사전분포	7	2	4쪽
예제 1.3	파리의 남아			5쪽
명제 1.4	Laplace 근사			6쪽
정리 2.1	Bayes 추정량	5	2	8쪽
예제 2.2	이항의 Bayes 추정량	2		9쪽
정리 2.3	Bayes 추정량의 두 성질	4	1	10쪽
명제 2.4	불편추정량은 Bayes가 아니다	3		11쪽
정의 2.5	Jeffreys 사전분포	1		11쪽
정리 2.6	Jeffreys 사전분포의 불변성	2		11쪽
예제 2.7	Jeffreys 사전분포의 예			12쪽
정의 3.1	Bayes 인수	1		14쪽
명제 3.2	사후 오즈와 증거의 덧셈	2		14쪽
예제 3.3	Arbuthnot의 증거의 무게			15쪽
명제 3.4	점 귀무가설의 Bayes 인수	1		15쪽
예제 3.5	Lindley의 출생 자료			15쪽
정의 4.1	전이핵과 정상분포	1		17쪽
정의 4.2	상세 균형	1		17쪽
정리 4.3	상세 균형이면 정상분포	3		17쪽
알고리즘 4.4	Metropolis–Hastings	3		18쪽
정리 4.5	Metropolis–Hastings의 정상분포	6		18쪽
알고리즘 4.6	Gibbs 표집	1		19쪽
정리 4.7	Gibbs는 받아들임 확률 1의 MH	3		19쪽
명제 4.8	상관된 정규에서의 Gibbs	1		20쪽
정의 4.9	$\hat R$ (잠재적 축소 인자)			20쪽
보조정리 5.1	Stein의 보조정리	8		23쪽
정리 5.2	James–Stein	8		24쪽
따름정리 5.3	Stein (1956)			25쪽
정리 5.4	James–Stein의 경험적 Bayes 해석	2	1	25쪽
예제 6.1	18명의 타율	1		28쪽
명제 6.2	계층 정규모형의 완전 조건부분포	1		29쪽
명제 8.1	ridge는 정규 사전분포의 사후평균	2		35쪽
명제 8.2	lasso는 Laplace 사전분포의 MAP			36쪽
정의 8.3	비보정 Langevin 알고리즘			36쪽
명제 8.4	정규 목표에서 ULA의 치우침	2		37쪽
정리 8.5	Tweedie의 공식	1		37쪽