테마
10회 강의노트 · 1894 → 1977
숨은 변수와 EM
보이지 않는 것을 채우는 알고리즘
Pearson은 1894년 게 1,000마리의 이마 폭에서 보이지 않는 두 무리를 찾으려고 9차 방정식을 손으로 풀었다. 83년 뒤 Dempster, Laird, Rubin은 같은 종류의 문제를 “보이지 않는 것을 기댓값으로 채우고 최대화하기”의 반복으로 풀어 EM이라 불렀다. 이 노트는 여러 모수의 가능도 이론을 완성하고, EM의 단조성과 수렴 속도를 증명한 뒤 정규 혼합에 쓴다.
45쪽노트 · 10절
36개정리 · 정의 · 예제
39문항노트의 연습
34문항워크북
46개최종답 확인
읽은 절0 / 10
푼 문항0 / 34
맞힌 최종답0 / 46
개관
다루는 것
정보 행렬다변량 점근정규성프로파일 가능도불완전 자료EM 알고리즘단조성(Gibbs)ELBO잃어버린 정보와 수렴 속도Louis 공식정규 혼합특이점과 성분 수
원자료
Weldon의 나폴리 게 1,000마리(Pearson 1894, 묶음 자료)Old Faithful 간헐천 272번 분출Dempster–Laird–Rubin의 유전 연관 자료
선수 지식
1–9회 (특히 2회 Jensen·Gibbs, 4회 혼합분포, 7회 다변량 CLT, 9회 최대가능도·Wilks)
연표 보이지 않는 것을 채우기
직접 해 보기
정리 지도
노트와 워크북에 적힌 번호 참조를 모두 세어 그렸다. 왼쪽은 이 회차가 근거로 쓰는 앞 회차, 오른쪽은 이 회차의 상자를 근거로 쓰는 뒤 회차다.
차례
정리 · 정의 · 예제
| 번호 | 내용 | 연습 · 문항 | 뒤 회차 | |
|---|---|---|---|---|
| 정의 1.1 | 점수 벡터와 정보 행렬 | 1 | 4쪽 | |
| 정리 1.2 | 정보 행렬의 두 표현 | 10 | 1 | 4쪽 |
| 정리 1.3 | 여러 모수의 점근정규성 | 3 | 1 | 4쪽 |
| 따름정리 1.4 | 신뢰영역과 함수 | 5 | 5쪽 | |
| 보조정리 1.5 | 블록 역행렬과 Schur 보수 | 5 | 1 | 6쪽 |
| 정리 1.6 | 귀찮은 모수는 분산을 키운다 | 4 | 1 | 6쪽 |
| 정의 1.7 | 프로파일 가능도 | 2 | 1 | 7쪽 |
| 정리 1.8 | 귀찮은 모수가 있을 때의 Wilks 정리 | 1 | 3 | 7쪽 |
| 예제 1.9 | 정규 평균의 프로파일 가능도는 검정이다 | 1 | 8쪽 | |
| 정의 2.1 | 불완전 자료의 가능도 | 10쪽 | ||
| 예제 2.2 | 숨은 자료의 네 얼굴 | 2 | 10쪽 | |
| 예제 2.3 | 유전 연관 자료의 MLE | 3 | 11쪽 | |
| 보조정리 2.4 | 가능도의 분해 | 3 | 11쪽 | |
| 명제 2.5 | 점수의 항등식 | 6 | 11쪽 | |
| 알고리즘 3.1 | EM (Dempster–Laird–Rubin, 1977) | 3 | 13쪽 | |
| 정리 3.2 | EM은 가능도를 줄이지 않는다 | 7 | 14쪽 | |
| 명제 3.3 | 증거 하한 (ELBO) | 3 | 14쪽 | |
| 따름정리 3.4 | EM의 고정점은 정류점이다 | 2 | 15쪽 | |
| 정리 3.5 | 잃어버린 정보의 원리 (Orchard–Woodbury 1972, Louis 1982) | 5 | 15쪽 | |
| 정리 3.6 | EM의 수렴 속도 (DLR 1977) | 5 | 16쪽 | |
| 예제 3.7 | 유전 연관 자료의 EM | 1 | 17쪽 | |
| 명제 4.1 | 정규 혼합의 EM | 6 | 19쪽 | |
| 알고리즘 4.2 | 정규 혼합의 EM (수치적으로 안전한 판) | 20쪽 | ||
| 명제 4.3 | 이름표 바꾸기 | 1 | 20쪽 | |
| 예제 4.4 | 같은 곳에서 출발하면 갈라지지 않는다 | 3 | 21쪽 | |
| 예제 5.1 | 자료 | 22쪽 | ||
| 예제 5.2 | Pearson의 적률법 | 1 | 22쪽 | |
| 예제 5.3 | 최대가능도와 EM | 22쪽 | ||
| 예제 5.4 | 비율의 프로파일 가능도 | 1 | 23쪽 | |
| 예제 5.5 | 분출 시간의 두 무리 | 23쪽 | ||
| 예제 5.6 | 두 Poisson의 혼합 대 음이항 | 24쪽 | ||
| 명제 6.1 | 혼합 가능도는 유계가 아니다 | 2 | 26쪽 | |
| 정의 7.1 | 임의효과 모형 | 29쪽 | ||
| 명제 7.2 | 임의효과 모형의 MLE | 3 | 29쪽 | |
| 예제 7.3 | EM으로 풀기 | 1 | 29쪽 | |
| 명제 8.1 | 딱딱한 EM | 2 | 32쪽 |
연습 39문항 · 풀이는 연습 상자 안에 접어 두었다
워크북 34문항 · 푼 문항 0
칸을 누르면 문제 · 힌트 · 접어 둔 풀이가 있는 페이지로 간다. 별은 난이도(★ 계산 · ★★ 증명 · ★★★ 도전), 열쇠는 그 자리에서 확인하는 최종답의 수다. 답 확인 · PDF · 풀이판 PDF
A 계산 드릴 0 / 14
B 빈칸 증명 0 / 7
C 증명 문제 0 / 9
노트북
노트와 같은 절 번호, 같은 정리 번호로 원자료를 재현하고 정리를 시뮬레이션으로 확인한다. 실행 결과까지 이 사이트에서 볼 수 있다.
실행 결과까지 보기 내려받기 · 0.9 MB