9회 강의노트 · 1778 → 1951

최대가능도

가장 그럴듯한 값의 이론

Daniel Bernoulli는 1778년 서로 어긋나는 관측들에서 “가장 그럴듯한” 값을 물었다. Fisher는 1922년 그 생각을 가능도라는 이름으로 이론의 중심에 놓았다. 이 노트는 최대가능도 추정량을 정의하고, Fisher 정보와 Cramér–Rao 한계, 최대가능도 추정량의 점근정규성, 가능도비 검정을 증명한 뒤, 그 이론이 무너지는 Hodges의 초효율 추정량을 본다.

노트 읽기 워크북 풀기 노트북

41쪽노트 · 10절

27개정리 · 정의 · 예제

33문항노트의 연습

34문항워크북

47개최종답 확인

읽은 절0 / 10

푼 문항0 / 34

맞힌 최종답0 / 47

강의노트PDF · 41쪽워크북PDF · 26쪽워크북 풀이판PDF · 17쪽노트북ipynb · 1.1 MB

개관연표직접 해 보기정리 지도차례정리 목록연습워크북노트북

개관

다루는 것

가능도와 최대가능도 추정량불변성일치성(Gibbs 부등식)점수와 Fisher 정보Cramér–Rao 한계점근정규성Newton–Raphson과 Fisher 채점WilksWald점수 검정초효율

원자료

von Bortkiewicz(1898)의 프로이센 기병대Michelson(1879)의 빛의 속도The Federalist의 may

선수 지식

1–8회 (특히 2회 Gibbs 부등식, 3회 Cauchy–Schwarz, 7회 중심극한정리·Slutsky·델타 방법, 8회 검정과 구간)

연표 가장 그럴듯한 값

직접 해 보기

정리 지도

노트와 워크북에 적힌 번호 참조를 모두 세어 그렸다. 왼쪽은 이 회차가 근거로 쓰는 앞 회차, 오른쪽은 이 회차의 상자를 근거로 쓰는 뒤 회차다.

차례

1. 0들어가며1쪽PDF 1쪽
2. 1가능도와 최대가능도 추정량5쪽정리 4정의 1예제 1연습 7PDF 2쪽
3. 2Fisher 정보와 Cramér–Rao 한계4쪽정리 2정의 2예제 2연습 4PDF 7쪽
4. 3최대가능도 추정량의 점근정규성4쪽정리 2예제 1연습 5PDF 11쪽
5. 4계산 — Newton–Raphson과 Fisher 채점4쪽정리 1예제 2연습 4PDF 15쪽
6. 5가능도로 검정하기 — Wilks, Wald, Rao4쪽정리 1정의 1예제 1연습 4PDF 19쪽
7. 6데이터로 — 기병대, 빛의 속도, 그리고 “may”3쪽예제 3연습 3PDF 23쪽
8. 7부숴보기 — 초효율과 너무 많은 모수3쪽예제 2연습 3PDF 26쪽
9. 8Beautiful insights — 손실함수 속의 가능도2쪽연습 3PDF 29쪽
10. 9정리와 역사 노트3쪽PDF 31쪽

정리 · 정의 · 예제

번호	내용	연습 · 문항	뒤 회차	PDF
정의 1.1	가능도와 최대가능도 추정량	6	1	3쪽
예제 1.2	다섯 가지 MLE		1	3쪽
정리 1.3	불변성	4	3	4쪽
보조정리 1.4	기대 로그가능도는 참값에서 최대	5	2	4쪽
정리 1.5	참값의 가능도가 이긴다	1		5쪽
정리 1.6	가능도 방정식의 일치하는 근	5	1	5쪽
정의 2.1	점수와 Fisher 정보	3	3	8쪽
정리 2.2	점수의 평균과 정보의 두 표현	13	8	8쪽
예제 2.3	정보의 예	3		9쪽
정리 2.4	Cramér–Rao 부등식	7	7	9쪽
정의 2.5	효율	1		10쪽
예제 2.6	한계에 닿는 것과 닿지 않는 것		2	10쪽
정리 3.1	MLE의 점근정규성	8	6	12쪽
따름정리 3.2	대표본 구간과 함수	7		13쪽
예제 3.3	Cauchy 위치의 MLE와 중앙값			14쪽
알고리즘 4.1	Newton–Raphson과 Fisher 채점	2		16쪽
명제 4.2	한 걸음 추정량	1		17쪽
예제 4.3	Cauchy 표본의 두 봉우리	1		17쪽
예제 4.4	감마의 모양		3	17쪽
정의 5.1	가능도비 · Wald · 점수 통계량	1		20쪽
정리 5.2	Wilks의 정리	3	11	20쪽
예제 5.3	기병대의 세 검정	1	1	22쪽
예제 6.1	하나의 $\lambda$인가, 군단마다 다른가	1		24쪽
예제 6.2	정밀하지만 정확하지 않다		1	24쪽
예제 6.3	적률법과 최대가능도, 그리고 경계		1	25쪽
예제 7.1	한 점에서만 이기는 추정량			27쪽
예제 7.2	일치하지 않는 MLE	2	2	28쪽

연습 33문항 · 풀이는 연습 상자 안에 접어 두었다

1절 가능도와 최대가능도 추정량

1.1지수분포1.2두 모수 지수1.3다항분포1.4기병대의 확률1.5균등분포의 KL1.6불변성의 증명1.7참값의 가능도가 이긴다: 증명

2절 Fisher 정보와 Cramér–Rao 한계

2.1정보의 계산2.2모수를 바꾸면2.3지수 비율의 한계2.4균등분포에서는

3절 최대가능도 추정량의 점근정규성

3.1Poisson의 구간3.2관측 정보3.3감마의 모양 모수3.4정규의 두 모수3.5대표본 구간과 함수: 증명

4절 계산 — Newton–Raphson과 Fisher 채점

4.1Poisson의 Newton4.2이차 수렴4.3적률법의 분산4.4한 걸음 추정량: 증명

5절 가능도로 검정하기 — Wilks, Wald, Rao

5.1Poisson의 세 통계량5.2$G$ 통계량5.3가능도비 구간의 불변성5.4Wilks의 시뮬레이션

6절 데이터로 — 기병대, 빛의 속도, 그리고 “may”

6.1군단의 가능도비6.2Michelson의 $t$-모형6.3경계에서의 가능도비

7절 부숴보기 — 초효율과 너무 많은 모수

7.1Hodges의 위험7.2균등분포의 MLE의 속도7.3Neyman–Scott의 고침

8절 Beautiful insights — 손실함수 속의 가능도

8.1KL과 Fisher 정보8.2제곱오차와 정규8.3온도의 가능도 방정식

워크북 34문항 · 푼 문항 0

칸을 누르면 문제 · 힌트 · 접어 둔 풀이가 있는 페이지로 간다. 별은 난이도(★ 계산 · ★★ 증명 · ★★★ 도전), 열쇠는 그 자리에서 확인하는 최종답의 수다. 답 확인 · PDF · 풀이판 PDF

A 계산 드릴 0 / 14

A1★기하분포의 MLE 2A2★Rayleigh 분포 2A3★베타$(\theta,1)$ 2A4★$e^{-\lambda}$의 Cramér–Rao 한계 1A5★표준편차의 정보 2A6★비율의 Wald 구간 3A7★★지수분포의 생존확률 2A8★★Cauchy 위치의 한 걸음 2A9★★지수분포의 세 검정 3A10★두 KL 발산 2A11★★평균과 분산이 같은 정규 1A12★★균등분포의 가능도비 2A13★★Laplace 위치모형의 효율 3A14★정보로 표본 크기 정하기 1

B 빈칸 증명 0 / 7

B1★★MLE의 점근정규성, 근거 채우기B2★★Cramér–Rao 부등식, 근거 채우기B3★★기대 로그가능도의 최대, 근거 채우기B4★★MLE의 점근정규성, 단계의 이름만B5★★Cramér–Rao 부등식, 단계의 이름만B6★★MLE의 점근정규성, 전략만B7★★기대 로그가능도의 최대, 전략만

C 증명 문제 0 / 9

C1★★MLE가 하나가 아닐 때C2★★가능도가 끝없이 커질 때C3★★★Cramér–Rao 한계에 닿는 추정량C4★★정보는 더해진다 2C5★★치우친 추정량의 한계C6★KL 발산은 거리가 아니다 3C7★★지수족의 가능도는 오목하다 1C8★★정규 평균의 가능도비는 정확히 $\chi^2$이다C9★★위치모형의 MLE는 등변이다

D 퀄형 0 / 4

D1★★★중도절단된 수명 3D2★★★Neyman–Scott, $k$번 측정 2D3★★★Hardy–Weinberg 평형 4D4★★★변동계수가 1인 정규 4

노트북

노트와 같은 절 번호, 같은 정리 번호로 원자료를 재현하고 정리를 시뮬레이션으로 확인한다. 실행 결과까지 이 사이트에서 볼 수 있다.

실행 결과까지 보기 내려받기 · 1.1 MB