9회 · 최대가능도 · 노트

0 들어가며

여는 질문. 같은 별의 위치를 다섯 번 쟀는데 값이 서로 어긋난다. 그 가운데 “가장 그럴듯한” 참값은 무엇인가? 평균인가, 중앙값인가, 아니면 관측의 오차가 어떤 모양인지에 따라 달라지는가?

Daniel Bernoulli는 1778년 이 질문에 처음으로 확률의 답을 주었다. 오차의 밀도를 정하면, 참값이 $\theta$일 때 지금의 관측들이 나올 “확률”은 밀도들의 곱이다. 그 곱을 가장 크게 하는 $\theta$를 고르자는 것이다. 그는 반원 모양의 오차 밀도를 골랐고, 계산이 너무 어려워 실제로 쓰이지는 않았다. Euler는 같은 논문에 붙인 논평에서 원리 자체를 의심했다. Gauss(1809)는 정규 오차에서 이 원리가 평균을 준다는 것을 보였고(5회), Fisher는 1912년부터 1922년까지 이것을 “가능도”라는 이름으로 추정 이론 전체의 중심에 놓았다.

이 노트는 그 이론을 정리한다. 가능도와 최대가능도 추정량을 정의하고 그것이 참값으로 가는 이유를 Gibbs 부등식으로 보인다(1절). 추정의 정밀도에는 Fisher 정보로 정해지는 넘을 수 없는 한계가 있고(2절, Cramér–Rao), 최대가능도 추정량은 표본이 크면 그 한계에 닿는다(3절). 4절은 가능도를 수치로 최대화하는 방법을, 5절은 가능도로 만드는 세 가지 검정(가능도비, Wald, 점수)을 다룬다. 6절은 세 원자료에 쓰고, 7절은 “한계보다 나은” 추정량이라는 역설(Hodges 1951)을, 8절은 신경망의 교차엔트로피 손실과 자연기울기에서 같은 수학을 만난다.

학습 목표

1. 1.

   가능도를 정의하고, 여러 모형에서 최대가능도 추정량을 구하며, 불변성과 일치성을 증명한다.

2. 2.

   점수와 Fisher 정보의 두 표현이 같음을 보이고, Cauchy–Schwarz로 Cramér–Rao 한계를 증명한다.

3. 3.

   테일러 전개·중심극한정리·Slutsky로 최대가능도 추정량의 점근정규성을 증명한다.

4. 4.

   Newton–Raphson과 Fisher 채점법을 구현하고, 가능도가 여러 봉우리를 가질 때를 본다.

5. 5.

   Wilks 정리를 증명하고, 가능도비·Wald·점수 검정의 관계를 기하로 이해한다.

그림 0.1 이번 회차 정리들의 의존 관계. 화살표는 “증명에 쓰인다”는 뜻이다.

0.1 1–8회에서 가져오는 것

앞 회차	내용
2회 정리 5.9 · 8.3	Jensen 부등식, Gibbs 부등식 ($D(p\|q)\ge0$)
3회 정리 4.4	Cauchy–Schwarz 부등식
5회 정리 1.5 · 6회 따름정리 2.3	평균이 가능도를 최대로 하면 정규(Gauss), $\Var S^2=2\sigma^4/(n-1)$
7회 정리 1.6 · 3.1 · 4.2 · 4.4	대수의 법칙(Khinchin), 중심극한정리, Slutsky, 델타 방법
8회 정리 2.4 · 3.5 · 5.1	대표본 구간, 구간과 검정의 쌍대성, Pearson의 $\chi^2$

0.2 표기

$X_1,\dots,X_n$이 밀도(또는 확률질량함수) $f(x;\theta)$에서 나온 iid 표본이고 참값은 $\theta_0$이다. 로그가능도의 미분은 $\ell'$, $\ell''$로 쓰고, 한 관측의 로그밀도의 미분은 $\tfrac{\partial}{\partial\theta}\log f(x;\theta)$로 쓴다. “정칙조건”은 2.1절의 상자에 모아 둔다.

이 절을 PDF로 보기 (1쪽)노트북 0절

이 회차에서 읽은 절 0개 · 회차 차례