11회 강의노트 · 1920 → 1955

충분성

자료를 줄이는 법

1920년 젊은 Fisher는 천문학자 Eddington과 오차의 크기를 재는 두 방법을 놓고 다퉜다. 그 계산에서 Fisher는 표준편차가 자료 속 정보를 하나도 버리지 않는다는 성질을 발견했고, 그것을 충분성이라 불렀다. 이 노트는 인수분해 정리, Rao–Blackwell, Lehmann–Scheffé, 지수족, Basu의 정리를 차례로 증명하고, 가장 좋은 불편추정량이 왜 가장 좋은 추정량은 아닌지 본다.

노트 읽기 워크북 풀기 노트북

40쪽노트 · 10절

31개정리 · 정의 · 예제

33문항노트의 연습

34문항워크북

35개최종답 확인

읽은 절0 / 10

푼 문항0 / 34

맞힌 최종답0 / 35

강의노트PDF · 40쪽워크북PDF · 23쪽워크북 풀이판PDF · 17쪽노트북ipynb · 0.7 MB

개관연표직접 해 보기정리 지도차례정리 목록연습워크북노트북

개관

다루는 것

충분통계량인수분해 정리최소충분Rao–Blackwell완비성Lehmann–Scheffé와 UMVUE지수족과 로그분배함수Cramér–Rao의 등호보조통계량과 Basu의 정리오염 정규

원자료

Newcomb(1882)의 빛의 통과 시간 66번von Bortkiewicz의 프로이센 기병대독일 전차 문제(시뮬레이션)

선수 지식

1–10회 (특히 3회 반복기댓값·전분산 공식, 6회 Student 정리, 8회 독일 전차, 9회 Fisher 정보·Cramér–Rao)

연표 자료를 줄이는 법

직접 해 보기

정리 지도

노트와 워크북에 적힌 번호 참조를 모두 세어 그렸다. 왼쪽은 이 회차가 근거로 쓰는 앞 회차, 오른쪽은 이 회차의 상자를 근거로 쓰는 뒤 회차다.

차례

1. 0들어가며1쪽PDF 1쪽
2. 1충분통계량5쪽정리 3정의 2예제 2연습 6PDF 2쪽
3. 2Rao–Blackwell — 조건을 걸면 좋아진다3쪽정리 1예제 3연습 4PDF 7쪽
4. 3완비성과 Lehmann–Scheffé — 가장 좋은 불편추정량3쪽정리 1정의 1예제 2연습 4PDF 10쪽
5. 4지수족5쪽정리 4정의 1예제 1연습 6PDF 13쪽
6. 5보조통계량과 Basu의 정리3쪽정리 1정의 1예제 3연습 3PDF 18쪽
7. 6데이터로 — Fisher의 계산과 Newcomb의 빛5쪽정리 1예제 2연습 4PDF 21쪽
8. 7부숴보기 — 큰 오차와 터무니없는 UMVUE2쪽정리 1예제 1연습 4PDF 26쪽
9. 8Beautiful insights — 분산 줄이기와 softmax2쪽연습 2PDF 28쪽
10. 9정리와 역사 노트3쪽PDF 30쪽

정리 · 정의 · 예제

번호	내용	연습 · 문항	뒤 회차	PDF
정의 1.1	충분통계량	9		3쪽
예제 1.2	조건부분포가 모수를 잊는다	1		4쪽
정리 1.3	인수분해 정리 (Neyman 1935)	5	4	4쪽
예제 1.4	충분통계량 찾기			5쪽
정의 1.5	최소충분통계량			5쪽
정리 1.6	최소충분의 판정 (Lehmann–Scheffé 1950)	2		5쪽
명제 1.7	통계량의 정보	3		6쪽
정리 2.1	Rao–Blackwell	10	1	8쪽
예제 2.2	한 해에 아무도 죽지 않을 확률		1	9쪽
예제 2.3	독일 전차의 Rao–Blackwell화	2		9쪽
예제 2.4	성공 확률의 제곱	1		10쪽
정의 3.1	완비통계량	2	1	11쪽
예제 3.2	완비인 것과 아닌 것	4		12쪽
정리 3.3	Lehmann–Scheffé (1950)	9	5	12쪽
예제 3.4	UMVUE들	1		13쪽
정의 4.1	지수족 (자연모수꼴)	1		14쪽
예제 4.2	자연모수로 다시 쓰기	1		14쪽
정리 4.3	로그분배함수는 적률을 만든다	4		15쪽
따름정리 4.4	지수족의 가능도	4		15쪽
정리 4.5	지수족의 완비충분통계량	8	5	16쪽
정리 4.6	한계에 닿는 모형	4	1	17쪽
정의 5.1	보조통계량	1	1	19쪽
정리 5.2	Basu (1955)	5	1	19쪽
예제 5.3	정규 표본에서 $\bar X\perp S^2$, 다시			20쪽
예제 5.4	Fisher의 1920년 관찰			20쪽
예제 5.5	감마와 균등	1		20쪽
명제 6.1	평균편차의 효율 (Fisher 1920)	3		23쪽
예제 6.2	큰 오차 두 개		1	23쪽
예제 6.3	세 추정량의 비교			24쪽
명제 7.1	오염 정규에서의 효율	4		26쪽
예제 7.2	음수가 되는 확률의 추정량	1		26쪽

연습 33문항 · 풀이는 연습 상자 안에 접어 두었다

1절 충분통계량

1.1Poisson의 조건부분포1.2인수분해1.3이동한 균등분포1.4Cauchy의 순서통계량1.5부호가 담는 정보1.6통계량의 정보: 증명

2절 Rao–Blackwell — 조건을 걸면 좋아진다

2.1분산의 계산2.2전차의 조건부 평균2.3정규의 꼬리확률2.4볼록 손실

3절 완비성과 Lehmann–Scheffé — 가장 좋은 불편추정량

3.1Poisson의 완비성3.2균등의 UMVUE3.3전차의 완비성3.4Bernoulli의 분산

4절 지수족

4.1감마의 로그분배함수4.2Poisson의 누적량4.3한계에 닿는 함수4.4softmax4.5지수족의 가능도: 증명4.6Cramér–Rao의 등호: 증명

5절 보조통계량과 Basu의 정리

5.1균등분포의 비5.2지수분포의 간격5.3정규의 표준화된 잔차

6절 데이터로 — Fisher의 계산과 Newcomb의 빛

6.1평균편차의 적률6.2Laplace 오차에서는6.3Newcomb의 부트스트랩6.4평균편차의 효율: 증명

7절 부숴보기 — 큰 오차와 터무니없는 UMVUE

7.1오염 정규의 효율7.2관측이 $n$개이면7.3불편추정량이 없다7.4오염 정규에서의 효율: 증명

8절 Beautiful insights — 분산 줄이기와 softmax

8.1조건부 Monte Carlo8.2교차엔트로피의 기울기

워크북 34문항 · 푼 문항 0

칸을 누르면 문제 · 힌트 · 접어 둔 풀이가 있는 페이지로 간다. 별은 난이도(★ 계산 · ★★ 증명 · ★★★ 도전), 열쇠는 그 자리에서 확인하는 최종답의 수다. 답 확인 · PDF · 풀이판 PDF

A 계산 드릴 0 / 14

A1★조건부분포에서 모수가 사라진다 2A2★Poisson 표본의 UMVUE 값 2A3★Bernoulli의 UMVUE 2A4★★균등분포의 UMVUE 2A5★독일 전차 2A6★★기하분포의 로그분배함수 3A7★두 모수화의 정보 2A8★★지수 표본의 최댓값의 몫 1A9★균등 표본의 순서통계량의 몫 1A10★★UMVUE의 분산과 Cramér–Rao 한계 3A11★★모수가 두 개뿐이면 완비가 아니다 2A12★★Rayleigh 분포의 MLE 1A13★오염 정규에서 평균편차의 효율 1A14★★“0인가 아닌가”가 담는 정보 2

B 빈칸 증명 0 / 7

B1★★인수분해 정리, 근거 채우기B2★★Rao–Blackwell, 근거 채우기B3★★Basu의 정리, 근거 채우기B4★★인수분해 정리, 단계의 이름만B5★★Rao–Blackwell, 단계의 이름만B6★★인수분해 정리, 전략만B7★★Basu의 정리, 전략만

C 증명 문제 0 / 9

C1★충분하지 않은 통계량에 조건을 걸면C2★★굽은 정규족C3★★이동한 지수분포의 UMVUE 1C4★치우친 추정량의 Rao–Blackwell화C5★★정규 표본의 범위C6★★충분통계량의 함수C7★★평균모수와 Cramér–Rao 한계C8★★★UMVUE는 0의 불편추정량과 상관이 없다C9★★★정보를 보존하면 충분하다

D 퀄형 0 / 4

D1★★★지수분포의 생존확률 2D2★★★Poisson에서 “정확히 한 번”의 확률 3D3★★★정규분포의 $\sigma$와 $\mu^2$ 2D4★★★균등분포의 분포함수 값 1

노트북

노트와 같은 절 번호, 같은 정리 번호로 원자료를 재현하고 정리를 시뮬레이션으로 확인한다. 실행 결과까지 이 사이트에서 볼 수 있다.

실행 결과까지 보기 내려받기 · 0.7 MB