테마
16회 · 베이즈의 귀환 · 노트
2 Bayes 추정과 Jeffreys 사전분포
역사 Laplace(1774)는 사후분포에서 값 하나를 고를 때 “오차의 절댓값의 기댓값”을 줄이는 값, 곧 사후중앙값을 골랐다. Gauss(1809)는 평평한 사전분포의 사후 최빈값으로 최소제곱을 정당화했다(5회). Wald(1950)는 이것들을 손실함수의 언어로 묶었다(12회). 남은 문제는 사전분포였다. Bayes와 Laplace의 균등분포는 모수를 어떻게 쓰느냐에 따라 달라진다. 에 균등이면 에는 균등이 아니다. Fisher가 1922년 역확률을 버린 이유 중 하나가 이것이었다. Harold Jeffreys는 1946년 이 반론에 답했다. 사전분포를 Fisher 자신의 정보량으로 만들면 모수를 바꿔 써도 결론이 같다.
2.1 손실함수와 Bayes 추정량
12회 정의 5.1의 언어를 다시 쓴다. 추정량 의 위험은 , 사전분포 에 대한 Bayes 위험은 이다. 12회 정리 5.2에 따라 Bayes 추정량은 마다 사후 기대손실을 최소화하는 값이다.
정리 2.1 (Bayes 추정량) 사후분포 에 대해
- (a)
제곱손실 의 Bayes 추정량은 사후평균 이고, 최소 사후 기대손실은 사후분산이다.
- (b)
절대손실 의 Bayes 추정량은 사후중앙값이다.
- (c)
가중 제곱손실 의 Bayes 추정량은 이다.
증명 전략 를 고정하면 사후 기대손실은 하나의 함수다. 그 함수를 펼쳐 최소점을 찾는다. (a)는 제곱을 평균과 편차로 나누고, (b)는 미분하고, (c)는 의 이차식으로 쓴다.
(a)
로 두고 를 제곱해 사후 기대값을 취한다.
선형성가운데 항은 이라 사라진다. 3회 정리 2.8과 같은 계산이다.의 정의
남은 것은 이고, 에서 최소이며 최솟값은 사후분산이다.
(b)
이다.절댓값을 부호로 나눈다
로 미분하면 적분 끝점에서 나오는 항은 이라 사라지고
은 에 대해 증가하고, 사후중앙값 에서 이다.분포함수의 단조성
이면 , 이면 이므로 는 에서 최소다.평균값 정리
(c)
이다.전개, 선형성
이면 는 위로 볼록한 이차식이고, 꼭짓점 에서 최소다.
조건 확인 (a)는 , (b)는 , (c)는 를 쓴다. 그렇지 않으면 사후 기대손실이 모든 에서 무한하다. (b)의 미분은 적분 구간의 끝이 에 달린 경우의 미분이다. 사후밀도가 있으면 미적분의 기본정리로 끝점의 항을, 피적분함수 의 -미분 1로 나머지를 얻는다 [T6]. 사후분포에 밀도가 없어도 는 볼록이고 같은 결론이 오른쪽·왼쪽 미분으로 나온다.
0–1 손실 에서 이면 Bayes 추정량은 사후 최빈값(MAP)으로 간다. 평평한 사전분포의 MAP는 MLE다. 손실함수가 바뀌면 같은 사후분포에서 다른 점추정량이 나온다는 것이 핵심이다. 사후분포가 대칭이면 셋은 같다.
예제 2.2 (이항의 Bayes 추정량) 사전분포에서 사후평균 의 위험은 편향과 분산으로 나누어
이다. 로 고르면 분자의 항과 항이 지워져 , 에 무관한 상수가 된다. 이면 이 위험은 이고, MLE 의 위험 의 최댓값 보다 작다. 대신 나 에서는 MLE가 낫다.
정리 2.3 (Bayes 추정량의 두 성질)
- (a)
(허용성) 유한한 Bayes 위험을 갖는 Bayes 추정량이 유일하면, 그것은 허용적이다. 곧 모든 에서 위험이 같거나 작고 어떤 에서 더 작은 추정량은 없다.
- (b)
(minimax) Bayes 추정량의 위험이 에 무관한 상수이면 그것은 minimax다.
증명 전략 (a)는 귀류법이다 [T2]. 지배하는 추정량이 있으면 그것도 Bayes 추정량이 되어 유일성과 부딪친다. (b)는 “최댓값은 평균보다 작지 않다”를 한 번 쓴다.
(a)
이 를 지배한다고 하자. 모든 에서 이고 어떤 에서 부등호가 엄격하다.귀류 가정 [T2]
양변을 로 적분하면 이다.적분의 단조성
는 Bayes 위험을 최소로 하므로 , 곧 도 Bayes 추정량이다.12회 정리 5.2
유일성으로 이고, 두 위험은 모든 에서 같다. 1의 과 모순이다.가정: 유일
(b)
임의의 에 대해 이다.평균은 최댓값을 넘지 않는다
이다.는 Bayes
이므로 이다. 따라서 이다.위험이 상수
조건 확인 (a)의 3에서 를 쓴다. Bayes 위험이 무한하면 모든 추정량의 Bayes 위험이 라 2와 3이 아무것도 말하지 않는다. 유일성 대신 다음 조건을 써도 된다. 모든 추정량의 위험이 에 연속이고 가 모든 열린구간에 양의 확률을 주면, 1의 엄격한 부등호가 의 한 근방에서 성립하므로 2의 부등호가 엄격해지고, 가 Bayes라는 것과 모순이다.
따라서 예제 2.2의 는 minimax다. 허용성은 이 회차의 중심 개념이다. 허용적이지 않은 추정량은 다른 추정량에 “모든 곳에서 진다”. 5절은 표본평균이 세 차원 이상에서 바로 그런 추정량임을 보인다.
명제 2.4 (불편추정량은 Bayes가 아니다) 제곱손실에서 가 불편이면서() Bayes 추정량이고() 둘째 적률이 유한하면, Bayes 위험은 이다.
증명 전략 의 결합분포에서 를 두 가지 조건화로 계산한다(3회 정리 2.5). 한 번은 불편성, 한 번은 Bayes 추정량의 정의를 쓴다. 단계별 증명은 연습 2.6(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.
11회의 UMVUE는 사실상 어떤 정칙 사전분포의 Bayes 추정량도 아니다. 예컨대 는 정규 사전분포 의 사후평균(정리 1.2(c))의 극한일 뿐이다. 이런 극한을 일반화 Bayes 추정량이라 한다. 극한은 허용성을 물려받지 않을 수 있다.
2.2 Jeffreys 사전분포
균등 사전분포는 모수화에 달려 있다. 이면 로그오즈 의 밀도는 (로지스틱)이고 균등이 아니다. 어느 모수화에서 “모름”을 균등으로 나타내야 하는가? Jeffreys의 답은 모수화를 고르지 않는 규칙이었다.
정의 2.5 (Jeffreys 사전분포) 한 관측의 Fisher 정보 (9회 정의 2.1)에 대해 를 Jeffreys 사전분포라 한다. 다차원이면 이다.
정리 2.6 (Jeffreys 사전분포의 불변성) 가 미분가능한 단조함수이면, 에서 Jeffreys 사전분포를 만들어 로 변수변환한 밀도는 에서 직접 만든 Jeffreys 사전분포와 같다.
증명 전략 두 밀도를 각각 계산해 같은 식이 나옴을 보인다. 하나는 Fisher 정보가 모수를 바꿀 때 어떻게 변하는지에서, 다른 하나는 밀도의 변수변환 공식에서 나온다.
로 쓰면 연쇄법칙으로 이다.연쇄법칙
제곱해 기댓값을 취하면 는 관측에 무관한 상수이므로
제곱근을 취하면 이다.
조건 확인 는 미분가능하고 도함수가 0이 아니어야 한다(그래야 가 존재한다). 2는 9회의 정칙 조건 아래에서 가 유한할 때의 식이다. Jeffreys 사전분포가 비정칙이면 두 밀도는 상수배를 빼고 같다는 뜻이다. 변수변환 공식은 상수배와 함께 성립하므로 결론이 그대로다.
예제 2.7 (Jeffreys 사전분포의 예)
- (a)
베르누이: 이므로 , 곧 (arcsine 분포). 로 쓰면 가 상수이므로, Jeffreys 사전분포는 7회의 분산안정화 척도 위의 균등분포다.
- (b)
Poisson: 이므로 . 비정칙이지만 사후분포 은 이어도 정칙이다.
- (c)
정규 위치 : 가 상수이므로 평평한 사전분포. 정규 척도 : 이므로 , 곧 에 평평하다.
Jeffreys 사전분포의 신용구간은 빈도주의의 기준으로도 좋다. 에서 의 2.5%·97.5% 분위수를 Jeffreys 구간이라 하자. 의 91개 점에서 정확한 포함확률을 계산하면 평균 , 최솟값 이다. 8회의 Wald 구간 은 평균 , 최솟값 다(그림 2.1). 끝 근처에서 Wald 구간은 일 때 길이가 0이 되어 실패한다. 사전분포의 이 그 구멍을 막는다.
증명 없이 쓰는 사실 (다차원의 어려움과 기준 사전분포) 다차원에서 는 문제를 일으킨다. 에서 를 쓰면 의 사후분포의 자유도가 이 아니라 이 된다. Jeffreys 자신도 위치와 척도를 따로 다뤄 를 권했다. Bernardo(1979)의 기준 사전분포는 관심 모수와 장애 모수를 나누어 이 문제를 체계적으로 푼다.
연습문제
연습 2.1 (minimax 추정량 ★) 예제 2.2의 위험 공식을 유도하고, 에서 위험이 상수임을 확인하라. 에서 MLE가 minimax 추정량보다 나은 의 범위를 구하라.
풀이
이고 첫 항의 평균은 0, 분산은 이므로 위험 공식이 나온다. 이면 분자는 이고 에서 항이 사라져 가 남는다. MLE가 나은 곳은 , 곧 이므로 또는 이다.
연습 2.2 (는 Bayes가 아니다 ★) , 에서 명제 2.4를 써서 가 Bayes 추정량이 아님을 보여라. 사후평균의 Bayes 위험을 구하고 일 때의 극한을 말하라.
풀이
는 불편이고, 이다. Bayes 추정량이라면 Bayes 위험이 0이어야 하지만 의 위험은 이다. 사후평균은 이고 Bayes 위험은 사후분산 이다. 이면 으로, 의 위험으로 간다. 는 Bayes 추정량들의 극한(일반화 Bayes)이다.
연습 2.3 (정규 척도와 카이제곱 ★★) , 이면 임을 보여라. 따라서 95% 신용구간은 6회 연습 2.5의 카이제곱 신뢰구간(평균을 알아 자유도가 인 판)과 같다.
풀이
를 으로 바꾸면 이다. 이라 하면 사후밀도는 이고, 으로 바꾸면() , 곧 이다. 따라서 를 에 대해 풀면 6회의 구간과 같은 식이 된다. 사후확률의 문장과 신뢰구간의 문장이 숫자까지 일치하는 예다.
연습 2.4 (로그오즈의 균등 ★★) 로그오즈 에 평평한(비정칙) 사전분포를 주면 의 사전분포는 (Haldane)이다. 이것을 보이고, 일 때 사후분포가 비정칙임을 보여라.
풀이
이면 이므로 의 평평한 밀도는 에서 이다. 이면 사후밀도는 이고 이므로 정규화할 수 없다.
연습 2.5 (절대손실의 Laplace ★) 파리의 사후분포 에서 사후평균과 사후중앙값의 차이는 보다 작다. 그 이유를 사후분포의 치우침으로 설명하라.
풀이
베타분포의 평균과 중앙값의 차이는 대략 왜도 표준편차이다. 왜도가 , 표준편차가 이므로 차이는 약 이다. 노트북의 정확한 값도 이다. 사후분포가 거의 대칭이므로 제곱손실과 절대손실이 같은 답을 낸다.
연습 2.6 (불편추정량은 Bayes가 아니다: 증명 ★★ 유도형) 명제 2.4를 다음 순서로 증명하라. 의 결합분포에서 기댓값을 잡는다.
- (a)
로 조건화하고 불편성 를 써서 을 보여라.
- (b)
로 조건화하고 를 써서 을 보여라.
- (c)
(a)와 (b)로 을 얻어라. 둘째 적률이 유한하다는 가정은 어디에 쓰이는가?
- (d)
결론을 대우로 바꿔 말하라. Bayes 위험이 양수인 모형에서는 어느 추정량도 불편이면서 Bayes일 수 없다.
풀이
(a) . 첫 등호는 반복기댓값(3회 정리 2.5)이고 는 가 주어지면 상수라 밖으로 나온다. (b) . 는 의 함수이므로 가 주어지면 상수다. (c) 에서 (a)로 이므로 0이다. 둘째 적률의 유한성은 세 기댓값이 모두 유한해 전개와 반복기댓값을 쓸 수 있게 한다(). (d) Bayes 위험이 0이 아니면, 곧 이면, 는 불편이거나 Bayes이거나 둘 중 하나만일 수 있다. 정규 평균처럼 모든 추정량의 Bayes 위험이 양수인 모형에서는 불편추정량이 Bayes 추정량이 되지 못한다.