테마
1회 · 확률이란 무엇인가 · 노트
5 조건부확률과 독립
2절의 생명표에서 “이미 20세인 사람이 40세까지 살 비율”은 20세 생존자 가운데 40세 생존자가 차지하는 비율이었다. 정보가 주어지면 확률을 다시 매긴다. 이것을 공리의 언어로 정의하고, 이 과정 전체에서 가장 많이 쓰는 세 도구(곱셈법칙, 전확률 공식, 베이즈 정리)를 증명한다.
5.1 조건부확률
정의 5.1 (조건부확률) 인 사건 에 대해, 사건 의 가 주어졌을 때의 조건부확률은
가 일어났다는 것을 알면 가능한 결과는 안으로 줄어든다. 그 안에서 가 차지하는 몫을 의 확률로 나눠 다시 잰 것이 다. 정의가 공리와 어긋나지 않는다는 것, 곧 조건부확률도 확률이라는 것이 먼저 확인할 일이다.
정리 5.2 (조건부확률은 확률이다) 이면 는 위의 확률이다. 따라서 4절의 모든 성질(여사건, 포함배제, 연속성 등)이 에 대해서도 성립한다.
증명 전략 가 공리 (P1)–(P3)을 하나씩 만족함을 확인한다. (P3)에서는 와의 교집합이 서로소성과 합집합을 보존한다는 것을 쓴다 [T1]. 단계별 증명은 연습 5.10(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.
5.2 곱셈법칙 · 전확률 공식 · 베이즈 정리
정리 5.3 (곱셈법칙) 이면
증명 전략 먼저 오른쪽의 조건부확률이 모두 정의됨을 단조성으로 확인한다. 그다음 에 대한 귀납법으로, 조건부확률의 정의를 한 번 쓸 때마다 사건이 하나씩 늘어남을 보인다 [T3]. 단계별 증명은 연습 5.11(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.
정리 5.4 (전확률 공식) 가 의 분할이고 모든 에서 이면, 모든 사건 에 대해
증명 전략 를 분할의 조각들 위로 나눠 서로소인 합집합으로 쓰고 가산가법성을 쓴다.
이다., 분배법칙 [T1]
들은 쌍마다 서로소다. 이고 들이 쌍마다 서로소이기 때문이다.분할의 정의
이다. 분할이 유한하면 유한가법성을 쓴다.1 2, (P3)
를 3에 넣는다.정의 5.1,
정리 5.5 (베이즈 정리) 정리 5.4의 가정에서 이면
역사 Thomas Bayes는 이 정리를 내놓지 않은 채 1761년에 죽었다. 친구 Richard Price가 원고를 정리해 1763년 왕립학회지에 실었다(An Essay towards solving a Problem in the Doctrine of Chances). Bayes가 실제로 다룬 것은 이항분포의 성공률에 대한 추론이었고(4회, 16회), 위와 같은 일반적인 형태로 쓰고 널리 쓴 사람은 Laplace(1774)였다. 베이즈 정리는 “원인의 확률”을 결과로부터 거꾸로 계산한다고 해서 오랫동안 “역확률”이라 불렸다.
베이즈 정리의 각 항에는 이름이 있다. 는 정보를 얻기 전의 사전확률, 는 원인 가 결과 를 낼 가능도, 는 정보를 얻은 뒤의 사후확률이다. 두 원인 와 만 있을 때는 오즈()로 쓰면 더 간단하다.
정보가 하나 들어올 때마다 오즈에 가능도비가 곱해진다.
5.3 베이즈 정리로 푸는 두 문제
예제 5.6 (진단검사와 세 상자)
(1) 진단검사. 어떤 병의 유병률이 이다. 검사는 병이 있으면 의 확률로 양성(민감도)이고, 병이 없어도 의 확률로 양성(위양성률)이다. 한 사람이 양성이 나왔다. 실제로 병이 있을 확률은?
, 으로 두면 베이즈 정리로
양성인 사람 가운데 실제 환자는 열에 하나도 안 된다. 1,000명 가운데 환자 10명에서 양성 9명, 건강한 990명에서 양성 약 89명이 나오기 때문이다. 이것을 기저율 오류라 한다. 같은 검사를 독립적으로 한 번 더 해서 또 양성이면, 사전확률을 로 바꿔 다시 계산해 이 된다.
(2) Bertrand의 세 상자. 3.2절의 상자를 (금금), (은은), (금은)이라 하자. 상자는 같은 확률 로 고르고, 상자 안에서 동전도 같은 확률로 꺼낸다. 금화가 나왔다는 사건을 라 하면 , , 이므로
“둘 중 하나이므로 ”이라는 추론은 두 상자가 금화를 낼 가능도(과 )가 다르다는 것을 무시했다.
5.4 독립
정의 5.7 (두 사건의 독립) 이면 사건 와 는 독립이라 한다.
이면 독립은 , 곧 를 알아도 의 확률이 바뀌지 않는다는 뜻이다. 정의를 곱의 꼴로 쓰는 이유는 인 경우까지 포함하고 와 에 대칭이기 때문이다.
정리 5.8 (여사건과의 독립) 와 가 독립이면 와 , 와 , 와 도 각각 독립이다.
증명 이므로 . 나머지 둘은 이 결과를 와 에 다시 쓰면 나온다.
정의 5.9 (여러 사건의 상호 독립) 사건 이 상호 독립이라는 것은, 서로 다른 첨자 ()를 어떻게 골라도
가 성립한다는 것이다. 무한히 많은 사건이 상호 독립이라는 것은 그 가운데 유한개가 모두 상호 독립이라는 것이다.
모든 쌍에서 독립인 것만으로는 부족하다.
예제 5.10 (Bernstein의 정사면체) 정사면체의 네 면 가운데 세 면을 각각 빨강, 초록, 파랑으로 칠하고 네 번째 면에는 세 색을 모두 칠한다. 정사면체를 던져 바닥에 닿은 면을 본다(네 면이 같은 확률). , , 를 그 면에 각 색이 있는 사건이라 하자. 각 색은 두 면에 있으므로 이고, 두 색이 함께 있는 면은 하나뿐이므로
세 쌍 모두 독립이다. 그러나 이다. 두 색을 알면 세 번째 색이 있는지가 정해진다. 쌍별 독립이 상호 독립을 주지는 않는다.
정리 5.11 (독립인 사건들과 여사건) 이 상호 독립이면, 그 가운데 몇 개를 여사건으로 바꾼 것도 상호 독립이다. 특히
증명 전략 여사건으로 바꾼 사건의 개수 에 대한 귀납법 [T3]. 한 단계에서는 사건 하나만 바꾸고, 차 공식 로 곱의 꼴을 되살린다.
“상호 독립인 가운데 어느 개를 여사건으로 바꿔도 상호 독립이다”를 이라 하자. 은 가정 그 자체다.기저
을 가정하고 개를 바꾼 모임을 생각한다. 바뀐 것 가운데 하나를 첨자를 바꿔 이라 하자. 은 그대로 두고 나머지 개만 바꾼 모임 은 상호 독립이다.귀납 가정
이 상호 독립임을 보이면 된다. 첨자 ()를 고른다. 1이 들어 있지 않으면 2에서 이미 성립한다. 1이 들어 있으면() 로 둔다.정의 5.9
곱의 꼴을 확인한다.
따라서 이 성립하고, 귀납법으로 모든 에서 성립한다. 이면 첫째 식이다.귀납 [T3]
의 여사건은 이므로 둘째 식이 나온다.De Morgan, 보조정리 0.1
예제 5.12 (de Méré의 계산, 다시) 주사위 하나를 4번 던지는 모형은 위의 균등 확률이다. 이라 하자. 첨자 를 고르면 그 자리가 6이고 나머지 자리는 아무 수인 결과가 개이므로
는 상호 독립이고, 정리 5.11로 이다. 1.3절의 계산이 이렇게 정당화된다.
판마다 A가 이길 확률이 인 독립 시행도 같은 식으로 만든다. 에서 A가 번 나오는 결과에 를 준다. 이항정리로 합이 이므로 정리 4.9에 의해 확률이고, “번째 판은 A가 이긴다”들은 상호 독립이며 확률이 이다(연습 5.8). 정리 1.10의 2단계가 이 모형에서 정당하다.
5.5 점수 분배, 다시: Pascal의 재귀
정리 5.13 (Pascal의 재귀) 독립 시행 모형에서 상태 ()에서 A가 이길 확률 는
을 만족하고, 이 재귀와 경계조건이 를 하나로 정한다. 따라서 Pascal의 풀이와 Fermat의 공식(정리 1.10)은 같은 답을 준다.
증명
재귀. 를 “A가 이긴다”, 를 “다음 판은 A가 이긴다”라 하자. 는 분할이므로 전확률 공식으로
이고, 가 일어나면 남은 승부는 상태 에서 새로 시작하는 것과 같으므로 이다(다음 판 이후의 판들은 다음 판과 독립이다). 마찬가지로 이다.
유일성. 에 대한 귀납법. 이면 경계 상태뿐이다. 인 모든 상태의 값이 정해졌다면, 인 상태의 값은 재귀식으로 인 두 상태의 값에서 하나로 정해진다.
같은 답. Fermat의 공식도 같은 재귀와 경계조건을 만족하므로(연습 1.6) 유일성에 의해 두 답은 같다.
연습문제
연습 5.1 (두 아이 문제 ★) 아이가 둘인 가정에서 각 아이가 아들일 확률은 이고 서로 독립이다. (a) 적어도 하나가 아들일 때 둘 다 아들일 확률은? (b) 첫째가 아들일 때 둘 다 아들일 확률은?
풀이
결과 아아, 아딸, 딸아, 딸딸은 같은 확률 이다. (a) . (b) . 조건이 “적어도 하나”인가 “특정한 하나”인가에 따라 답이 다르다.
연습 5.2 (Monty Hall 문제 ★★) 문 세 개 가운데 하나 뒤에 자동차가 있다(같은 확률). 참가자가 1번 문을 고르면, 자동차 위치를 아는 사회자가 나머지 두 문 가운데 염소가 있는 문 하나를 연다(둘 다 염소면 같은 확률로 고른다). 사회자가 3번 문을 열었을 때 (a) 1번을 고수하면 자동차를 얻을 확률과 (b) 2번으로 바꾸면 얻을 확률을 베이즈 정리로 구하라. (c) 사회자가 위치를 모르고 2·3번 가운데 아무 문이나 열었는데 우연히 염소가 나왔다면 답은 어떻게 바뀌는가? (Selvin 1975)
풀이
를 자동차가 번 뒤에 있는 사건, 을 사회자가 3번을 여는 사건이라 하자. 이고, 사회자의 규칙으로 , , 이다. 베이즈 정리로
(a) , (b) 이므로 바꾸는 편이 낫다. (c) 사회자가 모르고 2·3번 가운데 하나를 연다면 에 대해 , , 이므로 이다. 같은 장면이라도 정보가 어떻게 만들어졌는가(가능도)가 답을 바꾼다.
연습 5.3 (세 상자에서 은화 ★) Bertrand의 세 상자에서 처음 꺼낸 동전이 은화이면 다른 동전도 은화일 확률은?
풀이
대칭으로 금과 은의 역할을 바꾸면 예제 5.6(2)와 같은 계산이므로 이다.
연습 5.4 (양의 연관은 대칭이다 ★★) 이면 임을 보여라.
풀이
. 가운데 부등식이 와 에 대칭이다.
연습 5.5 (몇 번 양성이어야 하나 ★★) 유병률이 인 병에 예제 5.6의 검사(민감도 , 위양성률 )를 독립적으로 거듭 한다. 연속으로 몇 번 양성이어야 사후확률이 을 넘는가? 오즈의 식으로 풀어라.
풀이
사전 오즈는 이고 양성 한 번의 가능도비는 이다. 독립인 양성 번 뒤의 오즈는 이고, 이것이 1을 넘으려면 , 곧 이다. 그때 사후확률은 이다(: , : ).
연습 5.6 (합집합과의 독립 ★★) 가 상호 독립이면 와 가 독립임을 보여라.
풀이
연습 5.7 (확률 0과 1인 사건 ★) 이거나 이면 는 모든 사건과 독립임을 보여라.
풀이
이면 . 이면 이므로 .
연습 5.8 (독립 시행 모형 ★★) 예제 5.12의 모형 , 에서 들이 상호 독립이고 임을 보여라.
풀이
첨자 를 고정하면 는 그 자리가 A인 결과들이다. 나머지 자리에서 A가 번 나오는 결과는 개이고 각각의 확률은 이므로
이면 이므로 이것은 와 같다.
연습 5.9 (Simpson의 역설 ★★) 신장결석 치료 연구(Charig 외 1986)에서 치료 A는 작은 결석 87명 중 81명, 큰 결석 263명 중 192명을 치료했고, 치료 B는 작은 결석 270명 중 234명, 큰 결석 80명 중 55명을 치료했다. (a) 결석 크기마다 성공률을 비교하라. (b) 전체 성공률을 비교하라. (c) 전확률 공식으로 역전이 왜 일어나는지 설명하라. (13회에서 회귀로 다시 다룬다.)
풀이
(a) 작은 결석: A , B . 큰 결석: A , B . 두 경우 모두 A가 낫다. (b) 전체: A , B 로 B가 낫다. (c) 전확률 공식으로 이다. A는 환자의 가 치료가 어려운 큰 결석이었고, B는 가 작은 결석이었다. 전체 성공률은 크기별 성공률을 서로 다른 가중치로 평균한 것이어서 순서가 뒤집힌다. 결석 크기는 치료 선택과 결과 모두에 영향을 주는 교란변수다.
연습 5.10 (조건부확률은 확률이다: 증명 ★ 유도형) 이고 이다. 정리 5.2를 다음 순서로 증명하라.
- (a)
(P1)과 (P2)를 확인하라.
- (b)
가 쌍마다 서로소이면 도 쌍마다 서로소이고 임을 원소 추적으로 보여라.
- (c)
(b)와 의 (P3)에서 의 (P3)을 얻어라. 급수를 로 나눌 때 무엇을 쓰는가?
풀이
(a) (P1): 에서 분자는 (P1)로 0 이상이고 분모는 양수다. (P2): 이므로 이다. (b) 이면 이다. 어떤 에서 이고 어떤 에서 이다. (c) (b)와 의 (P3)으로
셋째 등호에서 수렴하는 급수에 상수를 곱해도 된다는 것(, 부분합에 를 곱하고 극한을 취한다)을 썼다.
연습 5.11 (곱셈법칙 증명 ★★ 유도형) 정리 5.3을 다음 순서로 증명하라.
- (a)
과 단조성에서 오른쪽의 조건부확률이 모두 정의됨을 보여라.
- (b)
에서 식은 조건부확률의 정의임을 확인하라.
- (c)
에서 성립한다고 하고 으로 두어 에 귀납 가정을 넣어라.
- (d)
오른쪽에 정의를 넣으면 분자와 분모가 차례로 소거된다는 한 줄 증명과 (c)를 비교하라. 소거 증명에서 “”가 숨긴 것은 무엇인가?
풀이
(a) ()이므로 단조성으로 이다. 따라서 오른쪽의 모든 조건부확률의 조건이 양의 확률을 갖는다. (b) 이면 오른쪽은 이다. (c) 에서 성립하고 이라 하자. 이면 정의로 이고, 에 귀납 가정을 넣으면 에서의 식이 된다. (d) 소거 증명의 “”는 “이 소거가 이 몇이든 끝까지 이어진다”는 주장이다. (c)의 귀납법이 그 주장을 증명한 것이다. 또 소거 증명은 분모가 모두 0이 아님을 쓰는데, 그것이 (a)다.