2회 · 기댓값·부등식·대수의 법칙 · 노트

4 변수변환 — 확률변수의 함수의 분포

1절은 $g(X)$의 기댓값을 $X$의 분포로 구했다. 이 절은 $g(X)$의 분포 자체를 구한다. 방법은 둘이다. 분포함수에서 출발하는 방법은 언제나 쓸 수 있고, 단조함수이면 밀도를 바로 주는 공식이 있다. 마지막으로 이 공식을 거꾸로 써서, 균등 난수 하나로 어떤 분포의 난수든 만드는 방법을 증명한다. 컴퓨터의 모든 확률 시뮬레이션이 이 방법에서 시작한다.

4.1 분포함수 방법

$Y=g(X)$의 분포함수는 정의 그대로 $F_Y(y)=P(g(X)\le y)$이다. 사건 $\{g(X)\le y\}$를 $X$에 대한 사건으로 다시 쓰고 $X$의 분포로 확률을 계산한다. 그다음 미분하면 밀도가 나온다.

예제 4.1 (제곱) $X$가 밀도 $f_X$를 갖고 $Y=X^2$이라 하자. $y>0$이면 $\{X^2\le y\}=\{-\sqrt y\le X\le\sqrt y\}$이므로

$$F_Y(y)=F_X(\sqrt y)-F_X(-\sqrt y),\qquad f_Y(y)=\frac{f_X(\sqrt y)+f_X(-\sqrt y)}{2\sqrt y}\quad(y>0).$$

미분에서 연쇄법칙 $\tfrac d{dy}\sqrt y=\tfrac1{2\sqrt y}$를 썼다. 두 항은 $Y$의 한 값 $y$로 가는 $X$의 두 값 $\pm\sqrt y$에서 온다. $X\sim\mathrm U(-1,1)$이면 $f_Y(y)=\tfrac{1}{2\sqrt y}$ ($0<y<1$)이고, 이것은 1회 연습 6.7의 $\mathrm U(0,1)$의 제곱과 같은 분포다. 5회에서 $X$가 표준정규이면 같은 공식이 $\chi^2(1)$ 분포를 준다.

예제 4.2 (지수분포는 균등 난수의 로그) $U\sim\mathrm U(0,1)$, $Y=-\tfrac1\lambda\log U$라 하자. $y>0$이면 $\{Y\le y\}=\{U\ge e^{-\lambda y}\}$이므로 $F_Y(y)=1-e^{-\lambda y}$, 곧 $Y\sim\mathrm{Exp}(\lambda)$이다. 균등 난수의 로그가 기다리는 시간이 된다.

4.2 단조변환의 밀도

정리 4.3 (단조변환) $X$의 밀도 $f_X$가 열린 구간 $S$ 밖에서 0이고, $g$가 $S$에서 미분가능하며 $g'(x)\ne0$ (따라서 순증가이거나 순감소)이라 하자. $T=g(S)$, $h=g^{-1}:T\to S$로 두면 $Y=g(X)$의 밀도는

$$f_Y(y)=f_X\bigl(h(y)\bigr)\,\bigl|h'(y)\bigr|,\qquad y\in T$$

이고, $T$ 밖에서 0이다.

증명 전략 분포함수 방법이다. 사건 $\{g(X)\le y\}$를 $X$에 대한 사건으로 바꿔 $F_Y$를 $F_X$와 $h$로 쓰고, 연쇄법칙으로 미분한다 [T7]. $P(X\in S)=1$이므로 $S$ 밖의 결과는 확률에 기여하지 않는다.

증가하는 경우

1. $g$가 증가하면 $h$도 증가하고, $y\in T$에서 $\{g(X)\le y\}=\{X\le h(y)\}$이다($S$ 밖의 확률 0인 부분을 빼고).순증가 함수와 그 역함수 [T1]

2. $F_Y(y)=P(X\le h(y))=F_X(h(y))$이다.1회 정의 6.2

3. $h$는 미분가능하고 $h'(y)=1/g'(h(y))>0$이다.역함수의 미분

4. 연쇄법칙으로 $f_Y(y)=f_X(h(y))\,h'(y)=f_X(h(y))\,|h'(y)|$이다.1회 정리 6.7(d), 3

감소하는 경우

1. $\{g(X)\le y\}=\{X\ge h(y)\}$이므로 $F_Y(y)=1-F_X(h(y))$이다.1회 정리 4.3(c), $P(X=h(y))=0$

2. 미분하면 $f_Y(y)=-f_X(h(y))\,h'(y)=f_X(h(y))\,|h'(y)|$이다.$h'<0$

조건 확인 미분 $F_X'=f_X$는 $f_X$가 연속인 점에서만 보장된다(1회 정리 6.7(d)). 그래서 거꾸로 확인한다. 위의 $f_Y$를 $(-\infty,y]$에서 적분하고 $x=h(s)$로 치환하면 $F_X(h(y))$(감소하면 $1-F_X(h(y))$)가 나온다 [T7]. 밀도는 적분이 분포함수가 되는 함수이므로 이것으로 충분하다.

공식의 $|h'(y)|$를 야코비안이라 한다. 확률은 변환해도 보존된다. $X$가 폭 $dx$의 칸에 들 확률 $f_X(x)\,dx$는 $Y$가 그 칸의 상인 폭 $dy=|g'(x)|\,dx$의 칸에 들 확률 $f_Y(y)\,dy$와 같아야 한다. $g$가 늘이는 곳에서는 밀도가 그만큼 엷어지고 줄이는 곳에서는 짙어진다. 3회에서 다변수의 야코비안 행렬식으로 넓힌다.

따름정리 4.4 (함수의 기댓값 — 단조인 경우) 정리 4.3의 조건에서 $\int_S|g(x)|f_X(x)\,dx<\infty$이면 $EY=\int_Sg(x)f_X(x)\,dx$이다. 이것으로 정리 1.9(b)가 단조인 $g$에서 증명된다.

증명 전략 정리 4.3의 밀도로 $EY$를 쓰고 $y=g(x)$로 치환한다 [T7]. 감소하는 경우 적분 구간의 방향이 바뀌는 것을 절댓값이 맞춘다. 단계별 증명은 연습 4.8(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

예제 4.5 (위치와 척도) $Y=a+bX$ ($b\ne0$)이면 $h(y)=(y-a)/b$, $|h'|=1/|b|$이므로

$$f_Y(y)=\frac1{|b|}\,f_X\Bigl(\frac{y-a}b\Bigr).$$

하나의 밀도 $f$에서 이렇게 만든 분포의 모임을 위치–척도족이라 한다. 균등분포 $\mathrm U(a,b)$는 $\mathrm U(0,1)$의 위치–척도족이고, $\mathrm{Exp}(\lambda)$는 $\mathrm{Exp}(1)$을 $\tfrac1\lambda$배 한 것이다. 거꾸로 평균 $\mu$, 표준편차 $\sigma$인 $X$를 $Z=(X-\mu)/\sigma$로 표준화하면 $EZ=0$, $\Var Z=1$이다(정리 2.2).

4.3 확률적분변환과 역변환 표집

분포함수 $F$는 일반적으로 역함수가 없다(평평한 구간과 뛰는 점이 있다). 그래서 일반화된 역함수를 쓴다.

$$F^{-}(u)=\inf\{x\in\R:\ F(x)\ge u\},\qquad 0<u<1 .$$

$F$가 연속이고 순증가이면 $F^-=F^{-1}$이다. $F^-(u)$는 $F$의 $u$-분위수이고 $F^-(\tfrac12)$가 중앙값이다.

보조정리 4.6 (분위수 함수의 기본 성질) $0<u<1$과 실수 $x$에 대해 $F^-(u)\le x\iff u\le F(x)$.

증명 ($\Leftarrow$) $u\le F(x)$이면 $x$는 집합 $\{x':F(x')\ge u\}$의 원소이므로 하한 $F^-(u)$는 $x$ 이하다. ($\Rightarrow$) 먼저 집합 $\{x':F(x')\ge u\}$가 비어 있지 않고 아래로 유계라는 것을 확인한다. $F\to1>u$ ($x\to\infty$)이므로 비어 있지 않고, $F\to0<u$ ($x\to-\infty$)이므로 아래로 유계다(1회 정리 6.3(b)). 하한의 정의로 $F(x_n)\ge u$이고 $x_n\downarrow F^-(u)$인 수열이 있다. $F$는 오른쪽 연속이므로(1회 정리 6.3(c)) $F(F^-(u))=\lim F(x_n)\ge u$이다. $F^-(u)\le x$이면 $F$가 비감소이므로 $F(x)\ge F(F^-(u))\ge u$.

정리 4.7 (역변환 표집과 확률적분변환) 

1. (a)

   (역변환 표집) $F$가 임의의 분포함수이고 $U\sim\mathrm U(0,1)$이면 $X=F^-(U)$의 분포함수는 $F$이다.

2. (b)

   (확률적분변환) $X$의 분포함수 $F$가 연속이면 $F(X)\sim\mathrm U(0,1)$이다.

증명 전략 (a)는 보조정리 4.6로 사건을 바꿔 쓰는 한 줄이다. (b)는 같은 보조정리의 대우로 $\{F(X)<u\}$를 $X$에 대한 사건으로 바꾸고, $F$의 연속성으로 $F(F^-(u))=u$를 보인다 [T2].

(a)

1. $\{F^-(U)\le x\}=\{U\le F(x)\}$이다.보조정리 4.6

2. $P(U\le F(x))=F(x)$이다.$0\le F(x)\le1$, $U\sim\mathrm U(0,1)$

(b)

1. $0<u<1$을 고정한다. 보조정리 4.6의 대우로 $F(x)<u\iff x<F^-(u)$이므로 $\{F(X)<u\}=\{X<F^-(u)\}$이다.대우 [T2]

2. $P(F(X)<u)=P(X<F^-(u))=F(F^-(u)-)=F(F^-(u))$이다.1회 정리 6.3(d), $F$ 연속

3. $F(F^-(u))\ge u$이다.보조정리 4.6의 증명

4. $x<F^-(u)$이면 $F(x)<u$이고, $x\uparrow F^-(u)$로 보내면 $F(F^-(u))\le u$이다. 3과 합하면 $F(F^-(u))=u$이다.1, $F$ 연속 [T5]

5. $\{F(X)<u+\tfrac1n\}\downarrow\{F(X)\le u\}$이므로 $P(F(X)\le u)=\lim_n(u+\tfrac1n)=u$이다.1회 정리 4.7(b), 2 4

6. $F(X)$의 분포함수는 $(0,1)$에서 $u$이므로 $F(X)\sim\mathrm U(0,1)$이다.1회 정리 6.3

그림 4.1 역변환 표집(정리 4.7(a)). 왼쪽: 연속형은 세로축의 균등 난수를 곡선에 맞혀 가로축으로 내린다. 오른쪽: 이산형은 균등 난수가 떨어진 세로 구간의 길이가 그 값의 확률이다.

알고리즘 4.8 (역변환 표집) 분포함수 $F$를 따르는 난수를 만든다.

1. 1.

   균등 난수 $U\sim\mathrm U(0,1)$을 뽑는다.

2. 2.

   $X=F^-(U)$를 돌려준다.

예. 지수분포 $X=-\tfrac1\lambda\log(1-U)$. Cauchy 분포 $F(x)=\tfrac12+\tfrac1\pi\arctan x$에서 $X=\tan\bigl(\pi(U-\tfrac12)\bigr)$. 기하분포 $X=\bigl\lceil\log(1-U)/\log q\bigr\rceil$. 값 $x_1<x_2<\cdots$와 누적확률 $c_j=\sum_{i\le j}p_i$를 갖는 이산분포는 $c_{j-1}<U\le c_j$인 $j$를 찾아 $x_j$를 돌려준다(np.searchsorted).

그림 4.2 균등 난수 10만 개를 역변환한 표본(청록)과 목표 분포(점선·원). 오른쪽은 공평한 주사위 12개 가운데 5·6이 나온 수의 분포 $\mathrm b(12,\tfrac13)$이다.

(b)는 거꾸로 쓰인다. 모형이 맞다면 관측값을 모형의 분포함수에 넣은 $F(X_i)$들이 $\mathrm U(0,1)$처럼 퍼져 있어야 한다. 1회 노트북에서 현의 길이에 쓴 Kolmogorov–Smirnov 비교, 일기예보와 기계학습 모형의 보정(calibration) 검사가 이 원리다.

연습문제

연습 4.1 (지수분포를 두 가지로 ★) $U\sim\mathrm U(0,1)$일 때 $Y=-\tfrac1\lambda\log(1-U)$의 밀도를 정리 4.3으로 구하라. 예제 4.2의 $-\tfrac1\lambda\log U$와 같은 분포인 이유를 한 줄로 말하라.

풀이

$g(u)=-\tfrac1\lambda\log(1-u)$는 $(0,1)$에서 증가, $h(y)=1-e^{-\lambda y}$, $h'(y)=\lambda e^{-\lambda y}$. 정리 4.3으로 $f_Y(y)=1\cdot\lambda e^{-\lambda y}$ ($y>0$). $1-U$도 $\mathrm U(0,1)$이므로 $-\tfrac1\lambda\log U$와 분포가 같다.

연습 4.2 (일대일이 아닌 제곱 ★★) $X\sim\mathrm U(-1,2)$이고 $Y=X^2$이다. $0<y<1$과 $1\le y<4$로 나눠 $F_Y$와 $f_Y$를 구하라.

풀이

$f_X=\tfrac13$ ($-1<x<2$). $0<y<1$이면 $\{X^2\le y\}=\{-\sqrt y\le X\le\sqrt y\}$이고 이 구간은 $(-1,2)$ 안이므로 $F_Y(y)=\tfrac{2\sqrt y}3$, $f_Y(y)=\tfrac1{3\sqrt y}$. $1\le y<4$이면 $-\sqrt y\le-1$이므로 $\{X^2\le y\}=\{-1<X\le\sqrt y\}$, $F_Y(y)=\tfrac{\sqrt y+1}3$, $f_Y(y)=\tfrac1{6\sqrt y}$. $F_Y(1)=\tfrac23$으로 이어지고 $F_Y(4)=1$이다.

연습 4.3 (Benford의 법칙 ★★) 양수 $X$에 대해 $\log_{10}X$의 소수 부분이 $\mathrm U(0,1)$이라 하자. $X$의 첫 자리 숫자가 $d$일 확률이 $\log_{10}(1+\tfrac1d)$임을 보여라. 1이 첫 자리일 확률은?

풀이

$X=10^{N+V}$, $N$은 정수, $V\in[0,1)$이 $\log_{10}X$의 소수 부분이다. 첫 자리가 $d$인 것은 $d\le10^V<d+1$, 곧 $\log_{10}d\le V<\log_{10}(d+1)$과 같으므로 확률은 $\log_{10}(d+1)-\log_{10}d=\log_{10}(1+\tfrac1d)$. $d=1$이면 $\log_{10}2\approx0.301$이다.

연습 4.4 (Cauchy의 역수 ★★) $X$가 Cauchy 분포이면 $1/X$도 Cauchy 분포임을 보여라. (힌트: $g(x)=1/x$는 $(-\infty,0)$과 $(0,\infty)$에서 각각 단조다.) 또 $\Theta\sim\mathrm U(-\tfrac\pi2,\allowbreak \tfrac\pi2)$이면 $\tan\Theta$가 Cauchy 분포임을 보여라. 원점에서 무작위 방향으로 쏜 빛이 벽 $x=1$에 닿는 높이다.

풀이

$(0,\infty)$에서 $g(x)=\tfrac1x$, $h(y)=\tfrac1y$, $|h'(y)|=\tfrac1{y^2}$이므로 $f_Y(y)=\tfrac{1}{\pi(1+y^{-2})}\cdot\tfrac1{y^2}=\tfrac1{\pi(1+y^2)}$ ($y>0$). $(-\infty,0)$도 같다. 두 조각을 합치면(사건 $\{Y\le y\}$를 $X$의 부호로 나눠 분포함수 방법을 쓰면) Cauchy 밀도다. $\tan\Theta$: $P(\tan\Theta\le x)=P(\Theta\le\arctan x)=\tfrac{\arctan x+\pi/2}\pi$, 곧 Cauchy의 분포함수.

연습 4.5 (혼합형 표집 ★) 1회의 보험금 $X$(확률 $0.3$으로 0, 나머지는 밀도 $0.7e^{-x}$)의 분포함수 $F$에 대해 $F^-(u)$를 구하라. $u\le0.3$이면 얼마인가?

풀이

$F(x)=0$ ($x<0$), $F(x)=0.3+0.7(1-e^{-x})$ ($x\ge0$). $u\le0.3$이면 $F(0)=0.3\ge u$이고 $x<0$에서 $F=0<u$이므로 $F^-(u)=0$. $u>0.3$이면 $F(x)=u$를 풀어 $F^-(u)=\log\tfrac{0.7}{1-u}$. 균등 난수의 30%가 0으로 가고 나머지가 지수분포의 꼬리로 간다.

연습 4.6 (Pareto 분포 ★) $\alpha>0$에 대해 $F(x)=1-x^{-\alpha}$ ($x\ge1$)인 분포를 Pareto 분포라 한다. 역변환 표집 공식을 쓰고, $EX$가 $\alpha>1$일 때만 유한하며 그때 $\tfrac\alpha{\alpha-1}$임을, $EX^2$이 $\alpha>2$일 때만 유한함을 보여라.

풀이

$F^-(u)=(1-u)^{-1/\alpha}$. 밀도 $f(x)=\alpha x^{-\alpha-1}$ ($x\ge1$)이므로 $EX=\alpha\int_1^\infty x^{-\alpha}dx$는 $\alpha>1$에서만 유한하고 $\tfrac\alpha{\alpha-1}$이다. $EX^2=\alpha\int_1^\infty x^{1-\alpha}dx$는 $\alpha>2$에서만 유한하다.

연습 4.7 (확률적분변환은 연속이어야 ★) $X\sim\mathrm{Bernoulli}(\tfrac12)$이면 $F(X)$는 어떤 분포인가? 정리 4.7(b)의 연속성 가정이 왜 필요한가?

풀이

$F(0)=\tfrac12$, $F(1)=1$이므로 $F(X)$는 $\tfrac12$과 $1$을 확률 $\tfrac12$씩 갖는다. $\mathrm U(0,1)$이 아니다. 정리의 증명에서 $P(X<x)=F(x)$를 썼는데, $F$가 뛰는 점에서는 성립하지 않는다.

연습 4.8 (함수의 기댓값, 단조인 경우: 증명 ★★ 유도형) 따름정리 4.4를 다음 순서로 증명하라. $g$가 증가하는 경우부터 한다.

1. (a)

   정리 4.3의 밀도로 $EY$를 $y$에 대한 적분으로 쓰고, $y=g(x)$로 치환해 $\int_Sg(x)f_X(x)\,dx$를 얻어라. $dy=g'(x)\,dx$와 $h'(g(x))\,g'(x)=1$을 쓴다.

2. (b)

   같은 치환을 $|y|$에 해서 $\int_T|y|f_Y(y)\,dy=\int_S|g(x)|f_X(x)\,dx<\infty$, 곧 $EY$가 존재함을 보여라.

3. (c)

   $g$가 감소하면 치환 뒤 적분 구간의 위끝과 아래끝이 바뀐다. $|h'|=-h'$이 그 방향을 되돌림을 보여라.

풀이

(a) $g$가 증가하면 $h=g^{-1}$도 증가하고 정리 4.3으로 $f_Y(y)=f_X(h(y))h'(y)$ ($y\in T$)이다. $y=g(x)$로 치환하면 $x$가 $S$를 지날 때 $y$는 $T$를 같은 방향으로 지나고, $h(y)=x$, $dy=g'(x)\,dx$이며 $h'(g(x))g'(x)=1$(역함수의 미분)이므로

$$\int_Ty\,f_X(h(y))\,h'(y)\,dy=\int_Sg(x)\,f_X(x)\,h'(g(x))\,g'(x)\,dx=\int_Sg(x)\,f_X(x)\,dx .$$

(b) 같은 치환을 $|y|$에 하면 $\int_T|y|f_Y(y)\,dy=\int_S|g(x)|f_X(x)\,dx$이고, 가정으로 유한하다. 따라서 정의 1.5로 $EY$가 존재하고 (a)의 값과 같다. (c) $g$가 감소하면 $x$가 $S$를 왼쪽에서 오른쪽으로 지날 때 $y$는 $T$를 오른쪽에서 왼쪽으로 지난다. 치환한 적분은 $\int_{\sup T}^{\inf T}$가 되어 부호가 하나 바뀌고, $|h'|=-h'$의 부호가 그것을 되돌린다. 결과는 (a)와 같다.

이 절을 PDF로 보기 (25쪽)노트북 4절

이 회차에서 읽은 절 0개 · 회차 차례