3회 · 왜 평균을 내는가 · 노트

5 여러 변수의 변수변환 — 야코비안

2회 정리 4.3은 한 변수의 단조변환에서 밀도가 $|h'(y)|$배로 바뀐다고 했다. 두 변수 이상에서는 그 배율이 야코비안 행렬식이다. 이 절은 그 공식을 세우고, 그것으로 이 과정 전체에서 쓰는 네 결과를 얻는다. 가우스 적분(5회의 정규분포의 상수), Box–Muller 방법(정규 난수), 합성곱(독립합의 밀도), 그리고 정규의 비가 Cauchy라는 것이다.

5.1 변수변환 공식

증명 없이 쓰는 사실 (다중적분의 치환) $T$가 열린 집합 $S\subset\R^n$에서 열린 집합 $T(S)$로 가는 일대일 연속미분가능 변환이고 야코비안 행렬식 $J_T(\x)=\det\bigl[\partial T_i/\partial x_j\bigr]$이 0이 아니면, $T(S)$ 위의 적분 가능한 $g$에 대해

$$\int_{T(S)}g(\mathbf y)\,d\mathbf y=\int_Sg\bigl(T(\x)\bigr)\,|J_T(\x)|\,d\x .$$

다변수 미적분학의 표준 정리다. 작은 정육면체가 $T$로 넓이(부피) $|J_T|$배의 평행육면체로 바뀐다는 것이 핵심이다(그림 5.1).

그림 5.1 변환 $T$는 작은 사각형을 거의 평행사변형으로 보낸다. 넓이의 배율이 야코비안 행렬식의 절댓값이다. 확률은 보존되므로 밀도는 그 역수만큼 바뀐다.

정리 5.1 (야코비안 변수변환) $\X$가 열린 집합 $S$ 밖에서 0인 밀도 $f_{\X}$를 갖고, $\Y=T(\X)$가 위의 조건을 만족하는 변환이며, 역변환 $\x=H(\mathbf y)$의 야코비안 행렬식이 $J_H(\mathbf y)$이면

$$f_{\Y}(\mathbf y)=f_{\X}\bigl(H(\mathbf y)\bigr)\,\bigl|J_H(\mathbf y)\bigr|,\qquad \mathbf y\in T(S)$$

이고, $T(S)$ 밖에서 0이다.

증명 전략 어떤 함수가 $\Y$의 밀도라는 것은 모든 보통의 집합 $B$에서 $P(\Y\in B)$가 그 함수의 $B$ 위의 적분이라는 것이다. $\{\Y\in B\}$를 $\X$에 대한 사건으로 바꾸고, 다중적분의 치환을 역변환 $H$에 쓴다 [T7].

1. $T(S)$ 안의 보통의 집합 $B$에 대해 $\{\Y\in B\}=\{\X\in H(B)\}$이다.$T$가 일대일, $H=T^{-1}$ [T1]

2. $P(\Y\in B)=\int_{H(B)}f_{\X}(\x)\,d\x$이다.밀도의 정의

3. 위 상자의 치환을 $H$에 쓴다. $H$는 $B$를 $H(B)$로 보낸다.

   $$\int_{H(B)}f_{\X}(\x)\,d\x=\int_Bf_{\X}\bigl(H(\mathbf y)\bigr)\,|J_H(\mathbf y)|\,d\mathbf y .$$

   다중적분의 치환 [T7]

4. 2 3이 모든 $B$에서 성립하므로 적분 안의 함수가 $T(S)$ 위에서 $\Y$의 밀도다. $P(\Y\notin T(S))=P(\X\notin S)=0$이므로 $T(S)$ 밖에서는 0으로 둔다.1회 정의 6.6의 다변량판

조건 확인 셋째 단계에서 상자의 정리를 $H$에 쓰려면 $H$도 연속미분가능하고 야코비안 행렬식이 0이 아니어야 한다. 역함수 정리(다변수 미적분)로 $H$는 연속미분가능하고 $J_H(\mathbf y)=1/J_T\bigl(H(\mathbf y)\bigr)\ne0$이다. 그래서 $J_T$와 $J_H$ 가운데 계산하기 쉬운 쪽을 구해 역수를 취해도 된다.

$n=1$이면 2회 정리 4.3이다. 쓰는 순서는 늘 같다. (1) 새 변수 $\Y$를 정하고 필요하면 보조 변수를 더해 변수의 수를 맞춘다. (2) 역변환 $\x=H(\mathbf y)$를 푼다. (3) 야코비안을 계산한다. (4) 새 영역 $T(S)$를 그린다. (5) 보조 변수를 적분해 없앤다.

5.2 극좌표 — 가우스 적분과 Box–Muller

예제 5.2 (극좌표의 야코비안) $x=r\cos\theta$, $y=r\sin\theta$ ($r>0$, $0<\theta<2\pi$)이면

$$J=\det\begin{pmatrix}\cos\theta&-r\sin\theta\\ \sin\theta&r\cos\theta\end{pmatrix}=r .$$

극좌표의 넓이 요소 $dx\,dy=r\,dr\,d\theta$가 이것이다.

정리 5.3 (가우스 적분) 

$$\int_{-\infty}^{\infty}e^{-x^2/2}\,dx=\sqrt{2\pi} .$$

따라서 $\phi(x)=\tfrac1{\sqrt{2\pi}}e^{-x^2/2}$는 밀도이고, 이 밀도를 갖는 분포를 표준정규분포 $\N(0,1)$이라 한다.

증명 전략 한 변수 적분 $I$를 제곱해 평면 위의 이중적분으로 만든다. 극좌표로 바꾸면 넓이 요소의 $r$ 덕분에 원시함수가 생긴다.

1. $I=\int_{-\infty}^\infty e^{-x^2/2}\,dx$로 두면 $I^2=\int e^{-x^2/2}dx\int e^{-y^2/2}dy=\iint e^{-(x^2+y^2)/2}\,dx\,dy$이다.Tonelli [T6]

2. 극좌표로 바꾼다.

   $$\iint e^{-(x^2+y^2)/2}\,dx\,dy=\int_0^{2\pi}\!\!\int_0^\infty e^{-r^2/2}\,r\,dr\,d\theta .$$

   예제 5.2, [T7]

3. 안쪽 적분은 $\int_0^\infty e^{-r^2/2}r\,dr=\bigl[-e^{-r^2/2}\bigr]_0^\infty=1$이다.원시함수

4. $I^2=2\pi$이고 $I>0$이므로 $I=\sqrt{2\pi}$이다.1–3

조건 확인 먼저 $I<\infty$이다. $\tfrac{x^2}2\ge|x|-\tfrac12$이므로 $e^{-x^2/2}\le e^{1/2}e^{-|x|}$이고 오른쪽은 적분 가능하다 [T4]. 극좌표 변환은 $(0,\infty)\times(0,2\pi)$를 평면에서 반직선 $\{y=0,\ x\ge0\}$을 뺀 집합으로 일대일로 보낸다. 빠진 반직선은 넓이가 0이므로 적분에 영향이 없다.

2회 정리 7.1의 로그정규 밀도가 밀도라는 것($\int\phi=1$)은 이것으로 증명되었다. 정규분포의 성질은 5회에서 자세히 다룬다. 여기서는 정규 난수를 만드는 방법이 필요하다. 정규분포함수에는 닫힌 꼴의 역함수가 없으므로 2회의 역변환 표집을 바로 쓰기 어렵다. 극좌표가 길을 연다.

정리 5.4 (Box–Muller (1958)) $U_1,U_2\iid\mathrm U(0,1)$이고

$$Z_1=\sqrt{-2\log U_1}\cos(2\pi U_2),\qquad Z_2=\sqrt{-2\log U_1}\sin(2\pi U_2)$$

이면 $Z_1,Z_2$는 독립인 $\N(0,1)$이다.

증명 거꾸로 간다. $Z_1,Z_2$가 독립인 표준정규이면 결합밀도는 $\tfrac1{2\pi}e^{-(z_1^2+z_2^2)/2}$이다. 극좌표 $(R,\Theta)$로 바꾸면 예제 5.2로

$$f_{R,\Theta}(r,\theta)=\frac1{2\pi}e^{-r^2/2}\cdot r=\underbrace{\frac1{2\pi}}_{\Theta}\cdot\underbrace{re^{-r^2/2}}_{R},\qquad r>0,\ 0<\theta<2\pi$$

이므로 인수분해(정리 3.2)로 $\Theta\sim\mathrm U(0,2\pi)$와 $R$은 독립이고 $P(R>r)=e^{-r^2/2}$이다. 2회 정리 4.7로 $R$은 $\sqrt{-2\log U_1}$로, $\Theta$는 $2\pi U_2$로 만들 수 있다($1-U_1$ 대신 $U_1$을 써도 분포가 같다). 이 둘을 다시 직교좌표로 보내면 $(Z_1,Z_2)$이고, 변환이 일대일이므로 분포가 같다.

그림 5.2 Box–Muller. 정사각형의 균등한 점 $(U_1,U_2)$(왼쪽)가 반지름 $\sqrt{-2\log U_1}$, 각 $2\pi U_2$의 점(가운데)으로 가면 두 좌표가 독립인 표준정규다(오른쪽, 점선은 $\phi$).

5.3 합성곱 — 독립합의 밀도

정리 5.5 (합성곱 공식) $X,Y$가 독립이고 밀도 $f_X,f_Y$를 가지면 $Z=X+Y$의 밀도는

$$f_Z(z)=\int_{-\infty}^{\infty}f_X(x)\,f_Y(z-x)\,dx .$$

이산이면 $p_Z(z)=\sum_xp_X(x)\,p_Y(z-x)$.

증명 전략 보조 변수 $W=X$를 더해 $(X,Y)\mapsto(W,Z)$를 일대일 변환으로 만든다. 야코비안 공식으로 결합밀도를 구하고 $W$를 적분해 없앤다.

1. $W=X$, $Z=X+Y$로 둔다. $T(x,y)=(x,\,x+y)$는 $\R^2$에서 $\R^2$로 가는 일대일 변환이다.보조 변수

2. 역변환은 $x=w$, $y=z-w$이고 야코비안 행렬식은 $\det\smat{1&0\\-1&1}=1$이다.역변환 [T7]

3. $f_{W,Z}(w,\allowbreak z)=f_{X,Y}(w,\allowbreak \,z-w)\cdot1=f_X(w)\,f_Y(z-w)$이다.정리 5.1, 3.2

4. $w$를 적분해 없애면 $f_Z(z)=\int f_X(w)\,f_Y(z-w)\,dw$이다.정리 1.6

5. 이산이면 $\{Z=z\}=\bigcup_x\{X=x,\allowbreak \ Y=z-x\}$는 서로소인 합집합이므로 $p_Z(z)=\sum_xp_X(x)\,p_Y(z-x)$이다.(P3), 독립

2회 예제 3.8의 np.convolve가 이산 공식이다. 이름은 다항식 곱셈에서 왔다. 확률생성함수의 곱의 계수가 합성곱이다.

예제 5.6 (균등분포의 합 — Simpson의 삼각형) $X,Y\iid\mathrm U(0,1)$이면 $f_X(x)f_Y(z-x)=1$인 것은 $0<x<1$이고 $0<z-x<1$일 때뿐이므로

$$f_Z(z)=\int\mathbf 1\{\max(0,z-1)<x<\min(1,z)\}\,dx=\begin{cases}z,&0<z\le1,\\ 2-z,&1<z<2.\end{cases}$$

삼각형 분포다. Simpson(1757)이 관측 오차의 모형으로 쓴 것이 이 삼각형이다. 셋을 더하면 2차 다항식 조각으로 이어진 종 모양이 되고, 더할수록 정규분포를 닮아 간다(그림 5.3, 7회 중심극한정리).

그림 5.3 독립인 $\mathrm U(0,1)$ $n$개의 합의 밀도(합성곱을 수치로 되풀이). 같은 평균과 분산의 정규 밀도(점선)에 빠르게 다가간다.

예제 5.7 (지수분포의 합) $X,Y\iid\mathrm{Exp}(\lambda)$이면 $z>0$에서

$$f_Z(z)=\int_0^z\lambda e^{-\lambda x}\,\lambda e^{-\lambda(z-x)}\,dx=\lambda^2ze^{-\lambda z} .$$

두 번째 사건을 기다리는 시간의 분포다. $n$개를 더하면 $\tfrac{\lambda^nz^{n-1}}{(n-1)!}e^{-\lambda z}$이고(연습 5.3), 4회에서 이것을 감마분포라 부른다. mgf로도 확인된다. $\bigl(\tfrac\lambda{\lambda-t}\bigr)^n$이 그 mgf이기 때문이다(정리 3.4(d)).

5.4 비, 그리고 다시 Cauchy

정리 5.8 (정규의 비는 Cauchy) $Z_1,Z_2\iid\N(0,1)$이면 $C=Z_1/Z_2$는 Cauchy 분포 $f(c)=\tfrac1{\pi(1+c^2)}$를 따른다.

증명 전략 보조 변수 $W=Z_2$를 더해 합성곱 공식(정리 5.5)과 같은 순서로 계산한다. 야코비안이 $|w|$이어서 $w$에 대한 적분에 원시함수가 생긴다. 단계별 증명은 연습 5.7(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

2회 예제 1.8에서 기댓값이 없던 Cauchy 분포가 정규분포 두 개의 비로 나타났다. 분모가 0 근처에 갈 확률이 작지 않아서 비가 자주 크게 튄다. 측정한 두 양의 비율(효과 크기의 비, 신호 대 잡음)이 꼬리가 무거운 이유가 여기 있다.

5.5 선형변환

따름정리 5.9 (선형변환의 밀도) $\Y=A\X+\bb$이고 $A$가 가역인 $n\times n$ 행렬이면

$$f_{\Y}(\mathbf y)=\frac1{|\det A|}\,f_{\X}\bigl(A^{-1}(\mathbf y-\bb)\bigr) .$$

증명 역변환 $H(\mathbf y)=A^{-1}(\mathbf y-\bb)$의 야코비안 행렬은 $A^{-1}$이고 $\det A^{-1}=1/\det A$이다.

이것이 5회의 다변량 정규분포의 밀도를 유도하는 데 쓰이는 공식이다. 독립인 표준정규 $\Z$에서 $\X=L\Z+\bmu$로 만들면 밀도에 $1/|\det L|$이 붙는다.

연습문제

연습 5.1 (극좌표의 반대 방향 ★) $(R,\Theta)$의 결합밀도가 $re^{-r^2/2}/(2\pi)$이면 $(R\cos\Theta,R\sin\Theta)$가 독립인 표준정규임을 정리 5.1으로 직접 보여라.

풀이

$(r,\allowbreak \theta)\mapsto(z_1,\allowbreak z_2)=(r\cos\theta,\allowbreak r\sin\theta)$의 역변환의 야코비안은 예제 5.2의 역수 $\tfrac1r$이다. 따라서 $f(z_1,\allowbreak z_2)=\tfrac{re^{-r^2/2}}{2\pi}\cdot\tfrac1r=\tfrac1{2\pi}e^{-(z_1^2+z_2^2)/2}$, 독립인 표준정규의 곱이다.

연습 5.2 (곱과 몫 ★★) $X,Y\iid\mathrm U(0,1)$일 때 $V=XY$의 밀도가 $-\log v$ ($0<v<1$)임을 보조 변수 $W=X$로 보여라.

풀이

$V=XY$, $W=X$의 역변환은 $x=w$, $y=v/w$이고 야코비안은 $\det\smat{0&1\\1/w&-v/w^2}=-\tfrac1w$. 영역은 $0<v<w<1$이고 $f_{V,W}=\tfrac1w$이므로 $f_V(v)=\int_v^1\tfrac{dw}w=-\log v$.

연습 5.3 (감마의 합 ★★) 예제 5.7을 귀납법으로 넓혀 $n$개의 독립인 $\mathrm{Exp}(\lambda)$의 합의 밀도가 $\tfrac{\lambda^nz^{n-1}}{(n-1)!}e^{-\lambda z}$임을 보여라.

풀이

$n$개의 합의 밀도가 $g_n(z)=\tfrac{\lambda^nz^{n-1}}{(n-1)!}e^{-\lambda z}$라 하면, 합성곱으로

$$g_{n+1}(z)=\int_0^zg_n(x)\,\lambda e^{-\lambda(z-x)}dx=\frac{\lambda^{n+1}e^{-\lambda z}}{(n-1)!}\int_0^zx^{n-1}dx=\frac{\lambda^{n+1}z^n}{n!}e^{-\lambda z} .$$

연습 5.4 (Cauchy의 평균 ★★★) $C_1,C_2$가 독립인 Cauchy이면 $\tfrac12(C_1+C_2)$도 Cauchy임을 합성곱으로 보여라. (힌트: $\tfrac1{(1+x^2)(1+(z-x)^2)}$를 부분분수로 나누거나, 결과 $f_{C_1+C_2}(z)=\tfrac2{\pi(4+z^2)}$를 확인한다.) 평균을 내도 분포가 좁아지지 않는다.

풀이

부분분수(또는 잔류 계산)로 $\int\tfrac{dx}{\pi^2(1+x^2)(1+(z-x)^2)}=\tfrac2{\pi(4+z^2)}$이다. 노트북에서 수치적분으로 확인한다. 그러면 $\tfrac12(C_1+C_2)$의 밀도는 $2\cdot\tfrac2{\pi(4+4y^2)}=\tfrac1{\pi(1+y^2)}$, 표준 Cauchy다.

연습 5.5 (균등 셋의 합 ★★) $\mathrm U(0,1)$ 세 개의 합의 밀도를 합성곱으로 구하라. $0<z<1$에서 $\tfrac{z^2}2$, $1\le z<2$에서 $\tfrac{-2z^2+6z-3}2$, $2\le z<3$에서 $\tfrac{(3-z)^2}2$이다.

풀이

삼각형 밀도 $f_2$와 $\mathrm U(0,1)$의 합성곱 $f_3(z)=\int_{z-1}^zf_2(x)\,dx$를 구간별로 계산한다. $0<z<1$: $\int_0^zx\,dx=\tfrac{z^2}2$. $1\le z<2$: $\int_{z-1}^1x\,dx+\int_1^z(2-x)dx=\tfrac{-2z^2+6z-3}2$. $2\le z<3$: $\int_{z-1}^2(2-x)dx=\tfrac{(3-z)^2}2$.

연습 5.6 (극좌표에서 거리 ★) Box–Muller의 증명에서 $R^2$의 분포를 구하라. 그것은 평균이 2인 지수분포다. (4회에서 이것이 자유도 2인 $\chi^2$ 분포임을 본다.)

풀이

$P(R^2>s)=P(R>\sqrt s)=e^{-s/2}$이므로 $R^2\sim\mathrm{Exp}(\tfrac12)$, 평균 2.

연습 5.7 (정규의 비 증명 ★★ 유도형) 정리 5.8를 다음 순서로 증명하라.

1. (a)

   $S=\{(z_1,z_2):z_2\ne0\}$로 두면 $P\bigl((Z_1,Z_2)\in S\bigr)=1$이다. $T(z_1,z_2)=(z_1/z_2,\,z_2)$가 $S$에서 일대일임을 보이고 역변환과 그 야코비안 행렬식을 구하라.

2. (b)

   정리 5.1으로 $(C,W)$의 결합밀도를 써라. 절댓값 $|w|$는 어디서 오는가?

3. (c)

   $w$에 대해 적분해 $f_C(c)=\tfrac1{\pi(1+c^2)}$을 얻어라. (힌트: 적분할 함수가 $w$에 대해 짝함수이므로 $2\int_0^\infty$로 쓰고, $u=\tfrac12(1+c^2)w^2$으로 치환한다.)

4. (d)

   $\int_{-\infty}^\infty\tfrac{dc}{\pi(1+c^2)}=1$을 확인해 (c)가 밀도임을 점검하라.

풀이

(a) $S$는 열린 집합이고 $P(Z_2=0)=0$이므로 확률이 1이다. $T(z_1,z_2)=(c,w)$이면 $w=z_2$, $z_1=cw$로 하나로 정해지므로 일대일이고 $T(S)=\{(c,w):w\ne0\}$이다. 역변환 $H(c,w)=(cw,\,w)$의 야코비안 행렬식은 $\det\smat{w&c\\0&1}=w$이다. (b) 정리 5.1으로 $f_{C,W}(c,\allowbreak w)=f_{Z_1,Z_2}(cw,\allowbreak w)\,|w|=\tfrac1{2\pi}e^{-(c^2w^2+w^2)/2}|w|$이다. 밀도의 배율은 넓이의 배율이고, 넓이는 음수가 될 수 없으므로 행렬식의 절댓값이 붙는다. (c) 적분할 함수가 $w$에 대해 짝함수이므로

$$f_C(c)=2\int_0^\infty\frac1{2\pi}e^{-(1+c^2)w^2/2}\,w\,dw=\frac1\pi\cdot\frac1{1+c^2}\int_0^\infty e^{-u}\,du=\frac1{\pi(1+c^2)} .$$

$u=\tfrac12(1+c^2)w^2$이면 $du=(1+c^2)w\,dw$이다. (d) $\int\tfrac{dc}{1+c^2}=[\arctan c]_{-\infty}^\infty=\pi$이므로 적분은 1이다.

이 절을 PDF로 보기 (24쪽)노트북 5절

이 회차에서 읽은 절 0개 · 회차 차례