5회 · 정규분포의 탄생과 Galton의 타원 · 노트

1 정규분포는 어떻게 태어났나

정규분포에 이르는 길은 셋이다. 이항분포의 근사(de Moivre), “평균이 최선”이라는 요구(Gauss), 작은 오차들의 합의 극한(Laplace). 이 절은 앞의 둘을 증명하고, 셋째는 7회(중심극한정리)로 넘긴다. 마지막 1.4절에서 이후에 계속 쓸 단변량 정규분포의 사실들을 모아 증명한다.

1.1 de Moivre (1733): 이항분포의 근사로서

역사 1733년 11월, 런던의 프랑스 망명 수학자 Abraham de Moivre는 짧은 라틴어 소논문 Approximatio ad Summam Terminorum Binomii $(a+b)^n$ in Seriem expansi를 지인들에게 돌렸다. 1738년 The Doctrine of Chances 2판에 영어로 실렸다. 물음은 동전을 $n$번 던질 때 앞면 수가 $n/2$ 근처의 구간에 들 확률이었다. $n$이 수천이면 이항계수를 하나하나 더할 수 없었다. de Moivre는 $\log n!$의 급수 전개를 이용했고(그 상수 $\sqrt{2\pi}$는 Stirling이 찾았다), 주로 $p=\tfrac12$를 다뤘다. 그 답에 오늘날의 정규밀도가 처음 나타났다.

보조정리 1.1 (Stirling 공식) $m\to\infty$일 때

$$m!=\sqrt{2\pi m}\,\Bigl(\frac me\Bigr)^m\bigl(1+O(m^{-1})\bigr).$$

더 정확히는 모든 $m\ge1$에서 $\sqrt{2\pi m}\,(m/e)^m\,e^{1/(12m+1)}<m!<\sqrt{2\pi m}\,(m/e)^m\,e^{1/(12m)}$이다.

감 잡기 $\log m!=\sum_{k=1}^m\log k$는 $\int_1^m\log x\,dx=m\log m-m+1$에 가깝다. 사다리꼴 보정을 하면 $\log m!\approx m\log m-m+\tfrac12\log m+C$가 되고, 상수 $C$가 $\log\sqrt{2\pi}$다. 흥미롭게도 이 상수는 정규분포의 적분 상수와 같은 것이다. 연습 1.3에서 de Moivre 정리를 거꾸로 써서 $C$를 결정한다. 실제 비 $m!/\bigl(\sqrt{2\pi m}(m/e)^m\bigr)$은 $m=5,10,20$에서 $1.0168,\ 1.0084,\ 1.0042$로, 대략 $1+\tfrac{1}{12m}$이다.

정리 1.2 (국소 de Moivre–Laplace 정리) $S_n\sim\mathrm{Bin}(n,\allowbreak \cpar{p})$, $q=1-p$, $0<p<1$이라 하자. 정수 $k$에 대해 $x_k=\tfrac{k-np}{\sqrt{npq}}$로 두면, 임의의 $A>0$에 대해 $|x_k|\le A$인 $k$들에서 균등하게

$$P(S_n=k)=\frac{1}{\sqrt{2\pi npq}}\;e^{-x_k^2/2}\,\bigl(1+O(n^{-1/2})\bigr)\qquad(n\to\infty).$$

증명 전략 Stirling 공식으로 이항확률을 “앞인수 × 거듭제곱 부분”으로 나누고, 거듭제곱 부분의 로그를 $\delta=k-np$에 대해 2차까지 Taylor 전개한다 [T8]. 1차 항은 서로 소거되고 2차 항이 정규밀도의 지수가 된다.

$\delta=k-np=x_k\sqrt{npq}$로 둔다. $|x_k|\le A$이므로 $|\delta|\le A\sqrt{npq}=O(\sqrt n)$이고, $k=np+\delta$와 $n-k=nq-\delta$는 모두 $n$에 비례해 커진다.

1. Stirling 공식(보조정리 1.1)을 $n!$, $k!$, $(n-k)!$에 넣는다. $e^{-n}/(e^{-k}e^{-(n-k)})=1$이므로

   $$\begin{align*} P(S_n=k)&=\frac{n!}{k!\,(n-k)!}\,p^k q^{n-k} =\frac{\sqrt{2\pi n}\;n^n\,p^kq^{n-k}}{\sqrt{2\pi k}\,k^k\;\sqrt{2\pi(n-k)}\,(n-k)^{n-k}}\,\bigl(1+O(n^{-1})\bigr)\\ &=\underbrace{\sqrt{\frac{n}{2\pi k(n-k)}}}_{\text{(가) 앞인수}}\;\underbrace{\Bigl(\frac{np}{k}\Bigr)^{k}\Bigl(\frac{nq}{n-k}\Bigr)^{n-k}}_{\text{(나) 거듭제곱 부분}}\;\bigl(1+O(n^{-1})\bigr). \tag*{\htmlClass{reason}{\text{$n^n=n^kn^{n-k}$}}} \end{align*}$$

2. (가)를 $\delta$로 쓴다.

   $$\begin{align*} k(n-k)&=(np+\delta)(nq-\delta)=n^2pq\Bigl(1+\frac{\delta}{np}\Bigr)\Bigl(1-\frac{\delta}{nq}\Bigr)=n^2pq\,\bigl(1+O(n^{-1/2})\bigr), \tag*{\htmlClass{reason}{\text{$\delta=O(\sqrt n)$ \htmlClass{tool}{\href{/read/00/8}{\text{[T8]}}}}}}\\ \sqrt{\frac{n}{2\pi k(n-k)}}&=\frac{1}{\sqrt{2\pi npq}}\,\bigl(1+O(n^{-1/2})\bigr). \tag*{\htmlClass{reason}{\text{$(1+h)^{-1/2}=1+O(h)$}}} \end{align*}$$

3. $u=\delta/(np)$, $v=\delta/(nq)$로 두면 $u,v=O(n^{-1/2})$이고 $\log(\text{나})=-k\log(1+u)-(n-k)\log(1-v)$이다.로그의 성질

4. $|w|\le\tfrac12$에서 $\log(1+w)=w-\tfrac{w^2}{2}+R(w)$, $|R(w)|\le |w|^3$이다. 이것을 넣고 $k=np+\delta$, $n-k=nq-\delta$로 전개한다.

   $$\begin{align*} -(np+\delta)\Bigl(\frac{\delta}{np}-\frac{\delta^2}{2n^2p^2}\Bigr) &=-\delta-\frac{\delta^2}{2np}+O\Bigl(\frac{\delta^3}{n^2}\Bigr), \tag*{\htmlClass{reason}{\text{Taylor 전개 \htmlClass{tool}{\href{/read/00/8}{\text{[T8]}}}}}}\\ -(nq-\delta)\Bigl(-\frac{\delta}{nq}-\frac{\delta^2}{2n^2q^2}\Bigr) &=+\delta-\frac{\delta^2}{2nq}+O\Bigl(\frac{\delta^3}{n^2}\Bigr). \tag*{\htmlClass{reason}{\text{같은 계산}}} \end{align*}$$

5. 나머지항은 $k\,|R(u)|\le k|u|^3=O(n\cdot n^{-3/2})=O(n^{-1/2})$이고, $(n-k)|R(-v)|$도 같다. $\delta^3/n^2=O(n^{-1/2})$이다.$O$의 대수 [T8]

6. 두 줄을 더하면 $\pm\delta$가 소거된다.

   $$\log(\text{나})=-\frac{\delta^2}{2n}\Bigl(\frac1p+\frac1q\Bigr)+O(n^{-1/2})=-\frac{\delta^2}{2npq}+O(n^{-1/2}) .$$

   $\tfrac1p+\tfrac1q=\tfrac{1}{pq}$

7. $\delta^2/(npq)=x_k^2$이므로 $(\text{나})=e^{-x_k^2/2}\,e^{O(n^{-1/2})}=e^{-x_k^2/2}(1+O(n^{-1/2}))$이다. 1, 2와 곱하면 결론이다.$e^h=1+O(h)$ [T8]

조건 확인 단계 4의 전개에는 $|u|,|v|\le\tfrac12$가 필요하다. $|\delta|\le A\sqrt{npq}$이므로 이 조건은 $n\ge 4A^2\max(q/p,\,p/q)$이면 성립한다. 각 단계의 $O(\cdot)$ 상수는 $A$와 $p$에만 의존하고 $k$에는 의존하지 않으므로 근사는 $|x_k|\le A$에서 균등하다.

한 걸음 더 단계 4에서 $\delta^3$ 항을 끝까지 모으면 계수가 $\tfrac{q-p}{6n^2p^2q^2}$이다(연습 1.1). $p=\tfrac12$이면 이 항이 사라지므로 근사가 한 차수 더 빨리 좋아진다. 그림 1.1의 오른쪽에서 최대 오차의 기울기가 $p=\tfrac12$일 때 약 $-\tfrac32$, $p=0.2$일 때 약 $-1$인 이유다.

그림 1.1 이항 pmf(막대)와 정규 근사(점선). 오른쪽: $\max_k|P(S_n=k)-\text{근사}|$의 감소 속도.

따름정리 1.3 (적분형 de Moivre–Laplace 정리) $a<b$이면

$$\lim_{n\to\infty}P\Bigl(a\le\frac{S_n-np}{\sqrt{npq}}\le b\Bigr)=\Phi(b)-\Phi(a).$$

증명 전략 구하는 확률을 $P(S_n=k)$들의 합으로 쓰고, 정리 1.2의 균등한 근사로 각 항을 $\varphi(x_k)\Delta$로 바꾼다. 그 합은 $\varphi$의 리만 합이다. 단계별 증명은 연습 1.13(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

연속성 보정 정수값 확률변수의 구간 $\{a\le S_n\le b\}$는 실수축에서 $[a-\tfrac12,\,b+\tfrac12]$와 같은 칸을 차지한다. 따라서 다음 근사가 훨씬 정확하다.

$$P(a\le S_n\le b)\approx\Phi\Bigl(\frac{b+\frac12-np}{\sqrt{npq}}\Bigr)-\Phi\Bigl(\frac{a-\frac12-np}{\sqrt{npq}}\Bigr).$$

예를 들어 $n=100$, $p=\tfrac12$에서 $P(45\le S_n\le55)$의 정확한 값은 $0.7287$이다. 보정 없는 근사는 $0.6827$, 보정한 근사는 $0.7287$이다.

연습문제

연습 1.1 (3차 항의 계수 ★★) 정리 1.2의 증명 단계 4에서 $\log(1+w)=w-\tfrac{w^2}{2}+\tfrac{w^3}{3}+O(w^4)$까지 써서, $\log(\text{나})=-\tfrac{\delta^2}{2npq}+\tfrac{(q-p)\,\delta^3}{6n^2p^2q^2}+O(n^{-1})$임을 보여라.

풀이

$u=\delta/(np)$, $v=\delta/(nq)$로 두고 3차 항만 모은다.

$$\begin{align*} -(np+\delta)\Bigl(u-\frac{u^2}{2}+\frac{u^3}{3}\Bigr)&:\quad -np\cdot\frac{u^3}{3}+\delta\cdot\frac{u^2}{2}=-\frac{\delta^3}{3n^2p^2}+\frac{\delta^3}{2n^2p^2}=\frac{\delta^3}{6n^2p^2},\\ (nq-\delta)\Bigl(v+\frac{v^2}{2}+\frac{v^3}{3}\Bigr)&:\quad nq\cdot\frac{v^3}{3}-\delta\cdot\frac{v^2}{2}=\frac{\delta^3}{3n^2q^2}-\frac{\delta^3}{2n^2q^2}=-\frac{\delta^3}{6n^2q^2}. \end{align*}$$

둘째 줄은 $-(n-k)\log(1-v)=(nq-\delta)(v+\tfrac{v^2}{2}+\tfrac{v^3}{3}+\cdots)$에서 왔다. 합은

$$\frac{\delta^3}{6n^2}\Bigl(\frac1{p^2}-\frac1{q^2}\Bigr)=\frac{\delta^3\,(q^2-p^2)}{6n^2p^2q^2}=\frac{(q-p)\,\delta^3}{6n^2p^2q^2}\qquad(q+p=1)$$

이고, 남는 항은 $O(\delta^4/n^3)=O(n^{-1})$이다.

연습 1.2 (수치로 확인하기 ★) $S\sim\mathrm{Bin}(100,\allowbreak \tfrac12)$이다. (a) $P(S=50)$의 정확한 값과 정리 1.2의 근사를 비교하라. (b) $P(45\le S\le55)$를 정확히, 보정 없이, 연속성 보정으로 세 번 계산하라.

풀이

$npq=25$이다.

1. (a)

   $P(S=50)=\tbinom{100}{50}2^{-100}=0.07959$, 근사 $1/\sqrt{50\pi}=0.07979$.

2. (b)

   정확한 값 $0.72875$. 보정 없이 $2\Phi(5/5)-1=0.68269$. 연속성 보정 $2\Phi(5.5/5)-1=0.72867$.

연습 1.3 (Stirling의 상수를 de Moivre로 구하기 ★★) Stirling 공식의 상수를 모른다고 하자: $m!=C\sqrt m\,(m/e)^m(1+o(1))$. (a) 정리 1.2의 증명을 그대로 따라가면 $P(S_n=k)=\tfrac{1}{C\sqrt{npq}}e^{-x_k^2/2}(1+o(1))$임을 보여라. (b) $\sum_kP(S_n=k)=1$과 따름정리 1.3의 논리를 쓰면 $\tfrac{1}{C}\int_{-\infty}^{\infty}e^{-x^2/2}dx=1$임을 보이고, 1.4절의 $\int e^{-x^2/2}dx=\sqrt{2\pi}$에서 $C=\sqrt{2\pi}$를 결론지어라. (꼬리의 기여가 작다는 것은 Chebyshev 부등식으로 처리한다.)

풀이

(a) 증명의 단계 1에서 세 계승의 $\sqrt{2\pi}$ 자리에 $C$를 쓰면 앞인수가

$$\frac{C\sqrt n}{C\sqrt k\cdot C\sqrt{n-k}}=\frac1C\sqrt{\frac{n}{k(n-k)}}=\frac{1}{C\sqrt{npq}}\bigl(1+O(n^{-1/2})\bigr)$$

가 되고, 나머지 단계는 그대로다.

(b) $A>0$을 고정하고 $\{|x_k|\le A\}$와 나머지로 나눈다. Chebyshev 부등식으로 $P(|x|>A)\le1/A^2$이고, 가운데 부분은 따름정리 1.3의 논리로 $\tfrac1C\int_{-A}^{A}e^{-x^2/2}dx$로 수렴한다. 따라서

$$1-\frac{1}{A^2}\ \le\ \frac1C\int_{-A}^{A}e^{-x^2/2}\,dx\ \le\ 1 ,$$

이고 $A\to\infty$로 $\sqrt{2\pi}/C=1$이다.

1.2 Gauss (1809): “평균이 가장 그럴듯하다”면 오차는 정규다

역사 1801년 1월 1일 Piazzi가 발견한 소행성 Ceres는 6주쯤 관측된 뒤 태양 빛 속으로 사라졌다. 24세의 Gauss는 그 짧은 호로 궤도를 계산했고, 그해 말 Ceres는 Gauss가 예측한 자리 근처에서 다시 발견되었다. Gauss는 1809년 Theoria Motus Corporum Coelestium에서 이 방법을 정리하며 오차분포를 거꾸로 이끌어 냈다. 관측자들이 늘 쓰던 산술평균이 “가장 그럴듯한 값”이 되려면 오차는 어떤 분포여야 하는가?

먼저 해석학의 작은 보조정리가 필요하다.

보조정리 1.4 (Cauchy 함수방정식) $g:\R\to\R$가 연속이고 모든 $a,b$에 대해 $g(a+b)=g(a)+g(b)$이면, $c=g(1)$에 대해 $g(u)=cu$이다.

증명 전략 정수, 유리수, 실수의 순서로 넓힌다. 정수에서는 귀납법 [T3], 유리수에서는 $k\,g(m/k)=g(m)$, 실수에서는 연속성과 유리수의 조밀성 [T5]을 쓴다. 단계별 증명은 연습 1.14(유도형)에서 직접 쓴다. 완성된 증명은 그 연습의 풀이에 있다.

정리 1.5 (Gauss의 특성화) 위치모형 $\cdat{X_i}=\cpar{\theta}+\varepsilon_i$, $\varepsilon_i\iid f$를 생각한다. $f>0$은 미분가능한 밀도이고 $g=f'/f$는 연속이라 하자. 모든 $n\ge1$과 모든 표본 $(x_1,\dots,x_n)$에 대해 가능도 $L(\theta)=\prod_{i=1}^nf(x_i-\theta)$가 $\theta=\bar x$에서 최대라면,

$$f(u)=\frac{1}{\sigma\sqrt{2\pi}}\,e^{-u^2/(2\sigma^2)}\qquad\text{인 }\sigma>0\text{이 존재한다.}$$

증명 전략 “$\bar x$가 최대점”이라는 가정을 1차 조건으로 바꾸면, $g=(\log f)'$가 합이 0인 수열을 합이 0인 수열로 보낸다는 조건이 된다. 표본을 마음대로 고를 수 있으므로 이 조건에서 Cauchy 함수방정식이 나온다.

1. $\ell(\theta)=\sum_i\log f(x_i-\theta)$는 미분가능하고 내부의 점 $\bar x$에서 최대이므로 $0=\ell'(\bar x)=-\sum_{i=1}^ng(x_i-\bar x)$이다.최대점의 1차 조건

2. 합이 $0$인 임의의 $(u_1,\dots,u_n)$에 대해 표본을 $x_i=u_i$로 잡으면 $\bar x=0$이고 $x_i-\bar x=u_i$이다. 따라서 $u_1+\dots+u_n=0$이면 $g(u_1)+\dots+g(u_n)=0$이다.가정이 모든 표본에서 성립

3. $n=1$에서 $g(0)=0$, $n=2$와 $(u,-u)$에서 $g(-u)=-g(u)$, $n=3$과 $(a,\,b,\,-a-b)$에서 $g(a)+g(b)+g(-(a+b))=0$이다. 홀함수이므로 모든 $a,b$에서 $g(a+b)=g(a)+g(b)$이다.2를 $n=1,2,3$에

4. $g$는 연속이므로 $g(u)=cu$이다.보조정리 1.4

5. $(\log f)'(u)=cu$를 적분하면 $\log f(u)=\tfrac c2u^2+\text{상수}$, 곧 $f(u)=A\,e^{cu^2/2}$이다.미적분의 기본정리

6. $c\ge0$이면 $f\ge A>0$이어서 $\int f=\infty$이므로 $c<0$이다. $c=-1/\sigma^2$로 쓰고 $\int f=1$을 쓰면 $A=1/(\sigma\sqrt{2\pi})$이다.정리 1.8(i)

가장 그럴듯한 값 Gauss에게 “가장 그럴듯한 값”은 사전분포가 균등할 때의 사후분포 최빈값이었다. 사후밀도는 가능도에 비례하므로 이는 오늘날의 최대가능도추정량(MLE)이다. 16회 베이즈에서 이 해석으로 돌아온다.

순환을 끊은 Laplace Gauss는 “평균이 최선 $\Rightarrow$ 정규”를 보였고, 정규를 가정해 최소제곱(13회)을 정당화했다. 그러면 평균이 최선이라는 전제는 어디서 오는가? 1810년 Laplace의 중심극한정리가 이 순환을 끊었다. 오차가 작은 독립 원인 여럿의 합이면 그 분포는 가정하지 않아도 정규에 가깝다. Stigler(1986, 4장)는 이 결합을 Gauss–Laplace 종합이라 부른다.

그림 1.2 Laplace 오차로 만든 같은 표본($n=15$)에 두 모형을 맞춘 로그가능도. 정규 모형의 꼭대기는 평균, Laplace 모형의 꼭대기는 중앙값이다.

연습문제

연습 1.4 (Laplace 오차의 MLE는 중앙값 ★) $f(u)=\tfrac12e^{-|u|}$일 때 $\ell(\theta)=-\sum_i|x_i-\theta|+\text{상수}$이다. $n$이 홀수이면 $\ell$을 최대로 하는 $\theta$가 표본 중앙값 하나뿐이고, $n$이 짝수이면 가운데 두 값 사이의 모든 점임을 보여라.

풀이

$\ell(\theta)=-\sum|x_i-\theta|$는 꺾은선이고, 꺾인 점 밖에서 $\ell'(\theta)=\#\{x_i>\theta\}-\#\{x_i<\theta\}$이다. 중앙값보다 왼쪽에서는 양수, 오른쪽에서는 음수다. $n$이 홀수이면 중앙값 하나에서 부호가 바뀌고, 짝수이면 가운데 두 값 사이에서 $\ell'=0$이라 그 구간 전체가 최대점이다.

연습 1.5 ($n=2$만으로는 부족하다 ★★) 로지스틱 밀도 $f(u)=e^{-u}/(1+e^{-u})^2$를 생각한다. (a) $(\log f)'(u)=-\tanh(u/2)$임을 보여라. (b) $f$가 $n=2$일 때 정리 1.5의 조건(가능도가 $\bar x$에서 최대)을 만족함을 보여라. (c) 표본 $(0,0,3)$에서 $\ell'(\bar x)\ne0$임을 계산해, $n=3$에서는 조건이 깨짐을 보여라. 증명의 어느 단계가 $n=3$을 꼭 필요로 했는가?

풀이

1. (a)

   $\log f(u)=-u-2\log(1+e^{-u})$이므로 $(\log f)'(u)=-1+\tfrac{2e^{-u}}{1+e^{-u}}=\tfrac{e^{-u}-1}{1+e^{-u}}=-\tanh(u/2)$.

2. (b)

   $(\log f)''(u)=-\tfrac12\operatorname{sech}^2(u/2)<0$이므로 $\ell(\theta)=\log f(x_1-\theta)+\log f(x_2-\theta)$는 순오목이다. $f$가 짝함수이므로 $\ell$은 $\theta\mapsto x_1+x_2-\theta$에 대해 대칭이다. 순오목이면서 대칭인 함수의 유일한 최대점은 대칭축 $\bar x$다.

3. (c)

   $\ell'(\theta)=\sum_i\tanh\tfrac{x_i-\theta}{2}$. 표본 $(0,0,3)$, $\bar x=1$에서 $2\tanh(-0.5)+\tanh(1)=-0.1626\ne0$이다. 증명에서 $n=3$이 필요한 곳은 단계 3, 곧 $g(a+b)=g(a)+g(b)$를 얻는 곳이다. $n=2$만으로는 $g$가 홀함수라는 것만 나온다.

연습 1.6 (균등하지 않은 사전분포 ★★) $X_1,\allowbreak \dots,\allowbreak X_n\mid\theta\iid\N(\theta,\allowbreak \sigma^2)$이고 사전분포가 $\theta\sim\N(m,\tau^2)$이면, 사후분포의 최빈값이

$$\hat\theta=\frac{(n/\sigma^2)\,\bar x+(1/\tau^2)\,m}{n/\sigma^2+1/\tau^2}$$

임을 보여라. $\tau\to\infty$와 $n\to\infty$일 때 각각 무엇이 되는가? (2.2절의 “축소”와 16회의 예고다.)

풀이

로그 사후밀도는 (충분통계량 $\bar x$로 정리하면)

$$-\frac{n(\bar x-\theta)^2}{2\sigma^2}-\frac{(\theta-m)^2}{2\tau^2}+\text{상수}.$$

$\theta$의 이차식이므로 최빈값과 평균이 같다. $\theta$로 미분해 $0$으로 두면 주어진 가중평균이 나온다. $\tau\to\infty$(평평한 사전분포)이면 $\bar x$로 가고, $n\to\infty$이면 역시 $\bar x$로 간다. 데이터가 많을수록 사전분포의 영향이 사라진다.

1.3 Quetelet (1846): 오차의 분포가 사람에게 쓰이다

역사 벨기에의 천문학자 Adolphe Quetelet는 1846년 Lettres sur la théorie des probabilités에서 스코틀랜드 병사 5,738명의 가슴둘레 표(원자료는 1817년 Edinburgh Medical and Surgical Journal)에 정규분포를 맞췄다. 그는 사람의 신체가 평균인(l'homme moyen)을 중심으로 관측오차처럼 흩어진다고 주장했다. 천문학의 오차법칙이 처음으로 사람들 사이의 변이에 쓰인 순간이다. 이 성공은 동시에 “자연의 모든 것은 정규”라는 과신을 낳았다. 5절에서 그 과신을 부순다.

가슴둘레는 1인치 단위로 기록되었다. 값 $x_j$의 도수를 $f_j$, $N=\sum f_j$라 하자.

예제 1.6 (구간화된 자료의 정규 적합) 

가슴둘레	33	34	35	36	37	38	39	40	41	42	43	44	45	46	47	48
병사 수	3	18	81	185	420	749	1073	1079	934	658	370	92	50	21	4	1

적률 추정치는 $\hat\mu=\sum f_jx_j/N=39.832$, $\hat\sigma^2=\sum f_j(x_j-\hat\mu)^2/N=4.200$, $\hat\sigma=2.049$인치다. 칸 $x_j$의 기대도수는

$$e_j=N\Bigl[\Phi\Bigl(\frac{x_j+0.5-\hat\mu}{\hat\sigma}\Bigr)-\Phi\Bigl(\frac{x_j-0.5-\hat\mu}{\hat\sigma}\Bigr)\Bigr].$$

기대도수가 5보다 작은 양 끝의 칸을 이웃과 합치면 칸이 13개 남는다. Pearson의 $\chi^2=\sum(f_j-e_j)^2/e_j$를 계산하면 $35.0$, 자유도 $13-1-2=10$, $p\approx0.0001$이다(8회 예고). 그림으로는 정규와 거의 구별되지 않지만, $N=5{,}738$이나 되는 표본은 작은 어긋남도 잡아낸다. 가장 큰 기여는 44인치 칸이다(관측 92, 기대 146).

그림 1.3 왼쪽: 관측도수와 적합한 정규. 오른쪽: 누적비율의 정규분위수를 칸 경계에 대해 그린 정규확률그림. 직선이면 정규다.

가정 주의 기각은 “정규가 쓸모없다”는 뜻이 아니다. 표본이 크면 실질적으로 무시할 만한 어긋남도 유의해진다. 거꾸로 기각하지 못함도 참이라는 증명이 아니다. 1인치로 반올림한 자료는 꼬리의 작은 어긋남을 가리고(연습 1.8), 병사라는 선택된 집단의 이야기일 뿐이다. 이 구분은 8회(검정의 논리)와 12회(검정력)의 주제다.

연습문제

연습 1.7 (Quetelet 표 계산 ★) 위 표로 $\hat\mu$와 $\hat\sigma$를 직접 계산하라. 또 가슴둘레 44인치 이상의 관측비율과, 경계 $43.5$를 쓴 정규 근사를 비교하라.

풀이

$\sum f_jx_j=228{,}555$이므로 $\hat\mu=228555/5738=39.832$. $\hat\sigma^2=4.2002$, $\hat\sigma=2.049$. 44인치 이상은 $92+50+21+4+1=168$명, 비율 $0.0293$. 정규 근사는

$$1-\Phi\Bigl(\frac{43.5-39.832}{2.049}\Bigr)=0.0367$$

이다. 오른쪽 꼬리는 정규가 조금 과대평가한다.

연습 1.8 (Sheppard 보정 ★★) 연속 확률변수 $X$를 폭 $h$로 반올림한 값을 $Y=X+U$로 쓰고, 반올림 오차 $U\sim\mathrm{U}(-\tfrac h2,\allowbreak \tfrac h2)$가 $X$와 독립이라고 가정하자. $\Var Y=\Var X+h^2/12$임을 보여라. Quetelet 자료($h=1$)에서 보정한 $\hat\sigma$는 얼마인가? 이 가정은 언제 그럴듯하고 언제 아닌가?

풀이

독립이므로 $\Var Y=\Var X+\Var U$이고 $\Var U=\int_{-h/2}^{h/2}\tfrac{u^2}{h}\,du=\tfrac{h^2}{12}$. 보정한 표준편차는 $\sqrt{4.2002-1/12}=2.029$. 이 가정은 $X$의 밀도가 폭 $h$ 안에서 거의 평평할 때(표준편차가 $h$보다 충분히 클 때) 그럴듯하다. 여기서는 $\sigma\approx2h$라 대략 맞지만, 꼬리 칸에서는 밀도의 기울기가 커서 반올림 오차와 $X$가 독립이 아니다.

1.4 단변량 정규분포

정의 1.7 (정규분포) 확률변수 $X$의 밀도가

$$f(x)=\frac{1}{\cpar\sigma\sqrt{2\pi}}\exp\Bigl\{-\frac{(x-\cpar\mu)^2}{2\cpar\sigma^2}\Bigr\},\qquad x\in\R$$

이면 $X\sim\N(\mu,\sigma^2)$라 쓴다. $\mu=0,\sigma=1$이면 표준정규분포이고, 밀도와 분포함수를 $\varphi$, $\Phi$로 쓴다.

정리 1.8 (단변량 정규분포의 네 가지 사실) 

1. (i)

   $\int_{-\infty}^{\infty}e^{-z^2/2}\,dz=\sqrt{2\pi}$. 따라서 $f$는 밀도다.

2. (ii)

   $M_X(t)=\exp\bigl(\mu t+\tfrac12\sigma^2t^2\bigr)$, $t\in\R$. 따라서 $EX=\mu$, $\Var X=\sigma^2$이고 $E(X-\mu)^4=3\sigma^4$.

3. (iii)

   $Z\sim\N(0,1)$이면 $Z^2\sim\chi^2(1)$.

4. (iv)

   $X_i\sim\N(\mu_i,\sigma_i^2)$가 독립이면 $\sum a_iX_i\sim\N\bigl(\sum a_i\mu_i,\allowbreak \ \sum a_i^2\sigma_i^2\bigr)$.

증명 전략 (i)은 적분을 제곱해 극좌표로 바꾼다. (ii)는 지수를 완전제곱해 (i)로 돌아간다. (iii)은 분포함수를 미분하고, (iv)는 mgf의 곱과 유일성을 쓴다.

(i) 가우스 적분 (3회 정리 5.3)

1. $I=\int e^{-z^2/2}dz>0$으로 두면 $I^2=\int_{\R^2}e^{-(z_1^2+z_2^2)/2}\,dz_1\,dz_2$이다.Tonelli, 피적분함수 $\ge0$ [T6]

2. 극좌표로 바꾼다.

   $$I^2=\int_0^{2\pi}\!\!\int_0^\infty e^{-r^2/2}\,r\,dr\,d\varphi=2\pi\Bigl[-e^{-r^2/2}\Bigr]_0^\infty=2\pi .$$

   야코비안 $r$, 연습 0.1 [T7]

3. $z=(x-\mu)/\sigma$로 치환하면 $\int f=I/\sqrt{2\pi}=1$이다.1차원 치환 [T7]

(ii) mgf와 적률

1. 지수를 $x$에 대해 완전제곱한다.

   $$tx-\frac{(x-\mu)^2}{2\sigma^2}=-\frac{\bigl(x-\mu-\sigma^2t\bigr)^2}{2\sigma^2}+\mu t+\frac{\sigma^2t^2}{2} .$$

   전개해서 비교

2. 첫 항은 평균이 $\mu+\sigma^2t$인 정규밀도의 지수이므로 적분하면 $\sigma\sqrt{2\pi}$이고, $M_X(t)=e^{\mu t+\sigma^2t^2/2}$이다.(i)

3. $\psi(t)=\log M_X(t)=\mu t+\tfrac12\sigma^2t^2$에서 $\psi'(0)=\mu$, $\psi''(0)=\sigma^2$이다.보조정리 0.1(b)

4. $Z=(X-\mu)/\sigma$의 mgf를 두 가지로 전개해 $t^4$의 계수를 비교한다.

   $$e^{t^2/2}=\sum_{k\ge0}\frac{t^{2k}}{2^k\,k!},\qquad M_Z(t)=\sum_{m\ge0}\frac{EZ^m}{m!}\,t^m \quad\Longrightarrow\quad EZ^4=\frac{4!}{2^2\cdot2!}=3 .$$

   거듭제곱급수 계수의 유일성

조건 확인 단계 4의 계수 비교는 두 사실에 기댄다. 하나는 모든 $t$에서 유한한 $M_Z$가 거듭제곱급수로 전개되고 그 계수가 $M_Z^{(m)}(0)/m!=EZ^m/m!$이라는 것이다(보조정리 0.1(b)). 다른 하나는 두 거듭제곱급수가 $0$의 근방에서 같으면 계수가 같다는 것이다 [T8].

(iii) $Z^2\sim\chi^2(1)$ (4회 정리 3.9)

1. $w>0$에서 $P(Z^2\le w)=P(-\sqrt w\le Z\le\sqrt w)=2\Phi(\sqrt w)-1$이다.$\varphi$의 대칭

2. 미분한다.

   $$f_{Z^2}(w)=2\varphi(\sqrt w)\cdot\frac{1}{2\sqrt w}=\frac{1}{\sqrt{2\pi}}\,w^{-1/2}e^{-w/2}=\frac{1}{\Gamma(\frac12)\,2^{1/2}}\,w^{\frac12-1}e^{-w/2} .$$

   연쇄법칙, $\Gamma(\tfrac12)=\sqrt\pi$

3. 이것은 $\Gamma(\alpha=\tfrac12,\allowbreak \beta=2)=\chi^2(1)$의 밀도다.4회 정의 3.8

4. mgf로도 확인된다. $t<\tfrac12$에서

   $$E\,e^{tZ^2}=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\,e^{-(1-2t)z^2/2}\,dz=(1-2t)^{-1/2} .$$

   (i), $z\sqrt{1-2t}$로 치환

(iv) 독립 정규의 선형결합

1. $M_{\sum a_iX_i}(t)=\prod_iM_{X_i}(a_it)$이다.독립, 보조정리 0.1(c)(d)

2. (ii)를 넣으면 $\prod_i\exp\bigl(a_i\mu_it+\tfrac12a_i^2\sigma_i^2t^2\bigr)=\exp\bigl(t\sum_ia_i\mu_i+\tfrac12t^2\sum_ia_i^2\sigma_i^2\bigr)$이다.(ii)

3. 이것은 $\N\bigl(\sum a_i\mu_i,\allowbreak \sum a_i^2\sigma_i^2\bigr)$의 mgf이므로 결론이 나온다.mgf의 유일성, 보조정리 0.1(a)

따름정리 1.9 ($\chi^2(n)$) $Z_1,\dots,Z_n\iid\N(0,1)$이면 $Z_1^2+\dots+Z_n^2\sim\chi^2(n)$이다.

증명 (iii)과 독립성으로 mgf가 $\bigl[(1-2t)^{-1/2}\bigr]^n=(1-2t)^{-n/2}$이고, 이것은 $\Gamma(\tfrac n2,2)=\chi^2(n)$의 mgf다.

연습문제

연습 1.9 (짝수 적률 ★) $Z\sim\N(0,1)$이면 $EZ^{2k}=(2k-1)!!=1\cdot3\cdots(2k-1)$이고 홀수 적률은 $0$임을 두 가지로 보여라. (a) mgf 급수의 계수 비교. (b) $\varphi'(z)=-z\varphi(z)$와 부분적분으로 $EZ^{m+1}=m\,EZ^{m-1}$(Stein 항등식의 특수형).

풀이

(a) $e^{t^2/2}=\sum_k\tfrac{t^{2k}}{2^kk!}$와 $\sum_m\tfrac{EZ^m}{m!}t^m$을 비교하면 홀수 적률은 $0$이고 $EZ^{2k}=\tfrac{(2k)!}{2^kk!}=(2k-1)!!$.

(b) $x\varphi(x)=-\varphi'(x)$이므로

$$EZ^{m+1}=\int z^m\cdot z\varphi(z)\,dz=\int z^m\bigl(-\varphi'(z)\bigr)dz=\Bigl[-z^m\varphi\Bigr]_{-\infty}^{\infty}+m\int z^{m-1}\varphi\,dz=m\,EZ^{m-1}.$$

$EZ^0=1$, $EZ^1=0$에서 귀납한다.

연습 1.10 (로그정규분포 ★) $X\sim\N(\mu,\sigma^2)$, $Y=e^X$이다. mgf만 써서 $EY=e^{\mu+\sigma^2/2}$, $\Var Y=e^{2\mu+\sigma^2}(e^{\sigma^2}-1)$을 구하라. $EY\ne e^{EX}$인 이유를 Jensen 부등식으로 설명하라.

풀이

$EY=M_X(1)=e^{\mu+\sigma^2/2}$, $EY^2=M_X(2)=e^{2\mu+2\sigma^2}$이므로

$$\Var Y=e^{2\mu+2\sigma^2}-e^{2\mu+\sigma^2}=e^{2\mu+\sigma^2}\bigl(e^{\sigma^2}-1\bigr).$$

$e^x$는 볼록하므로 Jensen에 의해 $Ee^X\ge e^{EX}$이고, 그 차이를 만드는 인수가 $e^{\sigma^2/2}$다.

연습 1.11 (정규 꼬리의 부등식(Mills 비) ★★) $z>0$에서 다음을 보여라. $z=2$에서 세 값을 계산해 비교하라.

$$\Bigl(\frac1z-\frac1{z^3}\Bigr)\varphi(z)\ \le\ 1-\Phi(z)\ \le\ \frac{\varphi(z)}{z}$$

풀이

위쪽. $x\ge z$이면 $1\le x/z$이므로

$$1-\Phi(z)=\int_z^\infty\varphi(x)\,dx\le\int_z^\infty\frac{x}{z}\varphi(x)\,dx=\frac{\varphi(z)}{z}\qquad(x\varphi=-\varphi').$$

아래쪽. 미분하면

$$\frac{d}{dx}\Bigl[-\Bigl(\frac1x-\frac1{x^3}\Bigr)\varphi(x)\Bigr]=\Bigl(1-\frac{3}{x^4}\Bigr)\varphi(x)\le\varphi(x),$$

이므로 $z$부터 $\infty$까지 적분하면 $\bigl(\tfrac1z-\tfrac1{z^3}\bigr)\varphi(z)\le1-\Phi(z)$. $z=2$에서 $0.02025\le0.02275\le0.02700$이다.

연습 1.12 (합성곱으로 직접 ★★) $X\sim\N(0,\sigma_1^2)$과 $Y\sim\N(0,\sigma_2^2)$가 독립일 때, mgf를 쓰지 않고 합성곱 $f_{X+Y}(s)=\int f_X(x)f_Y(s-x)\,dx$를 완전제곱으로 계산해 $X+Y\sim\N(0,\allowbreak \sigma_1^2+\sigma_2^2)$임을 보여라.

풀이

$\tau=\tfrac{1}{\sigma_1^2}+\tfrac1{\sigma_2^2}$로 두면 피적분함수의 지수는

$$-\frac12\Bigl[\tau x^2-\frac{2sx}{\sigma_2^2}+\frac{s^2}{\sigma_2^2}\Bigr] =-\frac\tau2\Bigl(x-\frac{s}{\sigma_2^2\tau}\Bigr)^2-\frac{s^2}{2(\sigma_1^2+\sigma_2^2)},$$

이다($\tfrac{s^2}{\sigma_2^2}-\tfrac{s^2}{\sigma_2^4\tau}=\tfrac{s^2}{\sigma_1^2+\sigma_2^2}$). $x$로 적분하면 $\sqrt{2\pi/\tau}=\sqrt{2\pi}\,\sigma_1\sigma_2/\sqrt{\sigma_1^2+\sigma_2^2}$이므로

$$f_{X+Y}(s)=\frac{1}{2\pi\sigma_1\sigma_2}\cdot\frac{\sqrt{2\pi}\,\sigma_1\sigma_2}{\sqrt{\sigma_1^2+\sigma_2^2}}\,e^{-s^2/(2(\sigma_1^2+\sigma_2^2))} =\frac{1}{\sqrt{2\pi(\sigma_1^2+\sigma_2^2)}}\,e^{-s^2/(2(\sigma_1^2+\sigma_2^2))}.$$

연습 1.13 (적분형 de Moivre–Laplace 정리의 증명 ★★ 유도형) 따름정리 1.3를 다음 순서로 증명하라.

1. (a)

   구하는 확률이 $\sum_{k:\,x_k\in[a,b]}P(S_n=k)$이고, 인접한 $x_k$의 간격이 $\Delta=1/\sqrt{npq}$임을 보여라.

2. (b)

   정리 1.2를 $A=\max(|a|,|b|)$로 써서 이 합이 $\bigl(1+O(n^{-1/2})\bigr)\sum_{k:\,x_k\in[a,b]}\varphi(x_k)\,\Delta$임을 보여라. 근사가 $k$에 대해 균등해야 하는 이유는 무엇인가?

3. (c)

   칸 $[x_k,x_k+\Delta)$들을 생각해 $\bigl|\sum_{x_k\in[a,b]}\varphi(x_k)\Delta-\int_a^b\varphi\bigr|\le(b-a+\Delta)\,\Delta\max|\varphi'|+2\Delta\max\varphi$임을 보여라. (칸 위에서는 평균값 정리를 쓰고, 칸들의 합집합과 $[a,b]$가 다른 부분은 양 끝의 길이 $\Delta$ 이하인 두 조각이다.)

4. (d)

   $\Delta\to0$이고 $\int_a^b\varphi=\Phi(b)-\Phi(a)$이므로 결론이 나옴을 보여라.

풀이

(a) $\{a\le(S_n-np)/\sqrt{npq}\le b\}$는 $x_k\in[a,b]$인 정수 $k$들에 대한 사건 $\{S_n=k\}$의 서로소인 합집합이다. $x_{k+1}-x_k=1/\sqrt{npq}=\Delta$이다. (b) $|x_k|\le A=\max(|a|,|b|)$인 모든 $k$에서 $P(S_n=k)=\varphi(x_k)\Delta\,(1+\epsilon_{n,k})$이고, 정리 1.2의 균등성으로 $\max_k|\epsilon_{n,k}|\le C/\sqrt n$이다. 따라서 합은 $\bigl(1+O(n^{-1/2})\bigr)\sum\varphi(x_k)\Delta$다. 합의 항 수가 약 $(b-a)\sqrt{npq}$로 늘어나므로, 오차가 $k$마다 다른 속도로 줄면 합에서 오차를 하나로 묶을 수 없다. 균등성이 그것을 막는다. (c) $x_k\in[a,b]$인 칸 $I_k=[x_k,x_k+\Delta)$에서 평균값 정리로 $|\varphi(x)-\varphi(x_k)|\le\Delta\max|\varphi'|$이므로 $\bigl|\varphi(x_k)\Delta-\int_{I_k}\varphi\bigr|\le\Delta^2\max|\varphi'|$이다. 칸은 많아야 $(b-a)/\Delta+1$개이므로 이 오차의 합은 $(b-a+\Delta)\Delta\max|\varphi'|$ 이하다. 칸들의 합집합은 $[a,b]$와 양 끝에서 길이 $\Delta$ 이하인 두 조각만큼 다르고, 그 위의 적분은 $2\Delta\max\varphi$ 이하다. (d) $n\to\infty$에서 $\Delta\to0$이므로 (c)의 오차는 0으로 가고, (b)의 인수 $1+O(n^{-1/2})$는 1로 간다. 따라서 확률은 $\int_a^b\varphi=\Phi(b)-\Phi(a)$로 수렴한다.

연습 1.14 (Cauchy 함수방정식의 증명 ★★ 유도형) 보조정리 1.4를 다음 순서로 증명하라.

1. (a)

   $a=b=0$과 $b=-a$를 넣어 $g(0)=0$과 $g(-a)=-g(a)$를 얻어라.

2. (b)

   자연수 $m$에 대해 $g(mu)=m\,g(u)$를 $m$에 대한 귀납법으로 보이고, (a)로 모든 정수 $m$에 넓혀 $g(m)=cm$을 얻어라.

3. (c)

   $m\in\mathbb Z$, $k\in\NN$이면 $k\,g(m/k)=g(m)$임을 보이고 $g(m/k)=c\,m/k$를 얻어라.

4. (d)

   실수 $u$로 수렴하는 유리수열을 잡고 연속성으로 $g(u)=cu$를 얻어라. 연속성 가정은 이 단계에서만 쓰인다는 것을 확인하라.

풀이

(a) $a=b=0$이면 $g(0)=2g(0)$이므로 $g(0)=0$이다. $b=-a$이면 $0=g(0)=g(a)+g(-a)$이다. (b) $m=1$이면 자명하다. $g(mu)=mg(u)$이면 $g((m+1)u)=g(mu)+g(u)=(m+1)g(u)$이다. $u=1$을 넣으면 자연수 $m$에서 $g(m)=cm$이고, (a)로 $g(0)=0$, $g(-m)=-g(m)=c(-m)$이다. (c) (b)를 $u=m/k$와 자연수 $k$에 쓰면 $k\,g(m/k)=g(k\cdot m/k)=g(m)=cm$이므로 $g(m/k)=cm/k$이다. (d) 유리수는 실수에서 조밀하므로 $r_j\to u$인 유리수열이 있다. 연속성으로 $g(u)=\lim_jg(r_j)=\lim_jcr_j=cu$이다. (a)–(c)는 덧셈 공식만 썼고 연속성은 (d)에서만 썼다. 연속성이 없으면 일차함수가 아닌 해가 있다(선택공리로 만든다).

이 절을 PDF로 보기 (3쪽)노트북 1절

이 회차에서 읽은 절 0개 · 회차 차례