증명 도구 상자 · 노트

8 T8 Taylor 전개와 $o$o, $O$O, $o_p$o_p, $O_p$O_p

중심극한정리, 델타 방법, 최대가능도의 점근정규성은 모두 “주된 항 + 작은 나머지”로 쓰는 근사다. 이 절은 Taylor 전개의 나머지항을 정확히 쓰는 법과, 나머지가 얼마나 작은지를 적는 기호 $o$, $O$, 그리고 확률변수에 대한 $o_p$, $O_p$를 정리한다. 7회의 극한 이론이 처음 쓰는 곳이다.

8.1 Taylor 정리

정리 8.1 (적분 나머지항) $f$가 $a$와 $x$를 포함하는 구간에서 $n+1$번 연속미분가능하면

$$f(x)=\sum_{k=0}^n\frac{f^{(k)}(a)}{k!}(x-a)^k+R_n(x),\qquad R_n(x)=\int_a^x\frac{f^{(n+1)}(t)}{n!}(x-t)^n\,dt .$$

증명 전략 $n$에 대한 귀납법. 나머지항을 부분적분하면 다음 차수의 항 하나와 다음 나머지항이 나온다.

1. $n=0$이면 $f(x)=f(a)+\int_a^xf'(t)\,dt$이고, 미적분의 기본정리다.기저 [T3]

2. $n-1$에서 성립한다고 하자. $R_{n-1}(x)=\int_a^x\tfrac{f^{(n)}(t)}{(n-1)!}(x-t)^{n-1}dt$에서 $u=f^{(n)}(t)$, $dv=\tfrac{(x-t)^{n-1}}{(n-1)!}dt$, $v=-\tfrac{(x-t)^n}{n!}$로 부분적분한다.

   $$\begin{align*} R_{n-1}(x)&=\Bigl[-f^{(n)}(t)\frac{(x-t)^n}{n!}\Bigr]_{t=a}^{t=x}+\int_a^xf^{(n+1)}(t)\frac{(x-t)^n}{n!}\,dt \tag*{\htmlClass{reason}{\text{부분적분}}}\\ &=\frac{f^{(n)}(a)}{n!}(x-a)^n+R_n(x) . \end{align*}$$

3. 이것을 $n-1$에서의 식에 넣으면 $n$에서의 식이 된다.귀납 가정

따름정리 8.2 (Lagrange 나머지항) 같은 조건에서 $a$와 $x$ 사이의 어떤 $\xi$에 대해 $R_n(x)=\tfrac{f^{(n+1)}(\xi)}{(n+1)!}(x-a)^{n+1}$이다.

증명 전략 적분 나머지항의 가중치 $(x-t)^n$은 적분 구간에서 부호가 바뀌지 않는다. $f^{(n+1)}$의 최솟값과 최댓값으로 끼우고 중간값 정리를 쓴다.

1. $a<x$라 하자($x<a$도 같다). $[a,x]$에서 $f^{(n+1)}$의 최솟값을 $m$, 최댓값을 $M$이라 하면, $(x-t)^n\ge0$이므로 $m\int_a^x\tfrac{(x-t)^n}{n!}dt\le R_n(x)\le M\int_a^x\tfrac{(x-t)^n}{n!}dt$이다.적분의 단조성

2. $\int_a^x\tfrac{(x-t)^n}{n!}dt=\tfrac{(x-a)^{n+1}}{(n+1)!}$이다.계산

3. $R_n(x)(n+1)!/(x-a)^{n+1}$은 $[m,M]$에 있으므로, 중간값 정리로 이 값을 $f^{(n+1)}(\xi)$로 갖는 $\xi\in[a,x]$가 있다.중간값 정리

예제 8.3 ($\log(1+x)$의 2차 근사) $f(x)=\log(1+x)$는 $f'(0)=1$, $f''(0)=-1$, $f'''(t)=2/(1+t)^3$이다. 따름정리 8.2로

$$\log(1+x)=x-\frac{x^2}2+\frac{x^3}{3(1+\xi)^3}$$

인 $\xi$가 $0$과 $x$ 사이에 있다. $x\ge0$이면 나머지는 $0$과 $x^3/3$ 사이이고, $-1<x<0$이면 절댓값이 $|x|^3/\bigl(3(1-|x|)^3\bigr)$ 이하다. 나머지항의 부호를 알면 부등식이 나온다. $x\ge0$에서 $x-\tfrac{x^2}2\le\log(1+x)\le x$이다(연습 8.5).

8.2 $o$o와 $O$O

정의 8.4 ($o$와 $O$) 수열 $a_n$, $b_n$에 대해 어떤 $C$와 $N$이 있어 $n\ge N$에서 $|a_n|\le C|b_n|$이면 $a_n=O(b_n)$이라 쓴다. $a_n/b_n\to0$이면 $a_n=o(b_n)$이라 쓴다. $x\to0$일 때의 함수에 대해서도 같은 뜻으로 쓴다. $O(1)$은 유계, $o(1)$은 0으로 가는 양이다.

여기서 “$=$”는 한 방향으로만 읽는다. $a_n=O(b_n)$은 “$a_n$은 $O(b_n)$인 양들 가운데 하나다”라는 뜻이다. 그래서 $\tfrac1n=O(1)$은 맞지만 $O(1)=\tfrac1n$이라고 쓰지 않는다. 계산 규칙은 정의에서 바로 나온다. $O(a_n)+O(b_n)=O(|a_n|+|b_n|)$, $O(a_n)O(b_n)=O(a_nb_n)$, $o(a_n)O(b_n)=o(a_nb_n)$, $o(a_n)=O(a_n)$.

Taylor 정리를 이 기호로 쓰면, $f^{(n+1)}$이 $0$ 근처에서 유계일 때 $x\to0$에서

$$f(x)=\sum_{k=0}^n\frac{f^{(k)}(0)}{k!}x^k+O(x^{n+1})$$

이다. 나머지항이 $|R_n(x)|\le\sup|f^{(n+1)}|\cdot|x|^{n+1}/(n+1)!$이기 때문이다.

예제 8.5 ($(1+x/n)^n$의 정확도) $x$를 고정하면

$$\Bigl(1+\frac xn\Bigr)^n=e^x\Bigl(1-\frac{x^2}{2n}+O\bigl(n^{-2}\bigr)\Bigr).$$

전략 로그를 취해 $\log(1+u)$를 전개하고, 다시 지수를 전개한다.

1. $n\log(1+x/n)=n\bigl(\tfrac xn-\tfrac{x^2}{2n^2}+O(n^{-3})\bigr)=x-\tfrac{x^2}{2n}+O(n^{-2})$.예제 8.3, $u=x/n\to0$

2. $e^{x+w}=e^xe^w$이고 $w=-\tfrac{x^2}{2n}+O(n^{-2})\to0$이므로 $e^w=1+w+O(w^2)=1-\tfrac{x^2}{2n}+O(n^{-2})$이다.$e^w$의 Taylor 전개

$x=1$, $n=100$이면 $(1.01)^{100}=2.704814$이고 $e(1-\tfrac1{200})=2.704690$이다. 차 $1.2\times10^{-4}$는 $n^{-2}=10^{-4}$의 크기다. 이 계산에서 $(1+x/n)^n\to e^x$도 나온다.

예제 8.6 (근호의 전개) $\sqrt{1+x}=1+\tfrac x2-\tfrac{x^2}8+O(x^3)$ ($x\to0$)이다. 이것으로

$$\sqrt{n+1}-\sqrt n=\sqrt n\Bigl(\sqrt{1+\tfrac1n}-1\Bigr)=\sqrt n\Bigl(\frac1{2n}-\frac1{8n^2}+O(n^{-3})\Bigr)=\frac1{2\sqrt n}+O\bigl(n^{-3/2}\bigr).$$

8.3 확률적 $o_p$o_p와 $O_p$O_p

확률변수열이 “작다”는 것은 큰 값을 가질 확률이 작다는 뜻으로 쓴다.

정의 8.7 ($o_p$와 $O_p$) 확률변수열 $X_n$이 모든 $\varepsilon>0$에서 $P(|X_n|>\varepsilon)\to0$을 만족하면 $X_n$이 0으로 확률수렴한다고 하고 $X_n\pto0$ 또는 $X_n=o_p(1)$로 쓴다. 모든 $\varepsilon>0$에 대해 어떤 $M$과 $N$이 있어 $n\ge N$에서 $P(|X_n|>M)<\varepsilon$이면 $X_n$이 확률적으로 유계라 하고 $X_n=O_p(1)$로 쓴다. 양수열 $a_n$에 대해 $X_n=o_p(a_n)$은 $X_n/a_n=o_p(1)$, $X_n=O_p(a_n)$은 $X_n/a_n=O_p(1)$이라는 뜻이다.

명제 8.8 ($o_p$와 $O_p$의 대수) (a) $o_p(1)+o_p(1)=o_p(1)$. (b) $o_p(1)=O_p(1)$. (c) $O_p(1)\cdot o_p(1)=o_p(1)$.

증명 전략 사건을 포함관계로 쪼개고 Boole 부등식으로 확률을 더한다 [T1].

1. (a) $|X_n+Y_n|>\varepsilon$이면 $|X_n|>\varepsilon/2$이거나 $|Y_n|>\varepsilon/2$이다. 따라서 $P(|X_n+Y_n|>\varepsilon)\le P(|X_n|>\tfrac\varepsilon2)+P(|Y_n|>\tfrac\varepsilon2)\to0$.삼각부등식, Boole

2. (b) $\varepsilon>0$이 주어지면 $M=1$로 두고, $P(|X_n|>1)\to0$이므로 $n\ge N$에서 $P(|X_n|>1)<\varepsilon$인 $N$이 있다.정의

3. (c) $X_n=O_p(1)$, $Y_n=o_p(1)$이고 $\varepsilon,\eta>0$이라 하자. $n\ge N$에서 $P(|X_n|>M)<\eta$인 $M$, $N$을 잡는다. $|X_nY_n|>\varepsilon$이면 $|X_n|>M$이거나 $|Y_n|>\varepsilon/M$이므로

   $$P(|X_nY_n|>\varepsilon)\le P(|X_n|>M)+P(|Y_n|>\varepsilon/M)<\eta+o(1) .$$

   $\eta$는 임의이므로 왼쪽은 0으로 간다.Boole

예제 8.9 (Chebyshev로 $O_p$ 보이기) $EX_n=0$이고 $\Var X_n\le c/n$이면 $X_n=O_p(n^{-1/2})$이다. Chebyshev 부등식(2회)으로 $P(|\sqrt nX_n|>M)\le\tfrac{n\Var X_n}{M^2}\le\tfrac c{M^2}$이고, $M=\sqrt{c/\varepsilon}$이면 오른쪽이 $\varepsilon$이다. 표본평균에서 모평균을 뺀 것이 $O_p(n^{-1/2})$인 이유가 이것이다.

흔한 실수 (1) $o_p(1)$이면 기댓값도 0으로 간다고 여긴다. $X_n$이 확률 $\tfrac1n$로 $n$, 나머지 확률로 0이면 $P(|X_n|>\varepsilon)\le\tfrac1n\to0$이지만 $EX_n=1$이다(연습 8.8). (2) Taylor 급수가 함수와 같다고 여긴다. $f(x)=e^{-1/x^2}$ ($x\ne0$), $f(0)=0$은 모든 계수가 0인 Taylor 급수를 갖지만 $x\ne0$에서 양수다. 나머지항을 확인해야 한다. (3) $o(1)/o(1)$의 값을 정한다. $\tfrac1n/\tfrac1{n^2}\to\infty$이고 $\tfrac1{n^2}/\tfrac1n\to0$이다.

연습문제

연습 8.1 (Taylor 다항식 ★) $e^x\sin x$의 $x=0$에서의 3차 Taylor 다항식을 구하라.

풀이

$e^x=1+x+\tfrac{x^2}2+\tfrac{x^3}6+O(x^4)$, $\sin x=x-\tfrac{x^3}6+O(x^5)$를 곱해 3차까지 모으면 $x+x^2+\bigl(\tfrac12-\tfrac16\bigr)x^3=x+x^2+\tfrac{x^3}3$이다.

연습 8.2 (나머지항으로 오차 누르기 ★) $|\cos x-(1-x^2/2)|\le x^4/24$를 보이고, $x=0.1$에서 실제 오차와 비교하라.

풀이

$\cos$의 3차 Taylor 다항식은 $1-x^2/2$이고(3차 계수는 0), Lagrange 나머지항은 $\tfrac{\cos\xi}{24}x^4$이므로 절댓값이 $x^4/24$ 이하다. $x=0.1$이면 한계는 $4.1667\times10^{-6}$이고 실제 오차는 $\cos0.1-0.995=4.1653\times10^{-6}$이다. 한계가 거의 정확하다. 나머지항의 $\cos\xi$가 1에 가깝기 때문이다.

연습 8.3 ($o$, $O$ 판정 ★) 참·거짓을 판정하라. (a) $n^2+3n=O(n^2)$, (b) $\log n=o(n^{0.01})$, (c) $n\sin(1/n)=1+O(n^{-2})$, (d) $2^n=O(n!)$, (e) $n=O(n\log n)$, (f) $n\log n=O(n)$.

풀이

(a) 참: $n\ge1$에서 $n^2+3n\le4n^2$. (b) 참: $m=n^{0.01}$이면 $\log n/n^{0.01}=100\log m/m\to0$. (c) 참: $n\sin(1/n)=1-\tfrac1{6n^2}+O(n^{-4})$. (d) 참: $n\ge2$에서 $2^n/n!\le2(2/3)^{n-2}\to0$. (e) 참: $n\ge3$에서 $\log n\ge1$. (f) 거짓: $n\log n/n=\log n\to\infty$.

연습 8.4 (복리의 극한 ★★) $c$를 고정할 때 $(1-c/n)^n=e^{-c}\bigl(1-\tfrac{c^2}{2n}+O(n^{-2})\bigr)$을 보여라.

풀이

$n\log(1-c/n)=n\bigl(-\tfrac cn-\tfrac{c^2}{2n^2}+O(n^{-3})\bigr)=-c-\tfrac{c^2}{2n}+O(n^{-2})$이다. 지수를 취하고 $e^w=1+w+O(w^2)$를 쓰면 $(1-c/n)^n=e^{-c}\bigl(1-\tfrac{c^2}{2n}+O(n^{-2})\bigr)$이다.

연습 8.5 (로그를 끼우기 ★★) $x\ge0$이면 $x-\tfrac{x^2}2\le\log(1+x)\le x$임을 나머지항의 부호로 보여라.

풀이

따름정리 8.2를 $f(x)=\log(1+x)$, $a=0$에 쓴다. $n=1$이면 $\log(1+x)=x-\tfrac{x^2}{2(1+\xi)^2}\le x$이다. $n=2$이면 예제 8.3의 나머지 $\tfrac{x^3}{3(1+\xi)^3}$이 $x\ge0$에서 음이 아니므로 $\log(1+x)\ge x-\tfrac{x^2}2$이다.

연습 8.6 (조화수와 Euler 상수 ★★) $H_n=\sum_{k=1}^n\tfrac1k$에 대해 $\gamma_n=H_n-\log n$이 감소하고 $\gamma_n>0$임을 보여라. 따라서 $\gamma_n$은 수렴한다(극한 $\gamma\approx0.5772$). (힌트: 감소는 $\log(1+\tfrac1n)=-\log(1-\tfrac1{n+1})\ge\tfrac1{n+1}$에서, 양수는 $\log(1+\tfrac1k)\le\tfrac1k$의 합에서 나온다.)

풀이

$\gamma_n-\gamma_{n+1}=\log(1+\tfrac1n)-\tfrac1{n+1}$이다. $\log(1+\tfrac1n)=-\log(1-\tfrac1{n+1})\ge\tfrac1{n+1}$이므로($\log(1-y)\le-y$, 보조정리 4.8) $\gamma_n$은 감소한다. $\log(1+\tfrac1k)\le\tfrac1k$를 더하면 $H_n\ge\sum_{k\le n}\bigl(\log(k+1)-\log k\bigr)=\log(n+1)>\log n$이므로 $\gamma_n>0$이다. 아래로 유계이고 감소하므로 수렴한다(정리 5.4). $\gamma_1,\allowbreak \gamma_{10},\allowbreak \gamma_{100},\allowbreak \gamma_{10^4}$은 $1,\ 0.6264,\ 0.5822,\ 0.5773$이다.

연습 8.7 ($o_p$, $O_p$의 계산 ★★) (a) $X_n=o_p(1)$, $Y_n=O_p(1)$이면 $X_n+Y_n=O_p(1)$임을 보여라. (b) $X_n-c=o_p(1)$인 상수 $c$가 있으면 $X_n=O_p(1)$임을 보여라.

풀이

(a) $\varepsilon>0$이면 $n\ge N$에서 $P(|Y_n|>M)<\varepsilon/2$이고 $P(|X_n|>1)<\varepsilon/2$인 $M$, $N$이 있다. $|X_n+Y_n|>M+1$이면 $|X_n|>1$이거나 $|Y_n|>M$이므로 $P(|X_n+Y_n|>M+1)<\varepsilon$이다. (b) 상수 $c$는 $O_p(1)$이고 $X_n=(X_n-c)+c$이므로 (a)로 $O_p(1)$이다.

연습 8.8 (확률수렴과 적률 ★★) $X_n$이 확률 $\tfrac1n$로 $n$, 확률 $1-\tfrac1n$로 0이다. $X_n=o_p(1)$, $\sqrt n\,X_n=o_p(1)$임을 보이고, $EX_n$과 $EX_n^2$을 구하라.

풀이

$\varepsilon>0$이면 $P(|X_n|>\varepsilon)\le P(X_n=n)=\tfrac1n\to0$이고, 같은 이유로 $P(\sqrt nX_n>\varepsilon)\le\tfrac1n\to0$이다. $EX_n=n\cdot\tfrac1n=1$, $EX_n^2=n^2\cdot\tfrac1n=n$이다. 확률수렴은 드물게 일어나는 큰 값을 보지 않지만, 적률은 그 값에 크게 좌우된다.

연습 8.9 (델타 방법의 뼈대 ★★★) $\sqrt n(T_n-\theta)=O_p(1)$이고 $g$가 $\theta$의 근방에서 두 번 연속미분가능하면

$$\sqrt n\bigl(g(T_n)-g(\theta)\bigr)=g'(\theta)\sqrt n(T_n-\theta)+o_p(1)$$

임을 보여라. (힌트: $T_n-\theta=O_p(n^{-1/2})=o_p(1)$이므로 $T_n$이 근방 밖에 있을 확률은 0으로 간다. 근방 안에서는 Lagrange 나머지항을 쓴다.)

풀이

$g$가 $[\theta-\delta,\theta+\delta]$에서 두 번 연속미분가능하다고 하고 $K=\max|g''|$로 둔다. $Z_n=\sqrt n(T_n-\theta)=O_p(1)$, $E_n=\{|T_n-\theta|\le\delta\}$라 하자.

1. $E_n$에서 Lagrange 나머지항으로 $g(T_n)-g(\theta)=g'(\theta)(T_n-\theta)+\tfrac12g''(\xi_n)(T_n-\theta)^2$이다. 따라서 $R_n=\sqrt n(g(T_n)-g(\theta))-g'(\theta)Z_n$은 $E_n$에서 $|R_n|\le\tfrac K2Z_n^2/\sqrt n$이다.따름정리 8.2

2. $T_n-\theta=Z_n\cdot n^{-1/2}$이고 $n^{-1/2}\to0$은 $o_p(1)$이므로 $T_n-\theta=O_p(1)o_p(1)=o_p(1)$, 곧 $P(E_n^c)\to0$이다.명제 8.8(c)

3. $Z_n^2/\sqrt n=Z_n\cdot(T_n-\theta)=O_p(1)o_p(1)=o_p(1)$이다.명제 8.8(c)

4. $P(|R_n|>\varepsilon)\le P(E_n^c)+P\bigl(\tfrac K2Z_n^2/\sqrt n>\varepsilon\bigr)\to0$이므로 $R_n=o_p(1)$이다.Boole

이 절을 PDF로 보기 (31쪽)

이 회차에서 읽은 절 0개 · 회차 차례