수리통계학

테마

3회 · 왜 평균을 내는가 · 워크북

B. 빈칸 증명 ​

노트의 단계형 증명을 책을 덮고 다시 쓴다. 같은 정리를 여러 번 만나며 도움이 줄어든다. 1 단계는 주어지고 근거만 빈칸이다. 2 단계의 이름만 주어진다. 3 전략만 주어진다. 근거에는 정의나 정리의 번호, 도구 번호를 쓴다.

B1 전분산 공식, 근거 채우기 ★ ​

1 · 정리 2.6 · 15분

EY2<∞EY^2<\infty이면 Var⁡Y=E[Var⁡(Y∣X)]+Var⁡(E(Y∣X))\Var Y=E\bigl[\Var(Y\mid X)\bigr]+\Var\bigl(E(Y\mid X)\bigr)이다. 각 단계의 근거를 써라.

  1. m(X)=E(Y∣X)m(X)=E(Y\mid X)로 두면 Y−EY=(Y−m(X))+(m(X)−EY)Y-EY=\bigl(Y-m(X)\bigr)+\bigl(m(X)-EY\bigr)이다.항등식

  2. Var⁡Y=E(Y−m)2+E(m−EY)2+2E[(Y−m)(m−EY)]\Var Y=E(Y-m)^2+E(m-EY)^2+2E\bigl[(Y-m)(m-EY)\bigr]이다.왜?제곱하고 선형성, 따름정리 1.9

  3. E(Y−m(X))2=E[Var⁡(Y∣X)]E(Y-m(X))^2=E\bigl[\Var(Y\mid X)\bigr]이다.왜?정리 2.5를 (Y−m(X))2(Y-m(X))^2에, 정의 2.4

  4. E(m(X)−EY)2=Var⁡(m(X))E(m(X)-EY)^2=\Var\bigl(m(X)\bigr)이다.왜?E m(X)=EYE\,m(X)=EY, 정리 2.5

  5. g(X)=m(X)−EYg(X)=m(X)-EY로 두면 교차항 E[g(X)Y]−E[g(X)m(X)]=0E[g(X)Y]-E[g(X)m(X)]=0이다.왜?정리 2.5의 둘째 식

  6. 교차항의 기댓값이 존재한다: E∣g(X)Y∣<∞E|g(X)Y|<\infty.왜?2∣ab∣≤a2+b22|ab|\le a^2+b^2, E m(X)2≤EY2E\,m(X)^2\le EY^2

힌트

반복기댓값(정리 2.5)이 세 번 쓰인다. 첫째 식 E[E(⋅∣X)]=E(⋅)E[E(\cdot\mid X)]=E(\cdot), 그리고 둘째 식 E[g(X)E(Y∣X)]=E[g(X)Y]E[g(X)E(Y\mid X)]=E[g(X)Y].

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 2.6의 단계형 증명과 같다. 셋째 단계는 정리 2.5를 YY가 아니라 (X,Y)(X,Y)의 함수 (Y−m(X))2(Y-m(X))^2에 쓴 것이다. 노트 정리 2.5의 조건 확인 단락이 이것을 허락한다. 마지막 단계의 E m(X)2≤EY2E\,m(X)^2\le EY^2는 정리 2.8의 첫 단계(조건부분포에 대한 (EW)2≤EW2(EW)^2\le EW^2)에서 온다.

B2 합성곱 공식, 근거 채우기 ★★ ​

1 · 정리 5.5 · 20분

X,YX,Y가 독립이고 밀도 fX,fYf_X,f_Y를 가지면 fX+Y(z)=∫fX(x)fY(z−x) dxf_{X+Y}(z)=\int f_X(x)f_Y(z-x)\,dx이다. 근거를 채워라.

  1. W=XW=X, Z=X+YZ=X+Y로 두면 T(x,y)=(x,x+y)T(x,y)=(x,x+y)는 R2\R^2에서 R2\R^2로 가는 일대일 변환이다.왜?보조 변수를 더해 변수의 수를 맞춘다

  2. 역변환은 x=wx=w, y=z−wy=z-w이고 야코비안 행렬식은 1이다.왜?det⁡(10−11)=1\det\smat{1&0\\-1&1}=1, [T7]

  3. fW,Z(w,z)=fX(w) fY(z−w)f_{W,Z}(w,z)=f_X(w)\,f_Y(z-w)이다.왜?정리 5.1, 그리고 독립이므로 정리 3.2

  4. fZ(z)=∫fX(w) fY(z−w) dwf_Z(z)=\int f_X(w)\,f_Y(z-w)\,dw이다.왜?주변 밀도, 정리 1.6

  5. 이산이면 pZ(z)=∑xpX(x) pY(z−x)p_Z(z)=\sum_xp_X(x)\,p_Y(z-x)이다.왜?서로소인 합집합과 (P3), 독립

힌트

정리 5.1을 쓰려면 변환이 일대일이어야 하고, 그래서 보조 변수가 필요하다. 셋째 단계는 결합밀도를 주변 밀도의 곱으로 쓰는 곳이다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 5.5의 단계형 증명과 같다. 보조 변수 없이 (x,y)↦x+y(x,y)\mapsto x+y만 쓰면 2차원에서 1차원으로 가는 변환이어서 정리 5.1을 쓸 수 없다. 보조 변수를 W=YW=Y로 잡아도 같은 결론이 나온다(fZ(z)=∫fX(z−w)fY(w) dwf_Z(z)=\int f_X(z-w)f_Y(w)\,dw).

B3 Cauchy–Schwarz, 근거 채우기 ★ ​

1 · 정리 4.4 · 15분

EX2,EY2<∞EX^2,EY^2<\infty이면 (E(XY))2≤EX2EY2\bigl(E(XY)\bigr)^2\le EX^2EY^2이고, 등호는 P(Y=cX)=1P(Y=cX)=1이거나 P(X=0)=1P(X=0)=1일 때뿐이다. 근거를 채워라.

  1. E∣XY∣<∞E|XY|<\infty이다.왜?2∣XY∣≤X2+Y22|XY|\le X^2+Y^2, [T4]

  2. EX2=0EX^2=0이면 P(X=0)=1P(X=0)=1이고 양변이 0이다.왜?2회 따름정리 5.6

  3. EX2>0EX^2>0이면 모든 tt에서 0≤E(Y−tX)2=EY2−2tE(XY)+t2EX20\le E(Y-tX)^2=EY^2-2tE(XY)+t^2EX^2이다.왜?제곱의 기댓값, 선형성

  4. 4(E(XY))2−4EX2EY2≤04\bigl(E(XY)\bigr)^2-4EX^2EY^2\le0이다.왜?음이 아닌 이차식의 판별식 [T4]

  5. 등호이면 E(Y−cX)2=0E(Y-cX)^2=0인 cc가 있어 P(Y=cX)=1P(Y=cX)=1이다.왜?판별식이 0이면 중근, 2회 따름정리 5.6

힌트

2회 따름정리 5.6은 “음이 아닌 확률변수의 기댓값이 0이면 그 변수는 확률 1로 0”이다.

풀이

빈칸의 빨간 글씨가 근거다. 노트 정리 4.4의 단계형 증명과 같다. 둘째 단계를 따로 두는 이유는 넷째 단계의 판별식 논리가 이차항의 계수 EX2EX^2가 양수일 때만 쓸 수 있기 때문이다.

B4 전분산 공식, 단계의 이름만 ★★ ​

2 · 정리 2.6 · 25분

정리 2.6을 증명하라. 단계의 이름만 주어진다. 각 단계 아래에 식과 근거를 써라.

  1. Y−EYY-EY를 둘로 쪼갠다

  2. 제곱해 기댓값을 취한다

  3. 첫 항을 조건부 분산의 평균으로 바꾼다

  4. 둘째 항을 조건부 평균의 분산으로 바꾼다

  5. 교차항이 0임을 보인다

  6. 교차항의 기댓값이 존재함을 확인한다

힌트

B1에서 채운 근거를 다시 보지 말고 쓴다. 교차항에서는 g(X)=m(X)−EYg(X)=m(X)-EY를 XX의 함수로 보는 것이 열쇠다.

풀이

  1. Y−EY=(Y−m(X))+(m(X)−EY)Y-EY=(Y-m(X))+(m(X)-EY), m(X)=E(Y∣X)m(X)=E(Y\mid X).항등식

  2. Var⁡Y=E(Y−m)2+E(m−EY)2+2E[(Y−m)(m−EY)]\Var Y=E(Y-m)^2+E(m-EY)^2+2E[(Y-m)(m-EY)].따름정리 1.9

  3. E(Y−m)2=E[E((Y−m)2∣X)]=EVar⁡(Y∣X)E(Y-m)^2=E[E((Y-m)^2\mid X)]=E\Var(Y\mid X).정리 2.5, 정의 2.4

  4. E m(X)=EYE\,m(X)=EY이므로 E(m−EY)2=Var⁡m(X)E(m-EY)^2=\Var m(X).정리 2.5

  5. E[g(X)(Y−m(X))]=E[g(X)Y]−E[g(X)m(X)]=0E[g(X)(Y-m(X))]=E[g(X)Y]-E[g(X)m(X)]=0.정리 2.5의 둘째 식

  6. E∣g(X)Y∣≤12(Eg2+EY2)<∞E|g(X)Y|\le\tfrac12(Eg^2+EY^2)<\infty.[T4], 정리 2.8

B5 합성곱 공식, 단계의 이름만 ★★ ​

2 · 정리 5.5 · 30분

정리 5.5를 연속인 경우와 이산인 경우 모두 증명하라. 단계의 이름만 주어진다.

  1. 보조 변수를 더해 일대일 변환을 만든다

  2. 역변환과 야코비안 행렬식을 구한다

  3. 독립을 써서 새 변수들의 결합밀도를 쓴다

  4. 보조 변수를 적분해 없앤다

  5. 이산인 경우를 사건의 분할로 보인다

힌트

B2를 다시 보지 말고 쓴다. 넷째 단계는 주변 밀도(정리 1.6)이고, 다섯째 단계는 {Z=z}\{Z=z\}를 XX의 값으로 나눈다.

풀이

  1. W=XW=X, Z=X+YZ=X+Y. T(x,y)=(x, x+y)T(x,y)=(x,\,x+y)는 일대일.보조 변수

  2. x=wx=w, y=z−wy=z-w, det⁡(10−11)=1\det\smat{1&0\\-1&1}=1.[T7]

  3. fW,Z(w,z)=fX(w)fY(z−w)f_{W,Z}(w,z)=f_X(w)f_Y(z-w).정리 5.1, 3.2

  4. fZ(z)=∫fX(w)fY(z−w) dwf_Z(z)=\int f_X(w)f_Y(z-w)\,dw.정리 1.6

  5. {Z=z}=⋃x{X=x, Y=z−x}\{Z=z\}=\bigcup_x\{X=x,\allowbreak \,Y=z-x\}는 서로소이므로 pZ(z)=∑xpX(x)pY(z−x)p_Z(z)=\sum_xp_X(x)p_Y(z-x).(P3), 독립

B6 전분산 공식, 전략만 ★★ ​

3 · 정리 2.6 · 30분

정리 2.6을 증명하라.

전략 Y−EYY-EY를 “조건부 평균에서 벗어난 부분”과 “조건부 평균이 전체 평균에서 벗어난 부분”으로 쪼개 제곱하고, 교차항을 반복기댓값으로 없앤다.

힌트

단계는 여섯이다. 다 쓴 뒤, 반복기댓값을 몇 번 썼는지, 각각 첫째 식인지 둘째 식인지 확인한다.

풀이

B4의 풀이와 같다. 반복기댓값은 세 번 쓰인다. 첫 항에서 첫째 식을 (Y−m(X))2(Y-m(X))^2에, 둘째 항에서 첫째 식을 YY에, 교차항에서 둘째 식을 g(X)=m(X)−EYg(X)=m(X)-EY에 쓴다. 교차항이 0이라는 것은 Y−m(X)Y-m(X)가 XX의 모든 함수와 상관이 없다는 것이고, 노트 4.2절의 그림으로는 직교한다는 것이다. 그래서 전분산 공식은 피타고라스 정리다.

B7 Cauchy–Schwarz, 전략만 ★★ ​

3 · 정리 4.4 · 30분

정리 4.4를 등호 조건까지 증명하라.

전략 모든 실수 tt에서 E(Y−tX)2≥0E(Y-tX)^2\ge0이다. 이것을 tt의 이차식으로 보고 판별식을 쓴다.

힌트

EX2=0EX^2=0인 경우를 먼저 따로 처리한다. 등호 조건은 두 방향(필요와 충분)을 모두 보인다.

풀이

B3의 단계와 같다. 덧붙여 충분조건: P(Y=cX)=1P(Y=cX)=1이면 E(XY)=cEX2E(XY)=cEX^2, EY2=c2EX2EY^2=c^2EX^2이므로 (E(XY))2=c2(EX2)2=EX2EY2(E(XY))^2=c^2(EX^2)^2=EX^2EY^2이다. P(X=0)=1P(X=0)=1이면 양변이 0이다. 판별식 대신 t∗=E(XY)/EX2t^*=E(XY)/EX^2를 직접 넣어도 된다. 0≤E(Y−t∗X)2=EY2−(E(XY))2/EX20\le E(Y-t^*X)^2=EY^2-(E(XY))^2/EX^2이 곧 부등식이다.

워크북 PDF풀이판 PDF답 확인