Lecture 15. 부분공간으로의 투영

L6에서 열공간을 정의하면서 이런 상자를 하나 남겨 두었다.

$\vv{b}$ 가 열공간 밖에 있으면 해가 없다. 그런데 해가 없다면, 열공간 안에서 $\vv{b}$ 에 가장 가까운 점을 대신 쓰면 어떨까. 이 질문에 답하려면 아직 준비할 것이 남아 있어 뒤에서 다시 다룬다.

아홉 강의가 지났고 준비가 끝났다. 이번 강의에서 그 질문에 답한다.

그리고 L14의 마지막에 남긴 질문 — 벡터를 두 조각으로 갈라야 하는데 그 조각을 실제로 어떻게 구하는가 — 에도 같은 답이 나온다. 두 질문의 답이 하나인 것이 이번 강의의 골자이다.

답의 조건은 놀랄 만큼 단순하다. 오차가 수직이면 된다.

1. 직선 위로의 투영¶

가장 단순한 경우부터 시작한다. $\vv{a}$ 방향의 직선 위로 $\vv{b}$ 를 떨어뜨리자. 직선 위의 점은 전부 $\vv{a}$ 의 배수이므로, 찾는 점은 어떤 수 $\hat{x}$ 에 대해 $\vv{p} = \hat{x}\vv{a}$ 꼴이다. 그리고 남는 것을 오차라 부른다.

\vv{p} = \hat{x}\,\vv{a}, \qquad \vv{e} = \vv{b} - \vv{p} = \vv{b} - \hat{x}\,\vv{a}

(1)

조건은 하나뿐이다. 오차가 직선과 직교할 것.

\vv{a}^{\mathsf{T}}\vv{e} = 0 \qquad\Longleftrightarrow\qquad \vv{a}^{\mathsf{T}}(\vv{b} - \hat{x}\,\vv{a}) = 0

(2)

$\hat{x}$ 는 수이므로 밖으로 빼낼 수 있다. 풀면 다음을 얻는다.

\vv{a}^{\mathsf{T}}\vv{b} - \hat{x}\,\vv{a}^{\mathsf{T}}\vv{a} = 0 \qquad\Longrightarrow\qquad \hat{x} = \frac{\vv{a}^{\mathsf{T}}\vv{b}}{\vv{a}^{\mathsf{T}}\vv{a}}

(3)

분모 $\vv{a}^{\mathsf{T}}\vv{a}$ 는 수이므로 나눌 수 있다. $\vv{a} \neq \vv{0}$ 이면 0이 아니다 (L14의 (4)). 투영된 점은 다음과 같다.

\vv{p} = \vv{a}\,\frac{\vv{a}^{\mathsf{T}}\vv{b}}{\vv{a}^{\mathsf{T}}\vv{a}}

(4)

\vv{a} = (1,2), \vv{b} = (4,3) 이면 \hat{x} = 10/5 = 2 이고 \vv{p} = (2,4),
\vv{e} = (2,-1) 이다. 오른쪽은 2절의 이야기이다. — Figure 1: $\vv{a} = (1,2)$ , $\vv{b} = (4,3)$ 이면 $\hat{x} = 10/5 = 2$ 이고 $\vv{p} = (2,4)$ , $\vv{e} = (2,-1)$ 이다. 오른쪽은 2절의 이야기이다.

투영행렬이 보인다¶

(4)에서 $\vv{a}^{\mathsf{T}}\vv{b}$ 는 수이므로 $\vv{a}$ 앞으로도 뒤로도 옮길 수 있다. 곱하는 순서를 바꿔 묶어 보자.

\vv{p} = \vv{a}\,(\vv{a}^{\mathsf{T}}\vv{b})\,\frac{1}{\vv{a}^{\mathsf{T}}\vv{a}} = \frac{(\vv{a}\,\vv{a}^{\mathsf{T}})}{\vv{a}^{\mathsf{T}}\vv{a}}\,\vv{b}

(5)

$\vv{b}$ 를 넣으면 투영된 점이 나오는 행렬이 생겼다. 이것을 투영행렬이라 하고 $P$ 로 쓴다.

P = \frac{\vv{a}\,\vv{a}^{\mathsf{T}}}{\vv{a}^{\mathsf{T}}\vv{a}}

(6)

분자는 L3에서 본 바깥곱이고, 바깥곱은 랭크 1이었다((6)). 수로 나누어도 랭크는 그대로이므로 $P$ 는 랭크 1이다. 직선 하나로 떨어뜨리는 행렬이니 당연한 결과이다.

2. 왜 하필 수직인가¶

1절에서 "오차가 수직일 것"을 조건으로 놓았다. 그런데 우리가 원한 것은 가장 가까운 점이었다. 이 둘이 같은 말인지 확인해야 한다.

직선 위의 아무 점 $\vv{q}$ 를 잡자. 거리의 제곱을 두 조각으로 나눠 쓴다.

\|\vv{b} - \vv{q}\|^2 = \|(\vv{b} - \vv{p}) + (\vv{p} - \vv{q})\|^2 = \|\vv{e} + (\vv{p} - \vv{q})\|^2

(7)

여기서 $\vv{e}$ 는 $\vv{a}$ 와 직교하고, $\vv{p}$ 와 $\vv{q}$ 는 둘 다 직선 위의 점이라 $\vv{p} - \vv{q}$ 도 $\vv{a}$ 의 배수이다. 그러므로 두 벡터가 서로 직교하고, L14의 (6)에서 가운데 항이 사라진다.

\|\vv{b} - \vv{q}\|^2 = \|\vv{e}\|^2 + \|\vv{p} - \vv{q}\|^2 \;\ge\; \|\vv{e}\|^2

(8)

오른쪽 항은 제곱이라 0 이상이고, 0이 되는 것은 $\vv{q} = \vv{p}$ 일 때뿐이다.

Figure 1의 오른쪽이 이 계산이다. $\vv{q} = \vv{a}$ 로 잡으면 $\|\vv{b}-\vv{p}\|^2 + \|\vv{p}-\vv{q}\|^2 = 5 + 5 = 10 = \|\vv{b}-\vv{q}\|^2$ 이다.

3. 부분공간으로의 투영 — 정규방정식¶

이제 직선이 아니라 열공간 전체로 떨어뜨린다. $A$ 가 $m \times n$ 이고 $\vv{b} \in \R^m$ 일 때 $C(A)$ 안에서 $\vv{b}$ 에 가장 가까운 점을 찾자.

$C(A)$ 의 점은 전부 $A$ 의 열의 결합이므로 찾는 점은 $\vv{p} = A\hat{\vv{x}}$ 꼴이다. 1절과 달라진 것은 계수가 수 하나에서 벡터 $\hat{\vv{x}} \in \R^n$ 으로 바뀐 것뿐이다.

\vv{p} = A\hat{\vv{x}}, \qquad \vv{e} = \vv{b} - A\hat{\vv{x}}

(9)

조건도 그대로이다. 오차가 열공간 전체와 직교할 것. 그런데 L14에서 열공간과 직교하는 벡터를 전부 모은 것이 좌영공간이라고 했다((14)). 그러므로 조건은

\vv{e} \perp C(A) \qquad\Longleftrightarrow\qquad \vv{e} \in \Nul(A^{\mathsf{T}}) \qquad\Longleftrightarrow\qquad A^{\mathsf{T}}\vv{e} = \vv{0}

(10)

이다. 여기에 (9)의 $\vv{e}$ 를 넣고 전개하면 끝난다.

A^{\mathsf{T}}(\vv{b} - A\hat{\vv{x}}) = \vv{0} \qquad\Longrightarrow\qquad A^{\mathsf{T}}A\,\hat{\vv{x}} = A^{\mathsf{T}}\vv{b}

(11)

이것을 정규방정식(normal equation)이라 한다.

$A$ 의 열이 독립이면 $A^{\mathsf{T}}A$ 가 가역이므로(L14의 Theorem 5) $\hat{\vv{x}}$ 가 하나로 정해진다.

\hat{\vv{x}} = (A^{\mathsf{T}}A)^{-1}A^{\mathsf{T}}\vv{b}

(12)

예로 확인¶

A = \begin{bmatrix} 1 & 0 \\ 0 & 1 \\ 1 & 1 \end{bmatrix}, \qquad \vv{b} = \begin{bmatrix} 3 \\ 2 \\ 2 \end{bmatrix}

(13)

두 열이 독립이므로 정규방정식을 세울 수 있다.

A^{\mathsf{T}}A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}, \qquad A^{\mathsf{T}}\vv{b} = \begin{bmatrix} 5 \\ 4 \end{bmatrix}

(14)

\begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}\hat{\vv{x}} = \begin{bmatrix} 5 \\ 4 \end{bmatrix} \qquad\Longrightarrow\qquad \hat{\vv{x}} = \begin{bmatrix} 2 \\ 1 \end{bmatrix}

(15)

\vv{p} = A\hat{\vv{x}} = \begin{bmatrix} 2 \\ 1 \\ 3 \end{bmatrix}, \qquad \vv{e} = \vv{b} - \vv{p} = \begin{bmatrix} 1 \\ 1 \\ -1 \end{bmatrix}

(16)

정말 수직인지 열마다 확인하면 된다. 1열 $(1,0,1)$ 과의 내적은 $1 + 0 - 1 = 0$ , 2열 $(0,1,1)$ 과의 내적은 $0 + 1 - 1 = 0$ 이다.

\vv{b} 는 평면 밖에 있고 \vv{p} 는 평면 위에 있으며, 오차는 평면에서 곧게 솟아 있다. — Figure 2: $\vv{b}$ 는 평면 밖에 있고 $\vv{p}$ 는 평면 위에 있으며, 오차는 평면에서 곧게 솟아 있다.

이것도 가장 가까운 점인가¶

2절의 논증이 그대로 옮겨 온다. $C(A)$ 안의 아무 점 $A\vv{y}$ 에 대해

\|\vv{b} - A\vv{y}\|^2 = \|\vv{e} + (\vv{p} - A\vv{y})\|^2 = \|\vv{e}\|^2 + \|\vv{p} - A\vv{y}\|^2

(17)

이다. $\vv{p} - A\vv{y}$ 는 열공간 안에 있고 $\vv{e}$ 는 열공간과 직교하므로 가운데 항이 사라지기 때문이다. 따라서 $\vv{p}$ 가 유일한 최소점이다.

4. 투영행렬¶

(12)의 식을 $\vv{p} = A\hat{\vv{x}}$ 에 넣으면 $\vv{b}$ 에서 $\vv{p}$ 로 가는 행렬이 나온다.

\vv{p} = A(A^{\mathsf{T}}A)^{-1}A^{\mathsf{T}}\,\vv{b} \qquad\Longrightarrow\qquad P = A(A^{\mathsf{T}}A)^{-1}A^{\mathsf{T}}

(18)

$n = 1$ 이면 $A$ 가 열 하나짜리 $\vv{a}$ 이고 $A^{\mathsf{T}}A$ 가 수 $\vv{a}^{\mathsf{T}}\vv{a}$ 이므로 (6)의 꼴로 되돌아간다.

성질 1 — 대칭이다¶

P^{\mathsf{T}} = \left(A(A^{\mathsf{T}}A)^{-1}A^{\mathsf{T}}\right)^{\mathsf{T}} = A\left((A^{\mathsf{T}}A)^{-1}\right)^{\mathsf{T}}A^{\mathsf{T}}

(19)

L5의 전치 규칙을 두 번 쓰면 바깥의 $A$ 와 $A^{\mathsf{T}}$ 가 제자리로 돌아온다. 가운데는 L5의 (12)에 의해 전치와 역행렬의 순서를 바꿀 수 있다.

\left((A^{\mathsf{T}}A)^{-1}\right)^{\mathsf{T}} = \left((A^{\mathsf{T}}A)^{\mathsf{T}}\right)^{-1} = (A^{\mathsf{T}}A)^{-1}

(20)

마지막 등호는 $A^{\mathsf{T}}A$ 가 대칭이라 전치해도 그대로이기 때문이다. 따라서

P^{\mathsf{T}} = P

(21)

이다. L5에서 $R^{\mathsf{T}}R$ 이 언제나 대칭이라고 해 둔 것이 여기서 다시 쓰였다.

성질 2 — 두 번 해도 그대로이다¶

P^2 = A(A^{\mathsf{T}}A)^{-1} \underbrace{A^{\mathsf{T}}A(A^{\mathsf{T}}A)^{-1}}_{=\;I} A^{\mathsf{T}} = A(A^{\mathsf{T}}A)^{-1}A^{\mathsf{T}} = P

(22)

가운데가 통째로 $I$ 가 되어 사라진다.

성질 3 — 가역이 아니다¶

$P$ 는 정보를 버리는 행렬이다. $\vv{b}$ 의 열공간 성분만 남기고 나머지를 지우므로, 서로 다른 $\vv{b}$ 두 개가 같은 $\vv{p}$ 로 갈 수 있다. 실제로 $C(P) = C(A)$ 이므로 $\rank P = r$ 이고, $r < m$ 이면 특이하다.

5. 두 극단, 그리고 $I - P$ ¶

$P$ 를 이해하는 가장 빠른 길은 양쪽 끝을 확인하는 것이다.

$\vv{b}$ 가 이미 열공간 안에 있으면 $\vv{b} = A\vv{y}$ 인 $\vv{y}$ 가 있으므로

P\vv{b} = A(A^{\mathsf{T}}A)^{-1}\underbrace{A^{\mathsf{T}}A}_{}\vv{y} = A\vv{y} = \vv{b}

(23)

이고 $\vv{e} = \vv{0}$ 이다. 이때 $A\vv{x} = \vv{b}$ 에 진짜 해가 있고, $\hat{\vv{x}}$ 가 바로 그 해이다.

$\vv{b}$ 가 좌영공간에 있으면 $A^{\mathsf{T}}\vv{b} = \vv{0}$ 이므로

P\vv{b} = A(A^{\mathsf{T}}A)^{-1}A^{\mathsf{T}}\vv{b} = \vv{0}

(24)

이고 $\vv{e} = \vv{b}$ 이다. 열공간과 완전히 수직이라 그림자가 아예 지지 않는다.

$I - P$ 도 투영행렬이다¶

$\vv{e} = \vv{b} - \vv{p} = (I - P)\vv{b}$ 이다. 이 행렬도 대칭이고 멱등이다.

(I - P)^{\mathsf{T}} = I - P^{\mathsf{T}} = I - P

(25)

(I - P)^2 = I - 2P + P^2 = I - 2P + P = I - P

(26)

$P$ 가 $C(A)$ 로 투영하듯 $I - P$ 는 $\Nul(A^{\mathsf{T}})$ 로 투영한다. $A^{\mathsf{T}}(I-P)\vv{b} = A^{\mathsf{T}}\vv{e} = \vv{0}$ 이므로 결과가 언제나 좌영공간에 들어가기 때문이다.

L14의 숙제를 여기서 끝낸다¶

정리하면 아무 $\vv{b} \in \R^m$ 이나 다음과 같이 갈린다.

\vv{b} = \underbrace{P\vv{b}}_{\in\, \Col(A)} + \underbrace{(I-P)\vv{b}}_{\in\, \Nul(A^{\mathsf{T}})}

(27)

L14의 Theorem 3에서 이런 분해가 존재하고 유일하다는 것은 이미 증명했다. 그때 남긴 물음이 "그러면 그 조각을 어떻게 구하는가"였고, 답이 $P$ 이다. 존재를 증명하는 일과 구하는 방법을 아는 일은 다르고, 이제 둘 다 갖췄다.

마치며...¶

이번 강의에서 다룬 것을 정리하면 다음과 같다.

대상	내용
투영의 조건	오차가 수직일 것. 그것이 곧 가장 가깝다는 뜻이다
직선 위로	$\hat{x} = \dfrac{\vv{a}^{\mathsf{T}}\vv{b}}{\vv{a}^{\mathsf{T}}\vv{a}}$ , $P = \dfrac{\vv{a}\vv{a}^{\mathsf{T}}}{\vv{a}^{\mathsf{T}}\vv{a}}$ (랭크 1)
정규방정식	$A^{\mathsf{T}}A\hat{\vv{x}} = A^{\mathsf{T}}\vv{b}$ — "수직이다"를 번역한 것
투영행렬	$P = A(A^{\mathsf{T}}A)^{-1}A^{\mathsf{T}}$ . 약분하면 안 된다
$P$ 의 성질	$P^{\mathsf{T}} = P$ , $P^2 = P$ , $\rank P = r$
두 극단	열공간 안이면 $\vv{p} = \vv{b}$ , 좌영공간이면 $\vv{p} = \vv{0}$
$I - P$	좌영공간으로의 투영. $\vv{b} = P\vv{b} + (I-P)\vv{b}$

아홉 강의 전에 던져 둔 질문에 답했다. $\vv{b}$ 가 열공간 밖에 있으면 열공간 위에서 가장 가까운 점을 대신 쓰고, 그 점을 찾는 조건은 오차가 수직일 것 하나뿐이었다.

그런데 아직 부족한 것이 있다. 우리는 "가장 가까운 점"을 구하는 방법을 얻었지만 그것이 무슨 쓸모가 있는지는 아직 보지 못했다. 벡터 하나를 평면에 떨어뜨린 것이 전부였다.

다음 강의에서 이 도구가 통계학 전체를 떠받치고 있다는 것을 보게 된다. 표에 찍힌 점들에 직선을 맞출 때마다, 사실은 방금 배운 투영을 하고 있었던 것이다.

이번 강의의 내용을 파이썬으로 확인해 보려면 L15 실습 노트북으로 넘어가면 된다. $P$ 를 직접 만들어 $P^2 = P$ 와 $P^{\mathsf{T}} = P$ 를 확인하고, $\vv{b}$ 를 여러 개 넣어 오차가 언제나 수직인지 보며, 회전시킬 수 있는 3차원 그림으로 직각을 여러 각도에서 볼 수 있다.