Lecture 14. 직교 벡터와 직교 부분공간 Orthogonal Vectors and Subspaces — 서술
지금까지 열세 편을 오면서 우리는 길이도 각도도 한 번도 쓰지 않았다. 오직 덧셈과 스칼라배,
그리고 거기서 나온 개념들만으로 부분공간을 정의했고, 차원을 셌고, 네 부분공간의 지도를 그렸다.
이제 하나를 더한다. 내적 이다. 그리고 이 하나를 더하는 순간 지금까지 그린 모든 그림에
직각이 나타난다.
L10에서 네 부분공간의 지도를 그리면서 행공간과 영공간을, 열공간과 좌영공간을 직각으로
놓아 두고는 왜 직각인지 설명하지 않았다. 그때는 직각이라는 말 자체를 쓸 수단이 없었기
때문이다. 이번 강의에서 그 빚을 갚는다. 그리고 증명은 한 줄이다.
1. 내적과 직교 ¶ 두 벡터 x , y ∈ R n \vv{x}, \vv{y} \in \R^n x , y ∈ R n 내적 은 성분끼리 곱해 더한 것이다. 행렬 곱으로 쓰면
1 × n 1 \times n 1 × n n × 1 n \times 1 n × 1 1 × 1 1 \times 1 1 × 1
x T y = x 1 y 1 + x 2 y 2 + ⋯ + x n y n \vv{x}^{\mathsf{T}}\vv{y} = x_1 y_1 + x_2 y_2 + \cdots + x_n y_n x T y = x 1 y 1 + x 2 y 2 + ⋯ + x n y n 순서를 바꿔도 같다. L5의 전치 규칙((8)
( x T y ) T = y T x (\vv{x}^{\mathsf{T}}\vv{y})^{\mathsf{T}} = \vv{y}^{\mathsf{T}}\vv{x} ( x T y ) T = y T x 인데, 1 × 1 1 \times 1 1 × 1 x T y = y T x \vv{x}^{\mathsf{T}}\vv{y} = \vv{y}^{\mathsf{T}}\vv{x} x T y = y T x
자기 자신과의 내적은 성분의 제곱합이다. 이것으로 길이 를 정의한다.
x T x = x 1 2 + ⋯ + x n 2 = ∥ x ∥ 2 \vv{x}^{\mathsf{T}}\vv{x} = x_1^2 + \cdots + x_n^2 = \|\vv{x}\|^2 x T x = x 1 2 + ⋯ + x n 2 = ∥ x ∥ 2 제곱합이므로 x T x ≥ 0 \vv{x}^{\mathsf{T}}\vv{x} \ge 0 x T x ≥ 0
x T x = 0 ⟺ x = 0 \vv{x}^{\mathsf{T}}\vv{x} = 0 \;\Longleftrightarrow\; \vv{x} = \vv{0} x T x = 0 ⟺ x = 0 왜 내적이 0인 것이 직각인가 ¶ 직각의 원래 뜻은 피타고라스이다. 두 변이 x \vv{x} x y \vv{y} y x + y \vv{x} + \vv{y} x + y ∥ x ∥ 2 + ∥ y ∥ 2 = ∥ x + y ∥ 2 \|\vv{x}\|^2 + \|\vv{y}\|^2 = \|\vv{x} + \vv{y}\|^2 ∥ x ∥ 2 + ∥ y ∥ 2 = ∥ x + y ∥ 2
∥ x + y ∥ 2 = ( x + y ) T ( x + y ) = x T x + x T y + y T x + y T y \|\vv{x} + \vv{y}\|^2
= (\vv{x} + \vv{y})^{\mathsf{T}}(\vv{x} + \vv{y})
= \vv{x}^{\mathsf{T}}\vv{x} + \vv{x}^{\mathsf{T}}\vv{y} + \vv{y}^{\mathsf{T}}\vv{x}
+ \vv{y}^{\mathsf{T}}\vv{y} ∥ x + y ∥ 2 = ( x + y ) T ( x + y ) = x T x + x T y + y T x + y T y (2)
∥ x + y ∥ 2 = ∥ x ∥ 2 + ∥ y ∥ 2 + 2 x T y \|\vv{x} + \vv{y}\|^2 = \|\vv{x}\|^2 + \|\vv{y}\|^2 + 2\,\vv{x}^{\mathsf{T}}\vv{y} ∥ x + y ∥ 2 = ∥ x ∥ 2 + ∥ y ∥ 2 + 2 x T y 이다. 그러므로 피타고라스가 성립하는 것과 x T y = 0 \vv{x}^{\mathsf{T}}\vv{y} = 0 x T y = 0
Figure 1: 왼쪽은 내적이 0이라 두 값이 같고, 오른쪽은 내적이 6이라 그만큼 어긋난다.
어긋나는 양이 정확히 2 x T y 2\,\vv{x}^{\mathsf{T}}\vv{y} 2 x T y
이 정의에서 눈여겨볼 것이 있다. 직교는 기하학적으로 보이지만 실제로는 대수적인 등식이다.
각도를 재는 도구가 없어도, 그림을 그릴 수 없는 100차원에서도 (1)
2. 직교 부분공간 ¶ 벡터 하나씩이 아니라 부분공간 전체를 놓고 같은 말을 할 수 있다.
"모든"이 두 번 들어간다는 점이 중요하다. 벡터 몇 쌍이 직교하는 것으로는 부족하다.
바닥과 벽은 직교 부분공간이 아니다 ¶ 방 안에서 바닥과 벽은 눈으로 보기에 직각으로 만난다. 그런데 두 평면을 R 3 \R^3 R 3
바닥을 z = 0 z = 0 z = 0 y = 0 y = 0 y = 0 x x x v = ( 1 , 0 , 0 ) \vv{v} = (1, 0, 0) v = ( 1 , 0 , 0 ) v \vv{v} v
v T v = ∥ v ∥ 2 = 1 ≠ 0 \vv{v}^{\mathsf{T}}\vv{v} = \|\vv{v}\|^2 = 1 \neq 0 v T v = ∥ v ∥ 2 = 1 = 0 이므로 그럴 수 없다.
Figure 2: 평면 두 장이 직각으로 만나는 것과 부분공간 두 개가 직교하는 것은 다른 이야기이다.
이 예에서 일반적인 사실 하나가 나온다.
증명. v \vv{v} v V ⊥ W V \perp W V ⊥ W V V V v \vv{v} v W W W v \vv{v} v v T v = 0 \vv{v}^{\mathsf{T}}\vv{v} = 0 v T v = 0 (4) v = 0 \vv{v} = \vv{0} v = 0 □ \square □
직교하면 독립이다 ¶ L9에서 독립을 정의할 때 직교와 헷갈리기 쉽다고 했다. 둘의 관계를 여기서 정리하자.
0 \vv{0} 0 q 1 , … , q k \vv{q}_1, \dots, \vv{q}_k q 1 , … , q k
c 1 q 1 + c 2 q 2 + ⋯ + c k q k = 0 c_1\vv{q}_1 + c_2\vv{q}_2 + \cdots + c_k\vv{q}_k = \vv{0} c 1 q 1 + c 2 q 2 + ⋯ + c k q k = 0 양변에 q j T \vv{q}_j^{\mathsf{T}} q j T i ≠ j i \neq j i = j q j T q i = 0 \vv{q}_j^{\mathsf{T}}\vv{q}_i = 0 q j T q i = 0
c j q j T q j = c j ∥ q j ∥ 2 = 0 c_j\, \vv{q}_j^{\mathsf{T}}\vv{q}_j = c_j \|\vv{q}_j\|^2 = 0 c j q j T q j = c j ∥ q j ∥ 2 = 0 q j ≠ 0 \vv{q}_j \neq \vv{0} q j = 0 ∥ q j ∥ 2 > 0 \|\vv{q}_j\|^2 > 0 ∥ q j ∥ 2 > 0 c j = 0 c_j = 0 c j = 0 j j j
거꾸로는 성립하지 않는다. R 2 \R^2 R 2 ( 1 , 0 ) (1, 0) ( 1 , 0 ) ( 1 , 1 ) (1, 1) ( 1 , 1 ) 직교는 독립보다 강한 조건이다.
3. 행공간과 영공간은 직교한다 ¶ 이제 이번 강의의 목표로 간다. A A A m × n m \times n m × n N ( A ) \Nul(A) N ( A ) A x = 0 A\vv{x} = \vv{0} A x = 0 C ( A T ) \Col(A^{\mathsf{T}}) C ( A T ) A A A R n \R^n R n
A x = 0 A\vv{x} = \vv{0} A x = 0 A A A i i i a i T \vv{a}_i^{\mathsf{T}} a i T
A x = [ — a 1 T — — a 2 T — ⋮ — a m T — ] x = [ a 1 T x a 2 T x ⋮ a m T x ] = [ 0 0 ⋮ 0 ] A\vv{x} =
\begin{bmatrix}
\text{---}\ \vv{a}_1^{\mathsf{T}}\ \text{---} \\
\text{---}\ \vv{a}_2^{\mathsf{T}}\ \text{---} \\
\vdots \\
\text{---}\ \vv{a}_m^{\mathsf{T}}\ \text{---}
\end{bmatrix}
\vv{x}
=
\begin{bmatrix}
\vv{a}_1^{\mathsf{T}}\vv{x} \\
\vv{a}_2^{\mathsf{T}}\vv{x} \\
\vdots \\
\vv{a}_m^{\mathsf{T}}\vv{x}
\end{bmatrix}
=
\begin{bmatrix} 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix} A x = ⎣ ⎡ — a 1 T — — a 2 T — ⋮ — a m T — ⎦ ⎤ x = ⎣ ⎡ a 1 T x a 2 T x ⋮ a m T x ⎦ ⎤ = ⎣ ⎡ 0 0 ⋮ 0 ⎦ ⎤ 성분을 하나씩 읽으면 a i T x = 0 \vv{a}_i^{\mathsf{T}}\vv{x} = 0 a i T x = 0 A A A x \vv{x} x
행 하나하나와 직교하면 행들의 결합 전부와도 직교한다. 행공간의 아무 원소나
v = c 1 a 1 + ⋯ + c m a m \vv{v} = c_1\vv{a}_1 + \cdots + c_m\vv{a}_m v = c 1 a 1 + ⋯ + c m a m
v T x = c 1 a 1 T x + ⋯ + c m a m T x = c 1 ⋅ 0 + ⋯ + c m ⋅ 0 = 0 \vv{v}^{\mathsf{T}}\vv{x}
= c_1 \vv{a}_1^{\mathsf{T}}\vv{x} + \cdots + c_m \vv{a}_m^{\mathsf{T}}\vv{x}
= c_1 \cdot 0 + \cdots + c_m \cdot 0 = 0 v T x = c 1 a 1 T x + ⋯ + c m a m T x = c 1 ⋅ 0 + ⋯ + c m ⋅ 0 = 0 이기 때문이다. 정리하면 다음과 같다.
Figure 3: A = [ 1 1 1 1 2 3 ] A = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3\end{bmatrix} A = [ 1 1 1 2 1 3 ]
4. 열공간과 좌영공간도 직교한다 ¶ 두 번째 쌍은 따로 증명할 것이 없다. Theorem 2 A A A A T A^{\mathsf{T}} A T
C ( ( A T ) T ) ⊥ N ( A T ) 곧 C ( A ) ⊥ N ( A T ) \Col\!\left((A^{\mathsf{T}})^{\mathsf{T}}\right) \perp \Nul(A^{\mathsf{T}})
\qquad\text{곧}\qquad
\Col(A) \perp \Nul(A^{\mathsf{T}}) C ( ( A T ) T ) ⊥ N ( A T ) 곧 C ( A ) ⊥ N ( A T ) ( A T ) T = A (A^{\mathsf{T}})^{\mathsf{T}} = A ( A T ) T = A R m \R^m R m
L10의 지도에 이제 근거가 생겼다.
Figure 4: L10에서 직각으로 그려 놓기만 했던 두 쌍에 이제 증명이 붙었다.
5. 직교여공간 ¶ 두 부분공간은 단지 직교하기만 하는 것이 아니다. 차원까지 꽉 채운다.
V ⊥ V^\perp V ⊥ z 1 , z 2 ∈ V ⊥ \vv{z}_1, \vv{z}_2 \in V^\perp z 1 , z 2 ∈ V ⊥ v ∈ V \vv{v} \in V v ∈ V ( z 1 + z 2 ) T v = z 1 T v + z 2 T v = 0 (\vv{z}_1 + \vv{z}_2)^{\mathsf{T}}\vv{v} = \vv{z}_1^{\mathsf{T}}\vv{v} + \vv{z}_2^{\mathsf{T}}\vv{v} = 0 ( z 1 + z 2 ) T v = z 1 T v + z 2 T v = 0 Definition 4
영공간은 행공간의 직교여공간이다 ¶ 3절에서 N ( A ) ⊆ C ( A T ) ⊥ \Nul(A) \subseteq \Col(A^{\mathsf{T}})^{\perp} N ( A ) ⊆ C ( A T ) ⊥ z \vv{z} z a i T z = 0 \vv{a}_i^{\mathsf{T}}\vv{z} = 0 a i T z = 0 (10) A z = 0 A\vv{z} = \vv{0} A z = 0
N ( A ) = C ( A T ) ⊥ 그리고 N ( A T ) = C ( A ) ⊥ \Nul(A) = \Col(A^{\mathsf{T}})^{\perp}
\qquad\text{그리고}\qquad
\Nul(A^{\mathsf{T}}) = \Col(A)^{\perp} N ( A ) = C ( A T ) ⊥ 그리고 N ( A T ) = C ( A ) ⊥ "직교한다"보다 강한 말이다. 행공간과 직교하는 벡터는 하나도 빠짐없이 영공간에 있다.
차원을 세어 보면 L10의 (17)
dim C ( A T ) + dim N ( A ) = r + ( n − r ) = n \dim \Col(A^{\mathsf{T}}) + \dim \Nul(A) = r + (n - r) = n dim C ( A T ) + dim N ( A ) = r + ( n − r ) = n 이므로 남는 방향이 없다.
모든 벡터가 두 조각으로 유일하게 갈린다 ¶ 존재. 행공간의 기저 r r r n − r n - r n − r n n n u \vv{u} u w \vv{w} w u + w = 0 \vv{u} + \vv{w} = \vv{0} u + w = 0 u = − w \vv{u} = -\vv{w} u = − w Theorem 1
독립인 벡터 n n n R n \R^n R n Theorem 1 x \vv{x} x n n n x r \vv{x}_r x r x n \vv{x}_n x n
유일성. x = x r + x n = x r ′ + x n ′ \vv{x} = \vv{x}_r + \vv{x}_n = \vv{x}_r' + \vv{x}_n' x = x r + x n = x r ′ + x n ′
x r − x r ′ = x n ′ − x n \vv{x}_r - \vv{x}_r' = \vv{x}_n' - \vv{x}_n x r − x r ′ = x n ′ − x n 인데 왼쪽은 행공간에, 오른쪽은 영공간에 있다. 같은 벡터이므로 두 공간에 모두 있고,
Theorem 1 x r = x r ′ \vv{x}_r = \vv{x}_r' x r = x r ′ x n = x n ′ \vv{x}_n = \vv{x}_n' x n = x n ′ □ \square □
Figure 3 x = ( 0 , − 2 , 2 ) \vv{x} = (0, -2, 2) x = ( 0 , − 2 , 2 ) x r = ( − 1 , 0 , 1 ) \vv{x}_r = (-1, 0, 1) x r = ( − 1 , 0 , 1 ) x n = ( 1 , − 2 , 1 ) \vv{x}_n = (1, -2, 1) x n = ( 1 , − 2 , 1 )
왜 행공간에서 열공간으로 일대일인가 ¶ L10에서 A A A Theorem 3 x \vv{x} x
A x = A x r + A x n = A x r A\vv{x} = A\vv{x}_r + A\vv{x}_n = A\vv{x}_r A x = A x r + A x n = A x r 이다. A A A x r \vv{x}_r x r x r ′ \vv{x}_r' x r ′ A ( x r − x r ′ ) = 0 A(\vv{x}_r - \vv{x}_r') = \vv{0} A ( x r − x r ′ ) = 0 Theorem 1
6. A T A A^{\mathsf{T}}A A T A ¶ 마지막으로 앞으로 계속 쓰게 될 행렬 하나를 살펴본다. A A A m × n m \times n m × n A T A A^{\mathsf{T}}A A T A n × n n \times n n × n
이 행렬의 영공간이 A A A
증명. A x = 0 A\vv{x} = \vv{0} A x = 0 A T A^{\mathsf{T}} A T A T A x = 0 A^{\mathsf{T}}A\vv{x} = \vv{0} A T A x = 0 N ( A ) ⊆ N ( A T A ) \Nul(A) \subseteq \Nul(A^{\mathsf{T}}A) N ( A ) ⊆ N ( A T A )
반대 방향이 핵심이다. A T A x = 0 A^{\mathsf{T}}A\vv{x} = \vv{0} A T A x = 0 x T \vv{x}^{\mathsf{T}} x T
x T A T A x = 0 \vv{x}^{\mathsf{T}}A^{\mathsf{T}}A\vv{x} = 0 x T A T A x = 0 인데, 왼쪽은 L5의 전치 규칙으로 ( A x ) T ( A x ) (A\vv{x})^{\mathsf{T}}(A\vv{x}) ( A x ) T ( A x ) ∥ A x ∥ 2 = 0 \|A\vv{x}\|^2 = 0 ∥ A x ∥ 2 = 0 (4) A x = 0 A\vv{x} = \vv{0} A x = 0
A T A x = 0 ⟹ ∥ A x ∥ 2 = 0 ⟹ A x = 0 A^{\mathsf{T}}A\vv{x} = \vv{0}
\;\Longrightarrow\;
\|A\vv{x}\|^2 = 0
\;\Longrightarrow\;
A\vv{x} = \vv{0} A T A x = 0 ⟹ ∥ A x ∥ 2 = 0 ⟹ A x = 0 두 영공간이 같으므로 차원도 같고, A A A A T A A^{\mathsf{T}}A A T A n n n rank = n − dim N \rank = n - \dim\Nul rank = n − dim N □ \square □
여기서 이번 강의의 실용적인 결론이 나온다.
증명. A T A A^{\mathsf{T}}A A T A n × n n \times n n × n N ( A T A ) = { 0 } \Nul(A^{\mathsf{T}}A) = \{\vv{0}\} N ( A T A ) = { 0 } (13) Theorem 4 N ( A ) = { 0 } \Nul(A) = \{\vv{0}\} N ( A ) = { 0 } A A A □ \square □
이 조건이 앞으로 계속 문제가 된다. 다음다음 강의에서 최소제곱의 해가 유일한 이유가
바로 Theorem 5
마치며... ¶ 이번 강의에서 다룬 것을 정리하면 다음과 같다.
대상 내용 직교 x T y = 0 \vv{x}^{\mathsf{T}}\vv{y} = 0 x T y = 0 직교 부분공간 양쪽의 모든 쌍이 직교. 바닥과 벽은 해당하지 않는다 공유하는 것 영벡터뿐이다 행공간 ⊥ \perp ⊥ A x = 0 A\vv{x} = \vv{0} A x = 0 열공간 ⊥ \perp ⊥ 위 결과를 A T A^{\mathsf{T}} A T 직교여공간 직교할 뿐 아니라 차원까지 채운다. r + ( n − r ) = n r + (n-r) = n r + ( n − r ) = n 유일한 분해 x = x r + x n \vv{x} = \vv{x}_r + \vv{x}_n x = x r + x n A T A A^{\mathsf{T}}A A T A 영공간과 랭크가 A A A
내적을 도입하자 L10의 지도에 직각이 나타났다. 증명은 놀랍도록 짧았는데,
A x = 0 A\vv{x} = \vv{0} A x = 0
그리고 더 강한 것도 얻었다. 두 부분공간은 단지 직교하는 것이 아니라 차원까지 채우고,
그래서 R n \R^n R n
여기서 실용적인 물음이 하나 생긴다. 유일하게 존재한다는 것은 알았는데, 그 조각을
실제로 어떻게 구하는가. 다음 강의에서 그 방법을 배운다. 그리고 그 방법은 뜻밖에도
L6에서 미뤄 두었던 다른 물음에도 답한다. b \vv{b} b
이번 강의의 내용을 파이썬으로 확인해 보려면 L14 실습 노트북 으로 넘어가면 된다.
네 부분공간의 기저를 뽑아 내적표를 만들어 전부 0인지 보고, 무작위 행렬로
N ( A T A ) = N ( A ) \Nul(A^{\mathsf{T}}A) = \Nul(A) N ( A T A ) = N ( A )
