Lecture 5. 전치, 순열, 벡터공간 Transposes, Permutations, Vector Spaces — 서술
지난 강의까지 우리는 연립방정식을 푸는 방법을 다루었다. L2에서 소거, L3에서 곱셈과 역행렬,
L4에서 A = L U A = LU A = LU
이번 강의에서는 처음으로 집합 을 다룬다. 벡터 하나가 아니라 벡터들의 모임 전체를 하나의
대상으로 보기 시작한다.
왜 이런 전환이 필요한지는 이미 한 번 마주쳤다. L1에서 특이행렬을 다룰 때 해가 하나로 정해지지
않고 무수히 많았다. 그때 우리는 해를 하나 찾은 뒤 "( 1 , 1 , − 1 ) (1, 1, -1) ( 1 , 1 , − 1 ) 해들이 이루는 집합의 모양 을 말한
것이다. 이런 것을 제대로 다루려면 집합을 다룰 언어가 필요하다.
이번 강의에서는 먼저 미뤄 두었던 순열행렬과 전치를 정리하고, 그다음 벡터공간과 부분공간을 다룬다.
1. 순열행렬 (Permutation matrix) ¶ L2에서 행 교환을 행렬로 쓸 수 있다고 하였고, L4에서 P A = L U PA = LU P A = LU
예를 들어 다음 행렬은 I I I 2 , 3 , 1 2, 3, 1 2 , 3 , 1
P = [ 0 1 0 0 0 1 1 0 0 ] = [ e 2 T e 3 T e 1 T ] P = \begin{bmatrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \end{bmatrix}
= \begin{bmatrix} \vv{e}_2^{\mathsf{T}} \\ \vv{e}_3^{\mathsf{T}} \\ \vv{e}_1^{\mathsf{T}} \end{bmatrix} P = ⎣ ⎡ 0 0 1 1 0 0 0 1 0 ⎦ ⎤ = ⎣ ⎡ e 2 T e 3 T e 1 T ⎦ ⎤ L3의 행 관점으로 보면 P A PA P A P A PA P A i i i A A A P P P i i i A A A
P A = [ A 의 2행 A 의 3행 A 의 1행 ] PA = \begin{bmatrix} A\text{의 2행} \\ A\text{의 3행} \\ A\text{의 1행} \end{bmatrix} P A = ⎣ ⎡ A 의 2 행 A 의 3 행 A 의 1 행 ⎦ ⎤ 순열행렬은 몇 개나 있는가. n n n n ! n! n ! 3 × 3 3 \times 3 3 × 3 4 × 4 4 \times 4 4 × 4
P − 1 = P T P^{-1} = P^{\mathsf{T}} P − 1 = P T ¶ 순열행렬에는 눈여겨볼 성질이 하나 있다. 역행렬이 전치와 같다.
P P P P P T PP^{\mathsf{T}} P P T
( P P T ) i j = ∑ k p i k ( P T ) k j = ∑ k p i k p j k = ( P 의 i 행 ) ⋅ ( P 의 j 행 ) (PP^{\mathsf{T}})_{ij}
= \sum_{k} p_{ik}\,(P^{\mathsf{T}})_{kj}
= \sum_{k} p_{ik}\,p_{jk}
= (P\text{의 } i \text{행}) \cdot (P\text{의 } j \text{행}) ( P P T ) ij = k ∑ p ik ( P T ) kj = k ∑ p ik p jk = ( P 의 i 행 ) ⋅ ( P 의 j 행 ) 이다. 즉 P P T PP^{\mathsf{T}} P P T ( i , j ) (i,j) ( i , j ) P P P
( P 의 i 행 ) ⋅ ( P 의 j 행 ) = { 1 ( i = j ) 0 ( i ≠ j ) (P\text{의 } i \text{행}) \cdot (P\text{의 } j \text{행})
= \begin{cases} 1 & (i = j) \\ 0 & (i \neq j) \end{cases} ( P 의 i 행 ) ⋅ ( P 의 j 행 ) = { 1 0 ( i = j ) ( i = j ) 가 되어 결과는 단위행렬이다.
P P T = I 즉 P − 1 = P T PP^{\mathsf{T}} = I
\qquad\text{즉}\qquad
P^{-1} = P^{\mathsf{T}} P P T = I 즉 P − 1 = P T Figure 1: 순열행렬과 그 전치를 곱하면 단위행렬이 된다. 전치가 곧 역행렬이다.
되돌리는 관점에서 봐도 자연스럽다. P P P 2 , 3 , 1 2, 3, 1 2 , 3 , 1
전치가 역행렬이 되는 행렬은 순열행렬 말고도 있다. 뒤에서 직교행렬을 다룰 때 다시 만난다.
2. 전치 (Transpose) ¶ 전치는 행과 열을 맞바꾸는 것이다.
( A T ) i j = a j i (A^{\mathsf{T}})_{ij} = a_{ji} ( A T ) ij = a ji A = [ 1 2 3 4 5 6 ] ⟹ A T = [ 1 3 5 2 4 6 ] A = \begin{bmatrix} 1 & 2 \\ 3 & 4 \\ 5 & 6 \end{bmatrix}
\;\Longrightarrow\;
A^{\mathsf{T}} = \begin{bmatrix} 1 & 3 & 5 \\ 2 & 4 & 6 \end{bmatrix} A = ⎣ ⎡ 1 3 5 2 4 6 ⎦ ⎤ ⟹ A T = [ 1 2 3 4 5 6 ] m × n m \times n m × n n × m n \times m n × m A A A A T A^{\mathsf{T}} A T
곱의 전치 ¶ 전치에서 가장 자주 쓰는 성질이다.
( A B ) T = B T A T (AB)^{\mathsf{T}} = B^{\mathsf{T}}A^{\mathsf{T}} ( A B ) T = B T A T 성분으로 확인해 보자. 왼쪽부터 계산하면 정의에 따라 아래첨자가 뒤집히고, 그다음 L3의 성분 공식을 쓴다.
( ( A B ) T ) i j = ( A B ) j i = ∑ k a j k b k i \big((AB)^{\mathsf{T}}\big)_{ij}
= (AB)_{ji}
= \sum_{k} a_{jk}\,b_{ki} ( ( A B ) T ) ij = ( A B ) ji = k ∑ a jk b ki 오른쪽도 같은 방식으로 계산한다.
( B T A T ) i j = ∑ k ( B T ) i k ( A T ) k j = ∑ k b k i a j k (B^{\mathsf{T}}A^{\mathsf{T}})_{ij}
= \sum_{k} (B^{\mathsf{T}})_{ik}\,(A^{\mathsf{T}})_{kj}
= \sum_{k} b_{ki}\,a_{jk} ( B T A T ) ij = k ∑ ( B T ) ik ( A T ) kj = k ∑ b ki a jk 두 식의 합이 같으므로 모든 ( i , j ) (i,j) ( i , j )
순서가 뒤집히는 것은 L3의 ( A B ) − 1 = B − 1 A − 1 (AB)^{-1} = B^{-1}A^{-1} ( A B ) − 1 = B − 1 A − 1 A A A m × n m \times n m × n B B B n × p n \times p n × p A B AB A B m × p m \times p m × p ( A B ) T (AB)^{\mathsf{T}} ( A B ) T p × m p \times m p × m
B T ⏟ p × n A T ⏟ n × m = p × m (맞다) , A T ⏟ n × m B T ⏟ p × n = ? \underbrace{B^{\mathsf{T}}}_{p \times n}\;\underbrace{A^{\mathsf{T}}}_{n \times m}
\;=\; p \times m \;\; \text{(맞다)},
\qquad
\underbrace{A^{\mathsf{T}}}_{n \times m}\;\underbrace{B^{\mathsf{T}}}_{p \times n}
\;=\; ? p × n B T n × m A T = p × m ( 맞다 ) , n × m A T p × n B T = ? A T B T A^{\mathsf{T}}B^{\mathsf{T}} A T B T m m m p p p m ≠ p m \neq p m = p m = p m = p m = p n × n n \times n n × n ( A B ) T (AB)^{\mathsf{T}} ( A B ) T
역행렬의 전치 ¶ A A A
( A − 1 ) T = ( A T ) − 1 (A^{-1})^{\mathsf{T}} = (A^{\mathsf{T}})^{-1} ( A − 1 ) T = ( A T ) − 1 A A − 1 = I AA^{-1} = I A A − 1 = I (8)
( A A − 1 ) T = I T ⟹ ( A − 1 ) T A T = I (AA^{-1})^{\mathsf{T}} = I^{\mathsf{T}}
\;\Longrightarrow\;
(A^{-1})^{\mathsf{T}} A^{\mathsf{T}} = I ( A A − 1 ) T = I T ⟹ ( A − 1 ) T A T = I 이 식은 ( A − 1 ) T (A^{-1})^{\mathsf{T}} ( A − 1 ) T A T A^{\mathsf{T}} A T
3. 대칭행렬과 R T R R^{\mathsf{T}}R R T R ¶ S T = S S^{\mathsf{T}} = S S T = S 대칭행렬 (symmetric matrix)이라 한다.
성분으로 쓰면 모든 i , j i, j i , j s i j = s j i s_{ij} = s_{ji} s ij = s ji
대칭행렬은 반드시 정방행렬이다. S T S^{\mathsf{T}} S T S S S
여기서 뒤에 여러 번 쓰게 될 사실을 하나 확인해 둔다.
증명은 두 줄이다. (8)
( R T R ) T = R T ( R T ) T = R T R (R^{\mathsf{T}}R)^{\mathsf{T}}
= R^{\mathsf{T}} (R^{\mathsf{T}})^{\mathsf{T}}
= R^{\mathsf{T}} R ( R T R ) T = R T ( R T ) T = R T R 성분으로 보면 왜 그런지가 더 분명하다. ( R T R ) i j (R^{\mathsf{T}}R)_{ij} ( R T R ) ij
( R T R ) i j = ∑ k ( R T ) i k r k j = ∑ k r k i r k j = ( R 의 i 열 ) ⋅ ( R 의 j 열 ) (R^{\mathsf{T}}R)_{ij}
= \sum_{k} (R^{\mathsf{T}})_{ik}\,r_{kj}
= \sum_{k} r_{ki}\,r_{kj}
= (R\text{의 } i \text{열}) \cdot (R\text{의 } j \text{열}) ( R T R ) ij = k ∑ ( R T ) ik r kj = k ∑ r ki r kj = ( R 의 i 열 ) ⋅ ( R 의 j 열 ) 이다. 즉 R T R R^{\mathsf{T}}R R T R ( i , j ) (i,j) ( i , j ) R R R i i i j j j i i i j j j
앞의 (7) A A A
A T A = [ 1 3 5 2 4 6 ] [ 1 2 3 4 5 6 ] = [ 1 + 9 + 25 2 + 12 + 30 2 + 12 + 30 4 + 16 + 36 ] = [ 35 44 44 56 ] A^{\mathsf{T}}A
= \begin{bmatrix} 1 & 3 & 5 \\ 2 & 4 & 6 \end{bmatrix}
\begin{bmatrix} 1 & 2 \\ 3 & 4 \\ 5 & 6 \end{bmatrix}
= \begin{bmatrix} 1 + 9 + 25 & 2 + 12 + 30 \\ 2 + 12 + 30 & 4 + 16 + 36 \end{bmatrix}
= \begin{bmatrix} 35 & 44 \\ 44 & 56 \end{bmatrix} A T A = [ 1 2 3 4 5 6 ] ⎣ ⎡ 1 3 5 2 4 6 ⎦ ⎤ = [ 1 + 9 + 25 2 + 12 + 30 2 + 12 + 30 4 + 16 + 36 ] = [ 35 44 44 56 ] ( 1 , 2 ) (1,2) ( 1 , 2 ) ( 2 , 1 ) (2,1) ( 2 , 1 ) 1 ⋅ 2 + 3 ⋅ 4 + 5 ⋅ 6 1 \cdot 2 + 3 \cdot 4 + 5 \cdot 6 1 ⋅ 2 + 3 ⋅ 4 + 5 ⋅ 6
A A A 3 × 2 3 \times 2 3 × 2 A T A A^{\mathsf{T}}A A T A 2 × 2 2 \times 2 2 × 2 A A T AA^{\mathsf{T}} A A T 3 × 3 3 \times 3 3 × 3
4. 벡터공간 (Vector space) ¶ 이제 집합으로 넘어간다. 어떤 집합을 공간이라 부를 자격이 있는가. 요구하는 것은 두 가지뿐이다.
두 조건을 합치면 한 문장이 된다. V V V V V V
v , w ∈ V ⟹ c v + d w ∈ V ( c , d 는 임의의 스칼라 ) \vv{v}, \vv{w} \in V \;\Longrightarrow\; c\vv{v} + d\vv{w} \in V
\qquad (c, d \text{ 는 임의의 스칼라}) v , w ∈ V ⟹ c v + d w ∈ V ( c , d 는 임의의 스칼라 ) 두 조건에서 이 식이 나오는 과정은 이렇다. 조건 2에 의해 c v ∈ V c\vv{v} \in V c v ∈ V d w ∈ V d\vv{w} \in V d w ∈ V V V V
엄밀한 정의에는 덧셈의 교환법칙과 결합법칙, 영벡터의 존재, 분배법칙 등 여덟 가지 조건이 더
붙는다. 그러나 이 교재에서 다룰 집합은 전부 R n \R^n R n 닫혀 있는가 이다.
가장 기본적인 벡터공간은 R n \R^n R n n n n R 2 \R^2 R 2 R 3 \R^3 R 3
5. 부분공간 (Subspace) ¶ 부분공간에는 반드시 따라오는 성질이 하나 있다.
S S S v ∈ S \vv{v} \in S v ∈ S S S S S S S c = 0 c = 0 c = 0
0 ⋅ v = 0 ∈ S 0 \cdot \vv{v} = \vv{0} \in S 0 ⋅ v = 0 ∈ S 가 된다. 어떤 벡터에서 출발하든 결론은 같으므로, 원점은 모든 부분공간에 들어 있다.
Figure 2: R 3 \R^3 R 3
반례를 자세히 보기 ¶ R 3 \R^3 R 3 x + y + z = 1 x + y + z = 1 x + y + z = 1
첫째, 원점이 없다. 0 = ( 0 , 0 , 0 ) \vv{0} = (0,0,0) 0 = ( 0 , 0 , 0 ) 0 + 0 + 0 = 0 0 + 0 + 0 = 0 0 + 0 + 0 = 0 (18)
둘째, 덧셈에 닫혀 있지 않다. ( 1 , 0 , 0 ) (1, 0, 0) ( 1 , 0 , 0 ) ( 0 , 1 , 0 ) (0, 1, 0) ( 0 , 1 , 0 )
( 1 , 0 , 0 ) + ( 0 , 1 , 0 ) = ( 1 , 1 , 0 ) , 1 + 1 + 0 = 2 ≠ 1 (1, 0, 0) + (0, 1, 0) = (1, 1, 0), \qquad 1 + 1 + 0 = 2 \neq 1 ( 1 , 0 , 0 ) + ( 0 , 1 , 0 ) = ( 1 , 1 , 0 ) , 1 + 1 + 0 = 2 = 1 이 되어 평면을 벗어난다.
셋째, 스칼라배에도 닫혀 있지 않다. ( 1 , 0 , 0 ) (1,0,0) ( 1 , 0 , 0 ) ( 2 , 0 , 0 ) (2,0,0) ( 2 , 0 , 0 ) 2 ≠ 1 2 \neq 1 2 = 1
원점을 지나면 어떻게 되는가 ¶ 같은 평면을 원점으로 옮긴 x + y + z = 0 x + y + z = 0 x + y + z = 0
0 \vv{0} 0 0 + 0 + 0 = 0 0 + 0 + 0 = 0 0 + 0 + 0 = 0 u = ( u 1 , u 2 , u 3 ) \vv{u} = (u_1, u_2, u_3) u = ( u 1 , u 2 , u 3 ) v = ( v 1 , v 2 , v 3 ) \vv{v} = (v_1, v_2, v_3) v = ( v 1 , v 2 , v 3 ) u 1 + u 2 + u 3 = 0 u_1 + u_2 + u_3 = 0 u 1 + u 2 + u 3 = 0 v 1 + v 2 + v 3 = 0 v_1 + v_2 + v_3 = 0 v 1 + v 2 + v 3 = 0
( u 1 + v 1 ) + ( u 2 + v 2 ) + ( u 3 + v 3 ) = ( u 1 + u 2 + u 3 ) + ( v 1 + v 2 + v 3 ) = 0 + 0 = 0 (u_1 + v_1) + (u_2 + v_2) + (u_3 + v_3)
= (u_1 + u_2 + u_3) + (v_1 + v_2 + v_3)
= 0 + 0 = 0 ( u 1 + v 1 ) + ( u 2 + v 2 ) + ( u 3 + v 3 ) = ( u 1 + u 2 + u 3 ) + ( v 1 + v 2 + v 3 ) = 0 + 0 = 0 이므로 합도 평면 위에 있다. 스칼라배도 마찬가지이다.
c u 1 + c u 2 + c u 3 = c ( u 1 + u 2 + u 3 ) = c ⋅ 0 = 0 cu_1 + cu_2 + cu_3 = c\,(u_1 + u_2 + u_3) = c \cdot 0 = 0 c u 1 + c u 2 + c u 3 = c ( u 1 + u 2 + u 3 ) = c ⋅ 0 = 0 두 계산에서 실제로 쓴 것은 덧셈의 결합·교환법칙과 분배법칙뿐이다. 그래서 같은 논증이
n ⋅ x = 0 \vv{n} \cdot \vv{x} = 0 n ⋅ x = 0 2 c 2c 2 c
L1에서 연립방정식의 각 행이 평면이라고 하였는데, 그중 우변이 0인 것만 부분공간이다.
이 구분이 다음 강의에서 중요해진다.
6. R 3 \R^3 R 3 ¶ R 3 \R^3 R 3
S S S R 3 \R^3 R 3 S S S
아무것도 없는 경우. 원점만 들어 있다면 S = { 0 } S = \{\vv{0}\} S = { 0 }
0이 아닌 벡터가 하나 있는 경우. v 1 ≠ 0 \vv{v}_1 \neq \vv{0} v 1 = 0 S S S c v 1 c\vv{v}_1 c v 1 S S S S S S S S S
그 직선 밖의 벡터가 하나 더 있는 경우. v 2 \vv{v}_2 v 2 S S S v 1 \vv{v}_1 v 1 (17) c v 1 + d v 2 c\vv{v}_1 + d\vv{v}_2 c v 1 + d v 2 S S S S S S
그 평면 밖의 벡터가 하나 더 있는 경우. v 3 \vv{v}_3 v 3 S S S S = R 3 S = \R^3 S = R 3
부분공간 차원 { 0 } \{\vv{0}\} { 0 } 0 원점을 지나는 직선 1 원점을 지나는 평면 2 R 3 \R^3 R 3 3
이 네 가지가 앞으로 나올 거의 모든 그림의 어휘가 된다. 차원이라는 말은 아직 정확히 정의하지
않았고, 지금은 “그 공간을 만드는 데 필요한 벡터의 개수” 정도로 읽으면 된다.
7. 교집합과 합집합 ¶ 부분공간 두 개가 있을 때 이들을 섞으면 어떻게 되는가.
교집합은 부분공간이다 ¶ S S S T T T u , v ∈ S ∩ T \vv{u}, \vv{v} \in S \cap T u , v ∈ S ∩ T u \vv{u} u v \vv{v} v S S S S S S c u + d v ∈ S c\vv{u} + d\vv{v} \in S c u + d v ∈ S T T T
c u + d v ∈ S ∩ T c\vv{u} + d\vv{v} \in S \cap T c u + d v ∈ S ∩ T 이므로 교집합도 닫혀 있다. 두 부분공간이 모두 원점을 포함하므로 교집합이 비어 있는 일도 없다.
합집합은 부분공간이 아니다 ¶ R 2 \R^2 R 2 S S S x x x T T T y y y
( 1 , 0 ) ∈ S , ( 0 , 1 ) ∈ T (1, 0) \in S, \qquad (0, 1) \in T ( 1 , 0 ) ∈ S , ( 0 , 1 ) ∈ T 이므로 두 벡터 모두 S ∪ T S \cup T S ∪ T
( 1 , 0 ) + ( 0 , 1 ) = ( 1 , 1 ) (1, 0) + (0, 1) = (1, 1) ( 1 , 0 ) + ( 0 , 1 ) = ( 1 , 1 ) 이고, ( 1 , 1 ) (1,1) ( 1 , 1 ) x x x y y y
Figure 3: 두 축은 각각 부분공간이지만, 각 축에서 하나씩 뽑아 더하면 어느 축에도 속하지 않는 점이 나온다.
합(sum)이 따로 필요하다 ¶ 그래서 두 부분공간을 합쳐 더 큰 부분공간을 만들려면 합집합이 아닌 다른 방법이 필요하다.
빠진 것이 무엇인지는 위의 반례가 알려 준다. 두 쪽에서 하나씩 뽑아 더한 것들까지 넣어 주면 된다.
S + T = { s + t : s ∈ S , t ∈ T } S + T = \{\,\vv{s} + \vv{t} \;:\; \vv{s} \in S,\; \vv{t} \in T \,\} S + T = { s + t : s ∈ S , t ∈ T } 이것은 부분공간이다. 두 원소를 더해 보면 항목끼리 묶을 수 있기 때문이다.
( s 1 + t 1 ) + ( s 2 + t 2 ) = ( s 1 + s 2 ) ⏟ ∈ S + ( t 1 + t 2 ) ⏟ ∈ T ∈ S + T (\vv{s}_1 + \vv{t}_1) + (\vv{s}_2 + \vv{t}_2)
= \underbrace{(\vv{s}_1 + \vv{s}_2)}_{\in\, S} + \underbrace{(\vv{t}_1 + \vv{t}_2)}_{\in\, T}
\in S + T ( s 1 + t 1 ) + ( s 2 + t 2 ) = ∈ S ( s 1 + s 2 ) + ∈ T ( t 1 + t 2 ) ∈ S + T 스칼라배도 c ( s + t ) = c s + c t c(\vv{s} + \vv{t}) = c\vv{s} + c\vv{t} c ( s + t ) = c s + c t x x x y y y R 2 \R^2 R 2
마치며... ¶ 이번 강의에서 다룬 것을 정리하면 다음과 같다.
대상 내용 순열행렬 P P P I I I n ! n! n ! P − 1 = P T P^{-1} = P^{\mathsf{T}} P − 1 = P T 전치 ( A T ) i j = a j i (A^{\mathsf{T}})_{ij} = a_{ji} ( A T ) ij = a ji ( A B ) T = B T A T (AB)^{\mathsf{T}} = B^{\mathsf{T}}A^{\mathsf{T}} ( A B ) T = B T A T 대칭행렬 S T = S S^{\mathsf{T}} = S S T = S R T R R^{\mathsf{T}}R R T R 벡터공간 덧셈과 스칼라배에 닫혀 있는 집합 부분공간 그 자체로 벡터공간인 부분집합. 반드시 원점을 포함한다 R 3 \R^3 R 3 { 0 } \{\vv{0}\} { 0 } R 3 \R^3 R 3 교집합과 합집합 교집합은 부분공간, 합집합은 아니다
이번 강의에서 가장 자주 쓰게 될 것은 부분공간이 반드시 원점을 지난다 는 사실이다.
앞으로 부분공간을 그림으로 그릴 일이 많은데, 그 그림들은 예외 없이 원점을 통과한다.
원점을 지나지 않는 것이 나오면 그것은 부분공간이 아니라는 신호이다.
그런데 여기까지의 이야기에는 빠진 것이 있다. 공간이 무엇인지는 정의했지만, 그런 공간이
어디서 오는지는 말하지 않았다. 지금까지 든 예는 전부 손으로 지어낸 것이다.
다음 강의에서는 행렬 하나가 주어지면 거기서 부분공간이 저절로 따라 나온다는 것을 본다.
그 두 공간의 이름은 열공간 (column space)과 영공간 (null space)이다.
이번 강의의 내용을 파이썬으로 확인해 보려면 L5 실습 노트북 으로 넘어가면 된다.
순열행렬 여섯 개를 모두 만들어 보고, 어떤 집합이 부분공간인지 아닌지를 무작위 점을 뽑아
직접 판정해 볼 수 있다.
