Lecture 33. 좌·우 역행렬과 의사역행렬

L3에서 역행렬을 배울 때 우리는 조건을 달았다. 정방행렬이어야 하고 랭크가 꽉 차야 한다고. 그런데 현실의 데이터 행렬은 거의 언제나 직사각형이다. 관측이 미지수보다 많거나(과결정), 적거나(부족결정) 둘 중 하나다.

그러면 이런 행렬은 되돌릴 수 없는 것인가. 완전히 되돌릴 수는 없다. 그러나 가장 그럴듯하게 되돌릴 수는 있다.

그리고 이 이야기에는 반전이 있다. 우리는 이미 그 일을 해 본 적이 있다. L16에서 배운 최소제곱법이 바로 그것이었다. 그때는 "해가 없을 때 가장 가까운 답을 찾는 방법"이라고만 알았지만, 사실 그때 이미 역행렬 비슷한 것을 만들고 있었다.

1. 랭크에 따른 네 경우¶

$A$ 가 $m \times n$ 이고 랭크가 $r$ 이라 하자. 랭크는 독립인 행의 개수이자 독립인 열의 개수이므로(L13) 양쪽 모두에 갇힌다.

r \le m \quad\text{(행이 } m \text{ 개뿐이다)}, \qquad r \le n \quad\text{(열이 } n \text{ 개뿐이다)}

(1)

(1)의 두 부등식이 각각 등호이냐 아니냐에 따라 경우가 넷으로 갈린다.

L8에서 이미 이 표를 본 적이 있다. 그때는 해가 몇 개인가를 물었다.

r = m \ \Longleftrightarrow\ \text{모든 } \vv{b} \text{ 에 해가 있다}, \qquad r = n \ \Longleftrightarrow\ \text{해가 있다면 유일하다}

(2)

(2)의 두 조건이 각각 만족되느냐에 따라 넷이 나온다. $r=m=n$ 이면 언제나 유일한 해가 있고, $r=n<m$ 이면 해가 없을 수 있고, $r=m<n$ 이면 해가 무한히 많고, 둘 다 아니면 두 문제가 한꺼번에 온다.

이번에는 같은 표를 역행렬 쪽에서 다시 본다.

A^{+}A 와 AA^{+} 가 각각 무엇이 되는지가 네 경우를 가른다.
I 가 되면 그쪽으로는 완전히 되돌아온 것이고, P 가 되면 갈 수 있는 데까지만 간 것이다. — Figure 1: $A^{+}A$ 와 $AA^{+}$ 가 각각 무엇이 되는지가 네 경우를 가른다. $I$ 가 되면 그쪽으로는 완전히 되돌아온 것이고, $P$ 가 되면 갈 수 있는 데까지만 간 것이다.

2. 좌역행렬 — 최소제곱의 정체¶

열이 독립인 경우( $r = n \le m$ )부터 보자. 관측이 미지수보다 많은, 가장 흔한 상황이다.

$A^{\mathsf T}A$ 가 가역인 이유¶

먼저 확인할 것이 있다. $A^{\mathsf T}A$ 를 뒤집으려면 그것이 가역이어야 한다. L27에서 이미 증명했지만 다시 적어 두자. 에너지를 계산하면

\vv{x}^{\mathsf T}\!\left(A^{\mathsf T}A\right)\!\vv{x} = (A\vv{x})^{\mathsf T}(A\vv{x}) = \lVert A\vv{x} \rVert^2 \ \ge\ 0

(4)

이다. (4)의 값이 0이 되는 것은 $A\vv{x} = \vv{0}$ 일 때뿐인데, 열이 독립이면 그런 $\vv{x}$ 는 $\vv{0}$ 밖에 없다. 따라서 $A^{\mathsf T}A$ 는 양의 정부호이고, 고윳값이 전부 양수이므로 가역이다.

좌역행렬을 만든다¶

이제 $A^{+}_{\text{left}} = (A^{\mathsf T}A)^{-1}A^{\mathsf T}$ 라고 두자. 왼쪽에서 곱해 보면

A^{+}_{\text{left}}A = \left(A^{\mathsf T}A\right)^{-1}A^{\mathsf T}A = \left(A^{\mathsf T}A\right)^{-1}\!\left(A^{\mathsf T}A\right) = I_n

(5)

이다. (5)의 계산은 괄호를 다시 묶은 것이 전부다. 왼쪽에서는 완전히 되돌아온다.

그러면 오른쪽은 어떤가. 순서를 바꿔 보면

A\,A^{+}_{\text{left}} = A\left(A^{\mathsf T}A\right)^{-1}A^{\mathsf T}

(6)

가 되는데, 여기서는 괄호를 다시 묶을 수가 없다. $A$ 가 정방이 아니면 $A^{-1}$ 이 없기 때문이다. 그래서 $I$ 가 되지 않는다.

그런데 이 행렬을 우리는 안다¶

(6)의 식을 다시 보자. L15에서 부분공간으로의 투영을 다룰 때 정확히 같은 행렬이 나왔다.

P = A\left(A^{\mathsf T}A\right)^{-1}A^{\mathsf T}

(7)

(7)의 $P$ 는 $A$ 의 열공간으로의 투영행렬이었다. 정말 그런지 두 성질을 직접 확인해 보자. 제곱하면 가운데에서 $A^{\mathsf T}A$ 와 그 역행렬이 만나 사라진다.

P^2 = A\left(A^{\mathsf T}A\right)^{-1} \underbrace{A^{\mathsf T}A\left(A^{\mathsf T}A\right)^{-1}}_{= I} A^{\mathsf T} = A\left(A^{\mathsf T}A\right)^{-1}A^{\mathsf T} = P

(8)

전치를 취하면 $\left(M^{-1}\right)^{\mathsf T} = \left(M^{\mathsf T}\right)^{-1}$ 과 $A^{\mathsf T}A$ 가 대칭이라는 사실이 함께 작동한다.

P^{\mathsf T} = A\left[\left(A^{\mathsf T}A\right)^{-1}\right]^{\mathsf T}A^{\mathsf T} = A\left[\left(A^{\mathsf T}A\right)^{\mathsf T}\right]^{-1}A^{\mathsf T} = A\left(A^{\mathsf T}A\right)^{-1}A^{\mathsf T} = P

(9)

(8)의 식과 (9)의 식이 보인 두 성질이 곧 "직교투영"의 정의다. 고윳값은 0과 1뿐이다. 한 번 투영한 것을 또 투영해도 그대로이기 때문이다(L21).

그리고 이것은 L16의 공식이다¶

한 걸음 더 가자. $\vv{b}$ 에 좌역행렬을 곱하면

\hat{\vv{x}} = A^{+}_{\text{left}}\,\vv{b} = \left(A^{\mathsf T}A\right)^{-1}A^{\mathsf T}\vv{b}

(10)

인데, (10)의 오른쪽은 L16의 최소제곱 공식과 글자 하나까지 같다. 정규방정식 $A^{\mathsf T}A\hat{\vv{x}} = A^{\mathsf T}\vv{b}$ 를 풀어 쓴 것이 바로 그것이다.

L16의 앵커를 그대로 가져와 확인해 보자.

A = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}, \qquad \vv{b} = \begin{bmatrix} 1 \\ 3 \\ 2 \end{bmatrix}

(11)

(11)의 행렬에서 $A^{\mathsf T}A = \begin{bmatrix} 3 & 6 \\ 6 & 14\end{bmatrix}$ 이고 $A^{\mathsf T}\vv{b} = (6,\ 13)$ 이므로, 좌역행렬을 곱한 결과는 이렇게 나온다.

\hat{\vv{x}} = \begin{bmatrix} 1 \\ 0.5 \end{bmatrix}, \qquad \vv{p} = A\hat{\vv{x}} = \begin{bmatrix} 1.5 \\ 2 \\ 2.5 \end{bmatrix}, \qquad \vv{e} = \vv{b} - \vv{p} = \begin{bmatrix} -0.5 \\ 1 \\ -0.5 \end{bmatrix}

(12)

(12)의 세 벡터는 L16에서 손으로 구한 값과 하나도 다르지 않다. 검산도 그대로다. $A^{\mathsf T}\vv{e} = (0,\ 0)$ 이므로 잔차는 열공간에 수직이다.

왼쪽은 L16에서 본 그림이고 오른쪽은 같은 숫자를 \R^3 에서 본 것이다.
\vv{b} 는 평면 밖에 있고 \vv{p} = AA^{+}\vv{b} 는 평면 위에 있으며,
그 차이인 \vv{e} 는 평면에 수직이다. — Figure 2:왼쪽은 L16에서 본 그림이고 오른쪽은 같은 숫자를 $\R^3$ 에서 본 것이다. $\vv{b}$ 는 평면 밖에 있고 $\vv{p} = AA^{+}\vv{b}$ 는 평면 위에 있으며, 그 차이인 $\vv{e}$ 는 평면에 수직이다.

3. 우역행렬 — 가장 짧은 해를 고른다¶

이번에는 행이 독립인 경우( $r = m \le n$ )다. 미지수가 관측보다 많은 상황이고, (2)의 조건에 따라 해가 무한히 많다.

해가 없어서 곤란한 것이 아니라 너무 많아서 곤란하다. 그중 하나를 골라야 한다.

우역행렬¶

이번에는 $AA^{\mathsf T}$ 가 가역이다. (4)의 논증을 $A^{\mathsf T}$ 에 적용하면 되는데, 행이 독립이라는 것이 곧 $A^{\mathsf T}$ 의 열이 독립이라는 뜻이기 때문이다. 그래서 $A^{+}_{\text{right}} = A^{\mathsf T}(AA^{\mathsf T})^{-1}$ 로 두면

A\,A^{+}_{\text{right}} = A A^{\mathsf T}\!\left(AA^{\mathsf T}\right)^{-1} = I_m

(13)

이 된다. (13)의 계산도 괄호를 다시 묶은 것뿐이다. 이번에는 오른쪽에서 완전히 되돌아온다. 곧 $\vv{x} = A^{+}_{\text{right}}\vv{b}$ 가 $A\vv{x} = \vv{b}$ 를 정말로 만족한다. 근사가 아니라 진짜 해다.

그런데 왜 하필 이 해인가¶

해가 무한히 많은데 이 공식은 그중 하나를 골라 준다. 무엇을 기준으로 고르는가.

L8에서 완전해의 모양을 배웠다. 특수해 하나에 영공간의 아무 원소나 더하면 된다.

\vv{x} = \vv{x}_p + \vv{x}_n, \qquad \vv{x}_n \in N(A)

(14)

(14)의 해집합은 영공간을 평행이동한 것이다. 직선이거나 평면이거나 그 이상인 덩어리인데, 그 위의 모든 점이 똑같이 정답이다.

그중 하나를 고르는 자연스러운 규칙이 하나 있다. 가장 짧은 것을 고르는 것이다.

증명은 짧다. $\vv{x}^{+}$ 는 $A^{\mathsf T}$ 의 열들의 조합이므로 행공간에 있다. 여기에 영공간의 원소 $\vv{x}_n$ 을 더한 것도 해인데, 행공간과 영공간은 직교하므로 (L14) 피타고라스가 성립한다.

\lVert \vv{x}^{+} + \vv{x}_n \rVert^2 = \lVert \vv{x}^{+} \rVert^2 + \lVert \vv{x}_n \rVert^2 \ \ge\ \lVert \vv{x}^{+} \rVert^2

(15)

(15)의 부등식에서 등호는 $\vv{x}_n = \vv{0}$ 일 때만 성립한다. 어느 방향으로 움직여도 길어지기만 한다.

앵커로 확인¶

A = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \end{bmatrix}, \qquad \vv{b} = \begin{bmatrix} 6 \\ 14 \end{bmatrix}

(16)

(16)의 방정식은 해가 무한히 많다. 영공간이 $(1,-2,1)$ 방향의 직선이기 때문이다. 우역행렬이 고르는 해는 $\vv{x}^{+} = (1,\ 2,\ 3)$ 이고 길이가 3.7417 이다.

직선을 따라 움직여 보면 길이가 늘기만 한다.

해	$\lVert\vv{x}\rVert$
$(-1,\ 6,\ 1)$	6.164
$(0,\ 4,\ 2)$	4.472
$\mathbf{(1,\ 2,\ 3)}$	$\mathbf{3.742}$
$(2,\ 0,\ 4)$	4.472
$(3,\ -2,\ 5)$	6.164

그리고 $\vv{x}^{+} \cdot (1,-2,1) = 1 - 4 + 3 = 0$ 이다. 영공간에 수직이다.

해집합은 직선이고, 그 위에서 원점에 가장 가까운 점이 \vv{x}^{+} 다.
원점에서 그 점으로 가는 화살표는 직선에 수직이다. — Figure 3:해집합은 직선이고, 그 위에서 원점에 가장 가까운 점이 $\vv{x}^{+}$ 다. 원점에서 그 점으로 가는 화살표는 직선에 수직이다.

4. 일반형 — SVD로 만든다¶

이제 랭크가 모자라는 경우( $r < m$ 이고 $r < n$ )가 남았다. 이때는 $A^{\mathsf T}A$ 도 $AA^{\mathsf T}$ 도 가역이 아니므로 앞의 두 공식이 전부 무너진다.

여기서 L29가 구해 준다. SVD에는 조건이 없었다.

A = U\Sigma V^{\mathsf T}, \qquad \Sigma = \diag(\sigma_1, \dots, \sigma_r, 0, \dots, 0)

(17)

(17)의 분해를 되돌리려면 각 조각을 되돌리면 된다. $U$ 와 $V$ 는 직교행렬이라 전치가 곧 역행렬이고(L17), 가운데의 $\Sigma$ 만 어떻게 할지 정하면 된다.

A^{+} = V\Sigma^{+}U^{\mathsf T}, \qquad \left(\Sigma^{+}\right)_{ii} = \begin{cases} 1/\sigma_i & \sigma_i > 0 \\ 0 & \sigma_i = 0 \end{cases}

(18)

(18)의 정의에서 눈여겨볼 곳은 아래 줄이다. 0을 0으로 둔다. $1/0$ 을 쓸 수는 없으니 어쩔 수 없는 선택인데, 이 한 줄이 의사역행렬의 성격을 전부 결정한다.

$\Sigma^{+}$ 는 $\Sigma$ 의 전치 모양이라는 점도 짚어 두자. $\Sigma$ 가 $m \times n$ 이면 $\Sigma^{+}$ 는 $n \times m$ 이다. 그래야 $A^{+}$ 가 $n \times m$ 이 되어 $A$ 와 반대 방향으로 갈 수 있다.

그러면 $\Sigma$ 와 $\Sigma^{+}$ 를 곱하면 무엇이 되는가. 순서를 바꿔 두 번 계산해 보자.

\Sigma^{+}\Sigma = \begin{bmatrix} I_r & 0 \\ 0 & 0 \end{bmatrix}_{n \times n}, \qquad \Sigma\Sigma^{+} = \begin{bmatrix} I_r & 0 \\ 0 & 0 \end{bmatrix}_{m \times m}

(19)

(19)의 두 행렬은 크기가 다르지만 생김새는 같다. 앞 $r$ 칸만 살리고 나머지는 죽이는 투영이다. 여기에 $V$ 와 $U$ 를 씌우면

A^{+}A = V\Sigma^{+}\Sigma V^{\mathsf T}, \qquad AA^{+} = U\Sigma\Sigma^{+}U^{\mathsf T}

(20)

가 된다. (20)의 왼쪽은 행공간으로의 투영이고 오른쪽은 열공간으로의 투영이다. 1절의 표에 있던 $P$ 두 개가 여기서 정체를 드러낸다. 그리고 $r = n$ 이면 왼쪽이 $I_n$ 이 되고, $r = m$ 이면 오른쪽이 $I_m$ 이 된다. 네 경우가 이 한 쌍의 식에서 전부 나온다.

앞의 둘이 특수한 경우다¶

(18)의 정의는 앞에서 만든 좌·우역행렬을 포함한다. 확인해 보자. 열이 독립이면 $r = n$ 이라 $\sigma_1, \dots, \sigma_n$ 이 전부 양수이고 $V$ 가 $n \times n$ 직교행렬이다. 먼저 $A^{\mathsf T}A$ 를 SVD로 적으면

A^{\mathsf T}A = V\Sigma^{\mathsf T}U^{\mathsf T}U\Sigma V^{\mathsf T} = V\left(\Sigma^{\mathsf T}\Sigma\right)V^{\mathsf T} = V\diag\!\left(\sigma_1^2, \dots, \sigma_n^2\right)V^{\mathsf T}

(21)

이다. (21)의 오른쪽은 대각행렬을 직교행렬로 감싼 것이니 역행렬이 곧바로 나온다.

\left(A^{\mathsf T}A\right)^{-1} = V\diag\!\left(\sigma_1^{-2}, \dots, \sigma_n^{-2}\right)V^{\mathsf T}

(22)

이제 (22)의 식에 $A^{\mathsf T} = V\Sigma^{\mathsf T}U^{\mathsf T}$ 를 오른쪽에서 곱한다. 가운데의 $V^{\mathsf T}V$ 가 $I$ 로 사라진다.

\left(A^{\mathsf T}A\right)^{-1}A^{\mathsf T} = V\diag\!\left(\sigma_i^{-2}\right)\underbrace{V^{\mathsf T}V}_{=I} \Sigma^{\mathsf T}U^{\mathsf T} = V\diag\!\left(\sigma_i^{-1}\right)U^{\mathsf T} = V\Sigma^{+}U^{\mathsf T}

(23)

(23)의 마지막이 정확히 $A^{+}$ 다. $\sigma_i^{-2}$ 에 $\sigma_i$ 를 곱해 $\sigma_i^{-1}$ 이 된 것이 계산의 전부다. 우역행렬도 같은 방식으로 나온다. 공식 하나가 네 경우를 전부 덮는다.

기하로 읽기¶

$A$ 가 무슨 일을 했는지 L29에서 보았다. 행공간의 $\vv{v}_i$ 를 열공간의 $\vv{u}_i$ 로 $\sigma_i$ 배 해서 보냈고, 영공간은 통째로 0으로 눌렀다.

A\vv{v}_i = \sigma_i \vv{u}_i \qquad\Longleftrightarrow\qquad A^{+}\vv{u}_i = \frac{1}{\sigma_i}\vv{v}_i

(24)

(24)의 오른쪽이 $A^{+}$ 가 하는 일이다. 열공간의 $\vv{u}_i$ 를 행공간의 $\vv{v}_i$ 로 $1/\sigma_i$ 배 해서 되돌린다. 화살표가 정확히 반대다.

그러면 좌영공간은 어떻게 되는가. $\Sigma^{+}$ 의 0 자리가 그것을 담당한다. $A^{+}$ 는 좌영공간을 0으로 누른다.

L10에서 그린 네 부분공간에 화살표를 양방향으로 채운 것이다.
위쪽 두 칸은 왕복이 되고 아래쪽 두 칸은 편도다. — Figure 4:L10에서 그린 네 부분공간에 화살표를 양방향으로 채운 것이다. 위쪽 두 칸은 왕복이 되고 아래쪽 두 칸은 편도다.

L30에서 이름을 안 붙이고 넘어간 그것¶

L30에서 다항식 공간의 미분행렬 $D$ 와 적분행렬 $S$ 를 만들었다. 그때 $DS = I$ 인데 $SD \neq I$ 인 것을 보고 "한쪽으로만 역행렬"이라고만 하고 이름을 붙이지 않았다.

이제 이름을 붙일 수 있다. $S$ 는 정확히 $D$ 의 의사역행렬이다. $n = 4, 6, 8$ 어디서 확인해도 $S = D^{+}$ 가 성립한다.

그리고 $SD$ 는 무엇인가. 계산해 보면 첫 성분만 0이고 나머지는 그대로인 행렬, 곧 상수항을 뺀 행공간으로의 투영이다. 미분이 상수항을 죽였으므로 적분은 그것을 되찾을 수 없다. (3)의 문장 그대로다.

5. 수치적 안정성 — L16이 미뤄 둔 질문의 답¶

L16의 마지막은 이렇게 끝났다.

그런데 찜찜한 것이 하나 남는다. 우리는 $A^{\mathsf T}A$ 를 뒤집었다. 이 계산은 안전한가. … 열들이 서로 더 닮으면 어떻게 되는가. 이 물음은 지금 답하지 않는다.

이제 답할 때가 되었다. 안전하지 않다.

조건수가 제곱된다¶

$A$ 의 특이값이 $\sigma_1 \ge \dots \ge \sigma_n$ 이면 $A^{\mathsf T}A$ 의 고윳값은 $\sigma_i^2$ 이다(L29). 조건수는 최대와 최소의 비이므로

\kappa(A^{\mathsf T}A) = \frac{\sigma_1^2}{\sigma_n^2} = \left(\frac{\sigma_1}{\sigma_n}\right)^{\!2} = \kappa(A)^2

(25)

가 된다. (25)의 등식이 이 절의 전부다. $A^{\mathsf T}A$ 를 만드는 순간 조건수가 제곱된다.

L32에서 조건수가 무엇을 재는 수인지 보았다. 입력의 상대오차가 답에서 최대 몇 배까지 커지는가였다. 배정밀도의 유효자릿수가 약 16자리이므로

\kappa(A) = 10^{8} \qquad\Longrightarrow\qquad \kappa(A^{\mathsf T}A) = 10^{16} \approx \frac{1}{\epsilon_{\text{mach}}}

(26)

이고, (26)의 지점에서 유효자릿수가 전부 소진된다. $A$ 자체는 아직 멀쩡한데 $A^{\mathsf T}A$ 는 이미 특이행렬로 보이는 것이다.

세 방법을 겨뤄 보면¶

정답을 아는 문제를 만들어 재 보면 이렇게 갈린다.

$\kappa(A)$	정규방정식	QR	SVD
10²	$1.1\times10^{-13}$	$1.5\times10^{-14}$	$1.6\times10^{-14}$
10⁴	$7.8\times10^{-10}$	$7.6\times10^{-11}$	$7.6\times10^{-11}$
10⁶	$6.9\times10^{-6}$	$2.9\times10^{-7}$	$2.9\times10^{-7}$
10⁸	$\mathbf{5.8\times10^{-2}}$	$4.6\times10^{-3}$	$4.6\times10^{-3}$

왼쪽에서 빨간 선(정규방정식)이 늘 위에 있다. 오른쪽은 \kappa(A^{\mathsf T}A) 를 실제로
잰 것인데 \kappa(A)^2 위에 정확히 올라앉는다. — Figure 5:왼쪽에서 빨간 선(정규방정식)이 늘 위에 있다. 오른쪽은 $\kappa(A^{\mathsf T}A)$ 를 실제로 잰 것인데 $\kappa(A)^2$ 위에 정확히 올라앉는다.

작은 $\sigma$ 를 어떻게 할 것인가¶

한 가지가 더 남았다. (18)의 정의는 " $\sigma_i > 0$ 이면 $1/\sigma_i$ "라고 했는데, 컴퓨터에서 정확히 0인 특이값은 거의 나오지 않는다. 10^-17 같은 값이 나오고, 그 역수는 10¹⁷ 이다.

그래서 어디까지를 0으로 볼지 정해야 한다. 이것이 rcond 다. 문턱보다 작은 $\sigma$ 는 0으로 취급해 버린다. 딱 자르는 방식이다.

부드럽게 자르는 방법도 있다. 티호노프 정칙화(능형회귀)는 $\lambda > 0$ 을 하나 두고

\vv{x}_\lambda = \left(A^{\mathsf T}A + \lambda I\right)^{-1}A^{\mathsf T}\vv{b}

(27)

를 푼다. (27)의 해가 무엇을 하는지는 SVD로 갈아 끼우면 드러난다. (21)의 식을 넣으면 괄호 안이 이렇게 된다.

A^{\mathsf T}A + \lambda I = V\diag\!\left(\sigma_i^2\right)V^{\mathsf T} + \lambda VV^{\mathsf T} = V\diag\!\left(\sigma_i^2 + \lambda\right)V^{\mathsf T}

(28)

$\lambda I = \lambda VV^{\mathsf T}$ 로 바꿔 쓴 것이 요령이다. 그래야 $V$ 로 묶인다. (28)의 역행렬을 취하고 $A^{\mathsf T} = V\Sigma^{\mathsf T}U^{\mathsf T}$ 를 곱하면, 앞에서와 똑같이 $V^{\mathsf T}V$ 가 사라진다.

\vv{x}_\lambda = V\diag\!\left(\frac{1}{\sigma_i^2 + \lambda}\right)\Sigma^{\mathsf T}U^{\mathsf T}\vv{b} = V\diag\!\left(\frac{\sigma_i}{\sigma_i^2 + \lambda}\right)U^{\mathsf T}\vv{b}

(29)

(29)의 마지막을 성분으로 풀어 쓰면 이렇다.

\vv{x}_\lambda = \sum_{i} \frac{\sigma_i}{\sigma_i^2 + \lambda} \left(\vv{u}_i^{\mathsf T}\vv{b}\right)\vv{v}_i

(30)

(30)의 계수를 $1/\sigma_i$ 와 견줘 보자. $\lambda = 0$ 이면 $\sigma_i/\sigma_i^2 = 1/\sigma_i$ 라 정확히 의사역행렬이 된다.

\frac{\sigma_i}{\sigma_i^2 + \lambda} \ \longrightarrow\ \begin{cases} \dfrac{1}{\sigma_i} & \sigma_i \gg \sqrt{\lambda} \\[2mm] \dfrac{\sigma_i}{\lambda} \to 0 & \sigma_i \ll \sqrt{\lambda} \end{cases}

(31)

(31)의 두 극한 사이의 경계가 $\sqrt{\lambda}$ 다. 문턱이 $\lambda$ 가 아니라 $\sqrt{\lambda}$ 라는 점이 중요하다.

왼쪽이 rcond 의 딱 자르기, 오른쪽이 능형회귀의 부드러운 자르기다.
둘 다 작은 \sigma 로 나누기를 거부한다. 갑자기 거부하느냐 서서히 거부하느냐가 다르다. — Figure 6:왼쪽이 `rcond` 의 딱 자르기, 오른쪽이 능형회귀의 부드러운 자르기다. 둘 다 작은 $\sigma$ 로 나누기를 거부한다. 갑자기 거부하느냐 서서히 거부하느냐가 다르다.

6. 무어-펜로즈 조건¶

지금까지 만든 $A^{+}$ 가 유일한 것인지 물을 수 있다. 답은 그렇다이고, 그것을 정하는 조건이 넷이다.

(32)의 네 조건은 각각 읽을 수 있다. ①은 " $A$ 로 갔다가 $X$ 로 돌아왔다가 다시 $A$ 로 가면 처음 간 곳과 같다"이고, ②는 그 반대이며, ③과 ④는 " $AX$ 와 $XA$ 가 직교투영이다"라는 뜻이다. 투영행렬이 대칭이라는 것이 L15에서 본 그 성질이다.

네 조건을 만족하는 행렬은 정확히 하나뿐이다. 증명은 여기서 생략하지만, 유일성 덕에 " $A$ 의 의사역행렬"이라는 말이 뜻을 갖는다.

$A$ 가 가역이면 $X = A^{-1}$ 이 넷을 다 만족한다. 넣어 보면 곧바로 확인된다.

AA^{-1}A = A, \quad A^{-1}AA^{-1} = A^{-1}, \quad \left(AA^{-1}\right)^{\mathsf T} = I^{\mathsf T} = I, \quad \left(A^{-1}A\right)^{\mathsf T} = I

(33)

(33)의 넷이 전부 성립하고 유일성이 있으므로 $A^{+} = A^{-1}$ 이다. 의사역행렬은 역행렬의 확장이 맞다.

7. 자주 하는 오해¶

① $A^{+}$ 가 진짜 역행렬처럼 작동한다. 아니다. $AA^{+}$ 와 $A^{+}A$ 는 서로 다른 행렬이고(크기부터 다르다), 둘 다 $I$ 가 아닐 수 있다. Figure 1의 네 경우 중 첫째에서만 둘 다 $I$ 다.

② inv(A.T @ A) @ A.T 를 그대로 쓴다. 가장 흔하고 가장 위험한 실수다. 5절이 답이다. 조건수가 제곱되므로 $\kappa(A)$ 가 10⁸ 만 넘어도 답을 믿을 수 없다. lstsq 나 pinv 를 쓰면 같은 문제에서 훨씬 잘 버틴다.

③ rcond 를 신경 쓰지 않는다. 어디까지를 0으로 볼 것인가는 사람이 정해야 하는 판단이다. 문턱을 낮추면 잔차는 줄지만 해가 폭발하고, 높이면 해는 얌전하지만 잔차가 커진다. 기본값이 늘 옳을 이유가 없다.

④ 최소노름 해가 "정답"이다. 아니다. 해가 무한히 많을 때 그중 하나를 고르는 하나의 규약일 뿐이다. 문제에 따라 다른 기준이 옳을 수 있다. 예를 들어 성분 대부분이 0인 해를 원한다면 $\ell_1$ 노름을 최소로 하는 것이 낫고, 그것은 $A^{+}$ 가 주는 답과 전혀 다르다.

⑤ 랭크가 모자라도 $A^{+}A = I$ 이겠지. 아니다. 랭크가 모자라면 영공간이 있고, 영공간의 벡터는 $A$ 가 죽여 버리므로 $A^{+}$ 가 되살릴 방법이 없다. $A^{+}A$ 는 행공간으로의 투영이 될 뿐이다.

마치며...¶

이번 강의에서는 역행렬이 없는 행렬을 되돌리는 방법을 공부하였다.

열이 독립이면 좌역행렬 $(A^{\mathsf T}A)^{-1}A^{\mathsf T}$ 가 있다. $A^{+}A = I$ 이고 $AA^{+}$ 는 열공간으로의 투영이다.
행이 독립이면 우역행렬 $A^{\mathsf T}(AA^{\mathsf T})^{-1}$ 가 있고, 그것이 고르는 것은 가장 짧은 해다. 행공간에 있고 영공간에 수직이기 때문이다.
어느 쪽도 아니면 $A^{+} = V\Sigma^{+}U^{\mathsf T}$ 를 쓴다. 조건이 없다.
$A$ 가 행공간을 열공간으로 보냈다면 $A^{+}$ 는 열공간을 행공간으로 되돌린다. 영공간에서 잃은 것은 되찾지 못한다.

그리고 반가운 재회가 있었다. 전반부에서 배운 최소제곱 공식이 바로 좌역행렬이었다. 그때는 "해가 없을 때 가장 가까운 답을 찾는 방법"이라고만 알았지만, 사실은 되돌릴 수 없는 행렬을 되돌리는 일을 하고 있었던 것이다.

또한 L16이 미뤄 두었던 질문에도 답했다. 정규방정식을 그대로 쓰면 조건수가 제곱되어 위험하다. 수학적으로 같은 식이 수치적으로 전혀 다르게 행동한다는 사실은, 크래머 공식(L20)과 여인수 전개(L19)와 조르당 형(L28)에 이어 이번이 네 번째다. 이쯤 되면 이것은 예외가 아니라 규칙이다.

다음 강의는 마지막이다. 서른세 편에 걸쳐 배운 모든 것이 어떻게 다섯 개의 분해로 정리되는지, 그리고 그 다섯이 어떻게 하나의 그림으로 이어지는지 살펴보자.

이번 강의의 내용을 파이썬으로 확인해 보려면 L33 실습 노트북으로 넘어가면 된다. 좌역행렬이 정말 L16의 공식과 같은지 대조하고, 해집합을 따라 움직이며 노름이 늘어나는 것을 보고, 세 방법을 같은 문제에 걸어 조건수가 커질 때 어디서 무너지는지 직접 잴 수 있다.