H0 · 오차의 크기는 무엇으로 재야 할까?

내용

H0 · 오차의 크기는 무엇으로 재야 할까?#

두 예측모형의 잔차가 각각 \((2,0)\)과 \((1.2,1.2)\)라면 어느 쪽이 더 정확할까요? 첫 모형은 한 관측을 정확히 맞추지만 다른 관측의 오차가 큽니다. 둘째 모형은 두 관측에 오차가 나뉘어 있습니다. 어느 것이 더 낫다는 답은 어떤 오차를 줄이려는지를 정한 뒤에 나옵니다.

이번 단원은 길이 그림으로 출발하지 않고 오차를 요약하는 규칙에서 시작합니다. 그 규칙을 노름이라고 부르고, 입력 오차가 선형사상을 통과할 때 얼마나 커질 수 있는지 계산하겠습니다. 마지막에는 유한차원에서 노름을 바꾸어도 수렴 자체는 바뀌지 않는다는 정리를 증명합니다. 상수까지 같아진다는 뜻은 아닙니다.

실수·복소수의 완비성, 유한차원 유클리드 공간의 Heine–Borel 정리와 연속함수의 최대·최소 도달, 일변수 미분을 출발 전제로 사용합니다. 일반 노름 동치와 선형사상의 연속성은 이 단원에서 직접 증명합니다.

1. 세 가지 오차 요약은 다른 질문에 답한다#

관측량은 각자 기준 단위로 나누어 무차원화했고, 잔차 \(r_i\)는 예측값에서 관측값을 뺀 수치라고 합시다. 서로 다른 단위의 오차를 그대로 합하는 것이 아니라 같은 비교 척도를 먼저 정한 것입니다.

\[\|r\|_1=\sum_i|r_i|,\quad \|r\|_2=\left(\sum_i|r_i|^2\right)^{1/2},\quad \|r\|_\infty=\max_i|r_i|.\]

\(r=(2,0)\)과 \(s=(6/5,6/5)\)에 대해

\[\|r\|_1=2,\quad\|s\|_1=12/5;\qquad \|r\|_2=2,\quad\|s\|_2=6\sqrt2/5;\]

\[\|r\|_\infty=2,\quad\|s\|_\infty=6/5.\]

절대오차 합에서는 \(r\)이 더 작지만, 제곱합의 제곱근과 최대오차에서는 \(s\)가 더 작습니다. 계산이 모순된 것이 아닙니다. 첫 기준은 총 절대오차, 둘째는 큰 오차를 제곱으로 더 무겁게 센 합, 셋째는 최악의 한 성분을 비교합니다.

\(p\ge1\)에서 \(\|x\|_p=(\sum_i|x_i|^p)^{1/p}\)로 일반화할 수 있습니다. \(p=\infty\)는 위의 최대값입니다. ‘크기가 1 이하인 허용 오차’를 그리면 규칙이 어떻게 다른지 드러납니다.

같은 좌표축에서 일 노름, 이 노름, 무한대 노름의 단위 공 경계를 비교한 그림 — 그림 58 경계 안쪽이 각각 허용 오차 집합입니다. 가로·세로축은 무차원 잔차 성분입니다. 마름모·원·정사각형은 같은 원을 다르게 그린 것이 아니라 서로 다른 오차 제한입니다.#

어떤 숫자 요약이든 노름은 아닙니다. \(q(x)=\sum_i|x_i|^2\)는 \(\|x\|_2^2\)이지만 \(q(2x)=4q(x)\)입니다. 노름에 필요한 ‘두 배의 변화는 두 배 크기’라는 규칙을 만족하지 않습니다. \(0<p<1\)도 주의해야 합니다. \(x=e_1,y=e_2\)이면 \(\|x+y\|_p=2^{1/p}>2=\|x\|_p+\|y\|_p\)이므로 삼각부등식이 실패합니다.

2. 삼각부등식은 왜 필요한가?#

오차가 측정 단계의 \(u\)와 처리 단계의 \(v\)로 나뉘면 전체 오차는 \(u+v\)입니다. 두 단계의 오차 크기만 알고 있을 때 \(\|u+v\|\le\|u\|+\|v\|\)라면 최악의 총량을 안전하게 제한할 수 있습니다. 같은 방향이면 더해지고 반대 방향이면 줄어들 수 있으므로 등호를 항상 기대하지 않습니다.

이 부등식에서 또 하나의 유용한 결과가 나옵니다.

\[\|x\|=\|(x-y)+y\|\le\|x-y\|+\|y\| \quad\Longrightarrow\quad \|x\|-\|y\|\le\|x-y\|.\]

\(x,y\)를 바꾸면 \(\|y\|-\|x\|\le\|x-y\|\)입니다. 합쳐서

\[|\|x\|-\|y\||\le\|x-y\|.\]

입력 벡터가 조금 변하면 그 크기도 그보다 더 많이 변하지 않습니다. 다만 여기서 ‘조금’은 같은 노름으로 재고 있습니다. 아직 두 종류 노름 사이의 비교를 증명한 것은 아닙니다.

3. 입력의 허용 오차가 출력에서 얼마나 커질까?#

선형 관측

\[\begin{split}Ax=\begin{bmatrix}x_1+x_2\\x_2\end{bmatrix}, \qquad A=\begin{bmatrix}1&1\\0&1\end{bmatrix}\end{split}\]

을 봅시다. 첫 출력은 두 입력의 합이고 둘째는 둘째 입력을 그대로 읽습니다. 두 입력과 두 출력은 각각 지정된 기준 단위로 표준화한 수치입니다.

입력 오차가 \(h\)이면 출력 오차는 정확히 \(Ah\)입니다. 성분별로 \(|h_i|\le\varepsilon\)라면

\[|(Ah)_1|=|h_1+h_2|\le2\varepsilon,\qquad |(Ah)_2|=|h_2|\le\varepsilon.\]

\(h=(\varepsilon,\varepsilon)\)에서는 첫 성분이 실제로 \(2\varepsilon\)이므로 상계 2는 줄일 수 없습니다. 따라서

\[\sup_{h\ne0}\frac{\|Ah\|_\infty}{\|h\|_\infty}=2.\]

이번에는 \(\|h\|_1\le1\)이라 합시다.

\[\|Ah\|_1=|h_1+h_2|+|h_2| \le |h_1|+2|h_2|\le2.\]

\(h=(0,1)\)에서 \(Ah=(1,1)\)이므로 2에 도달합니다. 따라서 일 노름의 최대 증폭도 2입니다. 두 값이 같은 것은 이 행렬의 특성이지 모든 행렬의 일반법칙은 아닙니다.

이 최대 증폭을 유도노름, 또는 연산자 노름이라고 부릅니다. 입력과 출력의 노름이 다르면 \(\|A\|_{a\to b}=\sup_{x\ne0}\|Ax\|_b/\|x\|_a\)로 구분해 씁니다.

4. 이 노름의 최대 증폭은 고윳값의 최대 크기가 아니다#

같은 \(A\)에서 \(x^2+y^2=1\)인 입력 \((x,y)\)의 출력 제곱 크기는

\[\|A(x,y)^{\mathsf T}\|_2^2=(x+y)^2+y^2=x^2+2xy+2y^2.\]

최댓값을 \(\alpha=(3+\sqrt5)/2\)라고 해 보겠습니다. \(\alpha^2-3\alpha+1=0\)이므로 \((\alpha-1)(\alpha-2)=1\)입니다. 따라서

\[\alpha(x^2+y^2)-(x^2+2xy+2y^2) =(\alpha-1)\left(x-\frac{y}{\alpha-1}\right)^2\ge0.\]

등호 조건은 \(y=(\alpha-1)x\)입니다. 그 방향의 단위벡터를 택하면 실제로 \(\alpha\)에 도달합니다. 결국

\[\|A\|_2=\sqrt\alpha=\frac{1+\sqrt5}{2}.\]

복소 입력에도 같은 상계가 성립합니다. 위 완전제곱을 절댓값 제곱으로 바꾸면 교차항은 \(-2\operatorname{Re}(\bar xy)\)이고, 실제 최대점은 실수 방향으로 잡을 수 있습니다.

\(A\)의 고윳값은 둘 다 1인데 최대 증폭은 약 1.618입니다. 고유벡터 방향에서의 배율만 검사하면 다른 방향의 증폭을 놓칠 수 있습니다. 일반식 \(\|A\|_2=\sigma_{\max}(A)\)는 특이값을 정의하고 증명하는 H4에서 회수합니다. 여기서는 스펙트럼 정리를 앞당겨 사용하지 않고 이 작은 행렬의 최댓값을 직접 구했습니다.

단위 원의 각 입력 방향이 전단행렬을 통과할 때의 이 노름 증폭과 최대 방향을 표시한 그림 — 그림 59 입력은 \((\cos\theta,\sin\theta)\)입니다. 세로축은 출력 길이이자 단위 입력에 대한 증폭입니다. 고윳값 1의 수평선보다 높은 방향들이 존재합니다.#

5. 행렬 성분 전체의 크기와 최악의 증폭은 다르다#

행렬 성분을 하나의 긴 벡터로 보면

\[\|A\|_F=\left(\sum_{i,j}|a_{ij}|^2\right)^{1/2}\]

라는 Frobenius 노름을 얻습니다. 앞의 \(A\)에서는 \(\sqrt3\)입니다. 반면 유도 이 노름은 \((1+\sqrt5)/2\)로 서로 다릅니다.

\(I_n\)에서 차이가 더 분명합니다.

\[\|I_nx\|=\|x\|\quad\Longrightarrow\quad\|I_n\|_{\mathrm{ind}}=1, \qquad \|I_n\|_F=\sqrt n.\]

따라서 \(n>1\)에서 Frobenius 노름은 하나의 벡터노름으로부터 유도된 정사각행렬 노름일 수 없습니다. 그렇다고 쓸모없는 크기는 아닙니다. 모든 성분 오차를 합산하거나 행렬을 변수로 미분할 때 자연스럽습니다.

행렬의 최대 성분값 \(\|A\|_{\max}=\max_{ij}|a_{ij}|\)도 행렬공간의 노름이지만 일반적으로 \(\|AB\|_{\max}\le\|A\|_{\max}\|B\|_{\max}\)는 거짓입니다. \(A=B=\left[\begin{smallmatrix}1&1\\1&1\end{smallmatrix}\right]\)이면 두 인수의 값은 1이고 곱의 값은 2입니다. C6에서는 안쪽 차원 \(n\)을 포함한 올바른 상계를 사용했습니다.

6. 선형 관측의 최악값과 쌍대노름#

가격 또는 민감도 계수 \(a=(2,-1)\)로 오차를 \(\varphi(h)=2h_1-h_2\)라는 숫자로 읽는다고 합시다. 허용 오차가 \(\|h\|_1\le1\)이면

\[|\varphi(h)|\le2|h_1|+|h_2|\le2(|h_1|+|h_2|)\le2.\]

\(h=(1,0)\)에서 2에 도달합니다. 반면 \(\|h\|_\infty\le1\)이면

\[|\varphi(h)|\le2+1=3\]

이고 \(h=(1,-1)\)에서 3에 도달합니다. 같은 범함수라도 입력의 허용 오차 집합에 따라 최악값이 달라집니다.

\[\|\varphi\|_*=\sup_{\|h\|\le1}|\varphi(h)|\]

를 쌍대노름이라고 합니다. 일 노름의 쌍대에서는 계수의 최대값, 무한대 노름의 쌍대에서는 계수의 절대값 합이 나왔습니다. \(1<p<\infty\)에서는 \(1/p+1/q=1\)인 \(q\) 노름이 나오며 마지막 절에서 등호에 도달하는 입력까지 구성합니다.

이 계산은 ‘관측 오차에 대한 최악의 영향’을 말합니다. 예를 들어 절대편차 회귀가 설명변수의 극단값에도 무조건 강건하다는 통계적 주장까지 주지는 않습니다. 오차의 어떤 성분을 제한했는지와 자료의 허용 범위를 따로 보아야 합니다.

7. 같은 수렴이지만 차원이 커지면 상수가 달라진다#

\(x\in\mathbb F^n\)에 대해

\[\|x\|_\infty\le\|x\|_2\le\|x\|_1, \qquad \|x\|_1\le\sqrt n\,\|x\|_2, \qquad \|x\|_2\le\sqrt n\,\|x\|_\infty.\]

첫 부등식은 최대 성분의 제곱이 제곱합 이하이기 때문입니다. 둘째는

\[\left(\sum_i|x_i|\right)^2 =\sum_i|x_i|^2+2\sum_{i<j}|x_i||x_j| \ge\sum_i|x_i|^2\]

에서 나옵니다. 세 번째는 마지막 절의 \(p=q=2\) Hölder 부등식을 \(|x_i|\)와 1에 적용한 것입니다. 마지막은 각 제곱이 \(\|x\|_\infty^2\) 이하라는 사실에서 나옵니다.

고정된 \(n\)에서 \(\|x_k\|_2\to0\)이면 \(\|x_k\|_1\le\sqrt n\|x_k\|_2\to0\)이고, 역방향은 \(\|x_k\|_2\le\|x_k\|_1\)로 얻습니다. 그러나 \(n\)도 움직이는 상황에서 \(\sqrt n\)을 고정 상수처럼 취급하면 안 됩니다.

\(x=(1,\ldots,1)\)에서는 \(\|x\|_1/\|x\|_2=\sqrt n\)입니다. 이 상수는 계산 편의를 위해 크게 잡은 느슨한 상계가 아니라 실제로 도달하는 값입니다.

차원에 따라 일 노름과 이 노름의 최대 비율이 제곱근으로 증가하는 로그 눈금 그림 — 그림 60 각 점은 모든 성분이 1인 벡터의 비율입니다. 로그 축에서 기울기 \(1/2\)로 증가합니다. ‘노름이 동치’라는 말에 차원과 무관한 상수까지 포함되지 않습니다.#

8. 유한차원이라는 조건을 빼면 어떻게 될까?#

연속함수 공간 \(C[0,1]\)에서 \(\|f\|_\infty=\max|f(t)|\), \(\|f\|_1=\int_0^1|f(t)|\,dt\)를 비교합시다. \(f_n(t)=t^n\)이면

\[\|f_n\|_\infty=1,\qquad \|f_n\|_1=\int_0^1t^n\,dt=\frac1{n+1}.\]

일 노름에서는 0으로 가지만 최대 노름에서는 가지 않습니다. 모든 함수에 \(\|f\|_\infty\le C\|f\|_1\)인 고정 \(C\)가 있다면 \(1\le C/(n+1)\)이어야 하므로 모순입니다.

두 식은 이 연속함수 공간에서 실제 노름입니다. 특히 \(\int|f|=0\)인데 \(f(t_0)\ne0\)이면 연속성 때문에 주변의 양의 길이 구간에서 \(|f|\)가 양의 상수보다 커져 적분이 양수입니다. 따라서 적분이 0이면 함수가 0입니다. 일반 가측함수에서는 ‘거의 어디서나 같은 함수’를 동일시해야 한다는 추가 문제가 생기며, 그 공간 구성은 뒤에서 다룹니다.

또한 완비성과 유한차원은 같은 말이 아닙니다. 이번 단원의 정리는 유한차원이면 완비라고 말하지만 그 역은 주장하지 않습니다.

이 말을 이해하려면 수열의 두 조건을 구별해야 합니다. \(x_k\)가 \(x\)로 수렴한다는 것은 모든 \(\varepsilon>0\)에 대해 충분히 큰 \(k\)에서 \(\|x_k-x\|<\varepsilon\)라는 뜻입니다. 반면 Cauchy 수열은 극한 후보를 먼저 고르지 않고, 모든 \(\varepsilon>0\)에 대해 충분히 큰 두 번호 \(k,l\)에서 \(\|x_k-x_l\|<\varepsilon\)라고 요구합니다. 뒤쪽 항들이 서로 가까워진다는 조건입니다. 수렴하면 삼각부등식으로 Cauchy이지만, 그 역은 공간 안에 극한이 남아 있어야 성립합니다. 모든 Cauchy 수열이 그 공간 안에서 수렴할 때 완비라고 합니다.

부분집합이 닫혀 있다는 것은 그 집합의 수열이 주변 공간에서 수렴하면 극한도 그 집합 안에 있다는 뜻입니다. 노름공간에서는 이 수열 정의와 열린 집합의 여집합이라는 정의가 같습니다. 실제로 집합 밖의 점마다 양의 반지름의 공을 피할 수 있으면 그 점으로 수렴할 수 없고, 피할 수 없다면 반지름 \(1/k\)의 공마다 집합의 점을 골라 그 바깥점으로 수렴하는 수열을 만들 수 있습니다. 연속성은 입력이 한 점으로 수렴할 때 출력도 그 점의 출력으로 수렴함을 뜻합니다. 마지막 절에서는 이 용어들을 부등식으로 직접 확인합니다.

9. 언제 크기만으로 내적까지 복원할 수 있는가?#

이 노름은

\[\|x+y\|_2^2+\|x-y\|_2^2=2\|x\|_2^2+2\|y\|_2^2\]

를 만족합니다. 성분별로 \(|a+b|^2+|a-b|^2=2|a|^2+2|b|^2\)를 더하면 됩니다. 이를 평행사변형 법칙이라고 합니다.

일 노름에서 \(x=e_1,y=e_2\)를 넣으면 왼쪽은 \(2^2+2^2=8\), 오른쪽은 4입니다. 무한대 노름에서는 왼쪽 2, 오른쪽 4입니다. 따라서 모든 노름이 어떤 내적의 길이는 아닙니다.

실수공간에서 후보

\[B(x,y)=\frac{\|x+y\|^2-\|x-y\|^2}{4}\]

를 만들 수 있습니다. 표준 이 노름이면 교차항을 빼서 \(B(x,y)=\sum_i x_iy_i\)가 됩니다. 일반적으로 이 후보가 쌍선형이 되는 조건이 바로 평행사변형 법칙입니다. 마지막 절에서 필요한 덧셈·실수배 법칙을 모두 확인합니다. 다음 H1은 이렇게 얻거나 별도로 지정한 내적을 이용해 최적근사를 다룹니다.

10. 계산을 확인하는 코드#

import sympy as s
import numpy as np
A=s.Matrix([[1,1],[0,1]])
assert max(sum(abs(A[i,j]) for i in range(2)) for j in range(2))==2
assert max(sum(abs(A[i,j]) for j in range(2)) for i in range(2))==2
alpha=(3+s.sqrt(5))/2
assert s.simplify((alpha-1)*(alpha-2)-1)==0
v=s.Matrix([1,alpha-1])
assert s.simplify((A*v).dot(A*v)-alpha*v.dot(v))==0
for n in [2,5,20,100]:
    x=np.ones(n)
    assert np.isclose(np.linalg.norm(x,1)/np.linalg.norm(x),np.sqrt(n))
e1=np.array([1.,0.]); e2=np.array([0.,1.])
def defect(x,y,p):
    norm=lambda z:np.linalg.norm(z,ord=p)
    return norm(x+y)**2+norm(x-y)**2-2*norm(x)**2-2*norm(y)**2
assert np.isclose(defect(e1,e2,2),0)
assert np.isclose(defect(e1,e2,1),4)
assert np.isclose(defect(e1,e2,np.inf),-2)
print("유도노름·최대 방향·차원 상수·평행사변형 결함 검산 통과")

유도노름·최대 방향·차원 상수·평행사변형 결함 검산 통과

11. 직접 써 보는 문제와 전체 풀이#

문제 1 · 최대 행합과 최대 열합#

\(A=\left[\begin{smallmatrix}3&1&0\\0&-2&4\\1&1&1\end{smallmatrix}\right]\)의 일·무한대·Frobenius 노름을 구하세요.

풀이. 열 절대합은 \(4,4,5\)이므로 \(\|A\|_1=5\)입니다. 행 절대합은 \(4,6,3\)이므로 \(\|A\|_\infty=6\). 성분 제곱합은 \(9+1+4+16+1+1+1=33\)이므로 \(\|A\|_F=\sqrt{33}\). 이 노름의 일반 최대 증폭을 고윳값 3 같은 숫자로 추측하지 않습니다. 아래 증명한 상계로 \(\|A\|_2\le\sqrt{30}\)을 얻을 수 있습니다.

문제 2 · 가격 계수에 맞는 최악의 오차#

\(a=(2,-1,3)\), \(|h_i|\le\varepsilon\)일 때 \(|a^{\mathsf T}h|\)의 최댓값은?

풀이. \(|a^{\mathsf T}h|\le(2+1+3)\varepsilon=6\varepsilon\). \(h=(\varepsilon,-\varepsilon,\varepsilon)\)에서 6배에 도달합니다. 대신 \(\|h\|_1\le\varepsilon\)이면 상계는 \(3\varepsilon\)이고 \(h=(0,0,\varepsilon)\)에서 도달합니다.

문제 3 · 노름을 제곱하면?#

\(q(x)=\|x\|_2^2\)가 노름이 아님을 두 방법으로 확인하세요.

풀이. \(x\ne0\)에서 \(q(2x)=4q(x)\ne2q(x)\)여서 절대동차성이 실패합니다. 또 \(u=v\ne0\)이면 \(q(u+v)=4q(u)>2q(u)=q(u)+q(v)\)여서 삼각부등식도 실패합니다.

문제 4 · 유한차원에서는 극한이 달라질 수 있는가?#

\(\mathbb R^5\)의 수열 \(x_k\)가 \(\|\cdot\|_\infty\)에서 \(x\)로 수렴한다고 합시다. 일 노름에서도 같은가요?

풀이. \(\|x_k-x\|_1=\sum_{i=1}^5|(x_k-x)_i|\le5\|x_k-x\|_\infty\to0\). 여기서 5는 고정입니다. 수열 번호와 함께 차원이 늘어나는 경우에 이 증명을 그대로 적용할 수는 없습니다.

문제 5 · \(p=3/2\)의 쌍대#

\(\varphi(x)=a^{\mathsf T}x\), \(a=(1,2)\)의 \(\ell_{3/2}\) 쌍대노름과 최댓값에 도달하는 \(x\)를 구하세요.

풀이. \(q=3\)이므로 \(\|\varphi\|_*=(1^3+2^3)^{1/3}=9^{1/3}\). \(x=(1,4)/9^{2/3}\)로 잡으면 \(\sum_i|x_i|^{3/2}=(1+8)/9=1\). 또한 \(a^{\mathsf T}x=9/9^{2/3}=9^{1/3}\)여서 실제로 상계에 도달합니다.

12. 지금까지의 내용을 수학의 언어로 정리해 봅시다#

지금까지 계산한 오차 크기와 증폭을 일반적인 정의와 정리로 옮기겠습니다. 조금 딱딱한 표현이지만, 각 증명은 앞에서 사용한 비교가 모든 벡터에 성립함을 확인하는 과정입니다.

12.1 노름과 Hölder·Minkowski 부등식#

정의 20 (노름)

실수 또는 복소수 벡터공간의 함수 \(\|\cdot\|:V\to[0,\infty)\)가 \(\|x\|=0\iff x=0\), \(\|cx\|=|c|\|x\|\), \(\|x+y\|\le\|x\|+\|y\|\)를 만족하면 노름입니다.

\(1<p<\infty\), \(q=p/(p-1)\)라 합시다. \(a,b\ge0\)에 Young 부등식

\[ab\le a^p/p+b^q/q\]

부터 증명합니다. 고정 \(b\)에 \(g(a)=a^p/p-ab+b^q/q\)를 두면 \(g'(a)=a^{p-1}-b\)입니다. \(a=b^{1/(p-1)}\) 전에는 감소하고 후에는 증가합니다. 그 점에서 \(a^p=b^q\), \(ab=b^q\)이므로 \(g=0\)입니다. \(b=0\)에서도 식은 직접 성립합니다.

\(x,y\)의 해당 노름이 0이 아니면 \(a_i=|x_i|/\|x\|_p\), \(b_i=|y_i|/\|y\|_q\)에 Young을 적용하고 합하여

\[\sum_i a_ib_i\le \frac1p\sum_i a_i^p+\frac1q\sum_i b_i^q=\frac1p+\frac1q=1.\]

따라서 \(\sum_i|x_iy_i|\le\|x\|_p\|y\|_q\)입니다. 어느 벡터가 0이면 양변 0입니다. \(p=1,q=\infty\)는 \(|y_i|\le\|y\|_\infty\)를 각 항에 넣으면 되고 반대 경우도 같습니다.

\(z=x+y\)에 대해

\[\sum_i|z_i|^p \le\sum_i|x_i||z_i|^{p-1}+\sum_i|y_i||z_i|^{p-1} \le(\|x\|_p+\|y\|_p)\left(\sum_i|z_i|^{(p-1)q}\right)^{1/q}.\]

\((p-1)q=p\)이므로 마지막 인수는 \(\|z\|_p^{p-1}\). \(z\ne0\)이면 이를 나누어 Minkowski 부등식 \(\|x+y\|_p\le\|x\|_p+\|y\|_p\)를 얻습니다. \(z=0\)이면 직접 성립합니다. \(p=1,\infty\)의 삼각부등식은 성분별 삼각부등식의 합 또는 최댓값으로 얻습니다. 양정치성과 절대동차성은 정의의 성분식에서 바로 계산됩니다. 이로써 \(\ell_p\)가 노름임을 증명했습니다.

12.2 유도노름과 행렬곱#

유한차원 정의역에서는 모든 선형사상이 유계임을 12.4에서 증명합니다. 그 결과를 적용할 때

\[\|T\|_{a\to b}=\sup_{\|x\|_a=1}\|Tx\|_b\]

는 유한합니다. 일반 벡터는 \(x=\|x\|_a(x/\|x\|_a)\)로 정규화하여 \(\|Tx\|_b\le\|T\|_{a\to b}\|x\|_a\)를 얻습니다. 사상합·스칼라배의 노름 공리는 이 상계와 벡터노름 공리로 따라옵니다. \(\|T\|=0\)이면 모든 \(x\)에서 \(Tx=0\)이므로 \(T=0\)입니다.

합성에서는

\[\|STx\|_c\le\|S\|_{b\to c}\|Tx\|_b \le\|S\|_{b\to c}\|T\|_{a\to b}\|x\|_a\]

이므로 \(\|ST\|_{a\to c}\le\|S\|_{b\to c}\|T\|_{a\to b}\)입니다. 중간 공간의 노름이 같아야 이 연결이 정당합니다.

행렬 일 노름의 상계는

\[\sum_i\left|\sum_ja_{ij}x_j\right| \le\sum_j\left(\sum_i|a_{ij}|\right)|x_j| \le\max_j\sum_i|a_{ij}|\,\|x\|_1.\]

최대 열의 기본벡터를 입력하면 등호에 도달합니다. 무한대 노름의 상계는

\[\left|\sum_ja_{ij}x_j\right|\le\left(\sum_j|a_{ij}|\right)\|x\|_\infty.\]

최대 행 \(i_0\)에 대해 복소수에서는 \(x_j=\overline{a_{i_0j}}/|a_{i_0j}|\)(\(a_{i_0j}=0\)이면 \(x_j=1\))로 잡으면 그 행에서 각 항이 \(|a_{i_0j}|\)가 되어 등호에 도달합니다. 실수에서는 부호를 맞추는 선택입니다.

\(p=2\) Hölder로

\[|(AB)_{ij}|^2\le\left(\sum_k|a_{ik}|^2\right)\left(\sum_k|b_{kj}|^2\right).\]

\(i,j\)를 합하면 \(\|AB\|_F^2\le\|A\|_F^2\|B\|_F^2\). 같은 계산에서 \(B=x\)를 한 열로 두면 \(\|A\|_2\le\|A\|_F\)입니다.

또한 가중 Cauchy–Schwarz 계산

\[\left|\sum_ja_{ij}x_j\right|^2 \le\left(\sum_j|a_{ij}|\right)\left(\sum_j|a_{ij}||x_j|^2\right)\]

을 \(i\)에 합하면

\[\|Ax\|_2^2\le\|A\|_\infty\sum_j\left(\sum_i|a_{ij}|\right)|x_j|^2 \le\|A\|_\infty\|A\|_1\|x\|_2^2.\]

따라서 \(\|A\|_2\le\sqrt{\|A\|_1\|A\|_\infty}\)입니다.

12.3 쌍대노름의 정확한 계산#

\(\varphi(x)=\sum_i a_ix_i\)로 씁니다. 복소 선형범함수이므로 이 식의 \(x_i\)에는 켤레가 없습니다. Hölder로 \(|\varphi(x)|\le\|a\|_q\|x\|_p\)입니다. \(a\ne0\), \(1<p<\infty\)에서

\[x_i=\frac{\overline{a_i}}{|a_i|}\, \frac{|a_i|^{q-1}}{\|a\|_q^{q-1}}\quad(a_i\ne0),\qquad x_i=0\ (a_i=0)\]

로 잡으면 \((q-1)p=q\)이므로 \(\|x\|_p=1\)이고

\[\varphi(x)=\frac{\sum_i|a_i|^q}{\|a\|_q^{q-1}}=\|a\|_q.\]

\(p=1\)은 가장 큰 계수 위치 하나에 위상을 맞추고, \(p=\infty\)는 모든 계수에 위상을 맞추면 됩니다. \(a=0\)일 때 값은 0입니다.

일반 쌍대노름도 양정치성·절대동차성·삼각부등식을 만족합니다. 범함수가 0이 아니면 \(\varphi(v)\ne0\)인 \(v\)를 정규화하여 양의 하한을 얻고, 나머지 두 공리는 각 \(x\)에서 성립하는 스칼라 부등식의 상한을 취하면 됩니다. 임의 노름의 이중쌍대 등거리성에 필요한 일반 지지범함수 존재까지 여기서 증명했다고 간주하지 않습니다. 위에서는 \(\ell_p\)에 대해 최대화 입력을 직접 구성했습니다.

12.4 유한차원 노름 동치와 그 결과#

C6의 정의 19에서는 최대 성분값을 고정하여 미분을 정의했습니다. 아래의 양쪽 상계가 증명되면 나머지를 나누는 입력·출력 노름을 다른 노름으로 바꾸어도 그 극한이 0임을 확인할 수 있습니다.

정리 66 (유한차원 노름 동치)

유한차원 실수 또는 복소수 공간의 두 노름에는 상수 \(c,C>0\)가 존재하여 모든 \(x\)에 \(c\|x\|_a\le\|x\|_b\le C\|x\|_a\)입니다.

증명. 기저 \(e_1,\ldots,e_n\)를 고르고 좌표 일 노름을 \(|x|_1=\sum_i|x_i|\)라 둡니다. 임의 노름 \(N\)에

\[N(x)=N\left(\sum_i x_ie_i\right)\le\sum_i|x_i|N(e_i)\le M|x|_1, \quad M=\max_iN(e_i).\]

역삼각부등식으로 \(|N(x)-N(y)|\le N(x-y)\le M|x-y|_1\)이므로 \(N\)은 좌표 위상에서 연속입니다. \(|x|_1=1\)인 집합은 실수 좌표(\(\mathbb C^n\)은 \(\mathbb R^{2n}\))에서 닫히고 유계이므로 콤팩트합니다. \(N\)은 그 위에서 최솟값 \(m\)을 갖습니다. 그 값이 0이면 노름의 양정치성으로 최소점이 0이어야 하는데 \(|x|_1=1\)과 모순입니다. 따라서 \(m>0\).

\(x\ne0\)을 \(|x|_1\)로 나누어 \(m|x|_1\le N(x)\le M|x|_1\)을 얻습니다. 두 노름에 각각 적용하면 \(c=m_b/M_a\), \(C=M_b/m_a\)로 결론이 나옵니다. 영공간에서는 모든 벡터가 0이므로 임의 양의 상수를 택하면 됩니다.

선형사상의 유계성. 정의역의 기저를 쓰면

\[\|Tx\|_W\le\sum_i|x_i|\|Te_i\|_W \le\max_i\|Te_i\|_W\,|x|_1 \le \frac{\max_i\|Te_i\|_W}{m}\|x\|_V.\]

공역은 일반 노름공간이어도 됩니다. 이 부등식이 연속성도 줍니다.

유한차원 부분공간의 닫힘. 임의 노름공간의 유한차원 부분공간 \(U\)에서 수열 \(u_k\)가 주변 공간의 \(v\)로 수렴하면 \(u_k\)는 Cauchy입니다. \(U\)의 완비성으로 \(u\in U\)에도 수렴합니다. \(\|u-v\|\le\|u-u_k\|+\|u_k-v\|\to0\)이므로 \(u=v\). 따라서 극한은 \(U\) 안에 남습니다.

최대 증폭의 도달도 확인할 수 있습니다. 유한차원 정의역의 단위구 \(\|x\|=1\)은 좌표에서 닫혀 있고, 하계 \(m|x|_1\le\|x\|\)에 의해 유계입니다. 따라서 콤팩트합니다. 연속인 함수 \(x\mapsto\|Tx\|\)는 여기서 최댓값을 가지므로 0 아닌 정의역에서 유도노름의 상한은 실제로 도달합니다. 이 증명은 공역의 유한차원을 요구하지 않습니다.

노름 동치의 양쪽 상계는 열린 공이 서로 더 작은 열린 공을 포함하게 합니다. 따라서 같은 열린 집합·닫힌 집합·수렴을 정의합니다. 단위 공의 모양과 증폭의 수치까지 같다는 결론은 아닙니다.

12.5 평행사변형 법칙과 내적 복원#

\(q(x)=\|x\|^2\)가 평행사변형 법칙을 만족한다고 합시다. 먼저 실수 벡터공간에서 \(B(x,y)=\{q(x+y)-q(x-y)\}/4\)라 둡니다. \(q(-x)=q(x)\)이므로 \(B\)는 대칭이고 첫 인수의 부호를 바꾸면 부호가 바뀝니다. 또한 \(B(x,x)=\{q(2x)-q(0)\}/4=q(x)\)입니다.

평행사변형 법칙을 \(x+y,z\)와 \(x-y,z\)에 적용한 뒤 빼면

\[B(x+z,y)+B(x-z,y)=2B(x,y).\]

여기서 \(x,z\)를 교환하면 홀성으로

\[B(x+z,y)-B(x-z,y)=2B(z,y).\]

두 식을 더해 \(B(x+z,y)=B(x,y)+B(z,y)\)를 얻습니다. 정수배, 이어 유리수배에 대한 동차성은 반복 덧셈과 나눗셈으로 나옵니다. 노름의 연속성과 \(B\)의 정의로 유리수가 실수 \(a\)로 갈 때 극한을 취하여 \(B(ax,y)=aB(x,y)\). 대칭성으로 둘째 인수도 선형입니다. 따라서 \(B\)는 양정치 대칭 쌍선형식, 즉 실수 내적입니다.

복소공간에서는 우선 실수공간으로 보고 같은 \(B\)를 만듭니다. \(q(ix)=q(x)\)이므로 \(B(ix,iy)=B(x,y)\)이며 \(B(ix,y)=-B(x,iy)\)입니다. 이제

\[\langle x,y\rangle=B(x,y)+iB(x,iy)\]

로 두면 \(\langle ix,y\rangle=-B(x,iy)+iB(x,y)=i\langle x,y\rangle\)이고, 실수 선형성과 합쳐 첫 인수에서 복소 선형입니다. 대칭성과 \(B(iy,x)=-B(y,ix)\)에서 켤레대칭성을 얻습니다. \(B(x,ix)=-B(ix,x)\)와 대칭성 때문에 이 값은 0이므로 \(\langle x,x\rangle=B(x,x)=q(x)>0\)입니다. 둘째 인수의 켤레선형성은 켤레대칭성과 첫 인수 선형성으로 따라옵니다.

반대로 내적의 두 제곱노름을 전개하면 교차항이 소거되어 평행사변형 법칙을 얻습니다. 실수 부분과 허수 부분은 위의 편극식으로 반드시 복원되므로 그러한 내적은 유일합니다. 이제 H1에서 이 내적의 직교성과 최적근사 의미를 살펴볼 준비가 되었습니다.

노름은 오차의 크기와 선형사상의 증폭을 수치로 표현합니다. 다음 장에서는 내적으로부터 나온 노름을 사용해, 가장 가까운 벡터를 찾는 문제와 직교성을 연결합니다. H1로 이어 읽기.