선형대수학 - 노름과 직교성

안녕하세요. 지난 포스팅의 선형대수학 - 내적과 내적공간에서는 내적 및 내적공간의 정의와 관련된 성질에 대해서 알아보았습니다. 오늘은 내적의 특별한 연산인 노름 (Norm)과 벡터 간의 중요한 관계성 중 하나인 직교성 (Orthogonality)에 대해서 알아보도록 하겠습니다. 

 

 정의1. 노름 (Norm)

$V$를 내적공간이라고 하자. $x \in V$에 대해서 벡터 $x$의 크기 (length) 또는 노름 (norm)은 $\lVert x \rVert = \sqrt{\langle x, x \rangle}$으로 정의된다. 

 

Let $V$ be an inner product space. For $x \in V$, we define the norm or length of $x$ by $\lVert x \rVert = \sqrt{\langle x, x \rangle}$.

 

설명

아마 기계학습 및 심층학습 영역을 공부해보신 분들을 노름에 대한 이야기를 굉장히 많이 들으셨을 거 같습니다. 쉽게 말해 노름은 주어진 벡터의 크기 (magnitude)와 동일한 개념이라고 보시면 될 거 같습니다. 다만, 기계학습에서는 노름을 정의할 때 내적 연산을 한정적으로 사용한다는 점이죠. 가장 대표적으로 유클리디안 노름 (Euclidean Norm)이 있습니다. 

 

내적공간 $V = \mathbf{F}^{n}$이라고 두고 $x = (a_{1}, \dots, a_{n}) \in V$가 주어졌을 때 유클리디안 노름은 다음과 같이 정의됩니다. 

 

$$\lVert x \rVert = \lVert (a_{1}, \dots, a_{n}) \rVert = \left( \sum_{i = 1}^{n} \left| a_{i} \right|^{2} \right)^{\frac{1}{2}}$$

 

유클리디안 노름이라고 하니까 바로 생각안나신다면 $L$-2 노름은 어떠신가요? 아마 심층 신경망 학습 시 과적합을 방지 및 학습 안정성 증가를 위해 weight decay를 적용하는 과정에서 $L$-2 노름을 쓰는 것을 보셨을 겁니다. 사실 $L$-2 노름이 유클리디안 노름과 동일한 개념입니다.

 

지난 포스팅에서도 언급했지만 내적 연산이 조건에 맞게 잘 정의만 되면 하나의 내적공간에서도 벡터의 크기를 계산하는 다양한 노름을 생각해볼 수 있습니다. 이는 나중에 천천히 알아보도록 하고 노름의 성질에 대해서 알아보도록 하죠. 

 

 정리1

$V$를 체 $\mathbf{F}$상의 내적공간이라고 하자. 임의의 두 벡터 $x, y \in V$와 스칼라 $c \in \mathbf{F}$에 대해서 다음 명제가 성립한다. 

 

(a). $\lVert cx \rVert = \left| c \right| \lVert x \rVert $

(b). $\lVert x \rVert = 0$와 $x = 0$은 동치이다. 즉, 임의의 벡터 $x$에 대해서 $\lVert x \rVert \ge 0$이다. 

(c). (Cauchy-Schwartz inequality) $\left| \langle x, y \rangle \right| \le \lVert x \rVert \lVert y \rVert$

(d). (Triangular inequality) $\lVert x + y \rVert \le \lVert x \rVert + \lVert y \rVert$

 

설명

위 명제들은 정의를 이용해서 간단하게 증명할 수 있습니다. 

 

(a). $\lVert cx \rVert = \left| c \right| \lVert x \rVert $

 

$$\begin{align*} \lVert cx \rVert &= \sqrt{\langle cx, cx \rangle} \\ &= \sqrt{c^{2}} \sqrt{\langle x, x \rangle} \\ &= \left| c \right| \lVert x \rVert \end{align*}$$

 

(b). $\lVert x \rVert = 0$와 $x = 0$은 동치이다. 즉, 임의의 벡터 $x$에 대해서 $\lVert x \rVert \ge 0$이다. 

 

노름의 정의에 의해 $\lVert x \rVert = \sqrt{\langle x, x \rangle} = 0$이라는 것은 $\langle x, x \rangle = 0$과 동치이므로 선형대수학 - 내적과 내적공간의 정리1.(d)에 의해 $x = 0$ 역시 동치이다. 

 

(c). (Cauchy-Schwartz inequality) $\left| \langle x, y \rangle \right| \le \lVert x \rVert \lVert y \rVert$

 

위 부등식에서 $y = 0$인 경우 자명하므로 $y \neq 0$인 벡터를 고려한다. 임의의 스칼라 $c \in \mathbf{F}$에 대해서 우리는 다음을 얻을 수 있다. 

 

$$\begin{align*} 0 &\le \lVert x - cy \rVert^{2} \\ &= \langle x - cy, x - cy \rangle \\ &= \langle x, x - cy \rangle - c\langle y, x - cy \rangle \\ &= \langle x, x \rangle - \overline{c} \langle x, y \rangle  - c\langle y, x \rangle + c\overline{c} \langle y, y \rangle \end{align*}$$

 

이때, $c = \frac{\langle x, y \rangle}{\langle y, y \rangle}$라고 고정하면 다음과 같이 식을 정리할 수 있다. 

 

$$\begin{align*} 0 &\le \langle x, x \rangle - \frac{\overline{\langle x, y \rangle}}{\langle y, y \rangle} \cdot \langle x, y \rangle - \frac{\langle x, y \rangle}{\langle y, y \rangle} \cdot \langle y, x \rangle + \frac{\langle x, y \rangle}{\langle y, y \rangle} \frac{\overline{\langle x, y \rangle}}{\langle y, y \rangle} \cdot \langle y, y \rangle \\ &= \langle x, x \rangle - \frac{\left| \langle x, y \rangle \right|^{2}}{\langle y, y \rangle} \\ &= \lVert x \rVert^{2} - \frac{\left| \langle x, y \rangle \right|^{2}}{\lVert y \rVert^{2}} \end{align*}$$

 

이제 이 식을 정리하면 $\left| \langle x, y \rangle \right| \le \lVert x \rVert \lVert y \rVert$

 

(d). (Triangular inequality) $\lVert x + y \rVert \le \lVert x \rVert + \lVert y \rVert$

 

$$\begin{align*} \lVert x + y \rVert^{2} &= \langle x + y, x + y \rangle \\ &= \langle x, x \rangle + \langle x, y \rangle + \langle y, x \rangle + \langle y, y \rangle \\ &= \lVert x \rVert^{2} + \lVert y \rVert^{2} + 2\mathcal{R} \left( \langle x, y \rangle \right) \\ &\le \lVert x \rVert^{2} + \lVert y \rVert^{2} + 2 \left| \langle x, y \rangle \right| \\ &\le \lVert x \rVert^{2} + \lVert y \rVert^{2} + 2\lVert x \rVert \lVert y \rVert \\ &= \left( \lVert x \rVert + \lVert y \rVert \right)^{2} \end{align*}$$

 

따라서, 위 식을 정리하면 삼각부등식을 얻을 수 있다.

 

 정의2. 직교성 (Orthogonality)

$V$를 내적공간이라고 하자. 두 벡터 $x, y \in V$에 대해서 $\langle x, y \rangle = 0$을 만족하면 두 벡터 $x$와 $y$는 직교 (orthogonal) 또는 수직 (perpendicular)라고 한다. 벡터공간 $V$의 부분집합 $S$의 임의의 서로 다른 두 벡터들이 모두 직교하면 부분집합 $S$는 직교한다. $x \in V$에 대해서 $\lVert x \rVert = 1$이면 벡터 $x$를 단위 벡터 (unit vector)라고 한다. 마지막으로, 벡터공간 $V$의 부분집합 $S$가 직교하고 모든 벡터들이 단위 벡터라면 $S$를 정규직교한다 (orthonormal)고 한다. 

 

Let $V$ be an inner product space. Vectors $x$ and $y$ in $V$ are orthogonal (perpendicular) if $\langle x, y \rangle = 0$. A subset $S$ of $V$ is orthogonal if any two distinct vectors in $S$ are orthogonal. A vector $x$ in $V$ is a unit vector if $\lVert x \rVert = 1$. Finally, a subset $S$ of $V$ is orthonormal if $S$ is orthogonal and consists entirely of unit vectors.

 

설명

직교라는 것은 단순히 두 벡터 사이의 관계만을 의미하는 것이 아닙니다. 정의2에서 보시는 것 처럼 벡터공간의 특성 중 하나로도 언급될 수 있는 개념이죠. 간단한 예시를 보도록 하겠습니다. 

 

$V = \mathbf{F}^{3}$에 대해서 집합 $\{(1, 1, 0), (1, -1, 1), (-1, 1, 2)\}$가 직교하는 집합인지 확인해보도록 하겠습니다. 이를 위해서는 집합 내의 모든 벡터들의 내적이 0이 됨을 확인해야하죠. 

 

1). $\langle (1, 1, 0), (1, -1, 1) \rangle = 1 - 1 + 0 = 0$

2). $\langle (1, -1, 1), (-1, 1, 2) \rangle = -1 - 1 + 2 = 0$

3). $\langle (-1, 1, 2), (1, 1, 0) \rangle = -1 + 1 + 0 = 0$

 

따라서, 주어진 집합은 직교집합임을 알 수 있죠. 하지만, 3개의 벡터들이 단위 벡터는 아니기 때문에 정규직교 집합은 아닙니다. 

 

이제, 저희는 내적을 통해 벡터공간을 내적공간으로 제한하여 노름 및 직교성에 대해서 알아보았습니다. 노름은 쉽게 생각하면 벡터의 크기이고 직교성은 두 벡터 사이의 내적이 0을 만족할 때 두 벡터의 관계 또는 벡터공간의 성질이라고 볼 수 있죠. 이제, 다시 선형대수의 관점으로 돌아와서 어떤 벡터공간이 주어졌을 때 기저들을 분석하는 시간을 다음 포스팅에서 가져보도록 하겠습니다. 특히, 저희는 직교하는 기저를 가지는 벡터공간의 조건 및 성질을 중심으로 알아봐야합니다. 여기서 궁금점은 "항상 직교 기저는 존재하는 가?"입니다. 다음 포스팅에서 보도록 하겠습니다. 

 

참고문헌 

Linear Algebra (Stephan. H)