선형대수학 - 내적과 내적공간

안녕하세요. 지난 포스팅의 선형대수학 - 불변 부분공간과 케일리-해밀턴 정리에서는 불변 부분공간과 순환 부분공간이라는 개념을 기반으로 케일리-해밀턴 정리 (Cayley-Hamilton Theorem)을 증명해보았습니다. 오늘은 주제를 바꾸어서 내적 (inner product)이라는 개념에 대해서 알아보도록 하겠습니다. 

 

 정의1. 내적 (inner product)

$V$를 $\mathbf{F}$ 상에서 정의된 벡터공간이라고 하자. 벡터공간 $V$에서의 내적 (innter product)는 벡터공간 $V$의 임의의 두 벡터 $x$와 $y$ 쌍을 $\mathbf{F}$ 상의 스칼라로 변환하는 함수이며 $<x, y>$로 표기한다. 벡터공간 $V$ 내의 임의의 세 벡터 $x, y, z$와 스칼라 $c \in \mathbf{F}$는 다음 식이 성립한다. 

 

(a). $ \langle x + z, y \rangle = \langle x, y \rangle + \langle z, y \rangle$

(b). $ \langle cx, y \rangle = c \langle x, y \rangle$

(c). $\overline{ \langle x, y \rangle } = \langle y, x \rangle $

(d). $x \neq 0$이면 $\langle x, x \rangle > 0$

 

여기서 $\overline{a}$는 복소공액 (complex conjugate)를 의미한다. 

 

Let $V$ be a vector space over $\mathbf{F}$. An inner product in $V$ is a function that assigns, to every ordered pair of vectors $x$ and $y$ in V, a scalar in $\mathbf{F}$, denoted $<x, y>$, such that for all $x, y, z \in V$ and all $c \in \mathbf{F}$, the following hold:

 

(a). $ \langle x + z, y \rangle = \langle x, y \rangle + \langle z, y \rangle$

(b). $ \langle cx, y \rangle = c \langle x, y \rangle$

(c). $\overline{ \langle x, y \rangle } = \langle y, x \rangle $

(d). $\langle x, x \rangle > 0$ if $x \neq 0$

 

설명

간단한 예시를 보도록 하겠습니다. 일단, 벡터공간 $\mathbf{F}^{n}$ 상에서 두 벡터 $x = (a_{1}, \dots, a_{n})$과 $y = (b_{1}, \dots, b_{n})$를 선택하고 다음과 같이 정의해보도록 하겠습니다. 

 

$$\langle x, y \rangle = \sum_{i = 1}^{n} a_{i} \overline{b}_{i}$$

 

이제 내적을 정의했으니 정의1에서 보았던 4가지 성질을 만족하는 지 확인해봐야합니다. 

 

(a). $ \langle x + z, y \rangle = \langle x, y \rangle + \langle z, y \rangle$

 

임의의 벡터 $z = (c_{1}, \dots, c_{n}) \in \mathbf{F}$를 선택합니다. 

 

$$\begin{align*} \langle x + z, y \rangle &= \sum_{i = 1}^{n} (a_{i} + c_{i}) \overline{b}_{i} \\ &= \sum_{i = 1}^{n} \left( a_{i} \overline{b}_{i} + c_{i}\overline{b}_{i} \right) \\ &= \sum_{i = 1}^{n} a_{i}\overline{b}_{i} + \sum_{i = 1}^{n} c_{i} \overline{b}_{i} \\ &= \langle x, y \rangle + \langle z, y \rangle \end{align*}$$

 

(b). $ \langle cx, y \rangle = c \langle x, y \rangle$

 

임의의 스칼라 $c \in \mathbf{F}$를 선택합니다. 

 

$$\begin{align*} \langle cx, y \rangle &= \sum_{i = 1}^{n} (ca_{i}) \overline{b}_{i} \\ &= \sum_{i = 1}^{n} c\left( a_{i} \overline{b}_{i} \right) \\ &= c\sum_{i = 1}^{n} a_{i}\overline{b}_{i} \\ &= c\langle x, y \rangle \end{align*}$$

 

(c). $\overline{ \langle x, y \rangle } = \langle y, x \rangle $

 

$$\begin{align*} \overline{\langle x, y \rangle} &= \overline{\sum_{i = 1}^{n} a_{i} \overline{b}_{i}} \\ &= \sum_{i = 1}^{n} \overline{\left( a_{i} \overline{b}_{i} \right)} \\ &= \sum_{i = 1}^{n} b_{i}\overline{a}_{i} \\ &= \langle y, x \rangle \end{align*}$$

 

(d). $\langle x, x \rangle > 0$ if $x \neq 0$

 

$$\begin{align*} \langle x, x \rangle &= \sum_{i = 1}^{n} a_{i} \overline{a}_{i} \\ &= \sum_{i = 1}^{n} \left| a_{i} \right|^{2} > 0 \end{align*}$$

 

방금 보여드린 예시가 가장 기본적인 벡터공간 $\mathbf{F}^{n}$ 상의 표준 내적 (standard inner product)라고 부릅니다. 이때, $\mathbf{F} = \mathbb{R}$이라면 조건 (c)에서 붙어있던 복소 공액은 없어도 됩니다. 흔히 저희가 점곱 (dot product) $x \cdot y$라고 부르는 것이 이 표준 내적을 의미합니다. 

 

다른 예시로 벡터공간을 $V = C([0, 1])$로 정의해보도록 하겠습니다. 즉, 닫힌 구간 $[0, 1]$ 사이에서 연속함수인 실함수로 이루어진 벡터공간 $V$를 생각해보도록 하겠습니다. 그리고 해당 벡터공간에서 두 벡터 $f, g \in V$를 선택한 뒤 내적을 다음과 같이 정의해보도록 하겠습니다. 

 

$$\langle f, g \rangle = \int_{0}^{1} f(t) g(t) \; dt$$

 

이제 내적을 정의했으니 정의1에서 보았던 4가지 성질을 만족하는 지 확인해봐야합니다. 

 

(a). $ \langle f + h, g \rangle = \langle f, g \rangle + \langle h, g \rangle$

 

임의의 벡터 $h \in V$를 선택하도록 하겠습니다. 

 

$$\begin{align*} \langle f + h, g \rangle &= \int_{0}^{1} (f + h)(t) g(t) \; dt \\ &= \int_{0}^{1} (f(t) + h(t)) g(t) \; dt \\ &= \int_{0}^{1} \left( f(t) g(t) + h(t) g(t) \right) \; dt \\ &= \int_{0}^{1} f(t) g(t) \; dt + \int_{0}^{1} h(t) g(t) \; dt \\ &= \langle f, g \rangle + \langle h, g \rangle  \end{align*}$$

 

(b). $ \langle cf, g \rangle = c \langle f, g \rangle$

 

임의의 스칼라 $c \in \mathbf{F}$를 선택합니다. 

 

$$\begin{align*} \langle cf, g \rangle &= \int_{0}^{1} (cf)(t) g(t) \; dt \\ &= \int_{0}^{1} cf(t) g(t) \; dt \\ &= c\int_{0}^{1} f(t) g(t) \; dt \\ &= c\langle f, g \rangle  \end{align*}$$

 

(c). $\overline{ \langle f, g \rangle } = \langle g, f \rangle $

 

주어진 함수가 실함수에서 정의되었기 때문에 $\langle f, g \rangle = \langle g, f \rangle$만 증명하며 됩니다. 

 

$$\begin{align*} \langle f, g \rangle &= \int_{0}^{1} f(t) g(t) \; dt \\ &= \int_{0}^{1} g(t) f(t) \; dt \\ &= \langle g, f \rangle  \end{align*}$$

 

(d). $\langle f, f \rangle > 0$ if $f(t) \neq 0$ on $[0, 1]$

 

$$\begin{align*} \langle f, f \rangle &= \int_{0}^{1} f(t) f(t) \; dt \\ &= \int_{0}^{1} \left[ f(t) \right]^{2} \; dt \end{align*}$$

 

이때, $\left[ f(t) \right]^{2} > 0$이기 때문에 $\langle f, f \rangle = \int_{0}^{1} \left[ f(t) \right]^{2} \; dt > 0$이다. 

 

자, 이렇게 2가지 중요한 내적의 예시에 대해서 보았습니다. 이를 통해, "내적"은 하나의 연산으로 정의하는 방식에 따라서 달라진다는 것을 꼭 상기하시길 바랍니다. 또한, 내적으로 정의되기 위해서는 앞서 말씀드린 4개의 조건을 모두 만족해야하는 것이죠. 

 

 정의2. 켤레 전치 (Conjugate Transpose)

$A \in \mathbf{M}_{n \times n}(\mathbf{F})$인 행렬이라고 할 때 행렬 $A$의 켤레 전치 (Conjugate Transpose) 또는 수반 (adjoint)는 모든 $i, j$에 대해서 $\left( A^{*} \right)_{ij} = \overline{A_{ij}}$를 만족하는 $n \times n$ 크기의 행렬 $A^{*}$로 정의된다. 

 

Let $A \in \mathbf{M}_{n \times n} (\mathbf{F})$. We define the conjugate matrix or adjoint of $A$ to be the $n \times n$ matrix $A^{*}$ such that $\left( A^{*} \right)_{ij} = \overline{A_{ij}}$.

 

설명

켤레 전치 또는 수반이라고 불리는 이 연산은 저희가 지금까지 보았던 전치 (Transpose)를 취한 뒤 켤레 복소수로 바꾸는 것을 의미합니다. 여기서, $\mathbf{F} = \mathbb{R}$이라면 어짜피 컬레 복소수를 취하더라도 동일하기 때문에 단순 전치 행렬과 동일해집니다. 간단한 예시는 다음과 같습니다. 

 

행렬 $A = \begin{pmatrix} i & 1 + 2i \\ 2 & 3 + 4i \end{pmatrix}$라고 하면 행렬 $A$의 켤레 전치는 다음과 같이 정의됩니다. 

 

$$A^{*} = \begin{pmatrix} -i & 2 \\ 1 - 2i & 3 - 4i \end{pmatrix}$$

 

당분간 이 연산은 선형대수 전반에 걸쳐서 중요하게 사용되기 때문에 꼭 기억해주시길 바랍니다. 이번에는 다른 예시로 켤레 전치 행렬을 이용한 내적을 정의한 뒤 조건을 확인해보도록 하겠습니다. $V = \mathbf{M}_{n \times n} (\mathbf{F})$라고 할 때 벡터공간에서 임의의 두 행렬 $A, B \in V$에 대한 내적으로 $\langle A, B \rangle = \textbf{tr} \left( B^{*} A \right)$라고 정의하도록 하겠습니다. 여기서 $\textbf{tr}$은 주어진 행렬의 대각합 (trace)를 의미하니 참고바랍니다. 이제, 저희가 확인하고 싶은 것은 이 연산이 정말 내적으로 정의되는 지 입니다. 정의1의 4개의 조건을 확인해보도록 하죠. 

 

(a). $ \langle A + C, B \rangle = \langle A, B \rangle + \langle C, B \rangle$

 

임의의 행렬 $C \in \mathbf{M}_{n \times n} (\mathbf{F})$를 선택하자. 

 

$$\begin{align*} \langle A + C, B \rangle &= \textbf{tr} \left( B^{*} (A + C) \right) \\ &= \textbf{tr} \left( B^{*}A + B^{*}C \right) \\ &= \textbf{tr} \left( B^{*}A \right) + \textbf{tr} \left( B^{*}C \right) \\ &= \langle A, B \rangle + \langle C, B \rangle \end{align*}$$

 

(b). $ \langle cA, B \rangle = c \langle A, B \rangle$

 

임의의 스칼라 $c \in \mathbf{F}$를 선택하자. 

 

$$\begin{align*} \langle cA, B \rangle &= \textbf{tr} \left( B^{*} (cA) \right) \\ &= \text{tr} \left( c(B^{*}A) \right) \\ &= c\textbf{tr} \left( B^{*}A \right) \\ &= c\langle A, B \rangle \end{align*}$$

 

(c). $\overline{ \langle A, B \rangle } = \langle B, A \rangle $

 

$$\begin{align*} \overline{\langle A, B \rangle} &= \overline{\textbf{tr} \left( B^{*} A \right)} \\ &= \textbf{tr} \left( \overline{B^{*}A} \right) \\ &= \textbf{tr} \left( A^{*}B \right) \\ &= \langle B, A \rangle \end{align*}$$

 

(d). $\langle A, A \rangle > 0$

 

$$\begin{align*} \langle A, A \rangle &= \textbf{tr} \left( A^{*}A \right) \\ &= \sum_{i = 1}^{n} \left( A^{*}A \right)_{ii} \\ &= \sum_{i = 1}^{n} \sum_{j = 1}^{n} \left( A^{*} \right)_{ik} A_{ki} \\ &= \sum_{i = 1}^{n} \sum_{k = 1}^{n} \overline{A_{ki}}A_{ki} \\ &= \sum_{i = 1}^{n} \sum_{k = 1}^{n} \left| A_{ki} \right|^{2} \end{align*}$$

 

이때, $A \neq O$라면 몇몇 $k$와 $i$에 대해서 $A_{ki} \neq 0$이기 때문에 $\langle A, A \rangle > 0$이다. 

 

 정의3. 내적공간 (inner product space)

$\mathbf{F}$ 상의 벡터공간 $V$ 내에서 벡터 사이에 특정한 내적 연산이 정의된다면 이를 내적공간 (inner product space)라고 한다. 

 

A vector space $V$ over $\mathbf{F}$ endowed with a specific inner product is called inner product space.

 

 정리1

벡터공간 $V$가 내적공간이면 임의의 세 벡터 $x, y, z \in V$과 스칼라 $c \in \mathbf{F}$에 대해 다음이 성립한다. 

 

(a). $\langle x, y + z \rangle = \langle x, y \rangle + \langle x, z \rangle$

(b). $\langle x, cy \rangle = \overline{c}\langle x, y \rangle$

(c). $\langle x, 0 \rangle = \langle 0, x \rangle = 0$

(d). $\langle x, x \rangle = 0 \rangle$인 것과 $x = 0$인 것은 동치이다. 

(e). 임의의 $x \in V$에 대해서 $\langle x, y \rangle = \langle x, z \rangle$를 만족하면 $y = z$이다. 

 

자, 앞으로 저희는 위에서 보았던 내적공간을 중심으로 노름 (Norm) 및 직교성 (Orthogonality)을 이해하고 이를 활용한 다양한 정리들에 대해서 알아보도록 하겠습니다. 

 

참고문헌 

Linear Algebra (Stephan. H)