선형대수학 - 수반연산자

안녕하세요. 지난 포스팅의 선형대수학 - 직교여공간에서는 직교여공간의 정의와 이를 활용하여 점-평면 사이의 최단 거리를 구하는 방법 그리고 성질에 대해서 알아보았습니다. 지금까지 저희는 내적공간의 성질에 대해서 분석했다고 할 수 있습니다. 오늘부터는 두 내적공간 사이의 관계인 선형연산자의 성질을 알아보도록 하겠습니다. 그 첫 번째 시간으로 볼 것이 바로 선형연산자의 수반연산 (Adjoint of Linear Operator)입니다. 수반연산자 역시 다양한 분야에서 적극적으로 활용되고 있는 개념이기 때문에 알아두시면 좋을 거 같습니다. 

 

 정의 1. 선형연산자의 수반연산 (Adjoint of Linear Operator)

내적공간 $V$에서 정의된 선형연산자 $T$에 대해서 내적공간 $V$의 정규직교 기저 $\beta$에 대한 선형연산자 $T$의 행렬표현 $[T]_{\beta}^{*}$를 선형연산자 $T$의 수반연산 (Adjoint of Linear Operator)이라고 한다. 

 

For a linear operator $T$ on inner product space $V$, we now define a related linear operator on $V$ called the adjoint of linear operator $T$, whose matrix representation with respect to any orthonormal basis $\beta$ for $V$ is $[T]_{\beta}^{*}$.

 

설명

정의 1에 따르면 수반연산은 행렬로써 선형연산자가 정의된 내적공간 $V$의 정규직교기저 $\beta$를 이용해 만들어진 것입니다. 수반연산을 활용한 정리를 소개하기 앞서 아래의 정리를 먼저 보도록 하겠습니다. 

 

 정리 1

$V$를 체 $\mathbf {F}$ 상에서 정의된 유한차원의 내적공간이라고 하자. 그리고 $g: V \rightarrow \mathbf {F}$가 선형연산자라고 가정하자. 그러면 임의의 $x \in V$에 대해서 $g(x, y) = \langle x, y \rangle$를 만족하는 유일한 벡터 $y \in V$가 존재한다. 

 

설명

정리 1을 이해하기 위해 간단한 예시를 먼저 들어보도록 하겠습니다. 선형연산자 $g: \mathbb {R}^{2} \rightarrow \mathbb {R}$이 $g(a_{1}, a_{2}) = 2a_{1} + a_{2}$로 정의되었다고 가정하겠습니다. 그리고 $\beta = \{ e_{1}, e_{2} \}$와 $y = g(e_{1})e_{1} + g(e_{2})e_{2} = 2e_{1} + e_{2} = (2, 1)$이라고 두겠습니다. 그러면 $g(a_{1}, a_{2}) = \langle (a_{1}, a_{2}), (2, 1) \rangle = 2a_{1} + a_{2}$가 됨을 볼 수 있죠.

 

즉, 정리 1은 어떤 선형연산자 $g$가 주어졌을 때 내적 $\langle x, y \rangle$의 꼴로 만들 수 있는 벡터 $y$가 항상 존재한다는 것을 의미합니다. 

 

이제 정리 1을 증명해 보도록 하죠. 증명의 핵심은 내적의 성질과 위에서 들었던 벡터 $y$를 만드는 방식을 참고하면 됩니다. 

 

Proof)

$\beta = \{ v_{1}, \dots, v_{n} \}$을 내적공간 $V$의 정규직교 기저라고 하자. 그리고 $y = \sum_{i = 1}^{n} \overline {g(v_{i})} v_{i}$라고 하자. 이제, $h: V \rightarrow \mathbf {F}$를 $h(x, y) = \langle x, y \rangle$로 정의하자. 먼저, $h$가 선형연산자임을 증명하기 위해 임의의 2개의 벡터 $v_{1}, v_{2} \in V$와 스칼라 $c \in \mathbf{F}$를 선택한다. 

 

$$\begin {align*} h(v_{1} + cv_{2}) &= \langle v_{1} + cv_{2}, y \rangle \\ &= \langle v_{1}, y \rangle + c\langle v_{2}, y \rangle = h(v_{1}) + ch(v_{2}) \end {align*}$$

 

$h(v_{1} + cv_{2}) = h(v_{1}) + ch(v_{2})$이기 때문에 $h$는 선형연산자이다. 이제, 모든 $v \in V$에 대해서 우리는 두 선형연산자 $g$와 $h$가 같음을 증명해야 한다. 이를 위해, $1 \le j \le n$에 대해 다음과 같이 쓸 수 있다. 

 

$$\begin {align*} h(v_{j}) &= \langle v_{j}, y \rangle \\ &= \langle v_{j}, \sum_{i = 1}^{n} \overline {g(v_{i})} v_{i} \rangle \\ &= \sum_{i = 1}^{n} g(v_{i}) \langle v_{j}, v_{i} \rangle \\ &= \sum_{i  = 1}^{n} g(v_{i}) \delta_{ij} = g(v_{j}) \end {align*}$$

 

이는 선형대수학 - 선형변환, 영 공간, 치역의 따름 정리 6-1에 의해 $h = g$임이 증명된다. 마지막으로 이를 만족하는 벡터 $y$가 유일함을 증명하기 위해서 어떤 새로운 벡터 $y^{'} \in V$ 역시 모든 $x \in V$에 대해 $g(x) = \langle x, y^{'} \rangle$를 만족한다고 가정하자. 그러면  모든 $x \in V$에 대해서 $\langle x, y \rangle = \langle x, y^{'} \rangle$를 만족하기 때문에 선형대수학 - 내적과 내적공간의 정리 1.(e)에 의해 $y = y^{'}$이 증명되므로 주어진 명제를 만족하는 벡터 $y \in V$는 유일하다. 

 

이제 본격적으로 수반연산자와 관련된 정리를 소개해드리겠습니다. 정리 1이 아래의 정리를 증명하는 데 중요한 역할을 합니다. 

 

정리 2

$V$를 유한차원을 가지는 내적공간 그리고 $T$를 내적공간 $V$에서 정의된 선형연산자라고 하자. 그러면 모든 $x, y \in V$에 대해 $\langle T(x), y \rangle = \langle x, T^{*}(y) \rangle$를 만족하는 유일한 함수 $T^{*}: V \rightarrow V$가 존재하며 $T^{*}$는 선형이다. 

 

설명

정리 2는 선형연산자의 대응하는 수반연산자가 항상 존재함을 보여주고 있습니다. 또한, 그 수반연산자는 선형이고 $\langle T(x), y \rangle = \langle x, T^{*}(y) \rangle$를 만족한다는 것이죠. 

 

증명의 핵심은 $T^{*}$의 선형성 (linearity)을 증명한 뒤 유일성 (uniqueness)을 증명해야 합니다. 이를 위해 정리 1과 내적의 성질을 함께 활용하면 쉽게 증명할 수 있습니다.

 

Proof)

$y \in V$라고 하자. 그리고 $g: V \rightarrow \mathbf {F}$를 모든 $x \in V$에 대해서 $g(x) = \langle T(x), y \rangle$를 만족하는 함수라고 하자. 우리는 정리 1을 적용하기 위해서는 $g$가 선형임을 먼저 보여야한다. 이를 위해 임의의 두 벡터 $x_{1}, x_{2} \in V$와 스칼라 $c \in \mathbf{F}$를 선택한다. 그러면 다음과 같이 보일 수 있다. 

 

$$\begin {align*} g(x_{1} + cx_{2}) &= \langle T(x_{1} + cx_{2}), y \rangle \\ &= \langle T(x_{1}) + cT(x_{2}), y \rangle \\ &= \langle T(x_{1}), y \rangle + c \langle T(x_{2}), y \rangle = g(x_{1}) + cg(x_{2}) \end {align*}$$

 

$g(x_{1} + cx_{2}) = g(x_{1}) + cg(x_{2})$를 만족하기 때문에 $g$는 선형이다. 따라서, 정리 1에 의해 $g(x) = \langle x, y^{'} \rangle$를 만족하는 유일한 벡터 $y^{'} \in V$가 존재한다. 이는 $g$의 정의에 의해 모든 $x \in V$에 대해서 $\langle T(x), y \rangle = \langle x, y^{'} \rangle$를 만족한다. 이제, $T^{*}: V \rightarrow V$를 $T^{*}(y) = y^{'}$라고 정의하면 $\langle T(x), y \rangle = \langle x, T^{*}(y) \rangle$라고 쓸 수 있다. 이제 $T^{*}$의 선형성과 유일성을 증명한다. 

 

먼저, $T^{*}$의 선형성을 보이기 위해 임의의 두 벡터 $y_{1}, y_{2} \in V$와 스칼라 $c \in \mathbf {F}$를 선택한다. 그러면 임의의 $x \in V$에 대해서 다음과 같이 쓸 수 있다. 

 

$$\begin {align*} \langle x, T^{*}(cy_{1} + y_{2}) \rangle &= \langle T(x), cy_{1} + y_{2} \rangle \\ &= \overline {c} \langle T(x), y_{1} \rangle + \langle T(x), y_{2} \rangle \\ &= \overline{c} \langle x, T^{*}(y_{1}) \rangle + \langle x, T^{*}(y_{2}) \rangle \\ &= \langle x, \overline {c} T^{*}(y_{1}) + T^{*}(y_{2}) \rangle \end {align*}$$

 

이때, 임의의 벡터 $x \in V$에 대해서 $\langle x, T^{*}(cy_{1} + y_{2}) \rangle = \langle x, \overline {c} T(y_{1}) + T(y_{2}) \rangle$를 만족하므로 선형대수학 - 내적과 내적공간의 정리 1.(c)에 의해 $T^{*}(cy_{1} + y_{2}) = \overline {c} T^{*} (y_{1}) + T^{*} (y_{2})$이다. 따라서, $T^{*}$는 선형이다. 

 

다음으로 $T^{*}$의 유일성을 보이기 위해 임의의 $x, y \in V$에 대해서 $\langle T(x), y \rangle = \langle x, U(y) \rangle$를 만족하는 새로운 선형함수 $U: V \rightarrow V$를 고려하자. 그러면, 임의의 $x, y \in V$에 대해서 $\langle x, T^{*}(y) \rangle = \langle x, U(y) \rangle$를 만족하기 때문에 선형대수학 - 선형변환, 영 공간, 치역의 따름 정리 6-1에 의해 $T^{*} = U$이다. 따라서, $T^{*}$는 유일하다. 

 

정리 2를 통해 존재성을 증명한 $T^{*}$를 저희는 선형연산자 $T$의 수반연산이라고 합니다. 이때, 중요한 점은 $T^{*}$가 임의의 $x, y \in V$에 대해서 $\langle T(x), y \rangle = \langle x, T^{*}(y) \rangle$를 만족하는 유일한 함수이기 때문에 다음과 같이 쓸 수 있습니다. 

 

$$\begin {align*} \langle x, T(y) \rangle &= \overline {\langle T(y), x \rangle} \\ &= \overline{\langle y, T^{*}(x) \rangle} \\ &= \langle T^{*}(x), y \rangle \end {align*}$$

 

즉, 임의의 $x, y \in V$에 대해 $\langle x, T(y) \rangle = \langle T^{*}(x), y \rangle$ 역시 만족한다는 것을 의미합니다. 수반연산자의 존재성에 대해서 확인했으니 이번에는 중요한 성질에 대해서 확인해 보도록 하겠습니다. 

 

 정리 3

$V$를 유한차원의 내적공간이라고 하자. 그리고 $\beta$를 내적공간 $V$의 정규직교 기저라고 하자. 만약 $T$가 내적공간 $V$에서 정의된 선형연산자라고 하면 $[T^{*}]_{\beta} = [T]^{*}_{\beta}$이다. 

 

설명

정리 3은 선형연산자의 수반연산자와 수반행렬 사이의 관계를 설명하고 있습니다. 이 역시 이후에 굉장히 많이 사용될 정리이기 때문에 꼭 알아두시면 좋을 거 같습니다. 

 

증명은 아주 간단합니다. 기본적으로 선형대수학 - 그람-슈미트 과정의 따름 정리 2-1을 활용하면 쉽게 보일 수 있습니다. 

 

Proof)

$A = [T]_{\beta}$ 그리고 $B = [T^{*}]_{\beta}$라고 하자. 또한, 내적공간 $V$의 정규직교기저 $\beta = \{ v_{1}, \dots, v_{n} \}$라고 두면 선형대수학 - 그람-슈미트 과정의 따름 정리 2-1에 의해 다음과 같이 쓸 수 있다. 

 

$$\begin {align*} B_{ij} &= \langle T^{*}(v_{j}), v_{i} \rangle \\ &= \overline {\langle v_{i}, T^{*}(v_{j}) \rangle} \\ &= \overline{\langle T(v_{i}), v_{j} \rangle} \\ &= \overline {A_{ji}} = \left( A^{*} \right)_{ij} \end {align*}$$

 

모든 $i$와 $j$에 대해서 $B_{ij} = \left( A^{*} \right)_{ij}$가 성립하므로 $B = A^{*}$이다. 이를 다시 바꾸어서 쓰면 $[T^{*}]_{\beta} = [T]_{\beta}^{*}$이다. 

 

지금까지 항상 그래왔지만 선형변환에 대한 성질은 행렬에 대한 성질로 바꾸어서 따름 정리의 형태로 쓸 수 있습니다. 

 

 따름 정리 3-1

행렬 $A$를 $n \times n$ 크기의 행렬이라고 하자. 그러면 $L_{A^{*}} = \left( L_{A} \right)^{*}$이다. 

 

Proof)

$\beta$를 $\mathbf {F}^{n}$의 표준 순서기저라고 하면 선형대수학 - 선형변환 합성과 행렬곱의 정의 4(좌곱셈 변환)에 의해 $[L_{A}]_{\beta} = A$이다. 여기서 정리 3을 적용하면 다음과 같이 쓸 수 있다. 

 

$$\begin {align*} [(L_{A})^{*}]_{\beta} &= [L_{A}]^{*}_{\beta} \\ &= A^{*} = [L_{A^{*}}]_{\beta} \end {align*}$$

 

즉, $[(L_{A})^{*}]_{\beta} = [L_{A^{*}}]_{\beta}$이므로 $\left( L_{A} \right)^{*} = L_{A^{*}}$이다. 

 

간단한 예시를 통해 더 자세하게 알아보도록 하겠습니다. 함수 $T$를 2차원 복소공간 $\mathbb {C}^{2}$에서 정의된 선형변환으로 $T(a_{1}, a_{2}) = (2i a_{1} + 3a_{2}, a_{1} - a_{2})$라고 하겠습니다. 그리고 $\beta$를 $\mathbb {C}^{2}$의 표준 순서기저라고 하면 다음과 같이 쓸 수 있습니다. 

 

$$[T]_{\beta} = \begin {pmatrix} 2i & 3 \\ 1 & -1 \end {pmatrix}$$

 

따라서, $[T^{*}]_{\beta}$를 다음과 같이 구할 수 있습니다. 

 

$$[T^{*}]_{\beta} = [T]_{\beta}^{*} = \begin {pmatrix} -2i & 1 \\ 3 & -1 \end {pmatrix} $$

 

따라서, $T^{*}(a_{1}, a_{2}) = (-2i a_{1} + a_{2}, 3a_{1} - a_{2})$입니다. 여기서 정리 3의 증명과정에 따르면 $B_{ij} = \overline {A_{ji}} = \left( A^{*} \right)_{ij}$가 된 것을 볼 수 있습니다. 즉, 수반연산의 행렬표현의 기존 선형연산자의 행렬표현에서 전치연산 + 켤레복소수를 적용한 것을 의미하게 되는 것이죠. 만약, 선형연산자가 실수공간에서 정의된다면 단순히 전치연산만 적용하면 수반연산자의 행렬을 얻을 수 있다는 것을 의미합니다. 

 

이제 마지막으로 유용하게 사용될 수 있는 수반연산자들의 성질들을 확인하고 마무리하도록 하겠습니다. 

 

 정리 4

$V$를 유한차원의 내적공간 그리고 $T$와 $U$를 내적공간 $V$에서 정의된 선형연산자라고 정의하자. 그러면 다음 명제들이 성립한다. 

 

(a). $(T + U)^{*} = T^{*} + U^{*}$

(b). 임의의 $c \in \mathbf {F}$에 대해서 $(cT)^{*} = \overline {c} T^{*}$이다. 

(c). $(TU)^{*} = U^{*} T^{*}$

(d). $T^{**} = T$

(e). $I^{*} = I$

 

 따름 정리 4-1

$A$와 $B$를 $n \times n$ 크기의 행렬이라고 하면 다음 명제들이 성립한다. 

 

(a). $(A + B)^{*} = A^{*} + B^{*}$

(b). 임의의 $c \in \mathbf {F}$에 대해서 $(cA)^{*} = \overline {c} A^{*}$이다. 

(c). $(AB)^{*} = B^{*} A^{*}$

(d). $A^{**} = A$

(e). $I^{*} = I$

 

오늘은 선형연산자의 수반연산자에 대해서 알아보았습니다. 정리 2를 통해 수반연산자는 선형성을 가지고 유일하게 존재한다는 사실을 알게 되었습니다. 또한, 정리 3의 증명과정에서 수반연산자는 $B_{ij} = \overline {A_{ji}} = \left( A^{*} \right)_{ij}$의 형태로 구할 수 있기 때문에 전치연산 + 켤레복소수를 적용하면 얻을 수 있다는 것까지 알았습니다. 다음 포스팅에서는 수반연산자를 활용하여 기계학습에서 중요하게 활용되는 최소제곱법을 증명해 보도록 하겠습니다.