안녕하세요. 지난 포스팅의 선형대수학 - 유니터리 연산과 직교 연산에서는 연산 전후의 벡터의 노름이 유지되는 선형연산자인 유니터리 연산 (복소내적공간) 및 직교 연산 (실내적공간)에 대해서 알아보았습니다. 오늘은 이를 행렬의 관점에서 보도록 하겠습니다. 정의1. 유니터리 행렬 (Unitary Matrix)과 직교 행렬 (Orthogonal Matrix) 정사각행렬 $A$가 $A^{*}A = AA^{*} = I$를 만족하면 유니터리 행렬 (Unitary Matrix), 그리고 $A^{t}A = AA^{t} = I$를 만족하면 직교 행렬 (Orthogonal Matrix)라고 한다. A square matrix $A$ is called an unitary if $A^{*}A = AA^{*} = I$ and ..
안녕하세요. 지난 포스팅의 선형대수학 - 자기수반 연산과 에르미트 연산에서는 실내적공간의 정규 직교기저가 선형연산자의 고유벡터로 이루어지기 위한 조건인 자기수반 연산 또는 에르미트 연산이라는 것에 대해서 알아보았습니다. 오늘은 연산 전의 벡터의 노름의 크기를 보존하는 선형연산자의 특성에 대해서 알아보도록 하겠습니다. 본격적으로 진행하기에 앞서 직관적으로 벡터의 노름을 "보존"하는 기하학적인 연산에는 무엇이 있을까요? 가장 대표적인 예시로는 회전 (rotation)과 반사 (reflection)이겠네요. 두 연산은 모두 벡터의 노름은 보존하기 때문에 저희가 앞으로 관심있게 봐야할 기하학적 연산이 될 것 입니다. 이러한 연산을 수학적으로 일반화시켜 표현하면 다음과 같은 정의를 생각해볼 수 있습니다. 정의1...
안녕하세요. 지난 포스팅의 선형대수학 - 정규연산에서는 유한차원의 복소내적공간 $V$에서 정의된 선형연산자 $T$의 고유벡터가 $V$의 정규 직교기저가 될 수 있는 조건인 정규성 (Normality)에 대해서 알아보았습니다. 오늘은 복소내적공간에서 실내적공간으로 범위를 바꾸었을 때 선형연산자 $T$의 고유벡터가 $V$의 정규 직교기저가 될 수 있는 조건에 대해서 알아보도록 하겠습니다. 정의1. 자기수반 연산 및 에르미트 연산 (Self-Adjoint Operator and Hermitian Operator) $T$를 내적공간 $V$에서 정의된 선형연산자라고 하자. 이때, 선형연산자 $T$의 수반연산자 $T^{*}$에 대해서 $T = T^{*}$를 만족하면 $T$를 자기수반 연산 및 에르미트 연산 (Sel..
안녕하세요. 지난 포스팅의 선형대수학 - 슈어정리에서는 선형연산자 $T$의 행렬표현인 $[T]_{\beta}$를 상삼각행렬로 만들 수 있는 내적공간 $V$의 정규직교 기저 $\beta$의 존재성에 대한 내용인 슈어정리에 대해서 다루었습니다. 하지만, 여전히 저희는 고유벡터가 정규직교 기저를 구성할 수 있게 만들 수 있는 조건에 대해서 이야기하지 않았습니다. 오늘은 본격적으로 이를 위한 조건에 대해서 말씀드리겠습니다. 다시 지난 포스팅의 최종목표를 상기하자면 $V$가 유한 차원을 가지는 내적공간이라고 할 때 $V$의 고유벡터가 정규직교 기저를 구성할 수 있는 조건을 찾는 것 입니다. 일단, $V$의 정규직교 기저 $\beta$기 존재한다고 가정하겠습니다. 그러면 $[T]_{\beta}$는 기본적으로 대각행..
안녕하세요. 지난 포스팅의 선형대수학 - 최소제곱법에서는 수반연산을 기반으로 $m$개의 데이터에 대해 최적화하는 선형 모델을 찾을 수 있는 최소제곱법에 대해서 설명드렸습니다. 오늘도 여전히 내적공간 사이의 관계를 정의하는 선형 연산자의 성질에 대해서 탐구할 예정입니다. 다만, 관심을 살짝 바꾸어 직교성과 고유벡터 사이의 관계를 알아보도록 하겠습니다. 이를 위해 가장 중요한 정리인 슈어 정리 (Schur Theorem)을 설명하도록 하겠습니다. 기본적으로 앞으로 저희가 목표로 둘 것은 $V$가 내적공간이라고 할 때 $V$의 고유벡터가 정규직교 기저를 구성할 수 있는 조건을 찾는 것 입니다. 이를 확인하기 위한 첫번째 단계가 바로 슈어 정리 입니다. 다만, 이 정리를 증명하기 위해서는 간단한 보조정리가 하나..
안녕하세요. 지난 포스팅의 선형대수학 - 수반연산자에서는 처음으로 내적공간 사이의 선형연산자를 다루었습니다. 이를 기반으로 새로운 연산자인 수반연산자와 그 성질에 대해 알아보았죠. 오늘은 이를 활용한 최소제곱법에 대해서 알아보도록 하겠습니다. 기계학습이나 심층학습을 어느 정도 공부하신 분들이라면 가장 먼저 다루는 모델 중 하나가 바로 선형모델입니다. 간단하게 생각해 보면 위와 같은 그림을 생각해 볼 수 있죠. 기본적인 가정은 시간 $t_{1}, \dots, t_{m}$에 따라 어떤 실험 측정값 $y_{1}, \dots, y_{m}$을 얻었다고 하겠습니다. 그리고 시간과 측정값 $\{ (t_{1}, y_{1}), \dots, (t_{m}, y_{m}) \}$을 쌍으로 위 그림과 같이 2차원 좌표평면에 그릴..
안녕하세요. 지난 포스팅의 선형대수학 - 직교여공간에서는 직교여공간의 정의와 이를 활용하여 점-평면 사이의 최단 거리를 구하는 방법 그리고 성질에 대해서 알아보았습니다. 지금까지 저희는 내적공간의 성질에 대해서 분석했다고 할 수 있습니다. 오늘부터는 두 내적공간 사이의 관계인 선형연산자의 성질을 알아보도록 하겠습니다. 그 첫 번째 시간으로 볼 것이 바로 선형연산자의 수반연산 (Adjoint of Linear Operator)입니다. 수반연산자 역시 다양한 분야에서 적극적으로 활용되고 있는 개념이기 때문에 알아두시면 좋을 거 같습니다. 정의 1. 선형연산자의 수반연산 (Adjoint of Linear Operator) 내적공간 $V$에서 정의된 선형연산자 $T$에 대해서 내적공간 $V$의 정규직교 기저 $..
안녕하세요. 지난 포스팅의 선형대수학 - 그람-슈미트 과정에서는 내적공간의 비직교 기저로부터 정규직교 기저를 만들 수 있는 그람-슈미트 과정 (Gram-Schmitz Process)에 대해서 알아보았습니다. 또한, 실제로 예시를 통해 적용해보았죠. 이를 통해, 0이 아닌 유한차원을 가지는 임의의 내적공간은 항상 정규직교 기저를 가짐을 보였습니다. 뿐만 아니라, 내적공간의 임의의 벡터들은 정규직교 기저를 통해 임의의 벡터와 기저 사이의 선형결합을 통해 표현할 수 있음을 보였습니다. 오늘은 직교집합을 주제로한 새로운 내용을 말씀드리고자 합니다. 바로 직교여공간 (Orthogonal Complement)입니다. 이 역시 앞으로 배울 고급 선형대수 주제에서 빼놓을 수 없는 주제이기 때문에 알아두시면 큰 도움이 ..
