안녕하세요. 지난 포스팅의 선형대수학 - 유니터리 연산과 직교 연산에서는 연산 전후의 벡터의 노름이 유지되는 선형연산자인 유니터리 연산 (복소내적공간) 및 직교 연산 (실내적공간)에 대해서 알아보았습니다. 오늘은 이를 행렬의 관점에서 보도록 하겠습니다. 정의1. 유니터리 행렬 (Unitary Matrix)과 직교 행렬 (Orthogonal Matrix) 정사각행렬 $A$가 $A^{*}A = AA^{*} = I$를 만족하면 유니터리 행렬 (Unitary Matrix), 그리고 $A^{t}A = AA^{t} = I$를 만족하면 직교 행렬 (Orthogonal Matrix)라고 한다. A square matrix $A$ is called an unitary if $A^{*}A = AA^{*} = I$ and ..
안녕하세요. 지난 포스팅의 선형대수학 - 자기수반 연산과 에르미트 연산에서는 실내적공간의 정규 직교기저가 선형연산자의 고유벡터로 이루어지기 위한 조건인 자기수반 연산 또는 에르미트 연산이라는 것에 대해서 알아보았습니다. 오늘은 연산 전의 벡터의 노름의 크기를 보존하는 선형연산자의 특성에 대해서 알아보도록 하겠습니다. 본격적으로 진행하기에 앞서 직관적으로 벡터의 노름을 "보존"하는 기하학적인 연산에는 무엇이 있을까요? 가장 대표적인 예시로는 회전 (rotation)과 반사 (reflection)이겠네요. 두 연산은 모두 벡터의 노름은 보존하기 때문에 저희가 앞으로 관심있게 봐야할 기하학적 연산이 될 것 입니다. 이러한 연산을 수학적으로 일반화시켜 표현하면 다음과 같은 정의를 생각해볼 수 있습니다. 정의1...
안녕하세요. 지난 포스팅의 선형대수학 - 정규연산에서는 유한차원의 복소내적공간 $V$에서 정의된 선형연산자 $T$의 고유벡터가 $V$의 정규 직교기저가 될 수 있는 조건인 정규성 (Normality)에 대해서 알아보았습니다. 오늘은 복소내적공간에서 실내적공간으로 범위를 바꾸었을 때 선형연산자 $T$의 고유벡터가 $V$의 정규 직교기저가 될 수 있는 조건에 대해서 알아보도록 하겠습니다. 정의1. 자기수반 연산 및 에르미트 연산 (Self-Adjoint Operator and Hermitian Operator) $T$를 내적공간 $V$에서 정의된 선형연산자라고 하자. 이때, 선형연산자 $T$의 수반연산자 $T^{*}$에 대해서 $T = T^{*}$를 만족하면 $T$를 자기수반 연산 및 에르미트 연산 (Sel..
안녕하세요. 지난 포스팅의 [IC2D] Progressive Neural Architecture Search (ECCV2018)에서는 효율적인 NAS 알고리즘을 위해 searching space를 획기적으로 줄이고 전체 모델을 학습하기 않고 각 모델들의 성능을 대략적으로 유추할 수 있는 predictor에 대한 내용을 보았습니다. 오늘 역시 주제는 NAS입니다. 하지만 지금까지 보았던 MobileNetV1 및 MobileNetV2를 기반으로 구성되었기 때문에 쉽게 이해할 수 있습니다. Searching for MobileNetV3 We present the next generation of MobileNets based on a combination of complementary search techni..
안녕하세요. 지난 포스팅의 선형대수학 - 슈어정리에서는 선형연산자 $T$의 행렬표현인 $[T]_{\beta}$를 상삼각행렬로 만들 수 있는 내적공간 $V$의 정규직교 기저 $\beta$의 존재성에 대한 내용인 슈어정리에 대해서 다루었습니다. 하지만, 여전히 저희는 고유벡터가 정규직교 기저를 구성할 수 있게 만들 수 있는 조건에 대해서 이야기하지 않았습니다. 오늘은 본격적으로 이를 위한 조건에 대해서 말씀드리겠습니다. 다시 지난 포스팅의 최종목표를 상기하자면 $V$가 유한 차원을 가지는 내적공간이라고 할 때 $V$의 고유벡터가 정규직교 기저를 구성할 수 있는 조건을 찾는 것 입니다. 일단, $V$의 정규직교 기저 $\beta$기 존재한다고 가정하겠습니다. 그러면 $[T]_{\beta}$는 기본적으로 대각행..
안녕하세요. 지난 포스팅의 [IS2D] SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation (IEEE TPAMI2017)에서는 고차원 특징맵을 다시 복원할 때 발생하는 연산량 및 파라미터를 감소시키기 위해 인코딩 시 수행했던 Max Pooling의 인덱스를 저장하여 디코딩 때 활용하는 SegNet에 대해서 알아보았습니다. 오늘은 영상 분할 관련 논문에서 굉장히 유명한 모델 중 하나인 DeepLabV3+의 근본 모델인 DeepLabV1에 대해서 알아보도록 하겠습니다. 이 논문은 GoogLeNet과 같이 이유 Inception 시리즈 논문이 나오는 시작 논문이라고 보시면 될 거 같습니다. Semantic Image ..
안녕하세요. 지난 포스팅의 [IC2D] Dual Path Networks (NIPS2017) 에서는 HORNN을 기반으로 ResNet과 DenseNet의 장점과 본질적인 한계점에 대해 분석하고 이를 해결하기 위한 DPN에 대한 설명을 하였습니다. 오늘은 저와 익숙하지 않은 주제인 Neural Architecture Search (NAS)에 대한 논문을 가져왔습니다. 오늘 소개할 모델은 PNAS로 기존 NASNet에 비해 훨씬 적은 search space를 정의함으로써 효율적인 모델을 구현하였습니다. Progressive Neural Architecture Search We propose a new method for learning the structure of convolutional neural ne..
안녕하세요. 지난 포스팅의 선형대수학 - 최소제곱법에서는 수반연산을 기반으로 $m$개의 데이터에 대해 최적화하는 선형 모델을 찾을 수 있는 최소제곱법에 대해서 설명드렸습니다. 오늘도 여전히 내적공간 사이의 관계를 정의하는 선형 연산자의 성질에 대해서 탐구할 예정입니다. 다만, 관심을 살짝 바꾸어 직교성과 고유벡터 사이의 관계를 알아보도록 하겠습니다. 이를 위해 가장 중요한 정리인 슈어 정리 (Schur Theorem)을 설명하도록 하겠습니다. 기본적으로 앞으로 저희가 목표로 둘 것은 $V$가 내적공간이라고 할 때 $V$의 고유벡터가 정규직교 기저를 구성할 수 있는 조건을 찾는 것 입니다. 이를 확인하기 위한 첫번째 단계가 바로 슈어 정리 입니다. 다만, 이 정리를 증명하기 위해서는 간단한 보조정리가 하나..
