안녕하세요. 지난 포스팅의 [IC2D] Dual Path Networks (NIPS2017) 에서는 HORNN을 기반으로 ResNet과 DenseNet의 장점과 본질적인 한계점에 대해 분석하고 이를 해결하기 위한 DPN에 대한 설명을 하였습니다. 오늘은 저와 익숙하지 않은 주제인 Neural Architecture Search (NAS)에 대한 논문을 가져왔습니다. 오늘 소개할 모델은 PNAS로 기존 NASNet에 비해 훨씬 적은 search space를 정의함으로써 효율적인 모델을 구현하였습니다. Progressive Neural Architecture Search We propose a new method for learning the structure of convolutional neural ne..
안녕하세요. 지난 포스팅의 선형대수학 - 최소제곱법에서는 수반연산을 기반으로 $m$개의 데이터에 대해 최적화하는 선형 모델을 찾을 수 있는 최소제곱법에 대해서 설명드렸습니다. 오늘도 여전히 내적공간 사이의 관계를 정의하는 선형 연산자의 성질에 대해서 탐구할 예정입니다. 다만, 관심을 살짝 바꾸어 직교성과 고유벡터 사이의 관계를 알아보도록 하겠습니다. 이를 위해 가장 중요한 정리인 슈어 정리 (Schur Theorem)을 설명하도록 하겠습니다. 기본적으로 앞으로 저희가 목표로 둘 것은 $V$가 내적공간이라고 할 때 $V$의 고유벡터가 정규직교 기저를 구성할 수 있는 조건을 찾는 것 입니다. 이를 확인하기 위한 첫번째 단계가 바로 슈어 정리 입니다. 다만, 이 정리를 증명하기 위해서는 간단한 보조정리가 하나..
안녕하세요. 지난 포스팅의 선형대수학 - 수반연산자에서는 처음으로 내적공간 사이의 선형연산자를 다루었습니다. 이를 기반으로 새로운 연산자인 수반연산자와 그 성질에 대해 알아보았죠. 오늘은 이를 활용한 최소제곱법에 대해서 알아보도록 하겠습니다. 기계학습이나 심층학습을 어느 정도 공부하신 분들이라면 가장 먼저 다루는 모델 중 하나가 바로 선형모델입니다. 간단하게 생각해 보면 위와 같은 그림을 생각해 볼 수 있죠. 기본적인 가정은 시간 $t_{1}, \dots, t_{m}$에 따라 어떤 실험 측정값 $y_{1}, \dots, y_{m}$을 얻었다고 하겠습니다. 그리고 시간과 측정값 $\{ (t_{1}, y_{1}), \dots, (t_{m}, y_{m}) \}$을 쌍으로 위 그림과 같이 2차원 좌표평면에 그릴..
안녕하세요. 지난 포스팅의 [IC2D] CBAM: Convolutional Block Attention Module (ECCV2018)에서는 RAN, SE Block, BAM에 이어 유명한 어텐션 모듈 중 하나인 CBAM에 대해서 말씀드렸습니다. 오늘은 ResNet과 DenseNet 사이의 관계를 고계 순환신경망 (Higher Order Recurrent Neural Network; HORNN)을 이용해 확인하고 두 구조적인 장점만을 융합한 Dual Path Network에 대해서 알아보도록 하겠습니다. Background 기본적으로 ResNet 계열 논문들의 가장 큰 특징은 skip connection을 사용한다는 점 입니다. 최근 논문들은 이 skip connection을 어떤 식으로 바꾸는 지 집중..
안녕하세요. 지난 포스팅의 선형대수학 - 직교여공간에서는 직교여공간의 정의와 이를 활용하여 점-평면 사이의 최단 거리를 구하는 방법 그리고 성질에 대해서 알아보았습니다. 지금까지 저희는 내적공간의 성질에 대해서 분석했다고 할 수 있습니다. 오늘부터는 두 내적공간 사이의 관계인 선형연산자의 성질을 알아보도록 하겠습니다. 그 첫 번째 시간으로 볼 것이 바로 선형연산자의 수반연산 (Adjoint of Linear Operator)입니다. 수반연산자 역시 다양한 분야에서 적극적으로 활용되고 있는 개념이기 때문에 알아두시면 좋을 거 같습니다. 정의 1. 선형연산자의 수반연산 (Adjoint of Linear Operator) 내적공간 $V$에서 정의된 선형연산자 $T$에 대해서 내적공간 $V$의 정규직교 기저 $..
안녕하세요. 지난 포스팅의 선형대수학 - 그람-슈미트 과정에서는 내적공간의 비직교 기저로부터 정규직교 기저를 만들 수 있는 그람-슈미트 과정 (Gram-Schmitz Process)에 대해서 알아보았습니다. 또한, 실제로 예시를 통해 적용해보았죠. 이를 통해, 0이 아닌 유한차원을 가지는 임의의 내적공간은 항상 정규직교 기저를 가짐을 보였습니다. 뿐만 아니라, 내적공간의 임의의 벡터들은 정규직교 기저를 통해 임의의 벡터와 기저 사이의 선형결합을 통해 표현할 수 있음을 보였습니다. 오늘은 직교집합을 주제로한 새로운 내용을 말씀드리고자 합니다. 바로 직교여공간 (Orthogonal Complement)입니다. 이 역시 앞으로 배울 고급 선형대수 주제에서 빼놓을 수 없는 주제이기 때문에 알아두시면 큰 도움이 ..
안녕하세요. 지난 포스팅의 선형대수학 - 직교 기저에서는 정규직교 기저의 정의와 그 중요성에 대해서 알아보았습니다. 오늘은 비직교 기저로부터 정규직교 기저를 만들어낼 수 있는 그람-슈미트 과정 (Gram-Schmitz Process)을 소개시켜드리겠습니다. 이를 통해, 임의의 기저로부터 정규직교 기저를 만들어낼 수 있기 때문에 임의의 유한차원의 내적공간은 정규직교 기저를 가짐이 자동으로 증명됩니다. 가장 간단한 경우로 2개의 벡터를 가지는 유한차원의 내적공간 $V$의 선형독립 부분집합 $\{ w_{1}, w_{2} \}$를 생각해보도록 하겠습니다. 저희는 목표는 이 부분집합 $\{ w_{1}, w_{2} \}$로부터 동일한 내적공간 $V$을 생성하는 직교집합 (orthogonal set)을 만드는 것 입..
안녕하세요. 지난 포스팅의 선형대수학 - 노름과 직교성에서는 벡터의 크기를 의미하는 노름과 벡터 사이의 관계 또는 벡터공간의 성질을 의미하는 직교성에 대해 이야기하였습니다. 오늘은 선형대수 전반에 걸쳐 끊임없이 나오는 주제 중 하나인 정규직교 기저 (orthonormal basis)에 대한 이야기를 해보도록 하겠습니다. 정의1. 정규직교 기저 (orthonormal basis) $V$를 체 $\mathbf{F}$ 상의 내적 공간이라고 하자. 만약 $V$의 순서 기저 $\beta$가 정규직교라면 $\beta$는 내적공간 $V$의 정규직교 기저 (orthonormal basis)라고 한다. Let $V$ be an inner product space over a field $\mathbf{F}$. A sub..
