안녕하세요. 지난 포스팅의 [IC2D] Progressive Neural Architecture Search (ECCV2018)에서는 효율적인 NAS 알고리즘을 위해 searching space를 획기적으로 줄이고 전체 모델을 학습하기 않고 각 모델들의 성능을 대략적으로 유추할 수 있는 predictor에 대한 내용을 보았습니다. 오늘 역시 주제는 NAS입니다. 하지만 지금까지 보았던 MobileNetV1 및 MobileNetV2를 기반으로 구성되었기 때문에 쉽게 이해할 수 있습니다. Searching for MobileNetV3We present the next generation of MobileNets based on a combination of complementary search techn..
안녕하세요. 지난 포스팅의 선형대수학 - 슈어정리에서는 선형연산자 T의 행렬표현인 [T]β를 상삼각행렬로 만들 수 있는 내적공간 V의 정규직교 기저 β의 존재성에 대한 내용인 슈어정리에 대해서 다루었습니다. 하지만, 여전히 저희는 고유벡터가 정규직교 기저를 구성할 수 있게 만들 수 있는 조건에 대해서 이야기하지 않았습니다. 오늘은 본격적으로 이를 위한 조건에 대해서 말씀드리겠습니다. 다시 지난 포스팅의 최종목표를 상기하자면 V가 유한 차원을 가지는 내적공간이라고 할 때 V의 고유벡터가 정규직교 기저를 구성할 수 있는 조건을 찾는 것 입니다. 일단, V의 정규직교 기저 β기 존재한다고 가정하겠습니다. 그러면 [T]β는 기본적으로 대각행..
안녕하세요. 지난 포스팅의 [IS2D] SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation (IEEE TPAMI2017)에서는 고차원 특징맵을 다시 복원할 때 발생하는 연산량 및 파라미터를 감소시키기 위해 인코딩 시 수행했던 Max Pooling의 인덱스를 저장하여 디코딩 때 활용하는 SegNet에 대해서 알아보았습니다. 오늘은 영상 분할 관련 논문에서 굉장히 유명한 모델 중 하나인 DeepLabV3+의 근본 모델인 DeepLabV1에 대해서 알아보도록 하겠습니다. 이 논문은 GoogLeNet과 같이 이유 Inception 시리즈 논문이 나오는 시작 논문이라고 보시면 될 거 같습니다. Semantic Imag..
안녕하세요. 지난 포스팅의 [IC2D] Dual Path Networks (NIPS2017) 에서는 HORNN을 기반으로 ResNet과 DenseNet의 장점과 본질적인 한계점에 대해 분석하고 이를 해결하기 위한 DPN에 대한 설명을 하였습니다. 오늘은 저와 익숙하지 않은 주제인 Neural Architecture Search (NAS)에 대한 논문을 가져왔습니다. 오늘 소개할 모델은 PNAS로 기존 NASNet에 비해 훨씬 적은 search space를 정의함으로써 효율적인 모델을 구현하였습니다. Progressive Neural Architecture SearchWe propose a new method for learning the structure of convolutional neural n..
안녕하세요. 지난 포스팅의 선형대수학 - 최소제곱법에서는 수반연산을 기반으로 m개의 데이터에 대해 최적화하는 선형 모델을 찾을 수 있는 최소제곱법에 대해서 설명드렸습니다. 오늘도 여전히 내적공간 사이의 관계를 정의하는 선형 연산자의 성질에 대해서 탐구할 예정입니다. 다만, 관심을 살짝 바꾸어 직교성과 고유벡터 사이의 관계를 알아보도록 하겠습니다. 이를 위해 가장 중요한 정리인 슈어 정리 (Schur Theorem)을 설명하도록 하겠습니다. 기본적으로 앞으로 저희가 목표로 둘 것은 V가 내적공간이라고 할 때 V의 고유벡터가 정규직교 기저를 구성할 수 있는 조건을 찾는 것 입니다. 이를 확인하기 위한 첫번째 단계가 바로 슈어 정리 입니다. 다만, 이 정리를 증명하기 위해서는 간단한 보조정리가 하나..
안녕하세요. 지난 포스팅의 선형대수학 - 수반연산자에서는 처음으로 내적공간 사이의 선형연산자를 다루었습니다. 이를 기반으로 새로운 연산자인 수반연산자와 그 성질에 대해 알아보았죠. 오늘은 이를 활용한 최소제곱법에 대해서 알아보도록 하겠습니다. 기계학습이나 심층학습을 어느 정도 공부하신 분들이라면 가장 먼저 다루는 모델 중 하나가 바로 선형모델입니다. 간단하게 생각해 보면 위와 같은 그림을 생각해 볼 수 있죠. 기본적인 가정은 시간 t1,…,tm에 따라 어떤 실험 측정값 y1,…,ym을 얻었다고 하겠습니다. 그리고 시간과 측정값 {(t1,y1),…,(tm,ym)}을 쌍으로 위 그림과 같이 2차원 좌표평면에 그릴..
안녕하세요. 지난 포스팅의 [IC2D] CBAM: Convolutional Block Attention Module (ECCV2018)에서는 RAN, SE Block, BAM에 이어 유명한 어텐션 모듈 중 하나인 CBAM에 대해서 말씀드렸습니다. 오늘은 ResNet과 DenseNet 사이의 관계를 고계 순환신경망 (Higher Order Recurrent Neural Network; HORNN)을 이용해 확인하고 두 구조적인 장점만을 융합한 Dual Path Network에 대해서 알아보도록 하겠습니다. Background기본적으로 ResNet 계열 논문들의 가장 큰 특징은 skip connection을 사용한다는 점 입니다. 최근 논문들은 이 skip connection을 어떤 식으로 바꾸는 지 집중..
안녕하세요. 지난 포스팅의 선형대수학 - 직교여공간에서는 직교여공간의 정의와 이를 활용하여 점-평면 사이의 최단 거리를 구하는 방법 그리고 성질에 대해서 알아보았습니다. 지금까지 저희는 내적공간의 성질에 대해서 분석했다고 할 수 있습니다. 오늘부터는 두 내적공간 사이의 관계인 선형연산자의 성질을 알아보도록 하겠습니다. 그 첫 번째 시간으로 볼 것이 바로 선형연산자의 수반연산 (Adjoint of Linear Operator)입니다. 수반연산자 역시 다양한 분야에서 적극적으로 활용되고 있는 개념이기 때문에 알아두시면 좋을 거 같습니다. 정의 1. 선형연산자의 수반연산 (Adjoint of Linear Operator) 내적공간 V에서 정의된 선형연산자 T에 대해서 내적공간 V의 정규직교 기저 $..
