안녕하세요. 지난 포스팅의 [IC2D] Dual Path Networks (NIPS2017) 에서는 HORNN을 기반으로 ResNet과 DenseNet의 장점과 본질적인 한계점에 대해 분석하고 이를 해결하기 위한 DPN에 대한 설명을 하였습니다. 오늘은 저와 익숙하지 않은 주제인 Neural Architecture Search (NAS)에 대한 논문을 가져왔습니다. 오늘 소개할 모델은 PNAS로 기존 NASNet에 비해 훨씬 적은 search space를 정의함으로써 효율적인 모델을 구현하였습니다. Progressive Neural Architecture Search We propose a new method for learning the structure of convolutional neural ne..
안녕하세요. 지난 포스팅의 [IC2D] CBAM: Convolutional Block Attention Module (ECCV2018)에서는 RAN, SE Block, BAM에 이어 유명한 어텐션 모듈 중 하나인 CBAM에 대해서 말씀드렸습니다. 오늘은 ResNet과 DenseNet 사이의 관계를 고계 순환신경망 (Higher Order Recurrent Neural Network; HORNN)을 이용해 확인하고 두 구조적인 장점만을 융합한 Dual Path Network에 대해서 알아보도록 하겠습니다. Background 기본적으로 ResNet 계열 논문들의 가장 큰 특징은 skip connection을 사용한다는 점 입니다. 최근 논문들은 이 skip connection을 어떤 식으로 바꾸는 지 집중..
안녕하세요. 지난 포스팅의 [IC2D] BAM: Bottleneck Attention Module (BMVC2018)에서는 기존의 SE Block에서 제안한 Channel Attention을 확장하여 합성곱 연산을 통한 Spatial Attention을 병렬적으로 적용한 BAM에 대해서 알아보았습니다. 오늘은 BAM을 확장한 CBAM에 대해서 알아보도록 하겠습니다. Background 지금까지 많은 CNN 구조들이 깊이, 너비, cardinality와 같은 차원을 제안함으로써 모델의 성능 향상을 얻어냈습니다. 특히, ResNeck 기반의 모델들이 많이 제안되었죠. 대표적으로 ResNet, WRN, Xception, ResNext 등이 있었습니다. 그 중에서도 Xception과 ResNext에서는 card..
안녕하세요. 지난 포스팅의 [IC2D] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (PMLR2019)에서는 3개의 차원에 대한 모델 스케일링을 적용하는 compound scaling과 MNASNet을 조합한 EfficientNet에 대해서 알아보았습니다. 오늘은 BAM이라는 어텐션 모듈에 대해서 소개시켜드리도록 하겠습니다. BAM: Bottleneck Attention Module Recent advances in deep neural networks have been developed via architecture search for stronger representational power. In this work,..
안녕하세요. 지난 포스팅의 [IC2D] ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design (ECCV2018)에서는 효율적인 모델을 구성하기 위한 4가지 가이드라인과 함께 이를 활용하여 기존의 ShuffleNet V1을 개선한 ShuffleNet V2를 소개하였습니다. 오늘은 효율적인 모델 중에서 아주 유명한 EfficientNet에 대해서 소개시켜드리도록 하겠습니다. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks Convolutional Neural Networks (ConvNets) are commonly developed at a fix..
안녕하세요. 지난 포스팅의 [IC2D] Pelee: A Real-Time Object Detection System on Mobile Devices (NIPS2018)에서는 Group Convolution의 구현이 비효율적으로 구현되어 있다는 것을 지적하며 Group Convolution없이 모델의 효율성을 향상시킬 수 있는 모델인 PeleeNet에 대해서 소개시켜드렸습니다. 오늘은 기존의 ShuffleNet의 다음 버전인 ShuffleNet V2에 대해서 소개시켜드리도록 하겠습니다. ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design Currently, the neural network architecture design ..
안녕하세요. 지난 포스팅의 [IC2D] Learnable Transferable Architecture for Scalable Image Recognition (CVPR2018)에서는 NAS의 발전된 모델인 NASNet에 대해서 소개시켜드렸습니다. 오늘은 CondenseNet과 마찬가지로 DenseNet의 변형 모델인 PeleeNet에 대해서 소개시켜드리도록 하겠습니다. Background 지금까지 저희는 MobileNet V1, ShuffleNet, MobileNet V2, NASNet에 대해서 알아보았습니다. 이러한 모델들의 특징은 "효율성 (efficiency)"을 강조한 방법들이죠. 특히, MobileNet과 ShuffleNet은 Depthwise Separable Convolution을 사용하여..
안녕하세요. 지난 포스팅의 [IC2D] CondenseNet: An Efficient DenseNet using Learned Group Convolution (CVPR2018)에서는 DenseNet을 기반으로 모든 특징 맵들을 연결하는 것이 아니라 필요없는 연결 (가중치)들을 끊어내는 Learned Group Convolution을 제안한 CondenseNet에 대해서 소개시켜드렸습니다. 이를 통해, CondenseNet의 baseline이 되는 DenseNet보다 약 10배 빠른 모델을 만들게 되었죠. 오늘은 Neural Architecture Seaching이라는 분야의 시작을 알렸다고 할 수 있는 NASNet에 대해서 소개시켜드리도록 하겠습니다. Learning Transferable Archit..
