안녕하세요. 지난 포스팅의 [IC2D] BAM: Bottleneck Attention Module (BMVC2018)에서는 기존의 SE Block에서 제안한 Channel Attention을 확장하여 합성곱 연산을 통한 Spatial Attention을 병렬적으로 적용한 BAM에 대해서 알아보았습니다. 오늘은 BAM을 확장한 CBAM에 대해서 알아보도록 하겠습니다. Background 지금까지 많은 CNN 구조들이 깊이, 너비, cardinality와 같은 차원을 제안함으로써 모델의 성능 향상을 얻어냈습니다. 특히, ResNeck 기반의 모델들이 많이 제안되었죠. 대표적으로 ResNet, WRN, Xception, ResNext 등이 있었습니다. 그 중에서도 Xception과 ResNext에서는 card..
안녕하세요. 지난 포스팅의 [IC2D] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (PMLR2019)에서는 3개의 차원에 대한 모델 스케일링을 적용하는 compound scaling과 MNASNet을 조합한 EfficientNet에 대해서 알아보았습니다. 오늘은 BAM이라는 어텐션 모듈에 대해서 소개시켜드리도록 하겠습니다. BAM: Bottleneck Attention Module Recent advances in deep neural networks have been developed via architecture search for stronger representational power. In this work,..
안녕하세요. 지난 포스팅의 [IC2D] ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design (ECCV2018)에서는 효율적인 모델을 구성하기 위한 4가지 가이드라인과 함께 이를 활용하여 기존의 ShuffleNet V1을 개선한 ShuffleNet V2를 소개하였습니다. 오늘은 효율적인 모델 중에서 아주 유명한 EfficientNet에 대해서 소개시켜드리도록 하겠습니다. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks Convolutional Neural Networks (ConvNets) are commonly developed at a fix..
안녕하세요. 지난 포스팅의 [IC2D] Pelee: A Real-Time Object Detection System on Mobile Devices (NIPS2018)에서는 Group Convolution의 구현이 비효율적으로 구현되어 있다는 것을 지적하며 Group Convolution없이 모델의 효율성을 향상시킬 수 있는 모델인 PeleeNet에 대해서 소개시켜드렸습니다. 오늘은 기존의 ShuffleNet의 다음 버전인 ShuffleNet V2에 대해서 소개시켜드리도록 하겠습니다. ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design Currently, the neural network architecture design ..
안녕하세요. 지난 포스팅의 [IC2D] Learnable Transferable Architecture for Scalable Image Recognition (CVPR2018)에서는 NAS의 발전된 모델인 NASNet에 대해서 소개시켜드렸습니다. 오늘은 CondenseNet과 마찬가지로 DenseNet의 변형 모델인 PeleeNet에 대해서 소개시켜드리도록 하겠습니다. Background 지금까지 저희는 MobileNet V1, ShuffleNet, MobileNet V2, NASNet에 대해서 알아보았습니다. 이러한 모델들의 특징은 "효율성 (efficiency)"을 강조한 방법들이죠. 특히, MobileNet과 ShuffleNet은 Depthwise Separable Convolution을 사용하여..
안녕하세요. 지난 포스팅의 [IC2D] CondenseNet: An Efficient DenseNet using Learned Group Convolution (CVPR2018)에서는 DenseNet을 기반으로 모든 특징 맵들을 연결하는 것이 아니라 필요없는 연결 (가중치)들을 끊어내는 Learned Group Convolution을 제안한 CondenseNet에 대해서 소개시켜드렸습니다. 이를 통해, CondenseNet의 baseline이 되는 DenseNet보다 약 10배 빠른 모델을 만들게 되었죠. 오늘은 Neural Architecture Seaching이라는 분야의 시작을 알렸다고 할 수 있는 NASNet에 대해서 소개시켜드리도록 하겠습니다. Learning Transferable Archit..
안녕하세요. 지난 포스팅의 [IC2D] Res2Net: A New Multi-Scale Backbone Architecture (IEEE TPAMI2019)에서는 2019년에 인공지능 최고 저널 중 하나인 TPAMI에 억셉된 모델인 Res2Net에 대해서 소개시켜드렸습니다. Res2Net은 multi-scale 정보를 활용하기 위해 입력 특징 맵을 group convolution을 이용해서 쪼갠 뒤 각 그룹 별로 계층적 residual-like connection을 추가하였습니다. 이를 통해, 기존 ResNet보다 훨씬 더 넓은 receptive field를 가지게 됨을 알 수 있었으며 새로운 모델의 차원인 scale을 도입하였습니다. 오늘은 CondenseNet이라는 효율성을 기반으로 한 새로운 모델에..
안녕하세요. 지난 포스팅의 [IC2D] MobileNet V2: Inverted Residuals and Linear Bottlenecks (CVPR2018)에서는 기존의 MobileNet과 ShuffleNet에서 성능이 하락한다는 문제점을 보완한 MobileNet V2에 대해 소개시켜드렸습니다. 핵심은 채널은 적은 경우 정보 보존을 위해 linear 활성화 함수를 적용하고 residual 연산량을 감소시키기 위해 채널의 수를 늘렸다가 줄이는 방식으로 선택합니다. 오늘은 multi-scale을 중요성을 강조한 Res2Net에 대해서 소개시켜드리도록 하겠습니다. Res2Net: A New Multi-scale Backbone Architecture Representing features at multipl..
