안녕하세요. 지난 포스팅의 [IC2D] CBAM: Convolutional Block Attention Module (ECCV2018)에서는 RAN, SE Block, BAM에 이어 유명한 어텐션 모듈 중 하나인 CBAM에 대해서 말씀드렸습니다. 오늘은 ResNet과 DenseNet 사이의 관계를 고계 순환신경망 (Higher Order Recurrent Neural Network; HORNN)을 이용해 확인하고 두 구조적인 장점만을 융합한 Dual Path Network에 대해서 알아보도록 하겠습니다. Background 기본적으로 ResNet 계열 논문들의 가장 큰 특징은 skip connection을 사용한다는 점 입니다. 최근 논문들은 이 skip connection을 어떤 식으로 바꾸는 지 집중..
안녕하세요. 지난 포스팅의 [DA] Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification (ICASSP2020)에서는 분류기 외에 추가적인 pretrain된 추출기 (ResNet50)을 통해 영상 내에 중요한 영역을 선택하여 타겟 영상으로 paste하는 Attentive CutMix에 대해서 소개하였습니다. 오늘은 다른 방식으로 놀라운 성능을 보였던 AutoAugment를 소개시켜드리겠습니다. Background 기본적으로 데이터 증강은 주어진 데이터 도메인에 대해서 불변성을 향상시키는 것을 목표로 합니다. 예를 들어서, 같은 고양이 사진이라고 해도 회전된 고양이 영상을 입력받..
안녕하세요. 지난 포스팅의 [IC2D] BAM: Bottleneck Attention Module (BMVC2018)에서는 기존의 SE Block에서 제안한 Channel Attention을 확장하여 합성곱 연산을 통한 Spatial Attention을 병렬적으로 적용한 BAM에 대해서 알아보았습니다. 오늘은 BAM을 확장한 CBAM에 대해서 알아보도록 하겠습니다. Background 지금까지 많은 CNN 구조들이 깊이, 너비, cardinality와 같은 차원을 제안함으로써 모델의 성능 향상을 얻어냈습니다. 특히, ResNeck 기반의 모델들이 많이 제안되었죠. 대표적으로 ResNet, WRN, Xception, ResNext 등이 있었습니다. 그 중에서도 Xception과 ResNext에서는 card..
안녕하세요. 지난 포스팅의 [DA] ResizeMix: Mixing Data with Preserved Object Information and True Labels (arxiv2020)에서는 Saliency information 보다는 데이터 증강을 통한 데이터 다양성을 증가시키는 것이 더욱 중요하다는 것을 강조하였으며 이를 기반으로 ResizeMix를 제안하였습니다. 오늘도 CutMix 기반의 논문인 Attentive CutMix에 대해서 소개해드리도록 하겠습니다. Background 일반적으로 많이 사용되는 데이터 증강은 MixUp, CutOut, CutMix와 같은 방법이 있습니다. 이러한 방법들은 모두 심층 신경망 모델의 객체 인식 능력과 지역화 능력을 크게 향상시키는 데 도움이 되었죠. 하지만..
안녕하세요. 지난 포스팅의 [IC2D] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (PMLR2019)에서는 3개의 차원에 대한 모델 스케일링을 적용하는 compound scaling과 MNASNet을 조합한 EfficientNet에 대해서 알아보았습니다. 오늘은 BAM이라는 어텐션 모듈에 대해서 소개시켜드리도록 하겠습니다. BAM: Bottleneck Attention Module Recent advances in deep neural networks have been developed via architecture search for stronger representational power. In this work,..
안녕하세요. 지난 포스티의 [DA] Data Augmentation Using Random Cropping and Patch for Depp CNNs (IEEE TCSVT2020)에서는 4장의 영상을 Mix 하는 RICAP에 대해서 알아보았습니다. 오늘은 ResizeMix라는 방법에 대해서 소개하도록 하겠습니다. ResizeMix: Mixing Data with Preserved Object Information and True Labels Data augmentation is a powerful technique to increase the diversity of data, which can effectively improve the generalization ability of neural netwo..
안녕하세요. 지난 포스팅의 [IC2D] ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design (ECCV2018)에서는 효율적인 모델을 구성하기 위한 4가지 가이드라인과 함께 이를 활용하여 기존의 ShuffleNet V1을 개선한 ShuffleNet V2를 소개하였습니다. 오늘은 효율적인 모델 중에서 아주 유명한 EfficientNet에 대해서 소개시켜드리도록 하겠습니다. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks Convolutional Neural Networks (ConvNets) are commonly developed at a fix..
안녕하세요. 지난 포스팅의 [IC2D] Pelee: A Real-Time Object Detection System on Mobile Devices (NIPS2018)에서는 Group Convolution의 구현이 비효율적으로 구현되어 있다는 것을 지적하며 Group Convolution없이 모델의 효율성을 향상시킬 수 있는 모델인 PeleeNet에 대해서 소개시켜드렸습니다. 오늘은 기존의 ShuffleNet의 다음 버전인 ShuffleNet V2에 대해서 소개시켜드리도록 하겠습니다. ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design Currently, the neural network architecture design ..
