안녕하세요. 지난 포스팅의 [DA] Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification (ICASSP2020)에서는 분류기 외에 추가적인 pretrain된 추출기 (ResNet50)을 통해 영상 내에 중요한 영역을 선택하여 타겟 영상으로 paste하는 Attentive CutMix에 대해서 소개하였습니다. 오늘은 다른 방식으로 놀라운 성능을 보였던 AutoAugment를 소개시켜드리겠습니다. Background 기본적으로 데이터 증강은 주어진 데이터 도메인에 대해서 불변성을 향상시키는 것을 목표로 합니다. 예를 들어서, 같은 고양이 사진이라고 해도 회전된 고양이 영상을 입력받..
안녕하세요. 지난 포스팅의 [IC2D] CondenseNet: An Efficient DenseNet using Learned Group Convolution (CVPR2018)에서는 DenseNet을 기반으로 모든 특징 맵들을 연결하는 것이 아니라 필요없는 연결 (가중치)들을 끊어내는 Learned Group Convolution을 제안한 CondenseNet에 대해서 소개시켜드렸습니다. 이를 통해, CondenseNet의 baseline이 되는 DenseNet보다 약 10배 빠른 모델을 만들게 되었죠. 오늘은 Neural Architecture Seaching이라는 분야의 시작을 알렸다고 할 수 있는 NASNet에 대해서 소개시켜드리도록 하겠습니다. Learning Transferable Archit..
안녕하세요. 지난 포스팅의 [IC2D] Res2Net: A New Multi-Scale Backbone Architecture (IEEE TPAMI2019)에서는 2019년에 인공지능 최고 저널 중 하나인 TPAMI에 억셉된 모델인 Res2Net에 대해서 소개시켜드렸습니다. Res2Net은 multi-scale 정보를 활용하기 위해 입력 특징 맵을 group convolution을 이용해서 쪼갠 뒤 각 그룹 별로 계층적 residual-like connection을 추가하였습니다. 이를 통해, 기존 ResNet보다 훨씬 더 넓은 receptive field를 가지게 됨을 알 수 있었으며 새로운 모델의 차원인 scale을 도입하였습니다. 오늘은 CondenseNet이라는 효율성을 기반으로 한 새로운 모델에..
안녕하세요. 지난 포스팅의 [IC2D] Deep Layer Aggregation (CVPR2018)에서는 feature aggregation을 iterative 및 hierarchical 하게 제안한 DLA에 대해서 소개시켜드렸습니다. 오늘은 일전에 소개시켜드렸던 MobileNet의 다음 버전인 MobileNet V2에 대해서 소개시켜드리겠습니다. 두 모델이 어떤 차이점이 있는지를 중심으로 보시면 더욱 재밌을 거 같습니다. MobileNetV2: Inverted Residuals and Linear Bottlenecks In this paper we describe a new mobile architecture, MobileNetV2, that improves the state of the art per..
안녕하세요. 지난 포스팅의 [IC2D] Squeeze-and-Excitation Networks (CVPR2018)에서는 어텐션 기반의 블록인 SE Block에 대해서 소개시켜드렸습니다. 오늘은 DenseNet에 이어 다양한 특징 맵을 aggregation하는 두 가지 방법을 제시하는 Deep Layer Aggregation (DLA)에 대해서 소개하도록 하겠습니다. Deep Layer Aggregation Visual recognition requires rich representations that span levels from low to high, scales from small to large, and resolutions from fine to coarse. Even with the depth..
안녕하세요. 지난 포스팅의 [IC2D] ShuffleNet: An Extreme Efficient Convolutional Neural Network for Mobile Devices (CVPR2018) 에서는 depthwise separable convolution을 깊게 쌓으면 생기는 문제점을 해결하기 위해 pointwise group convolution과 channel shuffle 연산을 적용한 ShuffleNet을 제안하였습니다. 이를 통해, 기존의 효율적인 대표 모델인 MobileNet보다 훨씬 효율적인 모델을 구현하였습니다. 오늘은 새로운 어텐션 기반의 모델로 영상 분류에서 굉장히 유명한 SE (Squeeze-and-Excitation) Net에 대해서 소개해드리도록 하겠습니다. Squee..
안녕하세요. 지난 포스팅의 [IC2D] Residual Attention Network for Image Classification에서는 CNN에서 어텐션 (attention)이라는 개념을 도입한 RAN에 대해서 소개시켜드렸습니다. 오늘은 MobileNet에 이어 효율성을 극한으로 강조한 논문인 ShuffleNet에 대해서 소개해드리도록 하겠습니다. Background 최근 나온 수많은 합성곱 기반의 신경망들은 인간의 한계를 뛰어넘어 ILSVRC 대회에서도 굉장히 높은 성능을 보여왔습니다. 하지만, 이러한 모델이 발전될 수록 그만큼 연산량 및 복잡도가 크게 증가하기 때문에 이를 실생활에서 활용하기는 어려운 측면이 있었습니다. 이와 같은 문제를 해결하기 위해 모델을 단순하게 만드는 pruning, comp..
안녕하세요. 지난 포스팅의 [IC2D] Xception: Deep Learning with Depthwise Separable Convolutions (CVPR2017)에서는 Inception 모델의 최종 변형 구조인 Xception에 대해서 소개해드렸습니다. Xception은 실제로 많은 논문에서 ResNet과 같이 다양한 downstream task에서 backbone으로 사용되고 있으며 특히 Deepfake detection에서 많이 활용되고 있는 추세입니다. 오늘은 지금까지 성능을 향상시키기 위한 파라미터였던 깊이, 너비, cardinality, diversity가 아닌 attention의 개념을 컴퓨터 비전에 접목한 RAN에 대해서 소개시켜드리도록 하겠습니다. Background Attentio..
