안녕하세요. 지난 포스팅의 [IC2D] Xception: Deep Learning with Depthwise Separable Convolutions (CVPR2017)에서는 Inception 모델의 최종 변형 구조인 Xception에 대해서 소개해드렸습니다. Xception은 실제로 많은 논문에서 ResNet과 같이 다양한 downstream task에서 backbone으로 사용되고 있으며 특히 Deepfake detection에서 많이 활용되고 있는 추세입니다. 오늘은 지금까지 성능을 향상시키기 위한 파라미터였던 깊이, 너비, cardinality, diversity가 아닌 attention의 개념을 컴퓨터 비전에 접목한 RAN에 대해서 소개시켜드리도록 하겠습니다. Background Attentio..
안녕하세요. 지난 포스팅의 [IC2D] PolyNet: A Pursuit of Structural Diversity in Very Deep Networks (CVPR2017)에서는 CNN 모델의 diversity를 강조하여 Inception 모델의 새로운 변형 구조인 PolyNet을 제안하였습니다. 오늘은 Inception 모델의 최종버전이라고 할 수 있는 Xception에 대해서 소개해드리도록 하겠습니다. Xception: Deep Learning with Depthwise Separable Convolutions We present an interpretation of Inception modules in convolutional neural networks as being an intermediat..
안녕하세요. 지난 포스팅의 [IC2D] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning (AAAI2017)에서는 Inception 모델과 ResNet의 결합을 통한 새로운 SOTA 성능의 모델인 Inception-ResNet 에 대해서 알아보았습니다. 오늘은 이러한 구조를 더욱 일반화한 PolyNet에 대해서 소개해드리겠습니다. Background 지금까지 저희가 보았던 영상 분류 모델들을 보면 대부분 ResNet 기반의 모델들이였습니다. 다른 변형구조로는 InceptionNet과 ResNet 구조를 결합한 Inception-ResNet과 cardinality를 강조한 multi-path 기반의 ResNex..
안녕하세요. 지난 포스팅의 [DA] The Effectiveness of Data Augmentation in Image Classification using Deep Learning (arxiv2017)에서는 GAN 기반의 데이터 증강을 이용한 방법에 대해서 설명하였습니다. 오늘은 알고리즘 기반의 데이터 증강인 Random Image Cropping And Patching (RICAP)에 대해서 소개해드리도록 하겠습니다. Background 지금까지 저희는 MixUp, CutOut, CutMix와 같은 기본적인 데이터 증강 방법에 대해서 알아보았습니다. 이 방법들의 공통점은 두 장의 영상을 이용해서 서로 linear combination을 취하거나 sub-region을 교환하는 방법을 제안합니다. Cu..
안녕하세요. 지난 포스팅의 [IC2D] Deep Pyramid Residual Networks (CVPR2017)에서는 피라미드와 같이 점진적으로 블럭 내의 너비를 점점 늘리는 모델인 PyramidNet을 제안하였습니다. 이때, residual path와 identity path 사이의 사이즈를 맞추기 위해 zero-padded shortcut connection이라는 방법을 도입하였죠. 오늘은 Inception 기반 모델의 변형인 Inception-v4와 residual network와 결합한 Inception-ResNet, 이 두 가지 모델에 대해서 소개해드리도록 하겠습니다. Background 지금까지 저희가 공부했던 많은 영상 분류 모델들은 모두 ResNet을 기반으로 구성되어있음을 알 수 있습니..
안녕하세요. 지난 포스팅의 [DA] CutMix: Regularization Strategy to Train Strong Classifier with Localizable Features (ICCV2019)에서는 데이터 증강에서 중요한 방법 중 하나인 CutMix를 소개시켜드렸습니다. 오늘은 새로운 방법론을 소개해드리는 것은 아니고 GAN 기반의 데이터 증강을 수행할 때 성능 향상을 분석하는 논문을 리뷰하고자 합니다. 가벼운 마음으로 보셔도 될 거 같습니다. 일단, 본 논문에서는 2가지 데이터 증강을 수행할 때 2가지 접근법을 제안합니다. 1). 학습하기 전에 분류기에 학습할 새로운 데이터를 미리 만들어 놓는다. 2). 학습을 진행하면서 분류기에 학습할 새로운 데이터를 함께 만든다. 1)번 같은 경우에는..
안녕하세요. 지난 포스팅의 [IC2D] Densely Connected Convolutional Networks (CVPR2017)에서는 ResNet을 기반으로 블록 내의 계층 간 연결성을 강화한 DenseNet에 대해서 알아보았습니다. 이를 통해서, 더 낮은 파라미터로 충분히 좋은 성능을 낼 수 있다는 것을 검증하였습니다. 오늘도 ResNet 기반의 새로운 모델인 PyramidNet에 대해서 소개해드리도록 하겠습니다. Background ResNet에서는 Residual Block 간의 shortcut path를 도입하여 잔차 학습 (residual learning)이라는 개념을 도입하였습니다. 이를 통해, 기존의 VGGNet과 같이 단순한 모델에서 발생하던 diminish problem이나 gradi..
안녕하세요. 지난 포스팅의 [IS2D] U-Net: Convolutional Networks for Biomedical Image Segmentation (MICCAI2016)에서는 현재 수많은 영상 분할 영상의 기초가 되는 UNet에 대해서 알아보았습니다. 오늘은 이를 좀 더 효율적으로 구현한 SegNet에 대해서 소개해드리도록 하겠습니다. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation We present a novel and practical deep fully convolutional neural network architecture for semantic pixel-wise segmentation t..
