안녕하세요. 지난 포스팅의 [Transformer] Transformer in Transformer (NIPS2021)에서는 큰 패치로 나눈 뒤 그 패치들을 다시 나누어 서브 패치 간의 관계성을 학습하는 TNT에 대해서 알아보았습니다. 오늘은 JFT-300M 데이터셋과 같은 대규모 데이터셋에 사전학습의 필요성을 줄이기 위한 시도 중 하나인 Compact Transformer에 대해서 알아보겠습니다. BackgroundConvolution Neural Network (CNN) 이후로 최근 다양한 Transformer 기반의 모델들이 각광받고 있습니다. 특히, Vision Transformer (ViT)의 등장으로 Computer Vision 분야에서 엄청난 관심을 이끌게 되었죠. 하지만, 합성곱 연산의 ..
안녕하세요. 지난 포스팅의 [IS2D] DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (IEEE TPAMI2017)에서는 DeepLabV2에 대해서 알아보았습니다. 오늘은 이어서 DeepLabV3에 대해서 짧게 알아보도록 하겠습니다. Background 기본적으로 DeepLabV3 역시 DeepLabV1과 DeepLabV2와 마찬가지로 동일한 challenge를 공유합니다. 이 부분은 지난 포스팅을 참고해주시면 감사하겠습니다. 하지만, 점점 심층 신경망이 발달함에 따라서 예측 결과의 후처리 필요성에 대한 문제점이 대두되었습니다. DeepLabV2까지 사..
안녕하세요. 지난 포스티의 [DA] Data Augmentation Using Random Cropping and Patch for Depp CNNs (IEEE TCSVT2020)에서는 4장의 영상을 Mix 하는 RICAP에 대해서 알아보았습니다. 오늘은 ResizeMix라는 방법에 대해서 소개하도록 하겠습니다. ResizeMix: Mixing Data with Preserved Object Information and True Labels Data augmentation is a powerful technique to increase the diversity of data, which can effectively improve the generalization ability of neural netwo..
안녕하세요. 지난 포스팅의 [DA] CutMix: Regularization Strategy to Train Strong Classifier with Localizable Features (ICCV2019)에서는 데이터 증강에서 중요한 방법 중 하나인 CutMix를 소개시켜드렸습니다. 오늘은 새로운 방법론을 소개해드리는 것은 아니고 GAN 기반의 데이터 증강을 수행할 때 성능 향상을 분석하는 논문을 리뷰하고자 합니다. 가벼운 마음으로 보셔도 될 거 같습니다. 일단, 본 논문에서는 2가지 데이터 증강을 수행할 때 2가지 접근법을 제안합니다. 1). 학습하기 전에 분류기에 학습할 새로운 데이터를 미리 만들어 놓는다. 2). 학습을 진행하면서 분류기에 학습할 새로운 데이터를 함께 만든다. 1)번 같은 경우에는..
안녕하세요. 지난 포스팅의 [IC2D] Wide Residual Networks (BMVC2016)에서는 모델의 깊이 (depth)보다는 너비 (width)에 초점을 맞추어 깊은 모델이 아니더라도 충분히 좋은 성능을 낼 수 있음을 증명하였습니다. 오늘은 효율적인 모델로 유명한 MobileNet에 대해서 소개해드리도록 하겠습니다. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications We present a class of efficient models called MobileNets for mobile and embedded vision applications. MobileNets are based on a st..
안녕하세요. 오늘 리뷰할 논문은 'Improved Regularization of Convolutional Neural Networks with CutOut'로 arxiv에 공개적으로 출판되어있는 논문입니다. 해당 논문은 제목에서도 알 수 있다싶이 Data Augmentation 중 CutOut이라는 방법을 제안한 논문입니다. Improved Regularization of Convolutional Neural Networks with Cutout Convolutional neural networks are capable of learning powerful representational spaces, which are necessary for tackling complex learning tasks. ..
