안녕하세요. 지난 포스팅의 [IC2D] Gather-Excite: Exploiting Feature Context in Convolutional Neural Networks (NIPS2018)에서는 Gather-Excite Block이라는 어텐션 모듈에 대해 소개하였습니다. 기본적인 컨셉은 SE Block의 일반화를 목표로하는 것이였습니다. 오늘 알아볼 ECA Block은 이러한 SE Block을 보다 효율적으로 구성하는 방법에 대해서 알려주고 있습니다. Background 지금까지 저희는 다양한 어텐션 모듈을 보았습니다. 가장 대표적으로 SE Block (CVPR2018)은 입력 특징 맵으로부터 channel descriptor를 얻는 Squeeze 연산과 두 개의 Fully-Connected (FC)..
안녕하세요. 지난 포스팅의 [IC2D] Improving Convolution Networks with Self-Calibrated Convolutions (CVPR2020)에서는 기존 어텐션 모듈과는 다르게 전혀 연산량을 늘리지 않는 Self-Calibrated Convolution에 대해서 설명드렸습니다. 오늘은 외부 unlabeled 데이터셋을 활용하여 ImageNet에서 성능 향상을 이룬 Noisy Student Training에 대해서 소개시켜드리도록 하겠습니다. Background 저희가 지금까지 보았던 다양한 모델들의 필수 과정은 ImageNet과 같은 대규모 데이터셋에서 full supervision을 필요로 합니다. 본 논문에서는 레이블이 존재하지 않는 외부 데이터셋도 함께 사용하여 Im..
안녕하세요. 지난 포스팅의 [IC2D] Big-Little Net: An Efficient Multi-Scale Feature Representation for Visual and Speech Recognition (ICLR2019)에서는 높은 연산량을 필요로 하는 high-scale 영상은 low-branch, 적은 연산량을 필요로 하는 low-scale은 추가적인 정보를 추출하기 위해 high-branch에 입력하여 연산량을 감소시키는 bL-Net에 대해서 알아보았습니다. 오늘은 지금까지 알아본 Attention 기반 모델과는 살짝 방향성이 다른 Self-Calibrated Convolution에 대해서 알아보도록 하겠습니다. CVPR 2020 Open Access Repository Jiang-Ji..
안녕하세요. 오랜만에 논문 리뷰를 하게 되었습니다. 오늘 리뷰할 논문은 CVPR2020에서 등재된 EfficientDet:Scalable and Efficient Object Detection이라는 논문입니다. 비록 제가 Object Detection과 관련된 공부는 거의 해보지는 않았지만 지식을 넓히는 차원에서 간단하게 정리해보도록 하겠습니다. EfficientDet: Scalable and Efficient Object Detection Model efficiency has become increasingly important in computer vision. In this paper, we systematically study neural network architecture design choi..
안녕하세요. 오랜만에 논문 리뷰 포스팅을 하게 되었습니다. 이전에도 논문은 간간히 읽었는 데 포스팅 해야된다는 것을 까먹고 이제 올리게 되었습니다. 오늘 리뷰할 논문은 사실 이전에 제가 올렸던 segmentation, data augmentation과는 다른 주제를 가지고 있습니다. 이 논문은 Frequency domain이 CNN의 일반화 성능을 어떤 식으로 도와줄 수 있는 지에 대해서 설명하고 있는 논문입니다. 바로 시작해보도록 하죠. 이 논문의 중심 가정은 frequency domain의 high component와 image semantic 간의 어떤 관계가 있다는 것입니다. Figure 1은 설명하면 high frequency와 image semantic 간에는 분명히 분포를 통해서 관계성이 존..
