안녕하세요. 지난 포스팅의 [IC2D] Improving Convolution Networks with Self-Calibrated Convolutions (CVPR2020)에서는 기존 어텐션 모듈과는 다르게 전혀 연산량을 늘리지 않는 Self-Calibrated Convolution에 대해서 설명드렸습니다. 오늘은 외부 unlabeled 데이터셋을 활용하여 ImageNet에서 성능 향상을 이룬 Noisy Student Training에 대해서 소개시켜드리도록 하겠습니다. Background 저희가 지금까지 보았던 다양한 모델들의 필수 과정은 ImageNet과 같은 대규모 데이터셋에서 full supervision을 필요로 합니다. 본 논문에서는 레이블이 존재하지 않는 외부 데이터셋도 함께 사용하여 Im..
안녕하세요. 지난 포스팅의 [IC2D] Big-Little Net: An Efficient Multi-Scale Feature Representation for Visual and Speech Recognition (ICLR2019)에서는 높은 연산량을 필요로 하는 high-scale 영상은 low-branch, 적은 연산량을 필요로 하는 low-scale은 추가적인 정보를 추출하기 위해 high-branch에 입력하여 연산량을 감소시키는 bL-Net에 대해서 알아보았습니다. 오늘은 지금까지 알아본 Attention 기반 모델과는 살짝 방향성이 다른 Self-Calibrated Convolution에 대해서 알아보도록 하겠습니다. CVPR 2020 Open Access Repository Jiang-Ji..
안녕하세요. 지난 포스팅의 [IC2D] Selective Kernel Networks (CVPR2019)에서는 InceptionNet에서 아이디어를 얻어 multi-path 기반의 non-linear aggregation을 수행하는 SK 합성곱 연산과 이를 기반으로 SKNet에 대해 소개하였습니다. 오늘도 multi-path 기반의 efficiency를 강조한 Big-Little Net에 대해서 소개하도록 하겠습니다. Big-Little Net: An Efficient Multi-Scale Feature Representation for Visual and Speech Recognition In this paper, we propose a novel Convolutional Neural Network (..
안녕하세요. 지난 포스팅의 [IC2D] Drop an Octave: Replacing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution (ICCV2019)에서는 저주파에 존재하는 Spatial Redundancy를 줄일 수 있는 OctConv에 대한 이야기를 해드렸습니다. 오늘도 CNN 구조에 큰 영향을 주었던 Selective Kernel Networks에 대해서 소개시켜드리겠습니다. Selective Kernel Networks In standard Convolutional Neural Networks (CNNs), the receptive fields of artificial neurons in each layer..
안녕하세요. 지난 포스팅의 [IC2D] Searching for MobileNetV3 (ICCV2019)에서는 MobileNetV2와 MNAS + NetAdapt 알고리즘을 결합하여 좀 더 효율적인 모델인 MobileNetV3를 제안하였습니다. 오늘은 새로운 합성곱 연산인 OctConv에 대해서 소개하고자 합니다. Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave ConvolutionIn natural images, information is conveyed at different frequencies where higher frequencies are usually encoded with f..
안녕하세요. 지난 포스팅의 [IC2D] Progressive Neural Architecture Search (ECCV2018)에서는 효율적인 NAS 알고리즘을 위해 searching space를 획기적으로 줄이고 전체 모델을 학습하기 않고 각 모델들의 성능을 대략적으로 유추할 수 있는 predictor에 대한 내용을 보았습니다. 오늘 역시 주제는 NAS입니다. 하지만 지금까지 보았던 MobileNetV1 및 MobileNetV2를 기반으로 구성되었기 때문에 쉽게 이해할 수 있습니다. Searching for MobileNetV3 We present the next generation of MobileNets based on a combination of complementary search techni..
안녕하세요. 지난 포스팅의 [IC2D] Dual Path Networks (NIPS2017) 에서는 HORNN을 기반으로 ResNet과 DenseNet의 장점과 본질적인 한계점에 대해 분석하고 이를 해결하기 위한 DPN에 대한 설명을 하였습니다. 오늘은 저와 익숙하지 않은 주제인 Neural Architecture Search (NAS)에 대한 논문을 가져왔습니다. 오늘 소개할 모델은 PNAS로 기존 NASNet에 비해 훨씬 적은 search space를 정의함으로써 효율적인 모델을 구현하였습니다. Progressive Neural Architecture Search We propose a new method for learning the structure of convolutional neural ne..
안녕하세요. 지난 포스팅의 [IC2D] CBAM: Convolutional Block Attention Module (ECCV2018)에서는 RAN, SE Block, BAM에 이어 유명한 어텐션 모듈 중 하나인 CBAM에 대해서 말씀드렸습니다. 오늘은 ResNet과 DenseNet 사이의 관계를 고계 순환신경망 (Higher Order Recurrent Neural Network; HORNN)을 이용해 확인하고 두 구조적인 장점만을 융합한 Dual Path Network에 대해서 알아보도록 하겠습니다. Background 기본적으로 ResNet 계열 논문들의 가장 큰 특징은 skip connection을 사용한다는 점 입니다. 최근 논문들은 이 skip connection을 어떤 식으로 바꾸는 지 집중..
