안녕하세요. 지난 포스팅의 [IC2D] Pelee: A Real-Time Object Detection System on Mobile Devices (NIPS2018)에서는 Group Convolution의 구현이 비효율적으로 구현되어 있다는 것을 지적하며 Group Convolution없이 모델의 효율성을 향상시킬 수 있는 모델인 PeleeNet에 대해서 소개시켜드렸습니다. 오늘은 기존의 ShuffleNet의 다음 버전인 ShuffleNet V2에 대해서 소개시켜드리도록 하겠습니다. ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design Currently, the neural network architecture design ..
안녕하세요. 지난 포스팅의 [IC2D] Learnable Transferable Architecture for Scalable Image Recognition (CVPR2018)에서는 NAS의 발전된 모델인 NASNet에 대해서 소개시켜드렸습니다. 오늘은 CondenseNet과 마찬가지로 DenseNet의 변형 모델인 PeleeNet에 대해서 소개시켜드리도록 하겠습니다. Background 지금까지 저희는 MobileNet V1, ShuffleNet, MobileNet V2, NASNet에 대해서 알아보았습니다. 이러한 모델들의 특징은 "효율성 (efficiency)"을 강조한 방법들이죠. 특히, MobileNet과 ShuffleNet은 Depthwise Separable Convolution을 사용하여..
안녕하세요. 지난 포스팅의 [IC2D] CondenseNet: An Efficient DenseNet using Learned Group Convolution (CVPR2018)에서는 DenseNet을 기반으로 모든 특징 맵들을 연결하는 것이 아니라 필요없는 연결 (가중치)들을 끊어내는 Learned Group Convolution을 제안한 CondenseNet에 대해서 소개시켜드렸습니다. 이를 통해, CondenseNet의 baseline이 되는 DenseNet보다 약 10배 빠른 모델을 만들게 되었죠. 오늘은 Neural Architecture Seaching이라는 분야의 시작을 알렸다고 할 수 있는 NASNet에 대해서 소개시켜드리도록 하겠습니다. Learning Transferable Archit..
안녕하세요. 지난 포스팅의 [IC2D] Res2Net: A New Multi-Scale Backbone Architecture (IEEE TPAMI2019)에서는 2019년에 인공지능 최고 저널 중 하나인 TPAMI에 억셉된 모델인 Res2Net에 대해서 소개시켜드렸습니다. Res2Net은 multi-scale 정보를 활용하기 위해 입력 특징 맵을 group convolution을 이용해서 쪼갠 뒤 각 그룹 별로 계층적 residual-like connection을 추가하였습니다. 이를 통해, 기존 ResNet보다 훨씬 더 넓은 receptive field를 가지게 됨을 알 수 있었으며 새로운 모델의 차원인 scale을 도입하였습니다. 오늘은 CondenseNet이라는 효율성을 기반으로 한 새로운 모델에..
안녕하세요. 지난 포스팅의 [IC2D] MobileNet V2: Inverted Residuals and Linear Bottlenecks (CVPR2018)에서는 기존의 MobileNet과 ShuffleNet에서 성능이 하락한다는 문제점을 보완한 MobileNet V2에 대해 소개시켜드렸습니다. 핵심은 채널은 적은 경우 정보 보존을 위해 linear 활성화 함수를 적용하고 residual 연산량을 감소시키기 위해 채널의 수를 늘렸다가 줄이는 방식으로 선택합니다. 오늘은 multi-scale을 중요성을 강조한 Res2Net에 대해서 소개시켜드리도록 하겠습니다. Res2Net: A New Multi-scale Backbone Architecture Representing features at multipl..
안녕하세요. 지난 포스팅의 [IC2D] Deep Layer Aggregation (CVPR2018)에서는 feature aggregation을 iterative 및 hierarchical 하게 제안한 DLA에 대해서 소개시켜드렸습니다. 오늘은 일전에 소개시켜드렸던 MobileNet의 다음 버전인 MobileNet V2에 대해서 소개시켜드리겠습니다. 두 모델이 어떤 차이점이 있는지를 중심으로 보시면 더욱 재밌을 거 같습니다. MobileNetV2: Inverted Residuals and Linear Bottlenecks In this paper we describe a new mobile architecture, MobileNetV2, that improves the state of the art per..
안녕하세요. 지난 포스팅의 [IC2D] Squeeze-and-Excitation Networks (CVPR2018)에서는 어텐션 기반의 블록인 SE Block에 대해서 소개시켜드렸습니다. 오늘은 DenseNet에 이어 다양한 특징 맵을 aggregation하는 두 가지 방법을 제시하는 Deep Layer Aggregation (DLA)에 대해서 소개하도록 하겠습니다. Deep Layer Aggregation Visual recognition requires rich representations that span levels from low to high, scales from small to large, and resolutions from fine to coarse. Even with the depth..
안녕하세요. 지난 포스팅의 [IC2D] ShuffleNet: An Extreme Efficient Convolutional Neural Network for Mobile Devices (CVPR2018) 에서는 depthwise separable convolution을 깊게 쌓으면 생기는 문제점을 해결하기 위해 pointwise group convolution과 channel shuffle 연산을 적용한 ShuffleNet을 제안하였습니다. 이를 통해, 기존의 효율적인 대표 모델인 MobileNet보다 훨씬 효율적인 모델을 구현하였습니다. 오늘은 새로운 어텐션 기반의 모델로 영상 분류에서 굉장히 유명한 SE (Squeeze-and-Excitation) Net에 대해서 소개해드리도록 하겠습니다. Squee..
