안녕하세요. 지난 포스팅의 [IC2D] Identity Mappings in Deep Residual Networks (ECCV2016)에서는 ResNet에서 Identity Mapping의 중요성과 activation function의 위치에 따른 성능 변화를 분석하였습니다. 결과적으로 Batch Normalization과 ReLU를 Skip connection에서 제일 먼저 적용하는 것이 가장 높은 성능을 얻었음을 확인하였죠. 오늘은 ResNet의 변형 구조인 Stochastic ResNet에 대해서 소개해드리도록 하겠습니다. Deep Networks with Stochastic Depth Very deep convolutional networks with hundreds of layers have ..
안녕하세요. 지난 포스팅의 [IC2D] Deep Residual Learning for Image Recognition (CVPR2016)에서는 ResNet 계열 모델의 시작을 알린 ResNet에 대해서 소개해드렸습니다. 오늘은 이 ResNet을 좀 더 심층적으로 분석하고 좀 더 성능을 향상시킬 수 있는 방법에 대해 소개한 논문에 대해서 소개해드리고자 합니다. 이를 통해 새로운 형태의 ResNet을 PreAct ResNet이라고 정의합니다. 본 논문에서는 어떤 방식으로 해당 모델을 정의하게 됬는지 한번 알아보도록 하죠. Identity Mappings in Deep Residual Networks Deep residual networks have emerged as a family of extremely..
안녕하세요. 오늘은 지난 포스팅의 [IC2D] Going Deeper with Convolutions (CVPR2015)에서 소개드린 GooLeNet에 이어 ILSVRC 2015에서 VGGNet과 GoogLeNet을 압도적인 차이로 이긴 ResNet을 소개해드리도록 하겠습니다. ResNet은 현재 Semantic Segmentation, Object Detection과 같은 비전 분야에서 필수적으로 사용되고 있는 기본 모델로써 알고 사용하는 것이 굉장히 중요합니다. 오늘은 ResNet을 개발하게 된 동기를 이해한다면 쉽게 이해할 수 있습니다. Deep Residual Learning for Image Recognition Deeper neural networks are more difficult to t..
안녕하세요. 지난 포스팅의 [IC2D] Very Deep Convolutional Networks for Large-Scale Image Recognition (ICLR2015)에서는 ILSVRC 2014에서 2등을 차지한 VGGNet에 대해서 리뷰를 해보았습니다. 오늘은 ILSVRC 2014에서 1등을 차지한 GooLeNet에 대해서 리뷰를 해보도록 하겠습니다. 대부분의 사람들한테는 VGGNet이 좀 더 인기가 많은 편 입니다. 아무래도 GooLeNet을 설계하는 과정에서 filter size를 아주 다양하게 적용하였는데 이 부분이 조금 난해하기 때문이라고 생각이 드네요. 오늘은 GooLeNet의 동기와 전체 네트워크 구조, 그리고 실험 결과와 함께 실제로 구현한 결과를 말씀드리도록 하겠습니다. Ima..
안녕하세요. 오늘 리뷰할 논문은 'Very Deep Convolutional Networks for Large-Scale Image Recognition'로 세계최고의 인공지능 학회 중 하나인 ICLR에 2015년에 논문이 출판되었습니다. 아마 논문 제목만 보면 어떤 네트워크인지 감이 안오실겁니다. 혹시, VGGNet이라는 네트워크는 들어보셨을 겁니다. 오늘 리뷰할 논문이 VGG라는 합성곱 신경망 (Convolutional Neural Network; CNN)을 제안한 것이죠. Very Deep Convolutional Networks for Large-Scale Image Recognition In this work we investigate the effect of the convolutional n..
