안녕하세요. 오늘은 간단한 구조이지만 매우 강력한 성능을 자랑하는 segmentation 구조 중에 하나인 U-net에 대해서 다루어보겠습니다. 참고로 이전에 리뷰한 FCN과 연결되니 읽어보고 오시는 것을 추천드립니다. Network Architecture U-net의 네트워크 구조는 위와 같습니다. 실제로 U자형을 그리는 것을 볼 수 있습니다. 구조를 한번 뜯어보겠습니다. 본 논문에서는 크게 2개의 서브 네트워크로 나누어 설명합니다. 각각 contracting path, expansive path라고 합니다. contracting path는 왼쪽의 채널의 개수가 점점 많아지는 네트워크이고 expansive path는 오른쪽의 채널의 개수가 점점 줄어들어 최종적으로는 입력 이미지와의 shape이 동일해지..
안녕하세요. 지난 포스팅의 [IC2D] Aggregated Residual Transformations for Deep Neural Networks (CVPR2017)에서는 깊이(depth)나 너비 (width)보다 cardinality의 중요성을 강조하는 ResNext를 제안하였습니다. ResNet과 유사한 복잡도를 가지지만 성능 향상은 꽤 높은 편이였죠. 오늘은 계층간의 연결성 (connection)을 강조한 DenseNet에 대해서 소개해드리도록 하겠습니다. Densely Connected Convolutional NetworksRecent work has shown that convolutional networks can be substantially deeper, more accurate, ..
안녕하세요. 지난 포스팅의 [IC2D] MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications (arxiv2017)에서는 휴대장치에서도 빠르게 동작할 수 있는 효율적인 모델인 MobileNet에 대해서 소개해드렸습니다. 저희는 이때 처음으로 nn.Conv2d의 인자인 groups에 대해서 알게 되었습니다. MobileNet에서는 이를 depthwise로 사용하여 연산량을 낮추는 데 사용하였죠. 오늘은 ResNet과 InceptionNet을 기반으로 연구된 ResNext에 대해서 소개해드리도록 하겠습니다. Aggregated Residual Transformations for Deep Neural Networks..
안녕하세요. 지난 포스팅의 [IC2D] Wide Residual Networks (BMVC2016)에서는 모델의 깊이 (depth)보다는 너비 (width)에 초점을 맞추어 깊은 모델이 아니더라도 충분히 좋은 성능을 낼 수 있음을 증명하였습니다. 오늘은 효율적인 모델로 유명한 MobileNet에 대해서 소개해드리도록 하겠습니다. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision ApplicationsWe present a class of efficient models called MobileNets for mobile and embedded vision applications. MobileNets are based on a s..
안녕하세요. 지난 포스팅의 [IC2D] Rethinking the Inception Architecture for Computer Vision (CVPR2016)에서는 GoogLeNet의 발전된 모델인 InceptionNet-V2와 InceptionNet-V3에 대해서 소개시켜드렸습니다. 현재 꽤나 많이 실험 검증 단계에서 쓰이고 있는 Wide Residual Network (WRN)에 대해서 소개해드리도록 하겠습니다. Wide Residual NetworksDeep residual networks were shown to be able to scale up to thousands of layers and still have improving performance. However, each fract..
안녕하세요. 지난 포스팅의 [IC2D] Deep Networks with Stochastic Depth (ECCV2016)에서는 ResNet에서 Stochastic Depth를 적용하여 학습의 효율성과 정규화 효과까지 동시에 얻은 방법에 대해서 설명하였습니다. 지난 포스팅에서는 새로운 네트워크 구조에 대한 설명은 없었습니다. 오늘은 지난 포스팅의 [IC2D] Going Deeper with Convolutions (CVPR2015)에서 제안된 GoogLeNet에서 한 단계 더 발전된 구조인 InceptionNet-V2와 InceptionNet-V3에 대해서 소개해드리도록 하겠습니다. Rethinking the Inception Architecture for Computer VisionConvoluti..
안녕하세요. 지난 포스팅의 [IC2D] Identity Mappings in Deep Residual Networks (ECCV2016)에서는 ResNet에서 Identity Mapping의 중요성과 activation function의 위치에 따른 성능 변화를 분석하였습니다. 결과적으로 Batch Normalization과 ReLU를 Skip connection에서 제일 먼저 적용하는 것이 가장 높은 성능을 얻었음을 확인하였죠. 오늘은 ResNet의 변형 구조인 Stochastic ResNet에 대해서 소개해드리도록 하겠습니다. Deep Networks with Stochastic DepthVery deep convolutional networks with hundreds of layers have..
안녕하세요. 지난 포스팅의 [IC2D] Deep Residual Learning for Image Recognition (CVPR2016)에서는 ResNet 계열 모델의 시작을 알린 ResNet에 대해서 소개해드렸습니다. 오늘은 이 ResNet을 좀 더 심층적으로 분석하고 좀 더 성능을 향상시킬 수 있는 방법에 대해 소개한 논문에 대해서 소개해드리고자 합니다. 이를 통해 새로운 형태의 ResNet을 PreAct ResNet이라고 정의합니다. 본 논문에서는 어떤 방식으로 해당 모델을 정의하게 됬는지 한번 알아보도록 하죠. Identity Mappings in Deep Residual NetworksDeep residual networks have emerged as a family of extremel..
