안녕하세요. 지난 포스팅의 [DA] CutMix: Regularization Strategy to Train Strong Classifier with Localizable Features (ICCV2019)에서는 데이터 증강에서 중요한 방법 중 하나인 CutMix를 소개시켜드렸습니다. 오늘은 새로운 방법론을 소개해드리는 것은 아니고 GAN 기반의 데이터 증강을 수행할 때 성능 향상을 분석하는 논문을 리뷰하고자 합니다. 가벼운 마음으로 보셔도 될 거 같습니다.
일단, 본 논문에서는 2가지 데이터 증강을 수행할 때 2가지 접근법을 제안합니다.
1). 학습하기 전에 분류기에 학습할 새로운 데이터를 미리 만들어 놓는다.
2). 학습을 진행하면서 분류기에 학습할 새로운 데이터를 함께 만든다.
1)번 같은 경우에는 요새 흔히 쓰는 방법이 아니라서 넘어가도록 하겠습니다. 2)번이 MixUp, CutOut, CutMix를 포함하는 방법이죠. 본 논문에서는 학습 가능한 데이터 증강 모듈을 도입하고자 합니다. 즉, 데이터 증강이라는 것이 쉽게 생각하면 새로운 영상을 생성하는 것이기 때문에 이에 특화된 생성 모델인 GAN을 사용하고자 합니다.
나중에 GAN 관련 논문들도 리뷰하겠지만, 혹시 styleGAN에 대해서 들어보셨는지 모르겠습니다. 그림2와 같이 영상의 세세한 정보 (예를 들어, 날씨, 밤낮, 화가의 화풍)를 다른 영상으로 옮겨서 새로운 영상을 만드는 GAN입니다. 본 논문에서는 이 styleGAN을 이용해서 실험할 때 데이터 증강만을 위한 손실함수를 구성하는 것이 중요하다는 것을 강조합니다.
그림3과 그림4는 학습 가능한 데이터 증강 모듈을 추가했을 때 학습 및 평가 과정을 보여주고 있습니다. 학습할 때는 데이터 증강을 위한 네트워크인 Augmentation Network를 이용하죠. 본 논문에서는 이를 GAN으로 정의하고 사용하였습니다.
표1은 몇 가지 데이터 증강 및 GAN에서 손실함수를 다양하게 주었을 때 개와 금붕어의 이진분류를 얼마나 잘하는 지에 대한 결과를 나타내고 있습니다.
