안녕하세요. 지난 포스팅의 선형대수학 - 고유값과 고유벡터 2에서는 선형변환의 고유값과 고유벡터를 구하는 방법에 대해서 알아보았습니다. 오늘은 지금까지 배웠던 개념을 활용하여 행렬에 대각화를 적용하는 방법에 대해서 알아보도록 하겠습니다. 정리1 $T$를 벡터공간 $V$에서의 선형변환 그리고 $\lambda_{1}, \dots, \lambda_{k}$를 $T$의 서로 다른 고유값이라고 하자. 만약, $v_{1}, \dots, v_{k}$가 각각 $\lambda_{1}, \dots, \lambda_{k}$에 대응되는 $T$의 고유벡터라고 하면 $\{v_{1}, \dots, v_{k}\}$는 선형독립이다. 증명 정리1은 저희가 고유값을 결정하고 그에 대응되는 고유벡터를 구하기만 하면 고유벡터들의 집합은 무조건..
안녕하세요. 오늘 리뷰할 논문은 'Improved Regularization of Convolutional Neural Networks with CutOut'로 arxiv에 공개적으로 출판되어있는 논문입니다. 해당 논문은 제목에서도 알 수 있다싶이 Data Augmentation 중 CutOut이라는 방법을 제안한 논문입니다. Improved Regularization of Convolutional Neural Networks with Cutout Convolutional neural networks are capable of learning powerful representational spaces, which are necessary for tackling complex learning tasks. ..
안녕하세요. 오늘은 영상 분할 (Image Segmentation) 분야에서 필수적으로 사용되는 데이터셋인 PASCAL VOC 2012 Segmentation에 대해서 알아보고 pytorch를 이용해서 DataLoader를 만들어보도록 하겠습니다. 1. PASCAL VOC 2012 Segmentation Dataset 소개 PASCAL VOC 2012 데이터셋은 Semantic Segmentation 뿐만 아니라 Object Detection, Instance Segmentation을 위한 다용도 데이터셋입니다. 저는 이 중에서 Semantic Segmentation을 위한 DataLoader를 구성해보도록 하겠습니다. 해당 데이터셋은 21개의 클래스 (vehicles, household, animals..
안녕하세요. 정말 오랜만에 논문 리뷰를 하게 되었습니다. 오늘 리뷰할 논문은 Data Augmentation에서 아주 유명한 논문입니다. 바로 mixup이라는 논문인데요. 간단하게 설명을 해보도록 하겠습니다. 일단 기본적으로 신경망의 특징은 2가지로 정리해볼 수 있습니다. 훈련 데이터셋에 대한 평균 에러를 최소화함으로써 신경망 최적화 이전에 나왔던 SOTA 성능의 신경망은 훈련 데이터셋의 크기에 선형적으로 비례하여 그 규모가 커짐 이때, 첫번째 특징을 Empirical Risk Minimization(ERM) principle이라고도 합니다. 즉, 저희가 현재 볼 수 있는 데이터인 empirical distribution을 통해서 risk(error)를 최소화한다는 것이죠. 이는 사실 당연하다고 볼 수 ..
안녕하세요. 지난 포스팅의 [IC2D] Very Deep Convolutional Networks for Large-Scale Image Recognition (ICLR2015)에서는 ILSVRC 2014에서 2등을 차지한 VGGNet에 대해서 리뷰를 해보았습니다. 오늘은 ILSVRC 2014에서 1등을 차지한 GooLeNet에 대해서 리뷰를 해보도록 하겠습니다. 대부분의 사람들한테는 VGGNet이 좀 더 인기가 많은 편 입니다. 아무래도 GooLeNet을 설계하는 과정에서 filter size를 아주 다양하게 적용하였는데 이 부분이 조금 난해하기 때문이라고 생각이 드네요. 오늘은 GooLeNet의 동기와 전체 네트워크 구조, 그리고 실험 결과와 함께 실제로 구현한 결과를 말씀드리도록 하겠습니다. Ima..
안녕하세요. 오늘 리뷰할 논문은 'Very Deep Convolutional Networks for Large-Scale Image Recognition'로 세계최고의 인공지능 학회 중 하나인 ICLR에 2015년에 논문이 출판되었습니다. 아마 논문 제목만 보면 어떤 네트워크인지 감이 안오실겁니다. 혹시, VGGNet이라는 네트워크는 들어보셨을 겁니다. 오늘 리뷰할 논문이 VGG라는 합성곱 신경망 (Convolutional Neural Network; CNN)을 제안한 것이죠. Very Deep Convolutional Networks for Large-Scale Image Recognition In this work we investigate the effect of the convolutional n..
안녕하세요. 지난 포스팅의 선형대수학 - 고유값과 고유벡터 1에 이어서 설명을 계속해보도록 하겠습니다. 오늘은 주로 고유값 및 고유벡터의 존재성과 성질에 대해서 알아보도록 하죠. 정리1 행렬 $A \in M_{n \times n} (\mathbf{F})$가 주어졌을 때 다음이 성립한다. (a). 행렬 $A$의 특성방정식의 가장 높은 차수의 계수는 $(-1)^{n}$이다. (b). 행렬 $A$는 최대 $n$개의 고유값을 가진다. 설명 정리1은 간단하게 생각해보면 당연한 이야기를 하고 있습니다. (a)의 경우에는 저희가 어떤 행렬의 행렬식을 계산할 때 여인수 전개를 적용하기 때문에 얻을 수 있습니다. (b)의 경우에는 일반적으로 $n \times n$ 행렬의 특성방정식은 항상 $n$차 방정식이죠. 하지만, ..
