안녕하세요. 지난 포스팅의 선형대수학 - 그람-슈미트 과정에서는 내적공간의 비직교 기저로부터 정규직교 기저를 만들 수 있는 그람-슈미트 과정 (Gram-Schmitz Process)에 대해서 알아보았습니다. 또한, 실제로 예시를 통해 적용해보았죠. 이를 통해, 0이 아닌 유한차원을 가지는 임의의 내적공간은 항상 정규직교 기저를 가짐을 보였습니다. 뿐만 아니라, 내적공간의 임의의 벡터들은 정규직교 기저를 통해 임의의 벡터와 기저 사이의 선형결합을 통해 표현할 수 있음을 보였습니다. 오늘은 직교집합을 주제로한 새로운 내용을 말씀드리고자 합니다. 바로 직교여공간 (Orthogonal Complement)입니다. 이 역시 앞으로 배울 고급 선형대수 주제에서 빼놓을 수 없는 주제이기 때문에 알아두시면 큰 도움이 ..
안녕하세요. 지난 포스팅의 선형대수학 - 직교 기저에서는 정규직교 기저의 정의와 그 중요성에 대해서 알아보았습니다. 오늘은 비직교 기저로부터 정규직교 기저를 만들어낼 수 있는 그람-슈미트 과정 (Gram-Schmitz Process)을 소개시켜드리겠습니다. 이를 통해, 임의의 기저로부터 정규직교 기저를 만들어낼 수 있기 때문에 임의의 유한차원의 내적공간은 정규직교 기저를 가짐이 자동으로 증명됩니다. 가장 간단한 경우로 2개의 벡터를 가지는 유한차원의 내적공간 V의 선형독립 부분집합 {w1,w2}를 생각해보도록 하겠습니다. 저희는 목표는 이 부분집합 {w1,w2}로부터 동일한 내적공간 V을 생성하는 직교집합 (orthogonal set)을 만드는 것 입..
안녕하세요. 지난 포스팅의 선형대수학 - 노름과 직교성에서는 벡터의 크기를 의미하는 노름과 벡터 사이의 관계 또는 벡터공간의 성질을 의미하는 직교성에 대해 이야기하였습니다. 오늘은 선형대수 전반에 걸쳐 끊임없이 나오는 주제 중 하나인 정규직교 기저 (orthonormal basis)에 대한 이야기를 해보도록 하겠습니다. 정의1. 정규직교 기저 (orthonormal basis) V를 체 F 상의 내적 공간이라고 하자. 만약 V의 순서 기저 β가 정규직교라면 β는 내적공간 V의 정규직교 기저 (orthonormal basis)라고 한다. Let V be an inner product space over a field F. A sub..
안녕하세요. 지난 포스팅의 선형대수학 - 내적과 내적공간에서는 내적 및 내적공간의 정의와 관련된 성질에 대해서 알아보았습니다. 오늘은 내적의 특별한 연산인 노름 (Norm)과 벡터 간의 중요한 관계성 중 하나인 직교성 (Orthogonality)에 대해서 알아보도록 하겠습니다. 정의1. 노름 (Norm) V를 내적공간이라고 하자. x∈V에 대해서 벡터 x의 크기 (length) 또는 노름 (norm)은 ‖으로 정의된다. Let V be an inner product space. For x \in V, we define the norm or length of x by $\lVert x \rVert..
안녕하세요. 지난 포스팅의 선형대수학 - 불변 부분공간과 케일리-해밀턴 정리에서는 불변 부분공간과 순환 부분공간이라는 개념을 기반으로 케일리-해밀턴 정리 (Cayley-Hamilton Theorem)을 증명해보았습니다. 오늘은 주제를 바꾸어서 내적 (inner product)이라는 개념에 대해서 알아보도록 하겠습니다. 정의1. 내적 (inner product) V를 \mathbf{F} 상에서 정의된 벡터공간이라고 하자. 벡터공간 V에서의 내적 (innter product)는 벡터공간 V의 임의의 두 벡터 x와 y 쌍을 \mathbf{F} 상의 스칼라로 변환하는 함수이며 $$로 표기한다. 벡터공간 $V$ 내의 임의의 세 벡터 $x, y, z$와 스칼라 $c \in \mathbf{F..
안녕하세요. 지난 포스팅의 [DA] Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification (ICASSP2020)에서는 분류기 외에 추가적인 pretrain된 추출기 (ResNet50)을 통해 영상 내에 중요한 영역을 선택하여 타겟 영상으로 paste하는 Attentive CutMix에 대해서 소개하였습니다. 오늘은 다른 방식으로 놀라운 성능을 보였던 AutoAugment를 소개시켜드리겠습니다. Background기본적으로 데이터 증강은 주어진 데이터 도메인에 대해서 불변성을 향상시키는 것을 목표로 합니다. 예를 들어서, 같은 고양이 사진이라고 해도 회전된 고양이 영상을 입력받으..
안녕하세요. 지난 포스팅의 [IC2D] BAM: Bottleneck Attention Module (BMVC2018)에서는 기존의 SE Block에서 제안한 Channel Attention을 확장하여 합성곱 연산을 통한 Spatial Attention을 병렬적으로 적용한 BAM에 대해서 알아보았습니다. 오늘은 BAM을 확장한 CBAM에 대해서 알아보도록 하겠습니다. Background지금까지 많은 CNN 구조들이 깊이, 너비, cardinality와 같은 차원을 제안함으로써 모델의 성능 향상을 얻어냈습니다. 특히, ResNeck 기반의 모델들이 많이 제안되었죠. 대표적으로 ResNet, WRN, Xception, ResNext 등이 있었습니다. 그 중에서도 Xception과 ResNext에서는 card..
안녕하세요. 지난 포스팅의 선형대수학 - 대각화 2에서는 중복되는 고유값을 가지는 경우에 대각화 가능성에 대해서 이야기하였습니다. 오늘은 선형대수학에서 중요한 정리 중 하나인 케일리-해밀턴 정리 (Cayley-Hamilton Theorem)에 대해서 이야기해보도록 하겠습니다. 정의1. T 불변 부분공간 (T-invariant subspace) T를 벡터공간 V 상에서의 선형 연산자라고 하자. V의 부분공간 W가 T(W) \subseteq W 즉, 모든 v \in W에 대해서 T(v) \in W를 만족하면 부분공간 W를 T 불변 부분공간이라고 한다. Let T be a linear operator on a vector space V. A subspace W..
