Paper Review
Rethinking Mobile Block for Efficient Attention-based Models (ICCV2023)
Background최근 온디바이스 환경에서는 저장공간 및 연산량 제약이 큰 상황에서도 분류뿐만 아니라 검출과 분할 같은 dense prediction을 안정적으로 수행할 수 있는 경량 비전 모델이 요구된다. 기존 경량 CNN 계열은 MobileNet 계열의 depth-wise separable convolution과 MobileNetV2의 Inverted Residual Block (IRB)을 핵심 인프라로 삼아 파라미터와 FLOPs를 크게 낮춰왔다. 그러나 CNN의 정적 가중치로 인해 발생하는 inductive bias만으로는 성능 상한이 뚜렷하고 반대로 ViT 이후의 어텐션 기반 모델은 장거리 의존성 모델링과 대규모 데이터 학습에서 강점이 있지만 고해상도에서의 MHSA 계산 복잡도가 커서 모바일 배포..
