들어가기 전에

지난 시간에 이어 이번시간에는 Deformable Convolutional Networks (DCN) 에 대해서 살펴보겠습니다.

학습 목표

• Deformable Convolutional Networks (DCN) 모델의 특징에 대해서 설명할 수 있다.

핵심 단어

• Deformable Convolutional Networks (DCN)

강의 듣기

Deformable Convolutional Networks (DCN)

CNN 문제점

• 일정한 패턴을 지닌 convolution neural networks는 geometric transformations에 한계를 지님
• 기존 해결 방법
  • Geometric augmentation
  • Geometric invariant feature engineering
    

Deformable Convolution

• 디포머블이라는 새로운 모듈에 대해 제안
• 디포머블이란 한국어로 변형할 수 있는이란 뜻
• 기존의 고정된 사이즈인 정사각형 컨볼루션을 벗어나는 컨볼루션 연산을 의미

(a) 일반적인 컨볼루션 연산

(b) 랜덤 오프셋 추가

(c) 커널에 네방향으로 확장해서 곱하도록 오프셋 추가

(d) 커널을 왼쪽을 45도 회전하도록 오프셋 추가

아키텍쳐

• 일정한 패턴을 지닌 convolution neural networks는 geometric transformations에 한계를 파악
• 일정한 패턴이 아니라 offset을 학습시켜 위치를 유동적으로 변화
• 주로 object detection, segmentation에서 좋은 효과를 보임

결과

• 고정 컨브사이즈는 왼쪽 같지만, 오프셋이 객체가 있을법한 위치를 학습하게되고 훨씬 더 유의미한 정보를 뽑아낼 수 있게됨
  

• faster R-CNN 에서 디포머블 컨브연산 적용시 더 좋은 결과를 얻을 수 있음

생각해보기

• Convolution Neural Networks에서 geometric transformations의 한계에 대해서 생각해보세요.

참고자료

• Jifeng Dai, Haozhi Qi, Yuwen Xiong, Yi Li, Guodong Zhang, Han Hu, Yichen Wei, “Deformable Convolutional Networks”