1. 강의 소개

이 강의에서는 자연어 처리 분야 뿐만 아니라, 이미지 처리, 모션 생성과 같은 다양한 분야에 적용되는 Transformer에 대해 공부해봅니다. 기존의 Sequential Model과 비교해서 개선된 점이 무엇인지 알아보고 Attention이 무엇인지, Positional Encoding이 무엇인지 모델 아키텍쳐에 대해서도 공부해봅니다.

2. 강의 키워드

• Transformer, Multi Head Attention, Positional Encoding
  

3. Further Reading

• The Illustrated Transformer 
• Transformer Pytorch official tutorial
  

4. Further Question

• Transformer의 구조에서 Query, Key, Value가 각각 어떤 역할을 하는지 이해해봅니다.
  

5. 강의 영상 

6. 강의 자료