들어가기 전에 

이번 강의에선 PyTorch의 nn.Moudle과 모델 학습 과정에서 Backward 함수가 작동하는 방식을 확인하고 이 과정을 이해합니다. 또한, 이를 직접 구현해보는 시간을 가집니다.

학습 목표 

• Backward가 실제 코드상에서 어떻게 구현되는지와 순서를 이해할 수 있다.
  

핵심 단어 

• backward
• Loss Function

강의 듣기  

1) Loss function

Loss function란, 입력값(Input)에 대한 Model의 출력값(Output)과  정답값(Label)의 차이를 비교해 모델의 출력값이 얼마나 잘 예측했는 가를 나타내는 함수입니다. Loss function에는 여러가지 함수 있는데 많이 쓰이는 함수에 대해 소개하면,

• MSE(Mean Squared Error) Loss  : 회귀(Regression)문제에서 많이 쓰이는 함수, 출력값(Output)과 정답값(Label)의 차이의 제곱에 대해 측정한다.
• CE(Cross Entropy) Loss: 분류(Classification)문제에서 많이 쓰이는 함수

2) Backward

Forward를 수행했다면, 이제 Backward를 할 차례입니다!

1) (Forward 과정을 통해 얻어진) Model의 출력값(Output)과 정답값(Label)의 차이를 Loss Function을 통해 계산하여 Loss 값을 얻습니다.

2) Backward는 Loss 값을 활용해 미분을 수행하고, back-propagation을 통해 Parameter(weight)를 update합니다.

해당 과정을 통해 네트워크가 더 나은 Parameter(weight)를 가질 수 있게 됩니다. 코드 상에서 위의 과정이 어떻게 진행되는지 파악하는 것이 가장 중요합니다.

참고로, 다양한 loss function은 아래 공식문서에서 확인하실 수 있습니다.

-> https://pytorch.org/docs/stable/nn.html#loss-functions