학습목표
- 경사 하강법 구현 방법을 알 수 있다.
핵심키워드
- 경사 하강법
신경망 네트워크와 경사 하강법
- Gradient Descent For Neural Networks 원본보기
학습내용
- 단일층 신경망에서 경사 하강법을 구현하기 위한 방법은 다음과 같습니다.
- dw[1]=∂w[1]dJ
- db[1]=∂b[1]∂J
- W[1]=W[1]−αdW[1]
- b[1]=b[1]−αdb[1]
- 단일층이 아닐 때는 1뿐만 아니라 1, 2, …,m 까지의 계산을 반복하면 됩니다.
comment
W^[2]T * dz^[2]와 g^[1]'(z^[1])의 matrix 크기가 왜 (n^[1], m)이 되나요?
dz^[1] = W^[2]T * dz^[2] * g^[1]'(z^[1])
이 식이 유도된 과정 설명해주실 분 계신가요? ㅠㅠ
nice lecture, Thank you!
이해하기가 힘들긴 하지만
잘 봤습니다.