학습목표

• 경사 검사의 구현하는 방법을 알 수 있다.
  

핵심키워드

• 경사 검사(gradient checking)

학습내용

• 우선, 모델 안에 있는 모든 변수(W, b)를 하나의 벡터( $\theta$ )로 concatenate합니다.
• 그러면 비용 함수는 J(W, b) 에서 J( $\theta$ ) 로 변합니다.
• 그후, 수치 미분을 구합니다.
•    dθ​approx​[i]​​=​2ϵ​ ​J(θ​1​​,⋯,θ​i​​+ϵ,⋯)−J(θ​1​​,⋯,θ​i​​−ϵ,⋯)​​ 
• 최종적으로 수치 미분과 일반 미분을 비교합니다.
•    dθ​approx​[i]​​≈dθ 
• 유사도를 계산하는 방법은 유클리디안 거리를 사용합니다. 
•    ​∥dθ​approx​[i]​​∥​2​​+∥dθ∥​2​​​ ​∥dθ​approx​[i]​​−dθ∥​2​​​​  
• 보통 거리가    10​−7​​ 보다 작으면 잘 계산되었다고 판단합니다.