학습목표

• 정규화를 이용해 과대적합 문제를 해결할 수 있다.

핵심키워드

• 정규화 (regularization)
• 정규화 매개변수 \lambda
• L1 노름 (L1 norm)
• L2 노름 (L2 norm)
• Frobenius 노름 (Frobenius norm)

학습내용

• 비용함수:    J(w,b)=​m​ ​1​​σ​i=1​m​​L(​y​(i)​​​^​​,h​(i)​​)+​2m​ ​λ​​∣∣w∣∣​2​​ 
• L1 정규화:    ∣∣w∣∣​1​​=σ​j=1​nx​​∣w​j​​∣ 
• L2 정규화:    ∣∣w∣∣​2​2​​=σ​j=1​nx​​w​j​2​​ 

• Frobenius 노름:    ∣∣w​[l]​​∣∣​F​2​​=σ​i=1​n​[l−1]​​​​σ​j=1​n​[l]​​​​(w​ij​[l]​​)​2​​ 
• L2 정규화가 weight decay 라고 불리는 이유는 아래와 같습니다.
•    w​[l]​​=(1−​m​ ​αλ​​)w​[l]​​−α  (역전파에서 온 값들)
• 위의 식을 보면 weight 에 1보다 작은 값인 (   1−​m​ ​αλ​​ ) 가 곱해지기 때문입니다.