학습목표

• 정규화가 과대적합 문제를 해결할 수 있음을 안다.

핵심키워드

• 정규화 (regularization)
• 과대적합 (overfitting)

학습내용

•  $\lambda$  값을 크게 만들어서 가중치행렬  $w$ 를 0에 가깝게 설정할 수 있습니다.
•    J(w​[l]​​,b​[l]​​)=​m​ ​1​​σ​i=1​m​​L(​y​(i)​​​^​​,h​(i)​​)+​2m​ ​λ​​σ​l=1​L​​∣∣w​[l]​​∣∣​F​2​​ 
• 그 결과로 간단하고 작은 신경망이 되기에 과대적합이 덜 일어납니다.

2.  $tanh$ 활성화 함수를 사용했을 경우  $\lambda$  값 커지면 비용함수에 의해  $w$ 는 작아지게 되고, 이때    z​[l]​​=w​[l]​​a​[l−1]​​+b​[l]​​  이므로  $z$ 도 작아지게 됩니다.

• 위의 그림을 보면  $z$ 가 작을 때  $g(z)$  는 선형 함수가 되고, 전체 네트워크도 선형이 되기에 과대적합과 같이 복잡한 결정을 내릴 수 없습니다.