학습목표

• 테스트시 배치 정규화가 작동하는 원리를 파악한다.

핵심키워드

• 배치 정규화(Batch Normalization)
• 지수 가중 이동 평균 (Exponentially Weighted Average)
  

학습내용

• 이전 강의에서 사용된 배치 정규화의 수식입니다.
•  \mu = \dfrac{1}{m} \displaystyle\sum_i z^{(i)}  μ=​m​ ​1​​​i​∑​​z​(i)​​ 
•  \sigma^2 = \dfrac{1}{m} \displaystyle\sum_i (z^{(i)} - \mu)^2  σ​2​​=​m​ ​1​​​i​∑​​(z​(i)​​−μ)​2​​ 
•  z_{norm}^{(i)} = \dfrac{z^{(i)} - \mu}{\sqrt{\sigma^2 + \epsilon}}  z​norm​(i)​​=​√​σ​2​​+ϵ​ ​​​ ​z​(i)​​−μ​​ 
•  \tilde{z}^{(i)} = \gamma z_{norm}^{(i)} + \beta  ​z​~​​​(i)​​=γz​norm​(i)​​+β 
• 테스트 시에는 배치가 하나이기 때문에 평균과 분산을 계산할 수 없습니다. 따라서, 학습시에 사용된 미니배치들의 지수 가중 이동 평균을 추정치로 사용합니다.