학습목표

• 로지스틱 회귀의 비용함수 도출 원리를 알 수 있다.
  

핵심키워드

• 로지스틱 회귀(Logistic Regression)
• 손실함수(Loss Function)
• 비용함수(Cost Function)
  

학습내용

• 앞서 로지스틱 회귀에서 배운 손실함수를 상기해봅시다.
• y값이 1 이 될 확률 :    P(y=1∣x)=​y​^​​ 
• y값이 0 이 된 확률 :    P(y=0∣x)=1−​y​^​​ 
• 위 두가지 경우를 하나의 수식으로 나타내면 아래와 같습니다.
•    P(y∣x)=​y​^​​​y​​(1−​y​^​​)​(1−y)​​ 
• 만약에 y = 1 일 경우,    P(y∣x)=​y​^​​​1​​(1−​y​^​​)​0​​=​y​^​​ 
• 만약에 y = 0 일 경우,    P(y∣x)=​y​^​​​0​​(1−​y​^​​)​1​​=1−​y​^​​ 
• 또한, 로그함수의 단조적인 성격 때문에 위 식은 아래와 동일 합니다.
•    logP(y∣x)=log(​y​^​​​y​​(1−​y​^​​)​(1−y)​​)=ylog​y​^​​+(1−y)log(1−​y​^​​) 
• 우리의 목적은 확률( $\log P(y|x)$ )을 최대화 시키는 것이기 때문에 이와 등치인 -1 을 곱한 확률 ( $-\log P(y|x)$  )를 최소화를 목적으로 손실함수를 정의 합니다.
• 따라서, 훈련 샘플 하나의 손실함수는 아래와 같이 정의 됩니다. 
•    L(​y​^​​,y)=−logP(y∣x)=−(​y​^​​​y​​(1−​y​^​​)​(1−y)​​) 
• 비용함수는 m개 훈련 세트 중, 각 샘플 (   x​(i)​​ )이 주어졌을 때,  샘플에 해당하는 라벨( y​(i)​​ )값이 1 혹은 0 이 될 확률의 곱으로 구할 수 있습니다.
•    P(labels in training set)=∏​i=1​m​​P(y​(i)​​∣x​(i)​​) 
• 양변에 로그를 취하고, 손실함수 부분을 치환 해주면, 위의 식은 아래와 같습니다.
•    logP(labels in training set)=log∏​i=1​m​​P(y​(i)​​∣x​(i)​​) =−∑​i=1​m​​L(​y​^​​​(i)​​,y​(i)​​) 
• 따라서 비용함수는 손실함수들의 평균을 최소화 하는 것으로 정의하고 아래와 같습니다.
•     J(w,b)=−logP(labels in training set)=​m​ ​1​​∑​i=1​m​​L(​y​^​​​(i)​​,y​(i)​​)