Cost function
Linear -> Logistic으로 바뀌면서 cost(W, b)의 graph 모양이 어떻게 될까?
Linear : "convex"
Logistic : "non-convex"
Global Minimum을 찾고 싶은데.. 알고리즘 구조 상 Local Minimum을 찾는 문제점
즉, gradient decent algorithm 적용이 힘든 문제점 발생!
New cost function for logistic
-log(x), 즉 y = 1 일 때
if ( H(x) = 1 )
cost (1) = 0
else if (H(x) = 0)
cost (0) = INF
-log(1-x), 즉 y = 0일 때
if( H(x) = 1 )
cost (1) = INF
else if( H(x) = 0 )
cost (0) = 0
H(x)는 우리의 예측, 가설 값(binary, 1 or 0)
실제 값(y)이 1일 때, 1을 예측 -> cost = 0
, 0을 예측 -> cost = INF
실제 값(y)이 0일 때, 1을 예측 -> cost = INF
, 0을 예측 -> cost = 0
Minimize cost - Gradient decent algorithm
