ML 1-2. [Linear Regression] Describe the principle of the cost function minimization algorithm

Hypothesis and Cost

Simplified hypothesis

---

cost를 최소화 하기 위한 W는 어떻게 구할 것인가?

x	y
1	1
2	2
3	3

일 경우,

여기서 Cost가 0인 지점을 찾으려면 ??

Gradient descent algorithm을 통해 찾는다.

Gradient descent algorithm?

미분을 통해, 양 쪽 W값에 따른 기울기를 구함 -> 이를 반복해 Cost가 최소점 인 곳을 찾아내는 알고리즘.

에서 미분을 쉽게 하기 위해,

으로 수정

2로 나누더라도 같은가??

: 2로 나누더라도 cost를 최소화 한다는 차원에서 보았을 때 같은 의미를 지님.

따라서,

즉, W의 위치를 찾아감.

---

Gradient descent algorithm

:

 

---

물론 Cost Function이 항상 위와 같은 모양이 아님.( 여러 Layer를 가질 때, 등 )

따라서 Convex function 모양인지 확인하고, 맞다면, Gradient descent algorithm을 적용한다. 

Convex function

: 밥 그릇 모양의 cost function

---