경사하강법(gradient descent) 손실 함수가 최솟값이 될 때 매개변수 값 즉, 최적의 매개변수를 학습 시 사용하는 방법 함수의 기울기(경사)를 구하고 경사의 반대 방향(경사의 절댓값이 낮은 쪽)으로 이동시켜 극값에 이를 때까지 반복 -> 손실 함수 J를 각 인풋변수에 대해서 편미분을 진행 -> 편미분한 결과식에 현재 위치의 좌표를 대입하여 좌표를 만들면 점의 좌표를 알 수 있습니다. 이때의 수식은 다음과 같습니다. 이동거리는 gradient의 크기와 비례한다는 점을 이용합니다. - 발생 가능한 문제 (step size) 이를 사용하기 위해서는 적절한 step size를 설정하는 것이 중요합니다. 너무 크게 설정하면 빠르게 수렴할 수 있지만 최소 값을 계산하는 방법으로 수렴하지 못하고 함수 값이..
