최적화(optimization) 문제 어떤 목적함수(objective function)의 함수값을 최소화(혹은 최대화)시키는 파라미터(변수) 조합을 찾는 문제이다. 최적화 원리 최적화 문제를 최소화 문제로 한정했을때, 현재 위치에서 함수값이 감소하는 방향으로 조금씩 파라미터 값을 이동하는 것을 반복하여 함수값이 최소화 되는 지점을 발견하는 것이다 . 기본적인 반복 최적화 방법에는 뉴턴 방법 , 경사하강법 이 있다. 이 글에서는 각 방법을 단일변수 함수에 한정지어 식을 설명할 예정이다. 1. 뉴턴 방법 $x_{k+1}=x_{k}-\frac{f(x_{k})}{f'(x_{k})}, k=1,2,…$ 초기값 $x_1$에서 시작해서 위 수식에 따라 x를 이동시켜 나가서 x값의 변화가 거의 없을 때까지 반복하는 것이..
