
[기계학습] Iterative Optimization & Gradient Descent
·
기계학습
Vector CalculusChain Rule합성함수의 도함수를 구하는 공식Gradient정의: 다변수 스칼라 함수의 도함수해석: 스칼라장의 최대 증가율의 방향, 편미분들의 집합 ▶ 벡터Jacobian정의: 다변수 벡터 함수의 도함수해석: 그라디언트의 집합 ▶ 행렬 Iterative Optimization (반복 최적화)ML as an Iterative Optimization 기계학습에서 해야 할 일을 식으로 정의하면, 주어진 비용함수 \( J(\underline{θ}) \)에 대해 \( J(\underline{θ}) \)를 최소로 하는 최적해 \( \hat{\underline{θ}} \)을 찾는 것즉 기계학습은 조건을 충족하는 최적의 파라미터 \( \hat{\underline{θ}} = argmin_..