doeunn.log

▶ 딥러닝에서의 최적화 이번 글에서는 이전 글에서 언급된 Gradient Descent와 Regularization 기법에 대해 알아보려고 합니다 :) 0. 최적화 개념 최적화(Optimization) 딥러닝 분야에서 최적화(Optimization)란 손실 함수(Loss Function) 값을 최소화 하는 파라미터를 구하는 과정입니다. 딥러닝에서는 학습 데이터를 입력하여 네트워크 구조를 거쳐 예측값을 얻습니다. 이 예측값과 실제 정답과의 차이를 비교하는 함수가 손실 함수(Loss Function)입니다. 즉, 모델이 예측한 값과 실제값의 차이를 최소화하는 네트워크 구조의 파라미터(Feature)를 찾는 과정이 최적화입니다. 최적화 기법에는 여러 가지가 있으며, 잠시후 살펴봅시다. 1. Gradient D..