Machine Learning/Deep Learning1 Gradient Descent Methods Pytorch를 이용하여 딥러닝 모델을 구현하다 보면 torch.optim에서 SGD, Adam과 같은 다양한 optimizer를 볼 수 있습니다. 이들은 학습(Gradient Descent) 시에 파라미터를 업데이트하는 알고리즘이며 왜 Adam이 많이 쓰이는지, 여러 Gradient Descent 방법론들이 어떤 문제가 있고 어떻게 문제를 해결하고 발전해갔는지 간단하게 적은 해당 글을 보며 배울 수 있었으면 좋겠습니다. (Stochastic) Gradient Descent 먼저 간단하게 Gradient Descent(경사 하강법)에 대해 알아보겠습니다. Gradient Descent는 미분 가능한 함수의 Local Minimum을 찾기 위해 1차 미분한 값을 사용하는 반복적인 최적화 알고리즘입니다. 좌.. 2022. 4. 13. 이전 1 다음
