Machine Learning7 Bayesian Inference 이번 글에서는 널리 사용되고 있는 Bayesian Inference에 대해 설명하고자 한다. 여러 분포 중에서 Normal Distribution의 Bayesian Inference에 대해 설명할 것이며 이후 어떻게 사용할 수 있는지 예제를 통해 이야기해볼 것이다. Bayesian Inference: 베이즈 추론 Bayesian Inference(베이즈 추론)는 prior(사전 확률)과 likelihood(가능도)를 통해 posterior(사후 확률)을 구하는 과정이다. $$ p(\theta|X) = \frac{p(X|\theta)p(\theta)}{p(X)} $$ 위 식이 각각 나타내는 것은 \(posterior = \frac{likelihood \times prior}{evidence} \)이다. 베.. 2022. 11. 1. Factor Graph: 인자 그래프 Factor Graph는 확률 분포나 함수를 도식적으로 나타낸 것이다. 이 그래프는 Factor Node(■)와 Variable Node(○)로 구성된 Bipartite Graph이다. Edge에 방향성을 주어 방향성 혹은 비방향성 Graph로 나타낼 수 있으며 그래프의 특징을 활용하여 확률 분포해 Marginalization을 효율적으로 표현할 수 있다. Factor Graph에 들어가기 앞서 대표적인 Factor 연산으로 Product와 Marginalization이 있다. Factor는 Variable이 입력되면 입력에 맞는 Output를 출력하는 함수 혹은 확률 변수를 말한다. Product는 두 Factor의 Variable들을 한 번에 갖고 두 Factor의 Output 곱을 출력하는 Fact.. 2022. 10. 24. Gradient Descent Methods Pytorch를 이용하여 딥러닝 모델을 구현하다 보면 torch.optim에서 SGD, Adam과 같은 다양한 optimizer를 볼 수 있습니다. 이들은 학습(Gradient Descent) 시에 파라미터를 업데이트하는 알고리즘이며 왜 Adam이 많이 쓰이는지, 여러 Gradient Descent 방법론들이 어떤 문제가 있고 어떻게 문제를 해결하고 발전해갔는지 간단하게 적은 해당 글을 보며 배울 수 있었으면 좋겠습니다. (Stochastic) Gradient Descent 먼저 간단하게 Gradient Descent(경사 하강법)에 대해 알아보겠습니다. Gradient Descent는 미분 가능한 함수의 Local Minimum을 찾기 위해 1차 미분한 값을 사용하는 반복적인 최적화 알고리즘입니다. 좌.. 2022. 4. 13. 이전 1 2 다음
