VAE를 이해하기 위해 우선 알아야할것이 maximum likelihood estimation의 개념과 kld(kullback leibler divergence) 입니다. 들어가기전 우도(likelihood)에 대해서 알아보겠습니다. 데이터사이언스스쿨의 자료를 인용하면 '확률 변수 X에 대한 확률 모형은 확률 밀도 함수fX에 의해 정의된다. 확률 밀도 함수는 일반적으로fX(x;θ) 와 같은 형태를 가진다. 여기에서 x는 확률 변수가 가질 수 있는 실수값이고 θ는 확률 밀도 함수 즉, 확률 모형의 모수(parameter) 집합을 대표하는 기호'이다. 예를 들어 가우시안 확률 변수 X의 확률 밀도 함수는 다음과 같은 형태를 가진다. 이 식에서θ=(μ,σ2), fX(x,θ)이다 fX(x;θ)=fX(x;μ,σ2..

오늘은 Auto-encoder에 다뤄보도록 하겠습니다.대략적인 구조는 아래와 같습니다. 매커니즘.-Input이 있을 때 이값들에 대한 피쳐들을 학습 한 후 다시 출력한 결과의 output값이 Input과 같아야 합니다. 무슨 말인고 하니 Input을 분해하여 hidden layers를 통과 시켰을때 똑같은 Input으로 재구성하여야한다 이말입니다. 즉, 정답이 필요없는 Unsupervised 학습인거죠. 그러면 이 모델의 구성은 어떻게 되어있을까요?- 위 사진을 유심히 살펴보시면 눈치 채셨겠지만, '입력->인코더->약간의 은닉층->디코더->결과' 로 구성되어있습니다. autoencoder는 여러가지에서 쓰이지만, data compression 특성이 강하기 때문에 주로 analysis를 위한 classi..