#noindex
##=====VAE,variational_autoencoder =,variational_autoencoder VAE variational_autoencoder
MKL
[[autoencoder]]
[[variation]] ?
[[posterior_collapse]] =,posterior_collapse =,posterior_collapse . posterior_collapse { '''posterior collapse''' } // posterior collapse ... NN:"posterior collapse" Bing:"posterior collapse" Ggl:"posterior collapse"


----
MOVEDFROM [인코더,encoder]
{
'''variational autoencoder (VAE)'''


[[https://terms.naver.com/entry.naver?docId=6653394&cid=69974&categoryId=69974 AI 용어사전: 변이형 오토인코더]]
 분석한 자료 값을
 autoencoder: 고정된 벡터 표현으로 나타낸다,
 variational autoencoder: [[latent_space]]에 대한 [[확률분포,probability_distribution]]를 출력한다.
 2014년 논문에서 처음 제기됨.

} // variational autoencoder .... NN:"variational autoencoder" Bing:"variational autoencoder" Ggl:"variational autoencoder"


WpEn:Variational_autoencoder

20190521 VAE - YouTube
https://www.youtube.com/watch?v=IU1jYp2e-PQ
{
이하 s3은 slide #3을 뜻함

VAE는 [[GAN,generative_adversarial_network]]과 마찬가지로 [[생성모형,generation_model]]중의 하나이다.

s2
$x$ 입력, (처음 파란색)
$q_{\phi}(z|x)$ 함수를 거쳐
$z$ 라는 공간에 도착하고
$g_{\theta}(x|z)$ 함수를 통과해서
$x$ 출력. 이런 network 구조이다.
이게 autoencoder 구조이므로, 이름이 이런 것이다.
근데 여기선 input을 output으로 다시 복원해내는 게 목적이 아니라, 복원하는 성질을 이용해서, $g_{\theta}$ 를 잘 학습하기 위한 것이 목적이다.

s3
그림:
$z$ input, (← 초기조건 or 처음 공간)
$g_{\theta}(x|z)$ 를 거쳐
$x$ output.

우리의 목적은 [[생성,generation]]이므로 generation_network 를 먼저 살펴보자.
''generation_network  가 $g$ ?? g = generation 의 줄임??''
z라는 '초기조건 혹은 처음 공간'이 있었다고 하자. 그러면 이걸 $g_{\theta}$ 를 통과해서 x라는 target을 만들어낸다.
MNIST를 예로 들자. (오른쪽 숫자 4)
CNN([[합성곱신경망,convolutional_neural_network,CNN]] or [[CNN,convolutional_neural_network]])같은 classification task에선 이미지를 보고 숫자 4로 분류하는 게 목적이었는데 여기선 생성(g)이 목적이다. (4라는 그림을 만들어 내는 것이 목적이다)
우리는 이 만들어 내는 방법을 [[확률분포,probability_distribution]]''(이하 pd)'' 개념을 사용해서 살펴 볼 것이다.
이 pd를 수식으로 표현하면
 $P_{\theta}(x) = \int P_{\theta}(z) P_{\theta}(x|z) dz$
여기서
 $P$ : 확률분포를 뜻함
 $x|z$ : 물론 [[조건부확률,conditional_probability]]을 뜻함. z라는 [[조건,condition]]이 주어졌을 때 우리는 x를 만들어 낼 확률분포를 원한다. 근데 z가 아직 뭔지 모른다. z도 그것만의 확률분포를 가진다. 우리는 그래서 두 개의 확률분포를 얘기한다. 일단 z의 pd는 뒤에서 얘기하고, x의 pd를 얘기하겠다. $x|z$ 즉 x의 pd를 모든 z에 대해 고려하겠다 - 그래서 z에 대해 적분을 해주고 있다.
 그래서 수식에서 x에 대한 pd를 얻고 있다.
 이 수식의 해석: x라고 하는 target을 '맞출 확률'이라고 생각하면 될 것 같다.

s4
[[최대가능도,maximum_likelihood]] 개념이 꼭 필요해서 설명.
''rel. [[가능도,likelihood]] [[최대가능도추정,maximum_likelihood_estimation,MLE]] / 슬라이드에 표기된 URL: https://rpubs.com/Statdoc/204928 '' 
ex. 내가 키를 5번 측정했을 때 [[관측값,observed_value]] { WpKo:관측값 }이 178 179 180 181 182 이다. 나의 키는?
1. average : $\frac{\sum_{i=1}^5 x_i }{5} = \frac{178 + 179 + 180 + 181 + 182}{5} = 180$
2. MSE 최소값 : $\operatorname{argmin}\left( \sum_{i=1}^5 (x_i - x)^2 \right) \;\to\; 2\left( \sum_{i=1}^5 x_i - 5\cdot x \right) = 0$
3. MLE : $x$ 가 [[분산,variance]]이 1인 [[정규분포,normal_distribution]]를 따른다고 가정하고, 현재 측정 결과가 최대의 확률로 나올 수 있는 분포를 찾아보자.

}