MKL
autoencoder
variation ?
posterior_collapse =,posterior_collapse =,posterior_collapse . posterior_collapse { posterior collapse } // posterior collapse ...
posterior collapse 
posterior collapse 
posterior collapse
autoencoder
variation ?
posterior_collapse =,posterior_collapse =,posterior_collapse . posterior_collapse { posterior collapse } // posterior collapse ...
posterior collapse posterior collapse posterior collapse![[https]](/wiki/imgs/https.png)
AI 용어사전: 변이형 오토인코더분석한 자료 값을
autoencoder: 고정된 벡터 표현으로 나타낸다,
variational autoencoder: latent_space에 대한 확률분포,probability_distribution를 출력한다.
2014년 논문에서 처음 제기됨.
} // variational autoencoder .... autoencoder: 고정된 벡터 표현으로 나타낸다,
variational autoencoder: latent_space에 대한 확률분포,probability_distribution를 출력한다.
2014년 논문에서 처음 제기됨.
variational autoencoder variational autoencoder variational autoencoder
s2
$\displaystyle x$ 입력, (처음 파란색)
$\displaystyle q_{\phi}(z|x)$ 함수를 거쳐
$\displaystyle z$ 라는 공간에 도착하고
$\displaystyle g_{\theta}(x|z)$ 함수를 통과해서
$\displaystyle x$ 출력. 이런 network 구조이다.
이게 autoencoder 구조이므로, 이름이 이런 것이다.
근데 여기선 input을 output으로 다시 복원해내는 게 목적이 아니라, 복원하는 성질을 이용해서, $\displaystyle g_{\theta}$ 를 잘 학습하기 위한 것이 목적이다.
$\displaystyle x$ 입력, (처음 파란색)
$\displaystyle q_{\phi}(z|x)$ 함수를 거쳐
$\displaystyle z$ 라는 공간에 도착하고
$\displaystyle g_{\theta}(x|z)$ 함수를 통과해서
$\displaystyle x$ 출력. 이런 network 구조이다.
이게 autoencoder 구조이므로, 이름이 이런 것이다.
근데 여기선 input을 output으로 다시 복원해내는 게 목적이 아니라, 복원하는 성질을 이용해서, $\displaystyle g_{\theta}$ 를 잘 학습하기 위한 것이 목적이다.
s3
그림:
$\displaystyle z$ input, (← 초기조건 or 처음 공간)
$\displaystyle g_{\theta}(x|z)$ 를 거쳐
$\displaystyle x$ output.
그림:
$\displaystyle z$ input, (← 초기조건 or 처음 공간)
$\displaystyle g_{\theta}(x|z)$ 를 거쳐
$\displaystyle x$ output.
우리의 목적은 생성,generation이므로 generation_network 를 먼저 살펴보자.
generation_network 가 $\displaystyle g$ ?? g = generation 의 줄임??
z라는 '초기조건 혹은 처음 공간'이 있었다고 하자. 그러면 이걸 $\displaystyle g_{\theta}$ 를 통과해서 x라는 target을 만들어낸다.
MNIST를 예로 들자. (오른쪽 숫자 4)
CNN(합성곱신경망,convolutional_neural_network,CNN or CNN,convolutional_neural_network)같은 classification task에선 이미지를 보고 숫자 4로 분류하는 게 목적이었는데 여기선 생성(g)이 목적이다. (4라는 그림을 만들어 내는 것이 목적이다)
우리는 이 만들어 내는 방법을 확률분포,probability_distribution(이하 pd) 개념을 사용해서 살펴 볼 것이다.
이 pd를 수식으로 표현하면
최대가능도,maximum_likelihood 개념이 꼭 필요해서 설명.
rel. 가능도,likelihood 최대가능도추정,maximum_likelihood_estimation,MLE / 슬라이드에 표기된 URL: https://rpubs.com/Statdoc/204928
ex. 내가 키를 5번 측정했을 때 관측값,observed_value {
관측값 }이 178 179 180 181 182 이다. 나의 키는?
1. average : $\displaystyle \frac{\sum_{i=1}^5 x_i }{5} = \frac{178 + 179 + 180 + 181 + 182}{5} = 180$
2. MSE 최소값 : $\displaystyle \operatorname{argmin}\left( \sum_{i=1}^5 (x_i - x)^2 \right) \;\to\; 2\left( \sum_{i=1}^5 x_i - 5\cdot x \right) = 0$
3. MLE : $\displaystyle x$ 가 분산,variance이 1인 정규분포,normal_distribution를 따른다고 가정하고, 현재 측정 결과가 최대의 확률로 나올 수 있는 분포를 찾아보자.
generation_network 가 $\displaystyle g$ ?? g = generation 의 줄임??
z라는 '초기조건 혹은 처음 공간'이 있었다고 하자. 그러면 이걸 $\displaystyle g_{\theta}$ 를 통과해서 x라는 target을 만들어낸다.
MNIST를 예로 들자. (오른쪽 숫자 4)
CNN(합성곱신경망,convolutional_neural_network,CNN or CNN,convolutional_neural_network)같은 classification task에선 이미지를 보고 숫자 4로 분류하는 게 목적이었는데 여기선 생성(g)이 목적이다. (4라는 그림을 만들어 내는 것이 목적이다)
우리는 이 만들어 내는 방법을 확률분포,probability_distribution(이하 pd) 개념을 사용해서 살펴 볼 것이다.
이 pd를 수식으로 표현하면
$\displaystyle P_{\theta}(x) = \int P_{\theta}(z) P_{\theta}(x|z) dz$
여기서$\displaystyle P$ : 확률분포를 뜻함
$\displaystyle x|z$ : 물론 조건부확률,conditional_probability을 뜻함. z라는 조건,condition이 주어졌을 때 우리는 x를 만들어 낼 확률분포를 원한다. 근데 z가 아직 뭔지 모른다. z도 그것만의 확률분포를 가진다. 우리는 그래서 두 개의 확률분포를 얘기한다. 일단 z의 pd는 뒤에서 얘기하고, x의 pd를 얘기하겠다. $\displaystyle x|z$ 즉 x의 pd를 모든 z에 대해 고려하겠다 - 그래서 z에 대해 적분을 해주고 있다.
그래서 수식에서 x에 대한 pd를 얻고 있다.
이 수식의 해석: x라고 하는 target을 '맞출 확률'이라고 생각하면 될 것 같다.
s4$\displaystyle x|z$ : 물론 조건부확률,conditional_probability을 뜻함. z라는 조건,condition이 주어졌을 때 우리는 x를 만들어 낼 확률분포를 원한다. 근데 z가 아직 뭔지 모른다. z도 그것만의 확률분포를 가진다. 우리는 그래서 두 개의 확률분포를 얘기한다. 일단 z의 pd는 뒤에서 얘기하고, x의 pd를 얘기하겠다. $\displaystyle x|z$ 즉 x의 pd를 모든 z에 대해 고려하겠다 - 그래서 z에 대해 적분을 해주고 있다.
그래서 수식에서 x에 대한 pd를 얻고 있다.
이 수식의 해석: x라고 하는 target을 '맞출 확률'이라고 생각하면 될 것 같다.
최대가능도,maximum_likelihood 개념이 꼭 필요해서 설명.
rel. 가능도,likelihood 최대가능도추정,maximum_likelihood_estimation,MLE / 슬라이드에 표기된 URL: https://rpubs.com/Statdoc/204928
ex. 내가 키를 5번 측정했을 때 관측값,observed_value {
관측값 }이 178 179 180 181 182 이다. 나의 키는?1. average : $\displaystyle \frac{\sum_{i=1}^5 x_i }{5} = \frac{178 + 179 + 180 + 181 + 182}{5} = 180$
2. MSE 최소값 : $\displaystyle \operatorname{argmin}\left( \sum_{i=1}^5 (x_i - x)^2 \right) \;\to\; 2\left( \sum_{i=1}^5 x_i - 5\cdot x \right) = 0$
3. MLE : $\displaystyle x$ 가 분산,variance이 1인 정규분포,normal_distribution를 따른다고 가정하고, 현재 측정 결과가 최대의 확률로 나올 수 있는 분포를 찾아보자.
}