Unsupervised approach for lenaring a lower-dimensional feature representation from unlabeled training data.
*** lower dimensional feature는 원래 데이터의 차원보다 더 적은 차원을 가지는 새로운 데이터 표현이다.
차원 축소(dimensionality reduction)의 방법으로는 아래와 같은 것들이 있다. 차원 축소를 통해 dimension을 줄이면 더 의미있는 값들만 남으려 할 것이므로, 더 적은 resource로 더 좋은 모델을 만들 수 있다.
<autoencoder>
: 인공 신경망 아키텍처 중 하나로, 차원 축소, 특성 추출, 데이터 재구성 등 다양한 응용 분야에서 사용되는 기계 학습 모델이다. Autoencoder는 주로 비지도 학습(Unsupervised Learning) 방법으로 사용되며, 입력 데이터를 저차원으로 압축하고 다시 원래 형태로 복원하는 데 중점을 둔다.
encoder : 오리지널 정보를 응축된 정보로 바꾸어주는 것
decoder : 응축된 데이터를 원래의 데이터로 복구해주는 것
input x가 encoding되면 low dimensional feature로 표현되어 size가 작아지고 이를 다시 decoding 시키면 원래의 size와 동일하게 복구된다. 여기서 Z의 dimensionality reduction이 왜 있어야 하는가?
오리지널 데이터 input은 여러 정보가 뒤섞여있어 meaningful한 것을 찾기 어려운데, encoder를 통해 압축하면 x를 잘 표현할 수 있는 meaningful한 정보들로 구성된 feature map이 된다.그리고 다시 이를 원래 형태로 복원하여 reconsutrcted input data를 만든다.
label없이 data를 분석하기 위해서는 자기자신을 잘 복구했는지를 확인해야한다.
따라서 feature map(or vector)가 orginal data를 reconstruct하는데에 잘 사용되도록 학습시켜야한다.
결국 가장 중요한 건 feature를 어떻게 잘 뽑아내는지이기 때문에 학습 이후에는 decoder 파트는 버린다.
summary
: autoencoder는 data를 reconstruct시킬 수 있을 것이다. 그리고 추후의 supervised model의 초기화 값으로 쓰일 수 있다.
encoder는 feature를 표현하기 위함이었지, 새로운 이미지를 생성하는 것은 아니었다.
어떻게 하면 생성 모델의 autoencoder를 시킬 수 있을 것인가? 여기서 탄생한 것이 VAE이다.
