[Explicit DGM] 03. VI & Amortized VI

[Explicit DGM] 03. VI & Amortized VI

( 참고 : KAIST 문일철 교수님 : 한국어 기계학습 강좌 심화 2)

Contents

1. Variational Inference (VI)
2. Amortized Variational Inference (Amortized VI)

1. Variational Inference (VI)

• posterior \(P(H \mid E ; \lambda)\) 를 직접 찾는 대신,

  이를 근사하는 보다 간단한 형태인 variational distribution \(q_E(H ; \phi)\)를 찾는다.

• 위 둘의 차이인 KL-divergence를 최소화하는 방향으로 optimize한다.
• variational distribution을, Mean-field 가정을 통해 아래와 같이 factorize 할 수 있다.
  • \(q_{E}^{M F}(H ; \phi)=\prod_{i} q\left(H_{i} ; \phi_{i}\right)\).

2. Amortized Variational Inference (Amortized VI)

• VI vs Amortized VI
  • VI ) \(q_E(H ; \phi)\)
  • Amortized VI ) \(q_E(H \mid E ; \phi)\)
• 즉, 주어진 데이터를 활용하여 위 분포를 모델링한다.
• MFVI 적용 시…
  • \(q_{E}^{M F}(H \mid E ; \phi)=\prod_{i} q\left(H_{i} ; N N_{i}\left(E ; \phi_{i}\right)\right)\).