Evidence of Lower Bound (ELBO)는 ‘variational lower bound’ 라고도 불린다. ELBO의 역할은 우리가 관찰한 P(z|x)가 다루기 힘든 분포를 이루고 있을 때 이를 조금 **더 다루기 쉬운 분포(정규분포)인 Q(x)**로 대신 표현하려 하는 과정에서 두 분포 (P(z|x)와 Q(x))의 차이 (KL Divergence)를 최소화 하기 위해 사용된다.
즉, 정규분포가 아니지만 정규분포를 조작해서 어느 정도 근사하도록 만들겠다.
평균과 분산만 알면 빠르게 조작이 가능하기 때문이다.
보통 분포의 차이는 KL Divergence를 통해 파악한다
돌아와서 우리가 목표로하는 바는 두 확률분포의 KL Divergence를 최소화하는 것이다.
이 식을 $\log p(x)$를 기준으로 변경하면
여기서 KL Divergence는 무조건 0보다 크거나 같으므로 log p(x)는 기대값의 차이보다 크거나 같다.
그렇다면 $E_q[\log p(x,z)] - E_q[\log q(z)]$가 ELBO가 된다. 즉, Lower Bound가 된다는 것이다.
ELBO가 증가하게 되면 p(x)가 상수로서 변화하지 않을 때 Divergence는 감소하므로 두 분포의 차이를 좁힐 수 있게 된다.
결과적으로 우리가 잘 모르는 p(x)를 건드는 것이 아니라 z가 주어진 상황에서의 p의 확률값 즉, 데이터를 통해 볼 수 있는 분포들로 수치를 변화시켜 학습을 시킨다는 것이다.
$$ E_q[\log p(x,z)] - E_q[\log q(z)] $$
해당 수식은 두 term으로 나뉘게 된다.