Zi-Hang Jiang et.al (University of Science and Technology of China)가 2019년 CVPR에서 발표한 논문

이 논문은 3D face shape을 identity and expression으로 disentangle하는 방법을 다룬다.

• 기존에도 3D face shape을 identity, expression parameters로 표현했던 모델(3DMM)이 존재했지만, 이는 linear한 방식 때문에 표정을 나타내는 것과 disentanglement에서 한계가 존재했다.
• 실제 사람들의 표정은 매우 복잡하고 미묘한 차이들로 인해 분산이 매우 크기 때문에 linear한 방식으로 표현하기엔 한계가 있다.
• 그래서 최근 연구들은 3D face shape을 nonlinear한 방식으로 임베딩하는 방식을 제안해왔다. 그리고 이러한 방식들은 실제로 linear한 방식보다 representation ability가 매우 향상됐다.
• 하지만 위와 같은 방식에도 한계가 존재했다. 이들의 방식은 전체 얼굴에 대해 오직 하나의 벡터값을 가진 latent space로 인코딩하였기 때문에, identity, expression으로 분리할 수 없다는 한계가 있었다.
• 또한 Animation, Face retargeting, 3D face recognition 등과 같은 task에는 identity, expression components가 필요하기 때문에 위 방식엔 적합하지 않다.

따라서 본 논문은 위와 같은 한계를 develop하고자, 3D face shape을 identity와 expression으로 disentangled하여 각각의 latent space로 임베딩하는 것을 제안하였다.