What?

• 3D mesh를 align시킨 video frame을 canonical view로 3D face shape을 reconstruct하는 방법을 제안한 논문
  • Annotated AUs data의 부족한 size와 낮은 빈도로 발생하는 AUs의 한계를 해결
• Facial action units의 interst를 표현한 이미지를 synthesize하기 위해 GAN-based network로 훈련

Methodology

3D registration

• 2D input image로부터 dense한 3D registration을 얻기 위해 face alignment software인 PRNet을 사용하여 비디오를 normalize함
  • PRNet은 facial landmark alignment와 3D facial structure reconstruction을 같이 수행하는 convolutional layers와 residual blocks으로 구성된 encoder-decoder임
  • RGB image를 UV position map으로 매핑해줌. 이렇게 되면, position과 semantic information을 유지하는 UV space에서 3D 좌표를 2D image에서 표현할 수 있음
• 이 position map을 학습하여, semantic 정보를 담고 있는 하나의 이미지를 통해 3D structure를 regress할 수 있음
• PRNet을 사용해, 정면 뷰의 3D face mesh와 texture information을 얻을 수 있음
• Then, texture를 3D mesh로 매핑하고, $224 \times 224$ size 2D image로 rasterize함
  • Rasterization: vector graphic shape to raster image(RGB bitmap으로 표현)

Facial Expression Generation

• 새로운 얼굴의 표정을 synthesize하기 위한 framework로 GANimation을 build

  • What is GANimation?
    • conditional GAN + FACS(facial action coding system)

• 먼저, 0~1 범위 내 값으로 AU intensity labels을 매핑해줌

• 다음으로 3D registered source image $I_{y_s}$, AU intensity values $y_s=\{s_1,s_2,...,s_n\}$, target AU intensity values $y_t=\{t_1,t_2,...,t_n\}$를 주어 $\tilde{I}_{y_t}$를 synthesize함

• 최종적으로 다음과 같은 loss들을 minimize하는데 초점을 둠

• Image Adversarial Loss

  • realistic synthesized image를 얻기 위함과 동시에 training image의 distribution과 generated image의 분포가 유사하도록 하기 위해 $\mathcal{L}_{adv}$ loss를 사용

  

  • source image의 분포 $\mathcal{P}_s$
  • random imterpolation 분포 $\mathcal{P}_{\tilde{I}}$
  • penalty loss $\lambda_{gp}$