-
Face의 geometry를 설명하는 shape-vector $S$와 texture-vector $T$를 linear combination하여 new shape $S_{model}$ 과 new texture $T_{model}$을 정의
- $S = (X_1, Y_1, Z_1, ... X_n, Y_n, Z_n)^T \in R^{3n}$ that contains the $X, Y, Z$ coordinates of its $n$ vertices.
- $T = (R_1, G_1, B_1, ...R_n, G_n, B_n)^T \in R^{3n}$ that contains the $R, G, B$ color values of the $n$ corresponding vertices.
-
Face의 plausibility한 결과를 정량화하기 위해, coefficients $a_i$, $b_i$에 대한 probability distribution을 예측
- 이 확률 분포는 coefficients $a_i$, $b_i$의 likelihood를 control 할 수 있으며, 이를 통해 generated faces의 appearance를 통제할 수 있음
-
Face space 내 어떠한 possible face의 position에서 added or subtracted를 할 때, 다른 모든 attributes는 가능한 constant하게 유지하면서 specific한 attributes만 manipulate하는 shape and texture vectors를 정의하여 3D face를 생성해냄
- Here, specific attributes란 눈, 코, 입을 뜻하며, all other attributes는 gender, fullness of faces, darkness of eyebrows, double chins and hooked vs. concave noses를 의미함
-
위와 같은 attributes는 specific attributes와 달리 isolate하기 어려움. 따라서 face $(S_i, T_i)$와 manually assigned labels $\mu_i$를 기반으로 $\Delta S, \Delta T$를 구할 수 있음
- $\mu$는 all other attributes를 의미함. 따라서, $\mu(S,T)$는 기존 face $(S,T)$ 에서 individual attributes를 포함한 face가 됨
- $\mu(S,T)$를 찾아내기 위해 regression problem으로 접근
- $\mu(S,T)$를 linear function으로 가정하고, $\Delta \mu$을 찾기 위해 face의 whole space에서 single optimal direction $(\Delta S, \Delta T)$를 활용함
- 이를 통해 minimal variance-normalized length를 다음과 같이 정의
- Q. covariant matrix인 $C_S^{-1}$와 $\Delta S$를 inner product해준 이유
