300x250
Basel Face Model (BFM)
https://faces.dmi.unibas.ch/bfm/index.php?nav=1-1-0&id=details
PCA를 기반으로 3D 얼굴 데이터를 압축하여 정체성, 표정, 텍스처의 basis로 표현. 평균 얼굴과 다양한 차원을 기반으로 얼굴의 형상과 텍스처를 수학적으로 표현 가능함. BFM은 기본적으로 다음 세 가지 component로 구성되어 있음.
- Shape Model: 얼굴의 3D shape, geometry 정보
- Expression Model: 얼굴의 표정 정보
- Texture Model: 얼굴 표면의 텍스처 (피부 색상, 디테일 등)
Shape Model
얼굴의 평균 형상 (mean shape)과 정체성 (identity)을 모델링. 얼굴 shape을 PCA로 압축하여 eigenvectors로 표현. 각 기저는 얼굴 형상의 변화를 나타내고, 주성분 계수로 얼굴의 형태 조절 가능함.
Data Format
차원에서의 3은 각 vertex의 x,y,z 좌표
- mean shape (
shapeMU
): 얼굴 메쉬의 평균값 (vertex 좌표),3xN
의 shape (N
: # of vertex) - shape basis (
shapePC
): 주성분 벡터로 형상 변화를 나타냄,3xNx199
의 shape (주성분이 199개) - eigen values of shape (
shapeEV
): 각 주성분의 기여도. 크기가 199인 1차원 벡터
Expression Model
얼굴의 표정 변화를 모델링. 얼굴 표정 데이터를 역시 PCA로 압축해서 주성분 벡터로 표현.
Data Format
Shape Model과 동일하며, 주성분의 개수만 79개로 구성됨.
- mean expression (
expMU
): 얼굴 메쉬의 평균값 (vertex 좌표),3xN
의 shape (N
: # of vertex) - expression basis (
expPC
): 주성분 벡터로 형상 변화를 나타냄,3xNx79
의 shape (주성분이 199개) - eigen values of expression (
expEV
): 각 주성분의 기여도. 크기가 79인 1차원 벡터
Texture Model
얼굴의 텍스처 (색상, 디테일)를 모델링.
Data Format
Shape Model과 각 변수의 차원은 동일하지만, 여기서는 3이 RGB 값을 의미함 (색상 정보)
- mean texture (
texMU
): 얼굴 메쉬의 평균값 (vertex 좌표),3xN
의 shape (N
: # of vertex) - texture basis (
texPC
): 주성분 벡터로 형상 변화를 나타냄,3xNx199
의 shape (주성분이 199개) - eigen values of texture (
texEV
): 각 주성분의 기여도. 크기가 199인 1차원 벡터
아쉽게도 gui가 지원이 안되는 서버라 직접 렌더링은 안되어서 시각화는 못해보았다..이 블로그를 참조해보면 좋을 것 같다.
300x250