DeepLearning/Computer Vision

Basel Face Model (BFM)

yooj_lee 2024. 12. 26. 19:50
300x250

Basel Face Model (BFM)

https://faces.dmi.unibas.ch/bfm/index.php?nav=1-1-0&id=details

 

Morphace

This page is part of the old Basel Face Model from 2009, find most recent Basel Face Model here. Basel Face Model - Details Details of the Basel Face Model The geometry of the BFM consists of 53,490 3D vertices connected by 160,470 triangles. Faces of diff

faces.dmi.unibas.ch

PCA를 기반으로 3D 얼굴 데이터를 압축하여 정체성, 표정, 텍스처의 basis로 표현. 평균 얼굴과 다양한 차원을 기반으로 얼굴의 형상과 텍스처를 수학적으로 표현 가능함. BFM은 기본적으로 다음 세 가지 component로 구성되어 있음.

  1. Shape Model: 얼굴의 3D shape, geometry 정보
  2. Expression Model: 얼굴의 표정 정보
  3. Texture Model: 얼굴 표면의 텍스처 (피부 색상, 디테일 등)

Shape Model

얼굴의 평균 형상 (mean shape)과 정체성 (identity)을 모델링. 얼굴 shape을 PCA로 압축하여 eigenvectors로 표현. 각 기저는 얼굴 형상의 변화를 나타내고, 주성분 계수로 얼굴의 형태 조절 가능함.

Data Format

차원에서의 3은 각 vertex의 x,y,z 좌표

  • mean shape (shapeMU): 얼굴 메쉬의 평균값 (vertex 좌표), 3xN의 shape (N: # of vertex)
  • shape basis (shapePC): 주성분 벡터로 형상 변화를 나타냄, 3xNx199의 shape (주성분이 199개)
  • eigen values of shape (shapeEV): 각 주성분의 기여도. 크기가 199인 1차원 벡터

Expression Model

얼굴의 표정 변화를 모델링. 얼굴 표정 데이터를 역시 PCA로 압축해서 주성분 벡터로 표현.

Data Format

Shape Model과 동일하며, 주성분의 개수만 79개로 구성됨.

  • mean expression (expMU): 얼굴 메쉬의 평균값 (vertex 좌표), 3xN의 shape (N: # of vertex)
  • expression basis (expPC): 주성분 벡터로 형상 변화를 나타냄, 3xNx79의 shape (주성분이 199개)
  • eigen values of expression (expEV): 각 주성분의 기여도. 크기가 79인 1차원 벡터

Texture Model

얼굴의 텍스처 (색상, 디테일)를 모델링.

Data Format

Shape Model과 각 변수의 차원은 동일하지만, 여기서는 3이 RGB 값을 의미함 (색상 정보)

  • mean texture (texMU): 얼굴 메쉬의 평균값 (vertex 좌표), 3xN의 shape (N: # of vertex)
  • texture basis (texPC): 주성분 벡터로 형상 변화를 나타냄, 3xNx199의 shape (주성분이 199개)
  • eigen values of texture (texEV): 각 주성분의 기여도. 크기가 199인 1차원 벡터

 

 

아쉽게도 gui가 지원이 안되는 서버라 직접 렌더링은 안되어서 시각화는 못해보았다..이 블로그를 참조해보면 좋을 것 같다.

300x250