一幅照片拟合3d人脸

基于自动特征点检测的从一幅人脸图像自动拟合3d人脸是一个很老的技术[1](二十世纪80到90年代,甚至更早在70年代),尽管几十年来有很多论文,这种单纯基于特征的3D人脸拟合仍然没实质进展,许多论文专挑一些模型作为实验结果,掩盖了方法其实并不那么好使,这是学术界惯用伎俩。比如下面根据马云照片的拟合就反应不出马云的实际脸模型。

程序下载,并下载landmark点的训练模型放到share文件夹中。在init.txt指定你的图像文件名,如拟合效果效果不佳可以修改其后面的数值调整拟合效果。目前还没有加入表情拟合功能,有需要者可单独联系我。

提高这种从一幅图像拟合3d人脸逼真度的方法之一是提供很多对应特征点,主要有motion capture或手工指定很多特征对应点。如此一来,就很昂贵或工作量很大了。另外还需要大规模3d人脸数据库,而这个目前还没有公开可用的,尽管有少量私有的但不开放。

不同于单纯的基于特征信息的3D人脸拟合[1-3],多视几何和Shape from shading应该是能拟合逼真的3D人脸的可靠技术。但需要借助于多幅图像。

从图像拟合3D人脸模型有啥用? 用处其实不少,比如提高人脸识别的准确性,还有人脸分析,医学,虚拟现实,动画,娱乐等…

参考文献:

  1. A morphable model for the synthesis of 3D faces. SIGGRAPH 99

  2. Synthesizing realistic facial expressions from photographs.SIGGRAPH 98.

  3. Modeling and Animating Realistic Faces from Images

Written on February 12, 2017