3Dmm_cnn：基于Python的从单个图像进行 3D 人脸建模实现

概述

使用神经网络从单个图像进行 3D 人脸建模的 Python 代码。

特点

端到端代码用于直接从图像强度估计 3D 形状和纹理在不受约束的条件下对面部图像进行设计和测试，包括具有挑战性的 LFW、YTF 和 IJB-A 基准使用我们的网络提取的 3D 人脸形状和纹理参数首次显示出具有辨别力和鲁棒性，在这些基准上通过 3DMM 表示提供接近最先进的人脸识别性能没有昂贵的迭代优化、内部循环来回归形状。因此 3DMM 拟合非常快使用回归的 3D 面部模型，根据检测到的面部特征进行头部姿势和表情估计的额外代码

Library 要求

Dlib Python and C++ library
OpenCV Python and C++ library
Caffe (version 1.0.0-rc3 or above required)
Numpy
Python2.7

该代码仅在 Linux 上进行了测试。在 Linux 上，您可以依赖默认版本的 python，从包管理器或 Anaconda Python 上安装所有需要的包，并通过conda. 安装 caffé、dlib 和 libhdf5 需要更多的努力。

资料要求

在运行代码之前，请确保在以下特定文件夹中包含所有必需的数据：

下载我们的 CNN并将 CNN 模型（3 个文件：3dmm_cnn_resnet_101.caffemodel,deploy_network.prototxt,mean.binaryproto）移动到CNN文件夹
下载 Basel Face Model并移动01_MorphableModel.mat到3DMM_model文件夹
获取 3DDFA Expression Model，运行其代码以生成Model_Expression.mat并将此文件移动到3DMM_model文件夹
进入3DMM_model文件夹。运行脚本python trimBaselFace.py。这应该输出 2 个文件BaselFaceModel_mod.mat和BaselFaceModel_mod.h5.
下载 dlib 人脸预测模型并将.dat文件移动到dlib_model文件夹中。

安装（pose&expression拟合代码）

[hidecontent type="logged" desc="隐藏内容：登录后可查看"]
- 安装cmake：
```
	apt-get install cmake
```
- 安装opencv（推荐2.4.6或更高版本）：
```
	(http://docs.opencv.org/doc/tutorials/introduction/linux_install/linux_install.html)
```
- 安装libboost（推荐 1.5 或更高版本）：
```
	apt-get install libboost-all-dev
```
- 安装OpenGL、freeglut 和 glew
```
	sudo apt-get install freeglut3-dev
	sudo apt-get install libglew-dev
```
- 安装libhdf5-dev库
```
	sudo apt-get install libhdf5-dev
```
- 安装Dlib C++ 库。Dlib 应编译为共享对象。检查其 CMakeList.txt 中的注释。
```
	(http://dlib.net/)
```
- 更新 Dlib 目录路径（DLIB_INCLUDE_DIR和DLIB_LIB_DIR）在CMakeLists.txt
- 制作构建目录（临时）。制作并安装到bin文件夹
```
	mkdir build
	cd build
	cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=../bin ..
	make
	make install
```
TestVisualization此代码应在bin文件夹中生成。

用法

一组输入图像的 3DMM 拟合
- 进入demoCode文件夹。可以使用以下语法从命令行使用演示脚本：
```
$ Usage: python testBatchModel.py <inputList> <outputDir> <needCrop> <useLM>
```
其中参数如下：
- <inputList>是一个文本文件，其中包含每个输入图像的路径，每行一个。
- <outputDir>是存储 ply 文件的输出目录的路径。
- <needCrop>告诉演示图像是否需要裁剪 (1) 或不需要 (0)。默认 1。如果您的输入图像大小相等（正方形）并且具有类似 CASIA 的 [2] 边界框，您可以设置<needCrop>为 0。否则，您必须将其设置为 1。
- <useLM>是使用检测到的地标 (1) 或不使用 (0) 来细化边界框的选项。默认 1。
例如<inputList>：
```
数据/1.jpg
数据/2.jpg 
....
```
- 演示代码应产生类似于此的输出：
```
user@system:~/Desktop/3dmm_release$ python testBatchModel.py input.txt out/
> Prepare image data/1.jpg:
>     Number of faces detected: 1
> Prepare image data/2.jpg:
>     Number of faces detected: 1
> CNN Model loaded to regress 3D Shape and Texture!
> Loaded the Basel Face Model to write the 3D output!
> Processing image:  tmp_ims/2.png   2.png   1/2
> Writing 3D file in:  out//2.ply
> Processing image:  tmp_ims/1.png   1.png   2/2
> Writing 3D file in:  out//1.ply
```
可以使用标准的现成 3D（层文件）可视化软件（例如MeshLab）显示最终的 3D 形状和纹理。使用 MeshLab，输出可能显示如下：

user@system:~/Desktop/3dmm_release$ meshlab out/1.ply

user@system:~/Desktop/3dmm_release$ meshlab out/2.ply

这应该产生类似于：

单张输入图像的 3D 人脸建模 + 姿势和表情估计
- 进入demoCode文件夹。可以使用以下语法从命令行使用演示脚本：
```
$ Usage: python testModel_PoseExpr.py <outputDir> <save3D>
```
其中参数如下：
- <outputDir>是输出目录的路径，其中存储 3DMM（和层）文件。
- <save3D>是保存层文件 (1) 或不保存 (0) 的选项。默认 1。
- 程序将弹出一个对话框来选择输入图像。然后它将估计 3DMM 参数（使用 CNN 模型），估计 pose+expression 并将结果可视化（使用 C++ 程序）
例子：
```
user@system:~/Desktop/3dmm_release$ python testModel_PoseExpr.py out/
(Select `Anders_Fogh_Rasmussen_0004.jpg`)
> Prepare image /home/anh/Downloads/PoseExprFromLM-master/demoCode/data/Anders_Fogh_Rasmussen_0004.jpg:
    Number of faces detected: 1
> CNN Model loaded to regress 3D Shape and Texture!
> Loaded the Basel Face Model to write the 3D output!
*****************************************
** Caffe loading    : 1.007 s
** Image cropping   : 0.069 s
** 3D Modeling      : 1.145 s
*****************************************
> Writing 3D file in:  out/Anders_Fogh_Rasmussen_0004.ply
> Pose & expression estimation
load ../3DMM_model/BaselFaceModel_mod.h5
** Pose+expr fitting: 0.153 s
** Visualization    : 0.052 s
*****************************************
```
弹出窗口应类似于：

故障排除

问题：旧的 Caffe 引擎
```
"F0210 10:49:17.604714 24046 net.cpp:797] Check failed:
target_blobs.size() == source_layer.blobs_size() (5 vs. 3) Incompatible
number of blobs for layer bn_conv1"
```
解决方法：安装caffe 1.0.0-rc3或以上版本。

有关 caffe verson 的更多信息，请参阅https://github.com/BVLC/caffe/releases

从 python 检查你的 caffe 版本：
```
In [3]: import caffe
In [4]: caffe.__version__
Out[4]: '1.0.0-rc3'
```
[/hidecontent]

概述

特点

Library 要求

资料要求

安装（pose&expression拟合代码）

用法

一组输入图像的 3DMM 拟合

单张输入图像的 3D 人脸建模 + 姿势和表情估计

故障排除

问题：旧的 Caffe 引擎

解决方法：安装caffe 1.0.0-rc3或以上版本。