三维人脸模型重建方法、装置、电子设备及存储介质制造方法及图纸

本申请关于一种三维人脸模型重建方法、装置、电子设备及存储介质。所述方法包括：获取单相机人脸图像；将所述单相机人脸图像输入至人脸信息预测模型中，经所述人脸信息预测模型输出所述单相机人脸图像中的目标人脸二维特征点和目标纹理映射信息；利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配利用本申请各个实施例提供的三维人脸模型重建方法、装置、电子设备及存储介质，可以快速、准确地重建得到三维人脸模型。

【技术实现步骤摘要】
三维人脸模型重建方法、装置、电子设备及存储介质
本申请涉及计算机视觉
，尤其涉及一种三维人脸模型重建方法、装置、电子设备及存储介质。
技术介绍
人脸表情捕捉在很多领域都发挥着重要作用，典型地，比如电影、游戏、刑侦、视频监控等等。相关技术中，采用一些成本较高且过程复杂的方式确实可以捕捉到比较准确的人脸表情，例如在人脸上采用反射性采集标记点的方式能够获取到准确的人脸表情。但是，该方式所花费的巨大成本以及给用户带来的不舒适感严重阻碍其发展和推广。单相机人脸图像采集具有低成本、易安装、用户友好等特点，但是单相机人脸图像一般是只有一种视角的二维信息，比较难以提供三维信息。因此，要想获取生动逼真的人脸表情，则需要对单相机人脸图像进行三维人脸模型重建。但是，目前基于单相机人脸图像重建的三维人脸模型往往精确度较低，难以捕捉到逼真的人脸表情。因此，相关技术中亟需一种精确度更高的基于单相机人脸图像的三维人脸模型重建方式。
技术实现思路
本申请实施例的目的在于提供一种三维人脸模型重建方法、装置、电子设备及存储介质，可以快速、准确地重建得到三维人脸模型。本申请实施例提供的三维人脸模型重建方法、装置、电子设备及存储介质是这样实现的：一种三维人脸模型重建方法，所述方法包括：获取单相机人脸图像；将所述单相机人脸图像输入至人脸信息预测模型中，经所述人脸信息预测模型输出所述单相机人脸图像中的目标人脸二维特征点和目标纹理映射信息；利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。可选的，在本申请的一个实施例中，所述获取单相机人脸图像，包括：获取包含人脸图像在内的单相机图像；对所述单相机图像进行人脸检测，并从所述单相机图像中截取单相机人脸图像。可选的，在本申请的一个实施例中，所述人脸信息预测模型被设置为按照下述方式训练得到：获取多个单相机人脸样本图像，所述单相机人脸样本图像中标注有人脸二维特征点和纹理映射信息；构建人脸信息预测模型，所述人脸信息预测模型中设置有模型参数；将所述单相机人脸样本图像输入至所述人脸信息预测模型中，生成预测结果，所述预测结果包括预测得到的人脸二维特征点和纹理映射信息；基于所述预测结果与所述人脸二维特征点、所述纹理映射信息之间的差异，对所述模型参数进行迭代调整，直至所述差异满足预设要求。可选的，在本申请的一个实施例中，所述单相机人脸样本图像被设置为按照下述方式获取：利用多相机同时从不同角度采集得到同一人脸的多个单相机图像；利用所述多个单相机图像重建得到所述人脸的三维人脸模型；将所述人脸的所述三维人脸模型分别投影至所述多个单相机图像中，分别获取所述多个单相机图像中的人脸二维特征点和纹理映射信息；根据所述人脸二维特征点和/或所述纹理映射信息，分别从所述多个单相机图像中分割出人脸图像，并将多个所述人脸图像作为训练所述人脸信息预测模型所使用的单相机人脸样本图像。可选的，在本申请的一个实施例中，所述利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配，包括：交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。可选的，在本申请的一个实施例中，所述交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成三维人脸模型，包括：交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成预测三维人脸模型；将所述预测三维人脸模型投影至所述单相机人脸图像中，获取预测人脸二维特征点和预测纹理映射信息；基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。可选的，在本申请的一个实施例中，所述基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求，包括：获取所述身份参数、所述人脸姿态参数和所述表情参数中至少一种参数的先验概率分布结果和先验概率目标值；基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异以及所述身份参数、所述人脸姿态参数和所述表情参数中至少一种参数的先验概率分布结果与所述先验概率目标值的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。可选的，在本申请的一个实施例中，在所述单相机人脸图像的数量N大于等于2，且N个单相机人脸图像属于同一人脸的情况下，所述利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配，包括：基于所述N个单相机人脸图像，交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，联合优化生成N个具有相同身份参数的三维人脸模型，分别使得所述N个三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。可选的，在本申请的一个实施例中，所述交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，联合优化生成N个具有相同身份参数的三维人脸模型，包括：交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，生成N个预测三维人脸模型，其中，在固定人脸姿态参数、表情参数调整身份参数的情况下，联合优化所述N个预测三维人脸模型的身份参数；分别将所述N个预测三维人脸模型投影至对应的所述单相机人脸图像中，获取预测人脸二维特征点和预测纹理映射信息；基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述人脸姿态参数、所述表情参数或者所述身份参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。可选的，在本申请的一个实施例中，在所述联合优化所述N个预测三维人脸模型的身份参数后，所述方法还包括：针对于后续的单相机人脸图像进行重建三维人脸的过程中，使用并固定所述联合优化所述N个预测三维人脸模型的所述本文档来自技高网...

【技术保护点】
1.一种三维人脸模型重建方法，其特征在于，所述方法包括：/n获取单相机人脸图像；/n将所述单相机人脸图像输入至人脸信息预测模型中，经所述人脸信息预测模型输出所述单相机人脸图像中的目标人脸二维特征点和目标纹理映射信息；/n利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。/n

【技术特征摘要】
1.一种三维人脸模型重建方法，其特征在于，所述方法包括：
获取单相机人脸图像；
将所述单相机人脸图像输入至人脸信息预测模型中，经所述人脸信息预测模型输出所述单相机人脸图像中的目标人脸二维特征点和目标纹理映射信息；
利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。


2.根据权利要求1所述的方法，其特征在于，所述获取单相机人脸图像，包括：
获取包含人脸图像在内的单相机图像；
对所述单相机图像进行人脸检测，并从所述单相机图像中截取单相机人脸图像。


3.根据权利要求1所述的方法，其特征在于，所述人脸信息预测模型被设置为按照下述方式训练得到：
获取多个单相机人脸样本图像，所述单相机人脸样本图像中标注有人脸二维特征点和纹理映射信息；
构建人脸信息预测模型，所述人脸信息预测模型中设置有模型参数；
将所述单相机人脸样本图像输入至所述人脸信息预测模型中，生成预测结果，所述预测结果包括预测得到的人脸二维特征点和纹理映射信息；
基于所述预测结果与所述人脸二维特征点、所述纹理映射信息之间的差异，对所述模型参数进行迭代调整，直至所述差异满足预设要求。


4.根据权利要求3所述的方法，其特征在于，所述单相机人脸样本图像被设置为按照下述方式获取：
利用多相机同时从不同角度采集得到同一人脸的多个单相机图像；
利用所述多个单相机图像重建得到所述人脸的三维人脸模型；
将所述人脸的所述三维人脸模型分别投影至所述多个单相机图像中，分别获取所述多个单相机图像中的人脸二维特征点和纹理映射信息；
根据所述人脸二维特征点和/或所述纹理映射信息，分别从所述多个单相机图像中分割出人脸图像，并将多个所述人脸图像作为训练所述人脸信息预测模型所使用的单相机人脸样本图像。


5.根据权利要求1所述的方法，其特征在于，所述利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配，包括：
交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。


6.根据权利要求5所述的方法，其特征在于，所述交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成三维人脸模型，包括：
交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成预测三维人脸模型；
将所述预测三维人脸模型投影至所述单相机人脸图像中，获取预测人脸二维特征点和预测纹理映射信息；
基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。


7.根据权利要求6所述的方法，其特征在于，所述基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求，包括：
获取所述身份参数、所述人脸姿态参数和所述表情参数中至少一种参数的先验概率分布结果和先验概率目标值；
基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标...

【专利技术属性】
技术研发人员：柴金祥，其他发明人请求不公开姓名，
申请(专利权)人：魔珐上海信息科技有限公司，上海墨舞科技有限公司，
类型：发明
国别省市：上海;31