本申请提供一种人脸建模方法、装置、电子设备及存储介质，所述人脸建模方法，包括：获得包含目标人脸的影像数据；利用预先训练的面部参数处理模型，对所述影像数据中的目标人脸进行参数化建模，得到所述目标人脸的面部参数；其中，所述面部参数处理模型至少基于样本影音数据中的人脸影像数据，以及与所述人脸影像数据对应的语音数据进行人脸参数建模训练得到。该方法通过样本影音数据中的人脸影像数据，以及与所述人脸影像数据对应的语音数据进行人脸参数建模，训练能够基于包含目标人脸的影像数据，获得目标人脸的面部参数的面部参数处理模型，使得所述面部参数处理模型能够学习到二维图像中缺失的、而在语音空间中存在的信息。而在语音空间中存在的信息。而在语音空间中存在的信息。
【技术实现步骤摘要】
一种人脸建模方法、装置、电子设备及存储介质
[0001]本申请涉及数据处理领域，具体涉及一种人脸建模方法、装置、电子设备及存储介质。
技术介绍
[0002]随着游戏、短视频以及AR/VR技术的发展，人脸模型的创建技术越来越多的被应用于相关领域，例如：3D头像的创建、人脸的识别、虚拟化妆等。
[0003]目前大多数的移动设备中都配备有单目RGB相机，因此，如何基于单目图像或视频实现人脸模型的创建，成为本领域技术人员的一个重要研究方向。
技术实现思路
[0004]本申请提供一种人脸建模方法、装置、电子设备及存储介质，以从图像或视频中实现人脸模型的创建。
[0005]根据本申请实施例的第一方面，提供了一种人脸建模方法，包括：获得包含目标人脸的影像数据；利用预先训练的面部参数处理模型，对所述影像数据中的目标人脸进行参数化建模，得到所述目标人脸的面部参数；其中，所述面部参数处理模型至少基于样本影音数据中的人脸影像数据，以及与所述人脸影像数据对应的语音数据进行人脸参数建模训练得到。
[0006]在本申请的一种可选实施方式中，所述利用预先训练的面部参数处理模型，对所述影像数据中的目标人脸进行参数化建模，得到所述目标人脸的面部参数，包括：获得所述影像数据的视觉特征；对所述影像数据的视觉特征进行参数化处理，得到与所述目标人脸对应的面部参数。
[0007]在本申请的一种可选实施方式中，所述获得所述影像数据的视觉特征，包括：将所述影像数据输入预先训练的面部参数处理模型，通过所述面部参数处理模型中的视觉特征提取模型，提取所述影像数据的视觉特征。在本申请的一种可选实施方式中，所述面部参数处理模型至少基于样本声学特征，以及所述面部参数处理模型输出的样本视觉特征之间的相似度，进行参数优化得到；
[0008]所述样本声学特征包括所述样本影音数据中与人脸影像数据对应的语音数据的声学特征；所述样本视觉特征包括所述样本影音数据中的所述人脸影像数据的视觉特征。
[0009]在本申请的一种可选实施方式中，所述面部参数处理模型通过以下方式训练得到：对样本影音数据中与人脸影像数据对应的语音数据进行声学特征提取处理，得到所述样本声学特征；利用预先构建的面部参数处理模型，对所述样本影音数据中的人脸影像数据进行
视觉特征提取处理，得到所述样本视觉特征；至少根据所述样本声学特征与所述样本视觉特征之间的相似度，优化所述面部参数处理模型。
[0010]在本申请的一种可选实施方式中，所述至少根据所述样本声学特征与所述样本视觉特征之间的相似度，优化所述面部参数处理模型，包括：根据所述样本声学特征和所述样本视觉特征之间的相似度，构建所述面部参数处理模型的损失函数；基于所述损失函数，优化所述面部参数处理模型。
[0011]在本申请的一种可选实施方式中，所述至少根据所述样本声学特征与所述样本视觉特征之间的相似度，优化所述面部参数处理模型，包括：获得所述预先构建的面部参数处理模型，处理所述样本影音数据的人脸影像数据得到的样本人脸面部参数；根据所述样本人脸面部参数和初始人脸模型参数，渲染样本人脸模型的二维图像；根据所述二维图像与所述样本影音数据的人脸影像数据之间的差异度，以及所述样本声学特征与所述样本视觉特征之间的相似度，优化所述面部参数处理模型。
[0012]在本申请的一种可选实施方式中，所述二维图像与所述样本影音数据的人脸影像数据之间的差异度，通过以下方式确定：计算所述二维图像与所述人脸影像数据之间的像素差值，确定所述二维图像与所述人脸影像数据之间的第一差异度；和/或，对所述二维图像和所述人脸影像数据进行人脸特征提取，得到所述二维图像的第一人脸特征和所述人脸影像数据的第二人脸特征；根据所述第一人脸特征和所述第二人脸特征，确定所述二维图像与所述人脸影像数据之间的第二差异度；和/或，确定所述二维图像的预设关键点与所述人脸影像数据中预设关键点之间的第三差异度。
[0013]在本申请的一种可选实施方式中，所述对所述二维图像和所述人脸影像数据进行人脸特征提取，得到所述二维图像的第一人脸特征和所述人脸影像数据的第二人脸特征，包括：利用预先训练的人脸识别模型，对所述二维图像和所述人脸影像数据进行人脸特征提取，得到所述二维图像的第一人脸特征和所述人脸影像数据的第二人脸特征。
[0014]在本申请的一种可选实施方式中，所述方法还包括：将所述目标人脸的面部参数应用于预先创建的初始人脸模型，获得与所述目标人脸对应的人脸模型。
[0015]根据本申请实施例的第二方面，提供了一种人脸建模装置，包括：第一单元，用于获得包含目标人脸的影像数据；第二单元，用于利用预先训练的面部参数处理模型，对所述影像数据中的目标人脸进行参数化建模，得到所述目标人脸的面部参数；
其中，所述面部参数处理模型至少基于样本影音数据中的人脸影像数据，以及与所述人脸影像数据对应的语音数据进行人脸参数建模训练得到。
[0016]根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于通过运行所述存储器中的指令，执行上述人脸建模方法。
[0017]根据本申请实施例的第四方面，提供了一种计算机存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时，执行上述人脸建模方法。
[0018]与现有技术相比，本申请具有以下优点：本申请提供一种人脸建模方法、装置、电子设备及存储介质，所述人脸建模方法，包括：获得包含目标人脸的影像数据；利用预先训练的面部参数处理模型，对所述影像数据中的目标人脸进行参数化建模，得到所述目标人脸的面部参数；其中，所述面部参数处理模型至少基于样本影音数据中的人脸影像数据，以及与所述人脸影像数据对应的语音数据进行人脸参数建模训练得到。
[0019]该方法通过样本影音数据中的人脸影像数据，以及与所述人脸影像数据对应的语音数据进行人脸参数建模，训练能够基于包含目标人脸的影像数据，获得目标人脸的面部参数的面部参数处理模型，使得所述面部参数处理模型能够学习到二维图像中缺失的、而在语音空间中存在的信息。
附图说明
[0020]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0021]图1为本申请一实施例提供的人脸模型建模方法的应用场景示意图。
[0022]图2为本申请另一实施例提供的人脸建模方法流程图。
[0023]图3为本申请另一实施例提供的面部参数处理模型的训练流程图。
[0024]图4为本申请另一实施例提供的人脸建模装置结构示意图。
[0025]图5为本申请另一实施例提供的电子设备结构示意图。
具体实施方式
[0026]下面将结合本申请实施例中的附图，对本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人脸建模方法，其特征在于，包括：获得包含目标人脸的影像数据；利用预先训练的面部参数处理模型，对所述影像数据中的目标人脸进行参数化建模，得到所述目标人脸的面部参数；其中，所述面部参数处理模型至少基于样本影音数据中的人脸影像数据，以及与所述人脸影像数据对应的语音数据进行人脸参数建模训练得到。2.根据权利要求1所述的方法，其特征在于，所述利用预先训练的面部参数处理模型，对所述影像数据中的目标人脸进行参数化建模，得到所述目标人脸的面部参数，包括：获得所述影像数据的视觉特征；对所述影像数据的视觉特征进行参数化处理，得到与所述目标人脸对应的面部参数。3.根据权利要求2所述的方法，其特征在于，所述获得所述影像数据的视觉特征，包括：将所述影像数据输入预先训练的面部参数处理模型，通过所述面部参数处理模型中的视觉特征提取模型，提取所述影像数据的视觉特征。4.根据权利要求1所述的方法，其特征在于，所述面部参数处理模型至少基于样本声学特征，以及所述面部参数处理模型输出的样本视觉特征之间的相似度，进行参数优化得到；所述样本声学特征包括所述样本影音数据中与人脸影像数据对应的语音数据的声学特征；所述样本视觉特征包括所述样本影音数据中的所述人脸影像数据的视觉特征。5.根据权利要求4所述的方法，其特征在于，所述面部参数处理模型通过以下方式训练得到：对样本影音数据中与人脸影像数据对应的语音数据进行声学特征提取处理，得到所述样本声学特征；利用预先构建的面部参数处理模型，对所述样本影音数据中的人脸影像数据进行视觉特征提取处理，得到所述样本视觉特征；至少根据所述样本声学特征与所述样本视觉特征之间的相似度，优化所述面部参数处理模型。6.根据权利要求5所述的方法，其特征在于，所述至少根据所述样本声学特征与所述样本视觉特征之间的相似度，优化所述面部参数处理模型，包括：根据所述样本声学特征和所述样本视觉特征之间的相似度，构建所述面部参数处理模型的损失函数；基于所述损失函数，优化所述面部参数处理模型。7.根据权利要求5所述的方法，其特征在于，所述至少根据所述样本声学特征与所述样本视觉特征之间的相似度，优化所述面部参数处理模型，包括：获得所述预先构建的面部参数处理模型，处理所述样本影音数据的人脸影像数据得到的样本人脸面部参数；根据所...
【专利技术属性】
技术研发人员：杨硕，何昊南，何山，殷兵，刘聪，周良，胡金水，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。