一种信息处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例公开了一种信息处理方法、装置、计算机设备及存储介质，本申请实施例通过获取目标视频；将每一帧的人脸图像输入第一目标预设主干模型，输出第一目标图像特征；将第一目标图像特征分别输入第一目标预设网络模型、第二目标预设网络模型和第三目标预设网络模型，对应输出第一目标表情系数、第一目标姿态系数以及第一目标光照系数；将第一目标图像特征分别输入第四目标预设网络模型和第五目标预设网络模型，对应输出第一目标身份系数和第一目标纹理系数，以此，通过将表情系数和非表情系数进行解耦合处理的方式，快速输出准确的表情系数、姿态系数、光照系数、身份系数和纹理系数。极大提升了信息处理的效率。极大提升了信息处理的效率。极大提升了信息处理的效率。

An information processing method, device, computer equipment and storage medium

【技术实现步骤摘要】
一种信息处理方法、装置、计算机设备及存储介质


[0001]本申请涉及计算机视觉
，具体涉及一种信息处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]人脸重建是计算机视觉比较热门的一个方向，3D人脸相关应用也是近年来短视频领域的新玩法，其中，根据人脸图像重建人脸3D模型是很多人脸相关应用的基础技术之一。
[0003]在现有技术中，通常通过参数化的人脸3D重建算法来构建人脸3D模型，参数化的人脸3D重建算法，通过媒介参数化人脸3D模型作为先验信息做约束，将对人脸3D重建的问题转化为对参数化人脸3D模型的参数的估计，可以很好的应对挑战性环境下的人脸3D重建，而常用的参数化人脸3D重建算法往往通过估计3DMM(3D Morphable Model)系数的方式进行构建。
[0004]为了实现后续对于说话人判定或者表情编辑等操作，往往需要提取出图像中人脸的表情信息，然而常用的基于图像的参数化人脸3D重建算法直接提取的3DMM表情信息会和其他非表情信息耦合，使得提取的表情信息不准确，信息处理的准确性较差。

技术实现思路

[0005]本申请实施例提供一种信息处理方法、装置、计算机设备及存储介质，可以提升信息处理的准确性和效率。
[0006]为解决上述技术问题，本申请实施例提供以下技术方案：
[0007]一种信息处理方法，包括：
[0008]获取目标视频，所述目标视频中每一帧包含相同对象对应的人脸图像；
[0009]将每一帧的人脸图像输入第一目标预设主干模型，输出第一目标图像特征；
[0010]将所述第一目标图像特征分别输入第一目标预设网络模型、第二目标预设网络模型和第三目标预设网络模型，对应输出第一目标表情系数、第一目标姿态系数以及第一目标光照系数；其中，所述第一目标预设网络模型、第二目标预设网络模型和第三目标预设网络模型通过获取共享身份系数和共享纹理系数，对应进行表情系数、姿态系数、和光照系数预测优化训练得到；
[0011]将所述第一目标图像特征分别输入第四目标预设网络模型和第五目标预设网络模型，对应输出第一目标身份系数和第一目标纹理系数；其中，所述第四目标预设网络模型和第五目标预设网络模型为确定第一目标表情系数、第一目标姿态系数以及第一目标光照系数之后，对应进行身份系数和纹理系数预测优化训练得到的。
[0012]一种信息处理装置，包括：
[0013]第一获取单元，用于获取目标视频，所述目标视频中每一帧包含相同对象对应的人脸图像；
[0014]第一输入单元，用于将每一帧的人脸图像输入第一目标预设主干模型，输出第一
目标图像特征；
[0015]第二输入单元，用于将所述第一目标图像特征分别输入第一目标预设网络模型、第二目标预设网络模型和第三目标预设网络模型，对应输出第一目标表情系数、第一目标姿态系数以及第一目标光照系数；其中，所述第一目标预设网络模型、第二目标预设网络模型和第三目标预设网络模型通过获取共享身份系数和共享纹理系数，对应进行表情系数、姿态系数、和光照系数预测优化训练得到；
[0016]第三输入单元，用于将所述第一目标图像特征分别输入第四目标预设网络模型和第五目标预设网络模型，对应输出第一目标身份系数和第一目标纹理系数；其中，所述第四目标预设网络模型和第五目标预设网络模型为确定第一目标表情系数、第一目标姿态系数以及第一目标光照系数之后，对应进行身份系数和纹理系数预测优化训练得到的。
[0017]在一些实施例中，所述第一获取单元，包括：
[0018]获取子单元，用于获取初始视频；
[0019]提取子单元，用于提取所述初始视频中每一帧的人脸图像；
[0020]第一确定子单元，用于将出现相同对象的多帧视频片段确定为初始视频片段；
[0021]第二确定子单元，用于将帧数大于预设阈值的初始视频片段确定为目标视频。
[0022]在一些实施例中，所述第二确定子单元，用于：
[0023]将帧数大于预设阈值的初始视频片段确定为第一目标视频片段；
[0024]对所述第一目标视频片段进行样式变换，得到第二目标视频片段；
[0025]将所述第一目标视频片段和所述第二目标视频片段确定为目标视频。
[0026]在一些实施例中，所述装置，还包括：
[0027]第二获取单元，用于获取共享身份系数集合以及共享纹理系数集合；其中，不同对象的人脸图像对应不同的共享身份系数以及共享纹理系数；
[0028]匹配单元，用于根据所述目标视频对应相同对象的人脸图像匹配所述共享身份系数集合以及共享纹理系数集合，获取相应的共享身份系数以及共享纹理系数；
[0029]第一训练单元，用于根据所述共享身份系数以及共享纹理系数对第一预设网络模型、第二预设网络模型和第三预设网络模型进行表情系数、姿态系数、和光照系数预测优化训练，得到第一目标预设网络模型、第二目标预设网络模型和第三目标预设网络模型。
[0030]在一些实施例中，所述装置，所述第一训练单元，包括：
[0031]第一生成子单元，用于生成第一目标损失函数；
[0032]第一训练子单元，用于根据所述第一目标损失函数对所述第一预设主干模型、第一预设网络模型、第二预设网络模型、第三预设网络模型、共享身份系数和共享纹理系数进行第一网络参数迭代优化，直至所述第一目标损失函数收敛，得到训练后的第一目标预设主干模型、第一目标预设网络模型、第二目标预设网络模型、第三目标预设网络模型、共享身份系数和共享纹理系数；
[0033]所述第一生成子单元，还用于将一帧的人脸图像输入第一预设主干模型，输出第一图像特征；
[0034]将所述第一图像特征分别输入第一预设网络模型、第二预设网络模型和第三预设网络模型，对应输出第一预测表情系数、第一预测姿态系数和第一预测光照系数；
[0035]获取目标视频对应相同对象的人脸图像相应的共享身份系数和共享纹理系数；
[0036]根据所述共享身份系数、共享纹理系数、第一预测表情系数、第一预测姿态系数和第一预测光照系数，生成第一预测人脸三维模型；
[0037]获取第一预测人脸三维模型对应的第一人脸估计值和人脸图像中未被遮挡区域之间的第一差异；
[0038]获取第一预测人脸三维模型对应的第一预测人脸三维关键点和人脸三维关键点之间的第二差异；
[0039]通过正则化损失函数建立所述共享身份系数、共享纹理系数和第一预测表情系数的约束关系；
[0040]根据所述第一差异、第二差异和所述约束关系生成相应的第一目标损失函数。
[0041]在一些实施例中，所述装置，还包括：
[0042]第三确定单元，用于根据训练后的共享身份系数和共享纹理系数确定标签几何信息和标签纹理信息；
[0043]第二训练单元，用于基于标签几何信息和标签纹理信息对第四预设网络模型和第五预设网络模型进行迭代优化，得到训练后的第四目标预设网络模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理方法，其特征在于，包括：获取目标视频，所述目标视频中每一帧包含相同对象对应的人脸图像；将每一帧的人脸图像输入第一目标预设主干模型，输出第一目标图像特征；将所述第一目标图像特征分别输入第一目标预设网络模型、第二目标预设网络模型和第三目标预设网络模型，对应输出第一目标表情系数、第一目标姿态系数以及第一目标光照系数；其中，所述第一目标预设网络模型、第二目标预设网络模型和第三目标预设网络模型通过获取共享身份系数和共享纹理系数，对应进行表情系数、姿态系数、和光照系数预测优化训练得到；将所述第一目标图像特征分别输入第四目标预设网络模型和第五目标预设网络模型，对应输出第一目标身份系数和第一目标纹理系数；其中，所述第四目标预设网络模型和第五目标预设网络模型为确定第一目标表情系数、第一目标姿态系数以及第一目标光照系数之后，对应进行身份系数和纹理系数预测优化训练得到的。2.根据权利要求1所述的信息处理方法，其特征在于，所述获取目标视频，包括：获取初始视频；提取所述初始视频中每一帧的人脸图像；通过分析每一帧的所述人脸图像确定相同对象，将出现相同对象的多帧视频片段确定为初始视频片段；将帧数大于预设阈值的初始视频片段确定为目标视频。3.根据权利要求2所述的信息处理方法，其特征在于，所述将帧数大于预设阈值的初始视频片段确定为目标视频，包括：将帧数大于预设阈值的初始视频片段确定为第一目标视频片段；对所述第一目标视频片段进行样式变换，得到第二目标视频片段；将所述第一目标视频片段和所述第二目标视频片段确定为目标视频。4.根据权利要求1所述的信息处理方法，其特征在于，所述方法还包括：获取共享身份系数集合以及共享纹理系数集合；其中，不同对象的人脸图像对应不同的共享身份系数以及共享纹理系数；根据所述目标视频中相同对象的人脸图像匹配所述共享身份系数集合以及共享纹理系数集合，获取相应的共享身份系数以及共享纹理系数；根据所述共享身份系数以及共享纹理系数对第一预设网络模型、第二预设网络模型和第三预设网络模型进行表情系数、姿态系数、和光照系数预测优化训练，得到第一目标预设网络模型、第二目标预设网络模型和第三目标预设网络模型。5.根据权利要求4所述的信息处理方法，其特征在于，所述根据所述共享身份系数以及共享纹理系数对第一预设网络模型、第二预设网络模型和第三预设网络模型进行表情系数、姿态系数、和光照系数预测优化训练，得到第一目标预设网络模型、第二目标预设网络模型和第三目标预设网络模型，包括：生成第一目标损失函数；根据所述第一目标损失函数对所述第一预设主干模型、第一预设网络模型、第二预设网络模型、第三预设网络模型、共享身份系数和共享纹理系数进行第一网络参数迭代优化，直至所述第一目标损失函数收敛，得到训练后的第一目标预设主干模型、第一目标预设网
络模型、第二目标预设网络模型、第三目标预设网络模型、共享身份系数和共享纹理系数；所述生成第一目标损失函数，包括：将每一帧的人脸图像输入第一预设主干模型，输出第一图像特征；将所述第一图像特征分别输入第一预设网络模型、第二预设网络模型和第三预设网络模型，对应输出第一预测表情系数、第一预测姿态系数和第一预测光照系数；根据所述共享身份系数、共享纹理系数、第一预测表情系数、第一预测姿态系数和第一预测光照系数，生成第一预测人脸三维模型；获取第一预测人脸三维模型对应的第一人脸估计值和人脸图像中未被遮挡区域之间的第一差异；获取第一预测人脸三维模型对应的第一预测人脸三维关键点和人脸三维关键点之间的第二差异；通过正则化损失函数建立所述共享身份系数、共享纹理系数和第一预测表情系数的约束关系；根据所述第一差异、第二差异和所述约束关系生成相应的第一目标损失函数。6.根据权利要求5所述的信息处理方法，其特征在于，所述根据所述第一目标损失函数对第一预设主干模型、第一预设网络模型、第二预设网络模型、第三预设网络模型、共享身份系数和共享纹理系数进行第一网络参数迭代优化，直至所述第一目标损失函数收敛，得到训练后的第一目标预设主干模型、第一目标预设网络模型、第二目标预设网络模型、第三目标预设网络模型、共享身份系数和共享纹理系数，包括：根据所述第一目标损失函数对所述第一预设主干模型、第一预设网络模型、第二...

【专利技术属性】
技术研发人员：王淳，曾定衡，周迅溢，王洪斌，蒋宁，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：