表情调整模型的训练方法、表情调整方法及相关设备技术

本公开关于表情调整模型的训练方法、表情调整方法及相关设备，该表情调整模型的训练方法包括：获取对应同一对象的第一图像和第二图像；第一图像中对象的表情系数大于第一预设值，第二图像中对象的表情系数小于等于第一预设值；在第一图像中裁剪出第一目标区域，得到第三图像；在第一图像中对第二目标区域进行遮挡处理，得到第四图像；第一目标区域包含第二目标区域；将第三图像和第四图像输入第一预设模型，得到与第一图像的表情系数不同的第五图像；基于第二图像和第五图像确定第一损失值，基于第一损失值调整第一预设模型的模型参数，得到表情调整模型。利用该表情调整模型进行表情调整时效果较好。情调整时效果较好。情调整时效果较好。

【技术实现步骤摘要】
表情调整模型的训练方法、表情调整方法及相关设备


[0001]本公开涉及图像处理技术，尤其涉及表情调整模型的训练方法、表情调整方法及相关设备。

技术介绍

[0002]人脸表情在日常生活和交流中起着重要的作用，但是存在一些应用场景，带有表情的图像会对最终结果产生不利影响。例如针对活照片效果而言，输入用户图是睁眼闭嘴表情接近自然的无表情状态时，活照片效果较好，输入用户图为嘟嘴、抿嘴、张嘴等有表情状态时，活照片效果较差。为了减少带表情的图像的不利影响，需要进行表情调整。
[0003]相关技术中，基于PAGAN(一种神经网络模型)进行表情编辑时，通过控制表情系数可以进行表情调整，图1左图示出了嘟嘴的输入图像，右图示出了表情调整后的输出图像，对比可知，相关技术中进行表情调整时调整效果较差。

技术实现思路

[0004]本公开提供一种表情调整模型的训练方法、表情调整方法及相关设备，以至少解决相关技术中进行表情调整时，调整效果较差的技术问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种表情调整模型的训练方法，包括：
[0006]获取对应同一对象的第一图像和第二图像；所述第一图像中所述对象的表情系数大于第一预设值，所述第二图像中所述对象的表情系数小于等于所述第一预设值；所述表情系数用于表征图像中的人脸表情幅度；所述第一预设值为预先设置的用于对人脸表情幅度进行二分类的阈值；
[0007]在所述第一图像中裁剪出第一目标区域，得到第三图像；所述第一目标区域为包含预先设置的人脸器官且体现所述对象的身份特征的局部人脸区域；
[0008]在所述第一图像中对第二目标区域进行遮挡处理，得到第四图像；所述第二目标区域为所述人脸器官对应的人脸器官区域；所述第一目标区域包含所述第二目标区域；
[0009]将所述第三图像和所述第四图像输入第一预设模型，得到与所述第一图像的表情系数不同的第五图像；
[0010]基于所述第二图像和所述第五图像确定第一损失值，基于所述第一损失值调整所述第一预设模型的模型参数，得到表情调整模型。
[0011]可选地，所述在所述第一图像中对第二目标区域进行遮挡处理，得到第四图像，包括：
[0012]在所述第一图像对应的表情系数小于等于第二预设值的情况下，将所述第一图像中第二目标区域内的像素值调整为预先设置的用于像素遮挡的第三预设值，以对所述第二目标区域进行遮挡处理，得到第四图像；所述第二预设值大于所述第一预设值。
[0013]可选地，所述方法还包括：
[0014]在所述第一图像对应的表情系数大于所述第二预设值的情况下，对所述第一图像
进行动画处理，得到新的第一图像；所述新的第一图像对应的表情系数小于等于所述第二预设值、且大于所述第一预设值；
[0015]将所述新的第一图像中第二目标区域内的像素值调整为所述第三预设值，以对所述第二目标区域进行遮挡处理，得到第四图像。
[0016]可选地，所述对所述第一图像进行动画处理，得到新的第一图像，包括：
[0017]对所述第一图像进行三维重建，确定三维人脸模型；
[0018]将所述三维人脸模型对应的表情系数调整为小于等于所述第二预设值、且大于所述第一预设值，基于表情系数调整后的所述三维人脸模型，确定新的第一图像。
[0019]可选地，所述第一预设模型包括第一神经网络、第二神经网络和第三神经网络；所述将所述第三图像和所述第四图像输入第一预设模型，得到与所述第一图像的表情系数不同的第五图像，包括：
[0020]将所述第三图像输入所述第一神经网络进行特征提取，得到所述第三图像中的身份特征信息，所述身份特征信息用于区分不同对象；
[0021]将所述第四图像输入所述第二神经网络进行特征提取，得到所述对象在所述人脸器官之外的人脸属性信息，所述人脸属性信息用于体现第四图像中的人脸特征；
[0022]将所述身份特征信息和所述人脸属性信息输入所述第三神经网络进行特征融合，得到与所述第一图像的表情系数不同的第五图像。
[0023]可选地，所述获取对应同一对象的第一图像和第二图像，包括：
[0024]获取人脸图像；
[0025]将所述人脸图像输入表情编辑模型，获取表情变化的图像序列；
[0026]在所述图像序列中，选取出表情系数大于所述第一预设值的第一图像，以及与所述第一图像属于同一对象、且表情系数小于等于所述第一预设值的第二图像。
[0027]可选地，在所述将所述人脸图像输入表情编辑模型，获取表情变化的图像序列的步骤前，所述方法还包括：
[0028]获取第六图像，所述第六图像为所述表情编辑模型的训练数据；
[0029]将所述第六图像输入人脸表情识别模型，确定所述第六图像对应的表情系数；
[0030]将所述第六图像对应的表情系数和随机噪声输入第二预设模型，得到与所述第六图像的表情系数不同的第七图像；
[0031]基于所述第六图像和所述第七图像确定第二损失值，基于所述第二损失值调整所述第二预设模型的模型参数，得到所述表情编辑模型。
[0032]可选地，在所述基于所述第六图像和所述第七图像确定第二损失值，基于所述第二损失值调整所述第二预设模型的模型参数，得到所述表情编辑模型的步骤前，还包括：
[0033]将所述第七图像输入所述人脸表情识别模型，得到所述第七图像对应的表情系数；
[0034]将所述第六图像对应的表情系数和所述第七图像对应的表情系数的计算结果，确定为第一子损失值；
[0035]将所述第六图像和所述第七图像对应的平均损失，确定为第二子损失值；
[0036]将所述第六图像和所述第七图像对应同一对象的判定结果，确定为第三子损失值；
[0037]将所述第一子损失值、所述第二子损失值和所述第三子损失值的计算结果，确定为第六图像和所述第七图像的第二损失值。
[0038]根据本公开实施例的第二方面，提供一种表情调整方法，包括：
[0039]获取待处理图像；
[0040]在所述待处理图像对应的表情系数大于预设值的情况下，在所述待处理图像中裁剪出第一目标区域，得到裁剪图像，且在所述待处理图像中对第二目标区域进行遮挡处理，得到所述第二目标区域被遮挡的待处理图像；所述第一目标区域为预先设置的人脸器官且体现对象的身份特征的局部人脸区域，所述第二目标区域为所述人脸器官对应的人脸器官区域；所述第一目标区域包含所述第二目标区域；
[0041]将所述裁剪图像和所述第二目标区域被遮挡的待处理图像输入表情调整模型，得到目标图像；所述目标图像的表情系数小于等于所述预设值；
[0042]其中，所述表情调整模型根据第一方面所述的表情调整模型的训练方法得到。
[0043]根据本公开实施例的第三方面，提供一种表情调整模型的训练装置，包括：
[0044]图像获取模块，被配置为获取对应同一对象的第一图像和第二图像；所述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情调整模型的训练方法，其特征在于，包括：获取对应同一对象的第一图像和第二图像；所述第一图像中所述对象的表情系数大于第一预设值，所述第二图像中所述对象的表情系数小于等于所述第一预设值；所述表情系数用于表征图像中的人脸表情幅度；所述第一预设值为预先设置的用于对人脸表情幅度进行二分类的阈值；在所述第一图像中裁剪出第一目标区域，得到第三图像；所述第一目标区域为包含预先设置的人脸器官且体现所述对象的身份特征的局部人脸区域；在所述第一图像中对第二目标区域进行遮挡处理，得到第四图像；所述第二目标区域为所述人脸器官对应的人脸器官区域；所述第一目标区域包含所述第二目标区域；将所述第三图像和所述第四图像输入第一预设模型，得到与所述第一图像的表情系数不同的第五图像；基于所述第二图像和所述第五图像确定第一损失值，基于所述第一损失值调整所述第一预设模型的模型参数，得到表情调整模型。2.根据权利要求1所述的方法，其特征在于，所述在所述第一图像中对第二目标区域进行遮挡处理，得到第四图像，包括：在所述第一图像对应的表情系数小于等于第二预设值的情况下，将所述第一图像中第二目标区域内的像素值调整为预先设置的用于像素遮挡的第三预设值，以对所述第二目标区域进行遮挡处理，得到第四图像；所述第二预设值大于所述第一预设值。3.根据权利要2所述的方法，其特征在于，所述方法还包括：在所述第一图像对应的表情系数大于所述第二预设值的情况下，对所述第一图像进行动画处理，得到新的第一图像；所述新的第一图像对应的表情系数小于等于所述第二预设值、且大于所述第一预设值；将所述新的第一图像中第二目标区域内的像素值调整为所述第三预设值，以对所述第二目标区域进行遮挡处理，得到第四图像。4.根据权利要求3所述的方法，其特征在于，所述对所述第一图像进行动画处理，得到新的第一图像，包括：对所述第一图像进行三维重建，确定三维人脸模型；将所述三维人脸模型对应的表情系数调整为小于等于所述第二预设值、且大于所述第一预设值，基于表情系数调整后的所述三维人脸模型，确定新的第一图像。5.根据权利要求1所述的方法，其特征在于，所述第一预设模型包括第一神经网络、第二神经网络和第三神经网络；所述将所述第三图像和所述第四图像输入第一预设模型，得到与所述第一图像的表情系数不同的第五图像，包括：将所述第三图像输入所述第一神经网络进行特征提取，得到所述第三图像中的身份特征信息，所述身份特征信息用于区分不同对象；将所述第四图像输入所述第二神经网络进行特征提取，得到所述对象在所述人脸器官之外的人脸属性信息，所述人脸属性信息用于体现第四图像中的人脸特征；将所述身份特征信息和所述人脸属性信息输入所述第三神经网络进行特征融合，得到与所述第一图像的表情系数不同的第五图像。6.根据权利要求1所述的方法，其特征在于，所述获取对应同一对象的第一图像和第二
图像，包括：获取人脸图像；将所述人脸图像输入表情编辑模型，获取表情变化的图像序列；在所述图像序列中，选取出表情系数大于所述第一预设值的第一图像，以及与所述第一图像属于同一对象、且表情系数小于等于所述第一预设值的第二图像。7.根据权利要求6所述的方法，其特征在于，在所述将所述人脸图像输入表情编辑模型，获取表情变化的图像序列的步骤前，所述方法还包括：获取第六图像，所述第六图像为所述表情编辑模型的训练数据；将所述第六图像输入人脸表情识别模型，确定所述第六图像对应的表情系数；将所述第六图像对应的表情系数和随机噪声输入第二预设模型，得到与所述第六图像的表情系数不同的第七图像；基于所述第六图像和所述第七图像确定第二损失值，基于所述第二损失值调整所述第二预设模型的模型参数，得到所述表情编辑模型。8.根据权利要求7所述的方法，其特征在于，在所述基于所述第六图像和所述第七...

【专利技术属性】
技术研发人员：饶强，张国鑫，李强，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：