虚拟对象的处理方法及装置制造方法及图纸

本公开关于一种虚拟对象的处理方法及装置，所述方法包括：获取待处理的虚拟对象、表情参数以及姿态参数，其中，所述表情参数是通过真实面部表情提取得到的，所述姿态参数是通过真实面部姿态提取得到的；将所述虚拟对象以及所述表情参数，输入至预先训练好的表情驱动模型，以通过所述表情参数对所述虚拟对象进行表情转换，得到第一目标虚拟对象；将所述第一目标虚拟对象以及所述姿态参数，输入至预先训练好的姿态驱动模型，得到第二目标虚拟对象。得到第二目标虚拟对象。得到第二目标虚拟对象。

【技术实现步骤摘要】
虚拟对象的处理方法及装置


[0001]本公开涉及图像处理领域，更具体地说，涉及一种虚拟对象的处理方法及装置。

技术介绍

[0002]目前，已经采用动作迁移技术来驱动虚拟对象(例如，二次元人物，卡通人物或者卡通动物等)，使其根据指令来变化表情和姿态，在一些应用场景中，例如，在直播时，主播可使用适应于自己的表情和姿态而同步产生变化的二次元人物来进行直播，在保护隐私的同时还可增加直播的趣味性。在一种对二次元人物的驱动方案中，通过将运动迁移拆解到多个器官的变化，来实现二次元人物的表情和姿态驱动。但该方案的运行效率偏低，无法在GPU(Graphics Processing Unit，图形处理器)上实时运行，可见，还需要一种运行效率更高的虚拟对象驱动技术。

技术实现思路

[0003]本公开提供一种虚拟对象的处理方法及装置，以至少解决上述相关技术中的问题。
[0004]根据本公开实施例的第一方面，提供一种虚拟对象的处理方法，包括：获取待被驱动的虚拟对象、表情参数以及姿态参数，其中，所述表情参数是通过真实面部表情提取得到的，所述姿态参数是通过真实面部姿态提取得到的；将所述虚拟对象以及所述表情参数，输入至预先训练好的表情驱动模型，以通过所述表情参数对所述虚拟对象进行表情转换，得到第一目标虚拟对象；将所述第一目标虚拟对象以及所述姿态参数，输入至预先训练好的姿态驱动模型，以通过所述姿态参数对所述第一目标虚拟对象进行姿态调整，得到第二目标虚拟对象。
[0005]可选地，所述表情驱动模型的生成方式包括：获取第一训练样本，其中，所述第一训练样本包括没有目标表情的第一初始虚拟对象、表示所述目标表情的表情参数和具有所述目标表情的第二初始虚拟对象；基于所述第一初始虚拟对象和所述表情参数，通过第一卷积神经网络，得到第一面部光流以及第一图像特征，其中，所述第一面部光流表征所述目标表情作用于所述第一初始虚拟对象时所引起的像素移动的情况；基于所述第一面部光流，对所述第一初始虚拟对象进行网格采样，得到模拟所述目标表情的第一预估图像；基于所述第一图像特征，对所述第一预估图像进行修正，得到模拟所述目标表情的第二预估图像；基于所述第二预估图像和所述第二初始虚拟对象计算表情驱动损失函数的值；基于所述表情驱动损失函数的值更新所述第一卷积神经网络的参数，得到训练好的表情驱动模型。
[0006]可选地，所述第二初始虚拟对象包括第一类型图像和第二类型图像，所述第一类型图像是通过将所述第一初始虚拟对象以及所述表情参数输入第一图像模型得到的，所述第二类型图像是通过将所述第一初始虚拟对象以及所述表情参数输入第二图像模型得到的，所述第一类型图像和所述第二类型图像的面部干净程度不同。
[0007]可选地，还包括：从所述第一初始虚拟对象的中心位置开始，裁剪出预设范围内的图像，其中，所述预设范围是根据所述目标表情作用于所述第一初始虚拟对象时所引起的像素移动的范围来确定的；所述基于所述第一初始虚拟对象和所述表情参数，通过第一卷积神经网络，得到第一面部光流以及第一图像特征，包括：基于裁剪出的所述预设范围内的图像和所述表情参数，通过第一卷积神经网络，得到第一面部光流以及第一图像特征。
[0008]可选地，所述第一卷积神经网络包括多个卷积层，所述基于所述第一初始虚拟对象和所述表情参数，通过第一卷积神经网络，得到第一面部光流以及第一图像特征，包括：基于所述第一初始虚拟对象和所述表情参数，在所述第一卷积神经网络的第一个卷积层进行下采样，并基于下采样得到的数据，通过后续卷积层，得到第一面部光流以及第一图像特征。
[0009]可选地，所述第一卷积神经网络的卷积层的每个卷积层的通道数为预设数目，所述预设数目表示所述每个卷积层在运行时所对应的通道的下限数目。
[0010]可选地，所述姿态驱动模型的生成方式包括：获取第二训练样本，其中，所述第二训练样本包括没有目标姿态的第三初始虚拟对象、表示所述目标姿态的姿态参数和具有所述目标姿态的第四初始虚拟对象，所述第三初始虚拟对象和所述第四初始虚拟对象具有相同的表情；基于所述第三初始虚拟对象和所述姿态参数，通过第二卷积神经网络，得到第二面部光流，其中，所述第二面部光流表征所述目标姿态作用于所述第二初始虚拟对象时所引起的像素移动的情况；基于所述第二面部光流，对所述第二初始虚拟对象进行网格采样，得到预估的模拟所述目标姿态的虚拟对象；基于所述预估的模拟所述目标姿态的虚拟对象和所述第四初始虚拟对象计算姿态驱动损失函数的值；基于所述姿态驱动损失函数的值更新所述第二卷积神经网络的参数，得到训练好的姿态驱动模型。
[0011]可选地，所述第四初始虚拟对象包括第三类型图像和第四类型图像，所述第三类型图像是通过将所述第三初始虚拟对象以及所述姿态参数输入第三图像模型得到的，所述第四类型图像是通过将所述第三初始虚拟对象以及所述姿态参数输入第四图像模型得到的，所述第三类型图像和所述第四类型图像的面部干净程度不同。
[0012]可选地，所述第二卷积神经网络包括多个卷积层，所述基于所述第三初始虚拟对象和所述姿态参数，通过第二卷积神经网络，得到第二面部光流，包括：基于所述第三初始虚拟对象和所述姿态参数，在所述第二卷积神经网络的第一个卷积层进行下采样，并基于下采样得到的数据，通过后续卷积层，得到第二面部光流。
[0013]可选地，所述第二卷积神经网络的每个卷积层的通道数为预设数目，所述预设数目表示所述每个卷积层在运行时所对应的通道的下限数目。
[0014]可选地，所述姿态驱动损失函数包括循环一致损失函数，其中，所述循环一致损失函数被表示为：
[0015]L
cycle
＝‖x
i
‑
x
c
‖1[0016]其中，x
i
表示所述第三初始虚拟对象，x
c
表示所述姿态驱动模型根据所述姿态参数进行姿态变化后的图像或者表示姿态驱动模型根据取反后的所述姿态参数进行姿态变化后的图像。
[0017]根据本公开实施例的第二方面，提供一种虚拟对象的处理装置，包括：获取单元，被配置为：获取待处理的虚拟对象、表情参数以及姿态参数，其中，所述表情参数是通过真
实面部表情提取得到的，所述姿态参数是通过真实面部姿态提取得到的；表情驱动单元，被配置为：将所述虚拟对象以及所述表情参数，输入至预先训练好的表情驱动模型，以通过所述表情参数对所述虚拟对象进行表情转换，得到第一目标虚拟对象；姿态驱动单元，被配置为：将所述第一目标虚拟对象以及所述姿态参数，输入至预先训练好的姿态驱动模型，以通过所述姿态参数对所述第一目标虚拟对象进行姿态调整，得到第二目标虚拟对象。
[0018]可选地，所述表情驱动模型的生成方式包括：获取第一训练样本，其中，所述第一训练样本包括没有目标表情的第一初始虚拟对象、表示所述目标表情的表情参数和具有所述目标表情的第二初始虚拟对象；基于所述第一初始虚拟对象和所述表情参数，通过第一卷积神经网络，得到第一面部光流以及第一图像特征，其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟对象的处理方法，其特征在于，包括：获取待处理的虚拟对象、表情参数以及姿态参数，其中，所述表情参数是通过真实面部表情提取得到的，所述姿态参数是通过真实面部姿态提取得到的；将所述虚拟对象以及所述表情参数输入至预先训练好的表情驱动模型，以通过所述表情参数对所述虚拟对象进行表情转换，得到第一目标虚拟对象；将所述第一目标虚拟对象以及所述姿态参数，输入至预先训练好的姿态驱动模型，以通过所述姿态参数对所述第一目标虚拟对象进行姿态调整，得到第二目标虚拟对象。2.如权利要求1所述的虚拟对象的处理方法，其特征在于，所述表情驱动模型的生成方式包括：获取第一训练样本，其中，所述第一训练样本包括没有目标表情的第一初始虚拟对象、表示所述目标表情的表情参数和具有所述目标表情的第二初始虚拟对象；基于所述第一初始虚拟对象和所述表情参数，通过第一卷积神经网络，得到第一面部光流以及第一图像特征，其中，所述第一面部光流表征所述目标表情作用于所述第一初始虚拟对象时所引起的像素移动的情况；基于所述第一面部光流，对所述第一初始虚拟对象进行网格采样，得到模拟所述目标表情的第一预估图像；基于所述第一图像特征，对所述第一预估图像进行修正，得到模拟所述目标表情的第二预估图像；基于所述第二预估图像和所述第二初始虚拟对象计算表情驱动损失函数的值；基于所述表情驱动损失函数的值更新所述第一卷积神经网络的参数，得到训练好的表情驱动模型。3.如权利要求2所述的虚拟对象的处理方法，其特征在于，所述第二初始虚拟对象包括第一类型图像和第二类型图像，所述第一类型图像是通过将所述第一初始虚拟对象以及所述表情参数输入第一图像模型得到的，所述第二类型图像是通过将所述第一初始虚拟对象以及所述表情参数输入第二图像模型得到的，所述第一类型图像和所述第二类型图像的面部干净程度不同。4.如权利要求2所述的虚拟对象的处理方法，其特征在于，还包括：从所述第一初始虚拟对象的中心位置开始，裁剪出预设范围内的图像，其中，所述预设范围是根据所述目标表情作用于所述第一初始虚拟对象时所引起的像素移动的范围来确定的；所述基于所述第一初始虚拟对象和所述表情参数，...

【专利技术属性】
技术研发人员：秦泽奎，李强，刘明聪，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：