基于神经网络的动作生成方法、装置及计算设备制造方法及图纸

本申请实施例提供一种基于神经网络的动作生成方法、装置及计算设备，该方法包括：获取第i帧图像中目标物的动作信息和动作相位值，根据第i帧图像中目标物的动作信息和动作相位值，使用神经网络生成第i+1帧图像中目标物的动作信息和动作相位变化量；根据终端设备的播放帧率和预设采集帧率，确定第一帧率变化系数，并根据第一帧率变化系数，以及第i帧图像中目标物的动作相位值和第i+1帧图像中目标物的动作相位变化量，得到第i+1帧图像中目标物的动作相位值；根据第i+1帧图像中目标物的动作信息和动作相位值，使用神经网络生成第i+2帧图像中目标物的动作信息。实现变帧率环境下的动作生成，且存储负担小。且存储负担小。且存储负担小。

【技术实现步骤摘要】
基于神经网络的动作生成方法、装置及计算设备


[0001]本申请实施例涉及人工智能
，尤其涉及一种基于神经网络的动作生成方法、装置及计算设备。

技术介绍

[0002]动作生成在游戏制作和机器人规划和控制领域都有重要意义。动作生成技术主要有两类，一类是重复播放已有动作素材，另一类则利用神经网络对已有动作素材库进行学习，然后利用神经网络直接生成动作。
[0003]在实际应用中，由于网络同步、动作效果和硬件能力等的限制，动作的播放帧率会发生变化，这就要求动作生成技术必须能够适应变帧率的环境。目前利用神经网络生成动作的技术，通过维护多个不同帧率的模型，实现变帧率的环境动作的生成。
[0004]但是，维护多个不同帧率的模型需要耗费较多的存储资源。

技术实现思路

[0005]本申请实施例提供一种基于神经网络的动作生成方法、装置及计算设备，实现在变帧率环境下使用神经网络生成动作时，减小存储资源的耗费。
[0006]第一方面，本申请实施例提供一种基于神经网络的动作生成方法，包括：
[0007]获取第i帧图像中目标物的动作信息和动作相位值，所述i为正整数；
[0008]根据所述第i帧图像中所述目标物的动作信息和动作相位值，使用神经网络生成第i+1帧图像中所述目标物的动作信息和动作相位变化量；
[0009]根据所述第i+1帧图像中所述目标物的动作信息，在终端设备显示所述第i+1帧图像；
[0010]根据播放所述第i帧图像时终端设备的播放帧率和采集所述目标物的原始动作数据的预设采集帧率，确定第一帧率变化系数；
[0011]根据所述第一帧率变化系数，以及所述第i帧图像中所述目标物的动作相位值和所述第i+1帧图像中所述目标物的动作相位变化量，得到所述第i+1帧图像中所述目标物的动作相位值；
[0012]根据所述第i+1帧图像中所述目标物的动作信息和动作相位值，使用神经网络生成第i+2帧图像中所述目标物的动作信息。
[0013]可选的，所述动作信息包括所述目标物的骨骼关节信息、轨迹信息和目标点信息中的一个或多个。
[0014]例如，所述骨骼关节信息包括骨骼关节的位置、速度和方向中的一个或多个。
[0015]例如，所述轨迹信息包括位置、方向、动作类型和地形信息中的一个或多个。
[0016]例如，所述目标点信息包括所述目标点的位置、方向和动作类型中的一个或多个。
[0017]第二方面，本申请实施例提供一种基于神经网络的动作生成装置，包括：
[0018]获取单元，用于获取第i帧图像中目标物的动作信息和动作相位值，i为正整数；
[0019]第一生成单元，用于根据第i帧图像中目标物的动作信息和动作相位值，使用神经网络生成第i+1帧图像中目标物的动作信息和动作相位变化量；
[0020]显示单元，用于根据所述第i+1帧图像中所述目标物的动作信息，在终端设备显示所述第i+1帧图像；
[0021]第一确定单元，用于根据播放第i帧图像时终端设备的播放帧率和采集目标物的原始动作数据的预设采集帧率，确定第一帧率变化系数；
[0022]第二确定单元，用于根据第一帧率变化系数，以及第i帧图像中目标物的动作相位值和第i+1帧图像中目标物的动作相位变化量，得到第i+1帧图像中目标物的动作相位值；
[0023]第二生成单元，用于根据第i+1帧图像中目标物的动作信息和动作相位值，使用神经网络生成第i+2帧图像中目标物的动作信息。
[0024]本申请实施例的动作生成装置，可以用于执行上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0025]在一种可能的实现方式中，上述第二生成单元，具体用于根据第i+1帧图像中目标物的动作信息和动作相位值，使用神经网络生成第i+2帧图像中目标物的动作信息和动作相位变化量。
[0026]在一种可能的实现方式中，上述第二生成单元，具体用于获得用户输入的对目标物的控制指令；根据控制指令，生成目标物的第一动作信息；将第一动作信息和第i+1帧图像中目标物的动作信息进行融合，得到目标物的融合动作信息；将第i+1帧图像中目标物的动作相位值和融合动作信息输入神经网络，得到神经网络生成的第i+2帧图像中目标物的动作信息和动作相位变化量。
[0027]在一种可能的实现方式中，上述第二生成单元，具体用于将第i+1帧图像中目标物的动作信息和动作相位值进行混合，得到第一混合输入信息；将第一混合输入信息输入神经网络，得到神经网络生成第i+2帧图像中目标物的动作信息和动作相位变化量。
[0028]在一种可能的实现方式中，神经网络包括混合系数网络和主网络，上述第二生成单元，具体用于将第i+1帧图像中目标物的动作信息输入主网络，将第i+1帧图像中目标物的动作相位值输入混合系数网络，得到神经网络生成的第i+2帧图像中目标物的动作信息和动作相位变化量。
[0029]在一种可能的实现方式中，上述第二确定单元，具体用于根据第一帧率变化系数和第i+1帧图像中目标物的动作相位变化量，得到第二动作相位变化量；根据第二动作相位变化量和第i帧图像中目标物的动作相位值，得到第i+1帧图像中目标物的动作相位值。
[0030]在一种可能的实现方式中，上述第二确定单元，具体用于将第一帧率变化系数与第i+1帧图像中目标物的动作相位变化量的乘积，作为第二动作相位变化量。
[0031]在一种可能的实现方式中，上述第二确定单元，具体用于将第二动作相位变化量和第i帧图像中目标物的动作相位值之和，作为第i+1帧图像中目标物的动作相位值。
[0032]其中，第一帧率变化系数随着终端设备的播放帧率的增大而减小。
[0033]在一些实施例中，上述动作生成装置还包括训练单元：
[0034]训练单元，用于采集目标物的原始动作数据；对原始动作数据中的每一类型的动作进行动作相位标注，得到原始动作数据中每一帧图像中目标物的动作相位值；使用标注后的原始动作数据，对神经网络进行训练。
[0035]在一种可能的实现方式中，上述训练单元，具体用于针对原始动作数据中的每一类型动作，标注类型动作的关键点的动作相位值；根据类型动作的关键点的动作相位值进行插值，得到原始动作数据中每一帧图像中目标物关于类型动作的动作相位值。
[0036]在一种可能的实现方式中，上述训练单元，具体用于针对原始动作数据中的第一帧图像，将第一帧图像中目标物的原始动作信息和原始动作相位值输入神经网络，获得神经网络输出的第二帧图像中目标物的预测动作信息和预测动作相位变化量，第二帧图像为原始动作数据中第一帧图像的下一帧图像；根据第一帧图像中目标物的原始动作相位值和第二帧图像中目标物的预测动作相位变化量，得到第二帧图像中目标物的预测动作相位值；根据第二帧图像中目标物的原始动作信息和预测动作信息、以及原始动作相位值和预测动作相位值，对神经网络中的参数进行调整。
[0037]在一种可能的实现方式中，上述训练单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的动作生成方法，其特征在于，包括：获取第i帧图像中目标物的动作信息和动作相位值，所述i为正整数；根据所述第i帧图像中所述目标物的动作信息和动作相位值，使用神经网络生成第i+1帧图像中所述目标物的动作信息和动作相位变化量；根据所述第i+1帧图像中所述目标物的动作信息，在终端设备显示所述第i+1帧图像；根据播放所述第i帧图像时终端设备的播放帧率和采集所述目标物的原始动作数据的预设采集帧率，确定第一帧率变化系数；根据所述第一帧率变化系数，以及所述第i帧图像中所述目标物的动作相位值和所述第i+1帧图像中所述目标物的动作相位变化量，得到所述第i+1帧图像中所述目标物的动作相位值；根据所述第i+1帧图像中所述目标物的动作信息和动作相位值，使用神经网络生成第i+2帧图像中所述目标物的动作信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述第i+1帧图像中所述目标物的动作信息和动作相位值，使用神经网络生成第i+2帧图像中所述目标物的动作信息，包括：根据所述第i+1帧图像中所述目标物的动作信息和动作相位值，使用所述神经网络生成第i+2帧图像中所述目标物的动作信息和动作相位变化量。3.根据权利要求2所述的方法，其特征在于，所述根据所述第i+1帧图像中所述目标物的动作信息和动作相位值，使用所述神经网络生成第i+2帧图像中所述目标物的动作信息和动作相位变化量，包括：获得用户输入的对所述目标物的控制指令；根据所述控制指令，生成所述目标物的第一动作信息；将所述第一动作信息和所述第i+1帧图像中所述目标物的动作信息进行融合，得到所述目标物的融合动作信息；将所述第i+1帧图像中所述目标物的动作相位值和所述融合动作信息输入所述神经网络，得到所述神经网络生成的所述第i+2帧图像中所述目标物的动作信息和动作相位变化量。4.根据权利要求2所述的方法，其特征在于，所述根据所述第i+1帧图像中所述目标物的动作信息和动作相位值，使用所述神经网络生成第i+2帧图像中所述目标物的动作信息和动作相位变化量，包括：将所述第i+1帧图像中所述目标物的动作信息和动作相位值进行混合，得到第一混合输入信息；将所述第一混合输入信息输入所述神经网络，得到所述神经网络生成所述第i+2帧图像中所述目标物的动作信息和动作相位变化量。5.根据权利要求2所述的方法，其特征在于，所述神经网络包括混合系数网络和主网络，所述根据所述第i+1帧图像中所述目标物的动作信息和动作相位值，使用神经网络生成第i+2帧图像中所述目标物的动作信息和动作相位变化量，包括：将所述第i+1帧图像中所述目标物的动作信息输入所述主网络，将所述第i+1帧图像中所述目标物的动作相位值输入所述混合系数网络，得到所述神经网络生成的所述第i+2帧
图像中所述目标物的动作信息和动作相位变化量。6.根据权利要求1所述的方法，其特征在于，所述根据所述第一帧率变化系数，以及所述第i帧图像中所述目标物的动作相位值和所述第i+1帧图像中所述目标物的动作相位变化量，得到所述第i+1帧图像中所述目标物的动作相位值，包括：根据所述第一帧率变化系数和所述第i+1帧图像中所述目标物的动作相位变化量，得到第二动作相位变化量；根据所述第二动作相位变化量和所述第i帧图像中目标物的动作相位值，得到所述第i+1帧图像中所述目标物的动作相位值。7.根据权利要求6所述的方法，其特征在于，所述根据所述第一帧率变化系数和所述第i+1帧图像中所述目标物的动作相位变化量，得到第二动作相位变化量，包括：将所述第一帧率变化系数与所述第i+1帧图像中目标物的动作相位变化量的乘积，作为所述第二动作相位变化量。8.根据权利要求6所述的方法，其特征在于，所述根据所述第二动作相位变化量和所述第i帧图像中目标物的动作相位值，得到所述第i+1帧图像中所述目标物的动作相位值，包括：将所述第二动作相位变化量和所述第i帧图像中目标物的动作相...

【专利技术属性】
技术研发人员：周城，张冲，王天舟，李珽光，李世迪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：