过渡帧生成方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种过渡帧生成方法、装置、设备及存储介质，应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。在生成起始帧和目标帧之间的过渡帧时，根据起始帧中目标对象的动作信息、目标帧中目标对象的动作信息以及目标帧数，获取目标对象的动作变化特征和预测目标关节速度，来对目标对象在起始帧与目标帧之间的过渡动作进行预测，以生成过渡帧。在这一过程中，由于不同关节在动作生成中具有不同的重要性，而目标关节速度则很大程度决定了目标对象在下一帧中的位置，因此通过获取预测目标关节速度来进一步预测目标对象的过渡动作，能够得到更加准确的动作信息，从而生成平滑、自然的过渡帧序列，有效提高了过渡帧质量。有效提高了过渡帧质量。有效提高了过渡帧质量。

【技术实现步骤摘要】
过渡帧生成方法、装置、设备及存储介质


[0001]本申请涉及人工智能
，特别涉及一种过渡帧生成方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网技术的快速发展，电影、游戏等产业对高质量角色动画的需求日益增长。目前，在制作角色动画时，角色动作越密集，生成的角色动画越流畅，因此，在根据角色运动或变化过程中的关键动作生成关键帧之后，往往会对相邻关键帧之间的过渡动作进行预测，从而生成指定数目的过渡帧。
[0003]相关技术中，采用在相邻两个关键帧之间进行线性插值的方式，来预测目标对象的过渡动作，从而生成两个关键帧之间的过渡帧。然而，这种方法仅适用于过渡时间短、过渡帧数目少以及动作简单的动作预测，缺少泛用性，在关键帧数量较少或者动作较为复杂的情况下，容易生成不自然、不合理的过渡帧。
[0004]因此，亟需一种能够有效提升过渡帧质量的过渡帧生成方法。

技术实现思路

[0005]本申请实施例提供了一种过渡帧生成方法、装置、设备及存储介质，能够得到平滑、自然的过渡帧序列，有效提高过渡帧质量。该技术方案如下：
[0006]一方面，提供了一种过渡帧生成方法，该方法包括：
[0007]获取起始帧中目标对象的动作信息、目标帧中目标对象的动作信息以及目标帧数，该目标帧数指示该起始帧与该目标帧之间的过渡帧数目；
[0008]基于该起始帧中目标对象的动作信息、该目标帧中目标对象的动作信息以及该目标帧数，获取该目标对象的动作变化特征和预测目标关节速度，该动作变化特征指示该目标对象在该起始帧与该目标帧之间的过渡动作相对于该起始帧中动作的变化；
[0009]基于该起始帧中目标对象的动作信息、该目标对象的动作变化特征和预测目标关节速度，对该过渡动作进行预测，以生成过渡帧。
[0010]另一方面，提供了一种过渡帧生成装置，该装置包括：
[0011]第一获取模块，用于获取起始帧中目标对象的动作信息、目标帧中目标对象的动作信息以及目标帧数，该目标帧数指示该起始帧与该目标帧之间的过渡帧数目；
[0012]第二获取模块，用于基于该起始帧中目标对象的动作信息、该目标帧中目标对象的动作信息以及该目标帧数，获取该目标对象的动作变化特征和预测目标关节速度，该动作变化特征指示该目标对象在该起始帧与该目标帧之间的过渡动作相对于该起始帧中动作的变化；
[0013]过渡帧生成模块，用于基于该起始帧中目标对象的动作信息、该目标对象的动作变化特征和预测目标关节速度，对该过渡动作进行预测，以生成过渡帧。
[0014]在一些实施例中，该过渡帧生成模块，用于：
[0015]将该起始帧中目标对象的动作信息、该目标对象的动作变化特征和预测目标关节速度，输入动作预测模型的第二子模型，得到该目标对象的多个子动作信息，该子动作信息为基于该目标对象所处的运动阶段预测得到的动作信息；
[0016]基于多个目标权重，对该多个子动作信息进行加权求和，得到该目标对象基于该过渡动作的动作信息，以生成该过渡帧。
[0017]在一些实施例中，该过渡帧生成模块，用于：
[0018]将该起始帧中目标对象的动作信息、该目标对象的动作变化特征和预测目标关节速度，输入该第二子模型，基于该第二子模型中动作流形空间与对象动作信息之间的映射关系，将该动作变化特征映射为对应的动作信息，得到该目标对象的预测关节位置和预测关节速度，该动作流形空间指示对象在连续两个动作对应的帧中的动作变化；
[0019]基于该起始帧中目标对象的动作信息、该目标对象的预测关节位置、预测关节速度以及该预测目标关节速度，得到该多个子动作信息。
[0020]在一些实施例中，该装置还包括：
[0021]第一训练模块，用于基于样本数据集和标签信息，对动作预测模型中的第二子模型进行训练，得到训练后的该第二子模型，该样本数据集包括样本对象基于多个连续动作的样本帧，该标签信息指示样本帧中样本对象的样本目标关节速度；
[0022]第二训练模块，用于基于该样本数据集和训练后的该第二子模型，对该动作预测模型中的第一子模型进行训练，得到训练后的该第一子模型。
[0023]在一些实施例中，该第一训练模块，包括：
[0024]第一训练单元，用于基于该样本数据集、该标签信息以及第一损失函数，对向量编码模型和该第二子模型的模型参数进行更新，直至满足第一训练条件，得到中间向量编码模型和中间第二子模型，该向量编码模型用于基于第m个样本帧和第m+1个样本帧，输出该第m+1个样本帧的预测动作变化特征，m为正整数；
[0025]第二训练单元，用于基于该样本数据集、该标签信息以及第二损失函数，对该中间向量编码模型和该中间第二子模型的模型参数进行更新，直至满足第二训练条件，得到训练后的该向量编码模型和训练后的该第二子模型；
[0026]其中，该第一损失函数指示样本帧的动作重构损失和信息散度，该第二损失函数指示样本帧的动作重构损失、信息散度、脚步滑动损失以及骨骼长度损失。
[0027]在一些实施例中，该第一训练单元，用于：
[0028]基于第m个样本帧、第m+1个样本帧、该标签信息、该向量编码模型以及该第二子模型，获取该第m+1个样本帧的动作重构损失值；
[0029]基于第m个样本帧、第m+1个样本帧以及该向量编码模型，获取该第m+1个样本帧的信息散度；
[0030]基于该动作重构损失值和该信息散度，对该向量编码模型和该第二子模型的模型参数进行更新，直至满足该第一训练条件，得到该中间向量编码模型和该中间第二子模型。
[0031]在一些实施例中，该第二训练单元，用于：
[0032]基于第m个样本帧、第m+1个样本帧、该标签信息、该中间向量编码模型以及该中间第二子模型，获取该第m+1个样本帧的动作重构损失值、脚步滑动损失值以及骨骼长度损失值；
[0033]基于第m个样本帧、第m+1个样本帧以及该向量编码模型，获取该第m+1个样本帧的信息散度；
[0034]基于该动作重构损失值、该脚步滑动损失值、该骨骼长度损失值以及该信息散度，对该中间向量编码模型和该中间第二子模型的模型参数进行更新，直至满足该第二训练条件，得到训练后的该向量编码模型和训练后的该第二子模型。
[0035]在一些实施例中，该第二训练模块，用于：
[0036]基于样本起始帧、样本目标帧、样本目标帧数、该第一子模型以及训练后的该第二子模型，获取样本起始帧和样本目标帧之间的样本过渡帧的关节旋转损失值、关节位置损失值以及骨骼旋转损失值，该样本目标帧数指示该样本起始帧和该样本目标帧之间的样本过渡帧数目；
[0037]基于该关节旋转损失值、该关节位置损失值以及该骨骼旋转损失值，对该第一子模型的模型参数进行更新，直至满足训练结束条件，得到训练后的该第一子模型。
[0038]另一方面，提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器用于存储至少一条计算机程序，该至少一段本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种过渡帧生成方法，其特征在于，所述方法包括：获取起始帧中目标对象的动作信息、目标帧中目标对象的动作信息以及目标帧数，所述目标帧数指示所述起始帧与所述目标帧之间的过渡帧数目；基于所述起始帧中目标对象的动作信息、所述目标帧中目标对象的动作信息以及所述目标帧数，获取所述目标对象的动作变化特征和预测目标关节速度，所述动作变化特征指示所述目标对象在所述起始帧与所述目标帧之间的过渡动作相对于所述起始帧中动作的变化；基于所述起始帧中目标对象的动作信息、所述目标对象的动作变化特征和预测目标关节速度，对所述过渡动作进行预测，以生成过渡帧。2.根据权利要求1所述的方法，其特征在于，所述基于所述起始帧中目标对象的动作信息、所述目标帧中目标对象的动作信息以及所述目标帧数，获取所述目标对象的动作变化特征和预测目标关节速度，包括：将所述起始帧中目标对象的动作信息、所述目标帧中目标对象的动作信息以及所述目标帧数，输入动作预测模型的第一子模型，得到所述起始帧和所述目标帧之间的偏移量嵌入向量、所述起始帧的嵌入向量以及所述目标帧的嵌入向量；基于所述偏移量嵌入向量、所述起始帧的嵌入向量、所述目标帧的嵌入向量以及所述目标帧数，对所述目标对象的过渡动作相对于所述起始帧中动作的变化和所述目标对象的髋关节速度进行预测，得到所述动作变化特征和所述预测目标关节速度。3.根据权利要求1所述的方法，其特征在于，所述基于所述起始帧中目标对象的动作信息、所述目标对象的动作变化特征和预测目标关节速度，对所述过渡动作进行预测，以生成过渡帧，包括：将所述起始帧中目标对象的动作信息、所述目标对象的动作变化特征和预测目标关节速度，输入动作预测模型的第二子模型，得到所述目标对象的多个子动作信息，所述子动作信息为基于所述目标对象所处的运动阶段预测得到的动作信息；基于多个目标权重，对所述多个子动作信息进行加权求和，得到所述目标对象基于所述过渡动作的动作信息，以生成所述过渡帧。4.根据权利要求3所述的方法，其特征在于，所述将所述起始帧中目标对象的动作信息、所述目标对象的动作变化特征和预测目标关节速度，输入动作预测模型的第二子模型，得到所述目标对象的多个子动作信息，包括：将所述起始帧中目标对象的动作信息、所述目标对象的动作变化特征和预测目标关节速度，输入所述第二子模型，基于所述第二子模型中动作流形空间与对象动作信息之间的映射关系，将所述动作变化特征映射为对应的动作信息，得到所述目标对象的预测关节位置和预测关节速度，所述动作流形空间指示对象在连续两个动作对应的帧中的动作变化；基于所述起始帧中目标对象的动作信息、所述目标对象的预测关节位置、预测关节速度以及所述预测目标关节速度，得到所述多个子动作信息。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于样本数据集和标签信息，对动作预测模型中的第二子模型进行训练，得到训练后的所述第二子模型，所述样本数据集包括样本对象基于多个连续动作的样本帧，所述标签信息指示样本帧中样本对象的样本目标关节速度；
基于所述样本数据集和训练后的所述第二子模型，对所述动作预测模型中的第一子模型进行训练，得到训练后的所述第一子模型。6.根据权利要求5所述的方法，其特征在于，所述基于样本数据集和标签信息，对动作预测模型中的第二子模型进行训练，得到训练后的所述第二子模型，包括：基于所述样本数据集、所述标签信息以及第一损失函数，对向量编码模型和所述第二子模型的模型参数进行更新，直至满足第一训练条件，得到中间向量编码模型和中间第二子模型，所述向量编码模型用于基于第m个样本帧和第m+1个样本帧，输出所述第m+1个样本帧的预测动作变化特征，m为正整数；基于所述样本数据集、所述标签信息以及第二损失函数，对所述中间向量编码模型和所述中间第二子模型的模型参数进行更新，直至满足第二训练条件，得到训练后的所述向量编码模型和训练后的所述第二子模型；其中，所述第一损失函数指示样本帧的动作重构损失和信息散度，所述第二损失函数指示样本帧的动作重构损失、信息散度、脚步滑动损失以及骨骼长度损失。7.根据权利要求6所述的方法，其特征在于，所述基于所述样本数据集、所述标签信息以及第一损失函数，对向量编码模型和所述第二子模型的模型参数进行更新，直至满足第一训练条件，得到中间向量编码模型和中间第二子模型，包括：基于第m个样本帧、第m+1个样本帧、所述标签信息、所述向量编码模型以及所述第...

【专利技术属性】
技术研发人员：唐祥峻，金小刚，易芮帆，寇启龙，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：