一种角色运动状态预测方法、终端设备及存储介质技术

本发明专利技术涉及一种角色运动状态预测方法、终端设备及存储介质，该方法中包括：构建运动状态预测模型，将当前帧的运动状态数据输入模型后，对运动状态数据中不同维度的数据采用对应的特征编码方式进行编码，并将编码后的所有维度的特征拼接后得到当前帧的特征，将当前帧的特征更新至特征队列后，输入Time

【技术实现步骤摘要】
一种角色运动状态预测方法、终端设备及存储介质


[0001]本专利技术涉及动作生成领域，尤其涉及一种角色运动状态预测方法、终端设备及存储介质。

技术介绍

[0002]虽然大量动作捕捉数据的获取已经较为容易，但是实时数据驱动的可交互的虚拟角色运动生成依旧是一个具有挑战的任务。这是因为实时的任务需要更少的内存和更快的速度，并且能够处理大量的不需要预处理的运动数据，最重要的是虚拟角色运动与环境交互的真实感。尽管现在已有许多工作能够满足部分要求，但是整体仍然难以满足实际使用需求。
[0003]使用深度学习技术在运动生成领域取得了喜人的进展，但与环境更好的交互仍然是一个未解决的问题，因为模型需要更高层次的环境场景理解和流畅的复杂运动切换，才能够适应三维人体的运动。

技术实现思路

[0004]为了解决上述问题，本专利技术提出了一种角色运动状态预测方法、终端设备及存储介质。
[0005]具体方案如下：
[0006]一种角色运动状态预测方法，包括以下步骤：
[0007]S1：采集一段历史时间内的运动状态数据组成动作序列，其中，运动状态数据由角色信息、轨迹信息、目标信息、交互信息和环境信息五个维度的数据组成；
[0008]S2：构建运动状态预测模型，将当前帧的运动状态数据输入模型后，对运动状态数据中不同维度的数据采用对应的特征编码方式进行编码，并将编码后的所有维度的特征拼接后得到当前帧的特征，将当前帧的特征更新至特征队列后，输入Time
‑
Transfor网络得到最终特征；将最终特征输入双层MLP模块得到下一帧的预测运动状态数据；通过采集的动作序列对模型进行训练，得到训练后的模型；
[0009]S3：通过训练后的模型进行运动状态预测。
[0010]进一步的，角色信息由角色的骨骼位置、骨骼旋转角度和骨骼的速度组成；轨迹信息由轨迹坐标和轨迹朝向的角度组成；目标信息由角色运动到目标的位置、角色运动到目标的角度和角色运动到目标的运动类型组成。
[0011]进一步的，交互信息的采集方式为：
[0012]对与角色交互的目标物体建立包围其的最小的感知立方体，并将感知立方体在长宽高方向进行分割，得到多个小立方体，将每个小立方体作为一个采样立方体；
[0013]根据目标物体与采样立方体的结构关系，计算每个采样立方体对应的交互信息的值；
[0014]基于所有采样立方体的交互信息的值，得到角色对应的交互信息的值。
[0015]进一步的，根据目标物体与采样立方体的结构关系，计算每个采样立方体对应的交互信息的值的方法为：当采样立方体的中心点处于目标物体内部时，该采样立方体的交互信息的值设为1；当采样立方体内不存在目标物体时，该采样立方体的交互信息的值设为0；其他情况下根据采样立方体的中心点与目标物体的最短距离d和采样立方体的边长a计算该采样立方体的交互信息的值I
ijl
：
[0016]进一步的，环境信息的采集方式为：
[0017]建立包围角色周围环境的感知立方体，并将感知立方体在长宽高方向进行分割，得到多个小立方体，将每个小立方体作为一个采样立方体；
[0018]根据目标物体与采样立方体的结构关系，计算每个采样立方体对应的环境信息的值；
[0019]基于所有采样立方体的环境信息的值，得到角色对应的环境信息的值。
[0020]进一步的，角色信息采用Skeleton
‑
Transformer网络进行编码；轨迹信息和目标信息采用线性卷积方式在时间维度上进行三次一维卷积运算获得。
[0021]进一步的，交互信息和环境信息的编码均采用3次三维卷积运算获得。
[0022]进一步的，步骤S3在进行运动状态预测时，角色信息中的骨骼位置采用模型根据前一时刻的运动状态数据输出的预测骨骼位置与根据前一时刻的运动状态数据中的骨骼的速度与预测时间间隔的乘积的平均值。
[0023]一种角色运动状态预测终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术实施例上述的方法的步骤。
[0024]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例上述的方法的步骤。
[0025]本专利技术采用如上技术方案，通过更加符合的多类型编码器，能够更好的学习不同类型的输入特征；利用Transformer模型能够比之前的模型获得更好的预测结果，能够生成更加自然和稳定的动作。
附图说明
[0026]图1所示为本专利技术实施例一的流程图。
[0027]图2所示为该实施例中模型编码部分的网络结构示意图。
[0028]图3所示为该实施例中模型的预测部分的网络结构示意图。
具体实施方式
[0029]为进一步说明各实施例，本专利技术提供有附图。这些附图为本专利技术揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本专利技术的优点。
[0030]现结合附图和具体实施方式对本专利技术进一步说明。
[0031]实施例一：
[0032]本专利技术实施例提供了一种角色运动状态预测方法，如图1所示，所述方法包括以下
步骤：
[0033]S1：采集一段历史时间内的运动状态数据组成动作序列。
[0034]本实施例中定义动作序列为S＝X1,X2,
…
,X
N
}是一条由N个连续的运动状态数据组成的动作序列，运动状态数据X
i
由角色信息J
i
，轨迹信息T
i
，目标信息G
i
，交互信息I
i
和环境信息E
i
组成，即X
i
＝{J
i
,T
i
,G
i
,I
i
,E
i
}。其中，角色信息J
i
由角色的骨骼位置骨骼旋转角度和骨骼的速度组成，即其中骨骼信息由24个骨骼点构成；轨迹信息T
i
由轨迹坐标和轨迹朝向的角度组成,即目标信息G
i
由角色运动到目标的位置角色运动到目标的角度和角色运动到目标的运动类型组成，即
[0035]交互信息I
i
和环境信息E
i
均采用三维建模的方式进行采集，具体的：
[0036]交互信息的采集方式为：对与角色交互的目标物体建立包围其的最小的感知立方体，并将感知立方体在长宽高方向进行分割(该实施例中分割为8份)，得到多个(512个)小立方体，得到交互信息I∈R8×8×8，将每个小立方体作为一个采样立方体。根据目标物体与采样立方体的结构关系，计算每个采样立方体对应的交互信息的值。基于所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种角色运动状态预测方法，其特征在于，包括以下步骤：S1：采集一段历史时间内的运动状态数据组成动作序列，其中，运动状态数据由角色信息、轨迹信息、目标信息、交互信息和环境信息五个维度的数据组成；S2：构建运动状态预测模型，将当前帧的运动状态数据输入模型后，对运动状态数据中不同维度的数据采用对应的特征编码方式进行编码，并将编码后的所有维度的特征拼接后得到当前帧的特征，将当前帧的特征更新至特征队列后，输入Time
‑
Transfor网络得到最终特征；将最终特征输入双层MLP模块得到下一帧的预测运动状态数据；通过采集的动作序列对模型进行训练，得到训练后的模型；S3：通过训练后的模型进行运动状态预测。2.根据权利要求1所述的角色运动状态预测方法，其特征在于：角色信息由角色的骨骼位置、骨骼旋转角度和骨骼的速度组成；轨迹信息由轨迹坐标和轨迹朝向的角度组成；目标信息由角色运动到目标的位置、角色运动到目标的角度和角色运动到目标的运动类型组成。3.根据权利要求1所述的角色运动状态预测方法，其特征在于：交互信息的采集方式为：对与角色交互的目标物体建立包围其的最小的感知立方体，并将感知立方体在长宽高方向进行分割，得到多个小立方体，将每个小立方体作为一个采样立方体；根据目标物体与采样立方体的结构关系，计算每个采样立方体对应的交互信息的值；基于所有采样立方体的交互信息的值，得到角色对应的交互信息的值。4.根据权利要求3所述的角色运动状态预测方法，其特征在于：根据目标物体与采样立方体的结构关系，计算每个采样立方体对应的交互信息的值的方法为：当采样立方体的中心点处于目标物体内部时，该采样立方体的交互信息的值设为1；当采样立方体内不存在目标...

【专利技术属性】
技术研发人员：余炬波，郭诗辉，
申请(专利权)人：厦门大学，
类型：发明
国别省市：