本申请公开了一种基于弱监督与LSTM的3D运动预测方法及装置，其方法包括：获取被测对象的原始运动数据；对原始运动数据进行预处理，获得被测对象的原始运动时间序列；对原始运动时间序列进行弱监督学习，获得被测对象的历史运动时间序列；将历史运动时间序列输入预先训练的LSTM神经网络模型，获得被测对象的预测运动时间序列。本发明专利技术具有优点：(1)使用部分过渡动作序列进行3D运动预测，可有效降低数据获取的难度；(2)利用长短期记忆网络捕捉人体运动序列的时空依赖关系，提高了3D人体运动的预测精度；(3)所需计算资源与传统的基于全监督学习的3D运动预测方法相比更低，可以在多种场景下应用。场景下应用。场景下应用。
【技术实现步骤摘要】
一种基于弱监督与LSTM的3D运动预测方法及装置
[0001]本专利技术涉及人体运动分析
，尤其涉及一种基于弱监督与LSTM的3D运动预测方法及装置。
技术介绍
[0002]传统的3D人体运动预测方法通常需要大量标注好的数据进行训练，由于采集3D人体运动数据比较困难和昂贵，这种方法在实际应用中难以实现。预测3D人体运动也需要考虑很多复杂因素，如关节限制、身体姿势、人体形状等。同时，由于每个人的形态都有所不同，采集到的数据也存在差异性，添加异常数据样本容易使得模型过拟合和欠拟合。
[0003]而基于弱监督学习的方法可以利用不是精确标注的数据进行训练，极大地提高了模型的可扩展性。人体的运动过程通常都是非线性复杂的过程，传统的线性模型通常不能很好地拟合这些运动模式，长短期记忆网络作为一种能够捕捉时间序列信息的神经网络，在学习时序序列数据方面具有优势，可以有效地应用于3D人体运动预测任务中。利用这些技术，我们可以更加准确地预测人体运动。一方面，捕获3D人体运动中的时空信息需要一个快速、准确、可扩展的模型来处理2D图像或视频序列中的人体运动信息。另一方面，提高模型的鲁棒性和准确性需要充分利用场景上下文信息、人体关键点和相机位置等辅助信息。
[0004]因此，亟需一种人体运动预测方法，以便于将数据集的格式化为适合用于模型输入的正确格式，通过调整一系列参数来匹配已知数据，提升计算效率，节省训练时间，保证较高的模型精度，得到更丰富的场景信息和上下文，实现对未来多个人体运动的预测。
技术实现思路
[0005]基于此，有必要针对现有的问题，提供一种基于弱监督与LSTM的3D运动预测方法及装置。
[0006]第一方面，本申请实施例提供了一种基于弱监督与LSTM的3D运动预测方法，所述方法包括：
[0007]一种基于弱监督与LSTM的3D运动预测方法，其特征在于，包括如下步骤：
[0008]获取被测对象的原始运动数据；
[0009]对所述原始运动数据进行预处理，获得所述被测对象的原始运动时间序列；
[0010]对所述原始运动时间序列进行弱监督学习，获得所述被测对象的历史运动时间序列；
[0011]将所述历史运动时间序列输入预先训练的LSTM神经网络模型，获得所述被测对象的预测运动时间序列。
[0012]优选地，所述原始运动数据为所述被测对象在多个不同时间步的3D人体运动数据的集合。
[0013]优选地，对所述原始运动数据进行预处理，获得所述被测对象的原始运动时间序列，包括：
[0014]将所述原始运动数据转换为在笛卡尔坐标系下标准运动数据；
[0015]将标准运动数据在多个不同时间步t的运动数据在一个大小为Δt的时间窗口内连接成数据帧F
t：(t+Δt
‑
1)
＝[f
t
，f
t+1
，...，f
t+Δt
‑1]，根据所述数据帧获取所述原始运动时间序列，所述原始运动时间序列包括输入帧窗口F
(t
‑
Δt+1)：t
和输出帧窗口F
(t+1)：(t+αt)
；
[0016]其中，t∈[Δt，(T
‑
Δt
‑
1)]，T是记录的时间长度，N
joints
是所述被测对象的运动关节数。
[0017]优选地，所述对所述原始运动时间序列进行弱监督学习，获得所述被测对象的历史运动时间序列，包括：
[0018]将所述输入帧窗口F
(t
‑
Δt+1)：t
和输出帧窗口F
(t+1)：(t+Δt)
在每个时间步上从当前帧开始遍历关键帧窗口，获得每个时间步的历史运动数据；
[0019]将所述被测对象的所有时间步对应的历史运动数据按照时间顺序排列，获得所述历史运动时间序列。
[0020]优选地，所述将所述被测对象的所有时间步对应的历史运动数据按照时间顺序排列，获得所述历史运动时间序列，包括：
[0021]将所述被测对象的最后L个动作X和预测的L个动作Y
′
串联起来，形成一个长度为2L的序列
[0022]将序列前m个DCT基进行近似，获得近似序列
[0023]将近似序列进行逆DCT变换，获得历史运动时间序列
[0024]其中，X＝[x1，x2，...，x
N
]为一个运动关节的历史运动数据，Y
′
＝[y
′1，y
′2，...，y
′
T
]为X在T0帧后的延续运动数据，T0＝f(x
N
，y
′1)，其中L，m≤N，D为编码低频DCT基，其中，为k维的实数向量空间。
[0025]优选地，所述LSTM神经网络模型包括三层LSTM神经网络。
[0026]优选地，所述LSTM神经网络模型的第一层神经网络为CNN，第二层神经网络为CNN，第三层为全连接网络。
[0027]优选地，所述将所述历史运动时间序列输入预先训练的LSTM神经网络模型，获得所述被测对象的预测运动时间序列，包括：
[0028]将所述历史运动时间序列中所有运动关节坐标依次进行向量拼接，获得一个运动长向量；
[0029]将所述运动长向量输入所述LSTM神经网络模型，获得所述被测对象的预测运动时间序列。
[0030]优选地，将所述运动长向量输入所述LSTM神经网络模型，获得所述被测对象的预测运动时间序列，包括：
[0031]将所述运动长向量输入第一层CNN网络进行特征提取，获得运动特征向量序列；
[0032]将所述运动特征向量序列输入第二层CNN网络进行函数激活与维度简化，获得简化运动特征向量序列；
[0033]将所述运动特征向量序列输入第二层CNN网络，利用Tanh函数将所述运动特征向
量序列进行非线性变换，获得特征值范围在
‑
1到1之间的激活运动特征向量，利用平均池化窗口对所述激活运动特征向量进行滑动并在每个窗口内求平均值，获得所述简化运动特征向量序列；
[0034]将所述简化运动特征向量序列输入第三层全连接网络，将所述简化运动特征向量序列在每个运动关节进行坐标分解，获得关节运动预测向量；将所述被测对象的所有运动关节点的关节运动预测向量进行整合，获得所述预测运动时间序列。
[0035]第二方面，本申请实施例提供了一种基于弱监督与LSTM的3D运动预测装置，包括：
[0036]数据获取单元，获取被测对象的原始运动数据；
[0037]预处理单元，对所述原始运动数据进行预处理，获得所述被测对象的原始运动时间序列；
[0038]弱监督学习单元，对所述原始运动时间序列进行弱监督学习，获得所述被测对象的历史运动时间序列；
[0039]神经网络学习单元，将所述历史运动时间序列输本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于弱监督与LSTM的3D运动预测方法，其特征在于，包括如下步骤：获取被测对象的原始运动数据；对所述原始运动数据进行预处理，获得所述被测对象的原始运动时间序列；对所述原始运动时间序列进行弱监督学习，获得所述被测对象的历史运动时间序列；将所述历史运动时间序列输入预先训练的LSTM神经网络模型，获得所述被测对象的预测运动时间序列。2.根据权利要求1所述的方法，其特征在于，所述原始运动数据为所述被测对象在多个不同时间步的3D人体运动数据的集合。3.根据权利要求2所述的方法，其特征在于，对所述原始运动数据进行预处理，获得所述被测对象的原始运动时间序列，包括：将所述原始运动数据转换为在笛卡尔坐标系下标准运动数据；将标准运动数据在多个不同时间步t的运动数据在一个大小为Δt的时间窗口内连接成数据帧F
t：(t+Δt
‑
1)
＝[f
t
，f
t+1
，...，f
t+Δt
‑1]，根据所述数据帧获取所述原始运动时间序列，所述原始运动时间序列包括输入帧窗口F
(t
‑
Δt+1)：t
和输出帧窗口F
(t+1)：(t+Δt)
；其中，t∈[Δt，(T
‑
Δt
‑
1)]，T是记录的时间长度，N
joints
是所述被测对象的运动关节数。4.根据权利要求3所述的方法，其特征在于，所述对所述原始运动时间序列进行弱监督学习，获得所述被测对象的历史运动时间序列，包括：将所述输入帧窗口F
(t
‑
Δt+1)：t
和输出帧窗口F
(t+1)：(t+Δt)
在每个时间步上从当前帧开始遍历关键帧窗口，获得每个时间步的历史运动数据；将所述被测对象的所有时间步对应的历史运动数据按照时间顺序排列，获得所述历史运动时间序列。5.根据权利要求4所述的方法，其特征在于，所述将所述被测对象的所有时间步对应的历史运动数据按照时间顺序排列，获得所述历史运动时间序列，包括：将所述被测对象的最后L个动作X和预测的L个动作Y
′
串联起来，形成一个长度为2L的序列将序列前m个DCT基进行近似，获得近似序列将近似序列进行逆DCT变换，获得历史运动时间序列其中，X＝[x...
【专利技术属性】
技术研发人员：任子良，靳苗苗，魏文红，秦勇，张福勇，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。