基于运动时序特征编码的人体动作识别与预测方法技术

本发明专利技术适用于动作识别与预测技术领域，提供了基于运动时序特征编码的人体动作识别与预测方法，所述方法包括：建立人体骨架模型，基于人体骨架模型构建动作序列；根据自动分割模型对动作序列进行分割，得到子动作序列；根据聚类算法对子动作序列进行关键帧提取；将关键帧进行编码赋值，得到关键帧对应数字序列的编码表；基于注意力机制，重新分配普通帧和关键帧的权重比例；根据长短期记忆循环神经网络和注意力机制，构建人体动作识别模型；获取测试动作序列，根据人体动作识别模型，得到动作识别结果，本申请对于人体的行为动作序列，利用关键帧对运动序列进行描述，可以有效的提高模型的识别与预测效率

【技术实现步骤摘要】
基于运动时序特征编码的人体动作识别与预测方法


[0001]本申请属于动作识别与预测
，尤其涉及基于运动时序特征编码的人体动作识别与预测方法
。

技术介绍

[0002]机器人或人工智能系统与人类主导的城市环境的无缝交互需要一定的行为识别和预测能力，高效的动作识别与预测的相关技术有助于智能系统更好的理解人类的意图和行为
。
[0003]Meng
等人提出了一种适用于安全系统
、
人机交互和智能环境的嵌入式计算机视觉应用的人体动作识别系统
。
利用分层运动历史直方图特征来表示运动信息，提取一个低维特征向量并将其应用到基于支持向量机分类器的人体动作识别系统
。A.AravindKumar
设计了基于视频分析的人体活动识别系统，主要运用了一种使用跟踪像素点的轨迹的方法，该方法利用信号处理技术找出它们的属性，提取其中的特征，用支持向量机对数据进行训练，最终对新视频进行分类
。
[0004]但是，基于
3D
人体姿态的运动生成模型通常局限于少数活动，难以很好地推广到新的运动或应用
。
通常是对每帧获取直方图然后进行计算，整个过程实时性较差，同时在跟踪过程中，需要手动选择感兴趣的点或区域进行匹配，当区域旋转或改变其形状时，某些点可能会丢失，对特征提取的影响较大
。

技术实现思路

[0005]本申请实施例的目的在于提供基于运动时序特征编码的人体动作识别方法，旨在解决基于
3D
人体姿态的运动生成模型通常局限于少数活动，难以很好地推广到新的运动或应用
。
[0006]本申请实施例是这样实现的，基于运动时序特征编码的人体动作识别方法，所述方法包括：
[0007]建立人体骨架模型，基于所述人体骨架模型构建动作序列；
[0008]根据自动分割模型对所述动作序列进行分割，得到子动作序列；
[0009]根据聚类算法对所述子动作序列进行关键帧提取；
[0010]将所述关键帧进行编码赋值，得到关键帧对应数字序列的编码表；
[0011]基于注意力机制，重新分配普通帧和关键帧的权重比例；所述注意力机制是加权求和并重新分配权重；
[0012]根据长短期记忆循环神经网络和所述注意力机制，构建人体动作识别模型
。
[0013]本申请实施例的另一目的在于基于运动时序特征编码的人体动作预测方法，所述方法包括：
[0014]获取动作序列；
[0015]根据自动分割模型对所述动作序列进行分割，得到子动作序列；
[0016]根据聚类算法对所述子动作序列进行关键帧提取；
[0017]将所述关键帧进行编码赋值，得到关键帧对应数字序列的编码表；
[0018]基于隐马尔可夫模型，根据所述编码表训练与优化隐马尔可夫模型参数；
[0019]通过基于关键帧的
NG
‑
HMM
模型，对动作序列进行预测
。
[0020]本申请实施例提供的基于运动时序特征编码的人体动作识别方法，通过建立人体骨架模型，基于所述人体骨架模型构建动作序列，在人体肢体运动过程中，根据运动的不同语义和姿态，可以得到肢骨的角度信息和空间位置信息；根据自动分割模型对所述动作序列进行分割，得到子动作序列，将在时间序列上的预测和拟合特性与人体运动在时间序列上的规律性相结合，更加符合运动规律，克服了传统模型仅适用于短期运动序列预测的局限性，允许模型对长期运动序列进行分割；根据聚类算法对所述子动作序列进行关键帧提取，可以简单的实现关键帧的提取，同时有不错的聚类效果，能够有效的将运动序列中的相似帧进行归类达到关键帧提取的目的；通过将所述关键帧进行编码赋值，得到关键帧对应数字序列的编码表，使得原来的表示动作姿态的动作序列被变换成数字序列，减少计算复杂度以提高人体动作的识别率；通过基于注意力机制，重新分配普通帧和关键帧的权重比例，聚合具有不同权重的运动特征表示，以减少信息碎片，将注意力引入人体动作序列中，使其赋予关键帧更多的注意，可以更加有效的进行人体动作的识别；根据长短期记忆循环神经网络和所述注意力机制，构建人体动作识别模型，权重值大的帧会获取更大的网络训练比例，携带更多有用信息的帧更有可能作为识别结果输出
。
极大的提高了数据利用率和识别模型的性能
。
附图说明
[0021]图1为本申请实施例提供的基于运动时序特征编码的人体动作识别方法的流程图；
[0022]图2为本申请实施例提供的基于运动时序特征编码的人体动作识别方法的行走运动状态中的人体四肢骨段的角度特征图；
[0023]图3为本申请实施例提供的基于运动时序特征编码的人体动作识别方法的注意关键帧后的行走动作序列图；
[0024]图4为本申请实施例提供的基于运动时序特征编码的人体动作识别方法的人体骨骼和欧拉角；
[0025]图5为本申请实施例提供的基于运动时序特征编码的人体动作识别方法的
LSTM
网格架构图；
[0026]图6为本申请实施例提供的基于运动时序特征编码的人体动作预测方法的流程图；
[0027]图7为本申请实施例提供的基于运动时序特征编码的人体动作预测方法的
NG
‑
HMM
模型结构图；
[0028]图8为本申请实施例提供的基于运动时序特征编码的人体动作识别与预测方法的运动数据采集图
。
[0029]图9为一个实施例中计算机设备的内部结构框图
。
具体实施方式
[0030]为了使本申请的目的
、
技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明
。
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请
。
[0031]可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制
。
这些术语仅用于将第一个元件与另一个元件区分
。
举例来说，在不脱离本申请的范围的情况下，可以将第一
xx
脚本称为第二
xx
脚本，且类似地，可将第二
xx
脚本称为第一
xx
脚本
。
[0032]如图1所示，在一个实施例中，提出了一种基于运动时序特征编码的人体动作识别方法，具体可以包括以下步骤：
[0033]步骤
S102
，建立人体骨架模型，基于所述人体骨架模型构建动作序列；
[0034]在本申请实施例中，针对人体动作的识别方法，首先是采集和处理不同行为动作的运动数据
。
在人体肢体运动过程中，根据运动的不同语义和姿态，可以得到肢骨的角度信息和空间位置信息
。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于运动时序特征编码的人体动作识别方法，其特征在于，所述方法包括：建立人体骨架模型，基于所述人体骨架模型构建动作序列；根据自动分割模型对所述动作序列进行分割，得到子动作序列；根据聚类算法对所述子动作序列进行关键帧提取；将所述关键帧进行编码赋值，得到所述关键帧对应数字序列的编码表；基于注意力机制，重新分配普通帧和关键帧的权重比例；所述注意力机制是加权求和并重新分配权重；根据长短期记忆循环神经网络和所述注意力机制，构建人体动作识别模型
。2.
根据权利要求1所述的基于运动时序特征编码的人体动作识别方法，其特征在于，所述建立人体骨架模型，基于所述人体骨架模型构建动作序列，包括以下步骤：选择髋部作为人体骨架模型的根节点；基于所述根节点，用空间位置坐标表示其他节点的位置；使用特征向量描述所述人体骨架模型的动作；多个动作组成动作序列
。3.
根据权利要求1所述的基于运动时序特征编码的人体动作识别方法，其特征在于，所述根据自动分割模型对所述动作序列进行分割，得到子动作序列，包括以下步骤：将动作序列与自动分割模型进行拟合；选择分割窗口，根据所述自动分割模型计算分割点，得到子动作序列
。4.
根据权利要求1所述的基于运动时序特征编码的人体动作识别方法，其特征在于，所述根据聚类算法对所述子动作序列进行关键帧提取，包括：将子动作序列分为多个类簇，计算得到类簇的均值向量，所述类簇的维度相同，类簇内平方误差和最小；基于欧几里得距离公式，重新计算类簇的均值向量，得到确定均值向量；将确定均值向量作为所述子动作序列的关键帧，并提取
。5.
根据权利要求1所述的基于运动时序特征编码的人体动作识别方法，其特征在于，所述将所述关键帧进行编码赋值，得到关键帧对应数字序列的编码表，包括：确定关键帧的动作类型和关键姿态；基于码表，赋予关键帧对应的数字序列，所述码表包含了所有动作类型和关键姿态对应的数字序列
。6.
根据权利要求1所述的基于运动时序特征编码的人体动作识别方法，其特征在于，所述基于注意力机制，重新分配普通帧和关键帧的权重比例，包括：确定子动作序列中普通帧与关键帧的相...

【专利技术属性】
技术研发人员：柳凌峰，李淑琴，肖勇，廖海斌，邱吉刚，谭杰，
申请(专利权)人：江西珉轩智能科技有限公司，
类型：发明
国别省市：