动作识别系统及方法技术方案

本发明专利技术提供动作识别系统及方法。上述方法包括：在预测阶段，获取当前帧图像对应的姿态特征数据；姿态特征数据包括：人体骨架各关节点在当前帧的三维位置特征、角度特征和模值比特征；其中，角度特征包括：位置相关联的关节点之间所构成角度的角度值，以及，非关联关节点之间所构成角度的角度值；角度特征和模值比特征根据三维位置特征计算得到；将连续N帧图像的姿态特征数据，组合为动态特征数据；N为正整数；连续N帧图像包括：当前帧图像和当前帧图像之前的N‑1帧图像；将动态特征数据输入训练好的机器学习模型，由训练好的机器学习模型决策出识别结果；识别结果包括识别出的动作类别，识别出的动作类别属于多种预设动作类别中的一种。

【技术实现步骤摘要】
动作识别系统及方法
本专利技术涉及计算机领域，特别涉及一种动作识别系统及方法。
技术介绍
人体动作识别具有较高的应用价值，例如，在智能家居、3D游戏等人机交互场景中，都对人体动作识别存在需求。目前一种人体动作识别方式是基于深度学习模型进行分类的动作识别算法，将连续多帧图像输入深度学习模型，由深度学习网络自行提取特征并基于特征进行识别，此类算法复杂度高，原因之一是针对每一帧图像提取的特征一般上百维或几百维，无法达到实时性。
技术实现思路
有鉴于此，本专利技术实施例提供一种动作识别系统及方法，以提高动作识别的实时性。为实现上述目的，本专利技术实施例提供如下技术方案：一种动作识别方法，包括：在预测阶段，获取当前帧图像对应的姿态特征数据；所述姿态特征数据包括：人体骨架各关节点在当前帧的三维位置特征、角度特征和模值比特征；其中，所述角度特征包括：位置相关联的关节点之间所构成角度的角度值，以及，非关联关节点之间所构成角度的角度值；所述角度特征和模值比特征根据所述三维位置特征计算得到；将连续N帧图像的姿态特征数据，组合为动态特征数据；N为正整数；所述连续N帧图像包括：所述当前帧图像和所述当前帧图像之前的N-1帧图像；将所述动态特征数据输入训练好的机器学习模型，由所述训练好的机器学习模型决策出识别结果；所述识别结果包括识别出的动作类别，所述识别出的动作类别属于多种预设动作类别中的一种。可选的，所述人体骨架各关节点至少包括：头部中心骨骼点、肩中心骨骼点、肩关节点、肘关节点、手部关节点、脊柱点、胯部关节点、膝关节点和脚部关系点。可选的，位置相关联的关节点之间构成的角度包括：肩中心骨骼点、肩关节点和肘关节点构成的角度，肩关节点、肘关节点和手部关节点构成的角度，脊柱点、胯部关节点和膝盖关节点构成的角度，以及，胯部关节点、膝关节点和脚部关节点构成的角度；非相关联的关节点之间构成的角度包括：肩关节点、肘关节点和脊柱点构成的角度，肘关节点、手部关节点和脊柱点构成的角度，胯部关节点、膝盖关节点和脊柱点构成的角度，以及，膝关节点、脚部关节点和脊柱点构成的角度。可选的，所述肩关节点包括：第一肩关节点和第二肩关节点；所述肘关节点包括：第一肘关节点和第二肘关节点；所述手部关节点包括：第一腕关节点和第二腕关节点；所述胯部关节点包括：第一胯部关节点和第二胯部关节点；所述膝关节点包括：第一膝关节点和第二膝关节点；所述脚部关系点包括：第一踝关节点和第二踝关节点；所述第一肩关节点、第一肘关节点、第一腕关节点、第一胯部关节点、第一膝关节点和第一踝关节点位于同一侧；所述第二肩关节点、第二肘关节点、第二腕关节点、第二胯部关节点、第二膝关节点和第二踝关节点位于同一侧；所述模值比特征至少包括：第一至第八向量分别与基准向量的模值比；第一向量的端点包括：第一肩关节点和第一肘关节点；第二向量的端点包括：第一腕关节点和脊柱点；第三向量的端点包括：第二肩关节点和第二肘关节点；第四向量的端点包括：第二腕关节点和脊柱点；第五向量的端点包括：第一膝关节点和脊柱点；第六向量的端点包括：第一踝关节点和脊柱点；第七向量的端点包括：第二膝关节点和脊柱点；第八向量的端点包括：第二踝关节点和脊柱点；所述基准向量的端点则包括：头部中心骨骼点和肩中心骨骼点。可选的，还包括：在训练阶段，对机器学习模型执行多次迭代训练；其中，每一次迭代训练包括：机器学习模型基于训练集中图像样本进行学习，得到学习后的机器学习模型；其中，每一图像样本包括连续多帧图像及对应的标签，标签中的动作类别属于所述多种预设动作类别中的一种；将测试集中图像样本的动态特征数据输入学习后的机器学习模型，根据所述学习后的机器学习模型所输出的识别结果和图像样本的标签，对所述学习后的机器学习模型进行参数学习和优化。可选的，所述多种预设动作类别中的部分或全部动作类别为用户自定义动作类别。可选的，在进入训练阶段之前，还包括：接收用户输入的连续多帧图像；接收用户输入的标签设置信息；根据所述标签设置信息，为所述用户输入的连续多帧图像中的每一帧图像关联标签；其中，每一帧图像所关联的标签的内容包括：用户自定义的一种动作类别或代表无动作发生的类别；将对应同一类别的连续多帧图像划分为至少一个图像样本；将所述图像样本分配至训练集或测试集。可选的，在预测阶段，还包括：对所述识别结果进行后处理，以矫正识别出的动作类别。一种动作识别系统，包括特征提取模块、组合模块和动作识别模块；所述动作识别模块包括训练好的机器学习模型；其中：特征提取模块，用于：在预测阶段，获取当前帧图像对应的姿态特征数据；所述姿态特征数据包括：人体骨架各关节点在当前帧的三维位置特征、角度特征和模值比特征；其中，所述角度特征包括：位置相关联的关节点之间所构成角度的角度值，以及，非关联关节点之间所构成角度的角度值；所述角度特征和模值比特征根据所述三维位置特征计算得到；组合模块，用于将连续N帧图像的姿态特征数据，组合为动态特征数据，并将所述动态特征数据输入所述训练好的机器学习模型；N为正整数；所述连续N帧图像包括：所述当前帧图像和所述当前帧图像之前的N-1帧图像；所述训练好的机器学习模型用于：决策出识别结果；所述识别结果包括识别出的动作类别，所述识别出的动作类别属于多种预设动作类别中的一种。可选的，还包括：训练模块，用于：在训练阶段，对机器学习模型执行多次训练；其中，每一次迭代训练包括：机器学习模型基于训练集中的图像样本进行学习，得到学习后的机器学习模型；其中，每一图像样本包括连续多帧图像及对应的标签，标签中的动作类别属于所述多种预设动作类别中的一种；将测试集中的图像样本的动态特征数据输入学习后的机器学习模型，根据所述学习后的机器学习模型所输出的识别结果和图像样本的标签，对所述学习后的机器学习模型进行参数学习和优化。可见，在本专利技术实施例中，在使用机器学习模型进行动作识别之前，预先进行了特征提取，所提取的特下包括人体骨架各关节点的三维位置特征、角度特征和模值比特征。所提取的特征相对维度低，实时性好。同时，本专利技术实施例不仅提取了位置相关联的关节点间的角度值，还提取了非关联关节点(位置)间的角度关系，这使得特征的表征力更强，提升了识别效果，与现有方式相比，在降低特征维度的同时，还保证了识别的精准度。附图说明图1为本专利技术实施例提供的动作识别系统的一种示例性结构；图2为本专利技术实施例提供的人体骨架各关节点模型示意图；图3为本专利技术实施例提供的动作识别方法的一种示例性流程；图4为本专利技术实施例提供的迭代训练的示例性流程；图5为本专利技术实施例提供的动作识别方法的另一种示例性流程；图6为本专利技术实施例提供的迭代训练的另一示例性流程；图7为本专利技术实施例提供的动作识别系统的另一种示例性结构；图8a-8e为本专利技术实施例提供的识别结果的显示效果。具体实施方式为了引用和清楚起见，下文中使用的技术名词、简写或本文档来自技高网...

【技术保护点】
1.一种动作识别方法，其特征在于，包括：/n在预测阶段，获取当前帧图像对应的姿态特征数据；所述姿态特征数据包括：人体骨架各关节点在当前帧的三维位置特征、角度特征和模值比特征；其中，所述角度特征包括：位置相关联的关节点之间所构成角度的角度值，以及，非关联关节点之间所构成角度的角度值；所述角度特征和模值比特征根据所述三维位置特征计算得到；/n将连续N帧图像的姿态特征数据，组合为动态特征数据；N为正整数；所述连续N帧图像包括：所述当前帧图像和所述当前帧图像之前的N-1帧图像；/n将所述动态特征数据输入训练好的机器学习模型，由所述训练好的机器学习模型决策出识别结果；所述识别结果包括识别出的动作类别，所述识别出的动作类别属于多种预设动作类别中的一种。/n

【技术特征摘要】
1.一种动作识别方法，其特征在于，包括：
在预测阶段，获取当前帧图像对应的姿态特征数据；所述姿态特征数据包括：人体骨架各关节点在当前帧的三维位置特征、角度特征和模值比特征；其中，所述角度特征包括：位置相关联的关节点之间所构成角度的角度值，以及，非关联关节点之间所构成角度的角度值；所述角度特征和模值比特征根据所述三维位置特征计算得到；
将连续N帧图像的姿态特征数据，组合为动态特征数据；N为正整数；所述连续N帧图像包括：所述当前帧图像和所述当前帧图像之前的N-1帧图像；
将所述动态特征数据输入训练好的机器学习模型，由所述训练好的机器学习模型决策出识别结果；所述识别结果包括识别出的动作类别，所述识别出的动作类别属于多种预设动作类别中的一种。


2.如权利要求1所述的方法，其特征在于，
所述人体骨架各关节点至少包括：头部中心骨骼点、肩中心骨骼点、肩关节点、肘关节点、手部关节点、脊柱点、胯部关节点、膝关节点和脚部关系点。


3.如权利要求2所述的方法，其特征在于，
位置相关联的关节点之间构成的角度包括：肩中心骨骼点、肩关节点和肘关节点构成的角度，肩关节点、肘关节点和手部关节点构成的角度，脊柱点、胯部关节点和膝盖关节点构成的角度，以及，胯部关节点、膝关节点和脚部关节点构成的角度；
非相关联的关节点之间构成的角度包括：肩关节点、肘关节点和脊柱点构成的角度，肘关节点、手部关节点和脊柱点构成的角度，胯部关节点、膝盖关节点和脊柱点构成的角度，以及，膝关节点、脚部关节点和脊柱点构成的角度。


4.如权利要求1所述的方法，其特征在于，
所述肩关节点包括：第一肩关节点和第二肩关节点；
所述肘关节点包括：第一肘关节点和第二肘关节点；
所述手部关节点包括：第一腕关节点和第二腕关节点；
所述胯部关节点包括：第一胯部关节点和第二胯部关节点；
所述膝关节点包括：第一膝关节点和第二膝关节点；
所述脚部关系点包括：第一踝关节点和第二踝关节点；
所述第一肩关节点、第一肘关节点、第一腕关节点、第一胯部关节点、第一膝关节点和第一踝关节点位于同一侧；所述第二肩关节点、第二肘关节点、第二腕关节点、第二胯部关节点、第二膝关节点和第二踝关节点位于同一侧；
所述模值比特征至少包括：第一至第八向量分别与基准向量的模值比；
第一向量的端点包括：第一肩关节点和第一肘关节点；
第二向量的端点包括：第一腕关节点和脊柱点；
第三向量的端点包括：第二肩关节点和第二肘关节点；
第四向量的端点包括：第二腕关节点和脊柱点；
第五向量的端点包括：第一膝关节点和脊柱点；
第六向量的端点包括：第一踝关节点和脊柱点；
第七向量的端点包括：第二膝关节点和脊柱点；
第八向量的端点包括：第二踝关节点和脊柱点；
所述基准向量的端点则包括：头部中心骨骼点和肩中心骨骼点。


...

【专利技术属性】
技术研发人员：李亚林，李骊，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京;11