基于骨骼关节数据的双人动作识别方法技术

本发明专利技术公开了一种基于骨骼关节数据的双人动作识别方法，包括：步骤1、根据定义的人体枢轴关节点确定两个动作演示者的枢轴关节点的坐标；步骤2、利用枢轴关节点的坐标计算得到两个动作演示者的枢轴关节点与选中关节点在三维空间中的直角坐标角、正弦相关度、高斯拉普拉斯算子、欧式距离和余弦角；步骤3、将步骤2中计算得到的直角坐标角、正弦相关度、高斯拉普拉斯算子、欧式距离和余弦角相连得到SGDA动作描述子，利用采用K‑近邻算法的神经网络模型对SGDA动作描述子进行分类学习，完成两个动作演示者之间动作的识别。由于引用了关节相关性，使得利用该SGDA动作描述子进行的两人动作识别，能有效提高识别率。

【技术实现步骤摘要】
基于骨骼关节数据的双人动作识别方法
本专利技术涉及图像处理的动作识别领域，尤其涉及一种基于骨骼关节数据的双人动作识别方法。
技术介绍
人体动作识别是当前很好场景需要处理的问题，在多媒体物联网，犯罪监控，车辆自动驾驶领域有着很多应用。由于诸多的应用和时下设想的情形，形成了对于有效的双人动作识别系统的需求。在现有常用的人体动作识别方法中，大都通过基于注意力机制的双流LSTM网络，深度卷积神经网络还有人工获取的特征，欧式距离还有深度学习模型实现动作识别。但现有的人体动作识别方法中，由于过分依赖图像数据，并无考虑骨骼关节数据，因此，存在易受光照背景等客观环境影响的问题。
技术实现思路
基于现有技术所存在的问题，本专利技术的目的是提供一种基于骨骼关节数据的双人动作识别方法，能解决现有人体动作识别方法因存在过分依赖图像数据，导致的易受光照背景等客观环境影响的问题。本专利技术的目的是通过以下技术方案实现的：本专利技术实施方式提供一种基于骨骼关节数据的双人动作识别方法，包括：步骤1、对两个动作演示者的动作演示视频进行采样，从采样所得的每帧图像中，根据定义的人体枢轴关节点确定两个动作演示者的枢轴关节点的坐标；步骤2、利用所述枢轴关节点的坐标计算得到两个动作演示者的枢轴关节点与选中关节点在三维空间中的直角坐标角、正弦相关度、高斯拉普拉斯算子、欧式距离和余弦角；步骤3、将所述步骤2中计算得到的直角坐标角、正弦相关度、高斯拉普拉斯算子、欧式距离和余弦角相连得到SGDA动作描述子，通过采用K-近邻算法的神经网络模型对所述SGDA动作描述子进行分类学习，完成对于两个动作演示者所完成动作的识别。由上述本专利技术提供的技术方案可以看出，本专利技术实施例提供的基于骨骼关节数据的双人动作识别方法，其有益效果为：由于充分考虑了枢轴关节的重要性，以选定的动作演示者的枢轴关节点来构建特征向量，引入了关节相关性的概念，同时使用二维和三维骨骼关节数据，计算出枢轴关节和选中关节之间相关性的直角坐标角和欧式距离，计算出选中关节点与枢轴关节点之间的正弦相关度，还有广义高斯拉普拉斯算子进行选中关节点特征描述，计算余弦角合并单人的运动特性和两人动作的交互信息，利用直角坐标角、正弦相关度、高斯拉普拉斯算子、欧式距离和余弦角各特征构建成SGDA动作描述子，利用该SGDA动作描述子进行双人动作识别，在SBU数据集上得到了很好的识别效果，达到了98.2％的准确率，有效提升了双人动作识别的准确性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的基于骨骼关节数据的双人动作识别方法流程图；图2为本专利技术实施例提供的基于骨骼关节数据的双人动作识别方法的具体流程图；图3为本专利技术实施例提供的基于骨骼关节数据的双人动作识别方法的两个动作演示者的骨骼关节数据采集示意图；其中，(1)、(2)分别为编号1、2的动作演示者的骨骼关节数据示意图。具体实施方式下面结合本专利技术的具体内容，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。如图1所示，本专利技术实施例提供一种基于骨骼关节数据的双人动作识别方法，是一种基于骨骼关节数据的SGDA动作描述子进行双人动作识别的方法，包括以下步骤：步骤1、对两个动作演示者的动作演示视频进行采样，从采样所得的每帧图像中，根据定义的人体枢轴关节点确定两个动作演示者的枢轴关节点的坐标；步骤2、利用所述枢轴关节点的坐标计算得到两个动作演示者的枢轴关节点与选中关节点在三维空间中的直角坐标角、正弦相关度、高斯拉普拉斯算子、欧式距离和余弦角；步骤3、将所述步骤2中计算得到的直角坐标角、正弦相关度、高斯拉普拉斯算子、欧式距离和余弦角相连得到SGDA动作描述子，通过采用K-近邻算法的神经网络模型对所述SGDA动作描述子进行分类学习，完成对于两个动作演示者所完成动作的识别。上述方法的步骤1中，定义的人体枢轴关节点为动作演示者的头部。上述方法的步骤2中，用以下公式(1)计算得到两个动作演示者的枢轴关节点与选中关节点在三维空间中的直角坐标角所述式(1)中，为动作演示者的枢轴关节点的二维坐标，k为动作演示者的编号；为选中关节点的二维坐标，k为动作演示者的编号。上述方法的步骤2中，通过以下公式(2)计算得到正弦相关度ρk：所述式(2)中，为动作演示者的选中关节点的三维坐标，k为动作演示者的编号，i为选中关节点的编号，i取值为1至14；为两个动作演示者在三维空间中的直角坐标角。上述方法的步骤2中，通过以下公式(3)计算得到高斯拉普拉斯算子G：所述式(3)中，为动作演示者的选中关节点的三维坐标，k为动作演示者的编号，k值为1或2，i为选中关节点的编号，i取值为1至14；zk(k＝1,2)表示标准差σk(k＝1,2)。上述方法的步骤2中，通过以下公式(4)计算得到两个动作演示者的枢轴关节点与选中关节点在三维空间中的欧式距离所述式(4)中，为动作演示者的枢轴关节点的三维坐标，k为动作演示者的编号；为动作演示者的选中关节点的三维坐标，k为动作演示者的编号，i为选中关节点的编号，i值为1至14。上述方法的步骤2中，通过以下公式(5)计算得到两个动作演示者的枢轴关节点与选中关节点在三维空间中的余弦角所述式(5)中，为动作演示者的枢轴关节点的三维坐标，k为动作演示者的编号；为动作演示者的选中关节点的三维坐标，l为动作演示者的编号，i为选中关节点的编号，i值为1至14；当k＝l时，计算的是同一个人的选中关节点相对于枢轴关节点的余弦角；当k≠l时，计算的是一个人的选中关节点相对于另一个人的枢轴关节点的余弦角。上述方法的步骤3中，将所述步骤2中计算得到的直角坐标角、正弦相关度、高斯拉普拉斯算子、欧式距离和余弦角相连得到SGDA动作描述子为：单个关节点s的SGDA动作描述子表达式为：所述式(6)中，分别为两个动作演示者在三维空间中的直角坐标角；ρ1,ρ2分别为两个动作演示者在三维空间中的正弦相关度；D1,D2分别为两个动作演示者在三维空间中的欧式距离；G1,G2分别是两个手语演示者的高斯拉普拉斯描述算子；分别为两个动作演示者在三维空间中的余弦角，其中，分别为两个动作演示者在三维空间中自身关节间的余弦角，分别为两个动作演示者在三维空间中相互关节间的余弦角；将除枢轴本文档来自技高网...

【技术保护点】
1.一种基于骨骼关节数据的双人动作识别方法，其特征在于，包括：/n步骤1、对两个动作演示者的动作演示视频进行采样，从采样所得的每帧图像中，根据定义的人体枢轴关节点确定两个动作演示者的枢轴关节点的坐标；/n步骤2、利用所述枢轴关节点的坐标计算得到两个动作演示者的枢轴关节点与选中关节点在三维空间中的直角坐标角、正弦相关度、高斯拉普拉斯算子、欧式距离和余弦角；/n步骤3、将所述步骤2中计算得到的直角坐标角、正弦相关度、高斯拉普拉斯算子、欧式距离和余弦角相连得到SGDA动作描述子，通过采用K-近邻算法的神经网络模型对所述SGDA动作描述子进行分类学习，完成对于两个动作演示者所完成动作的识别。/n

【技术特征摘要】
1.一种基于骨骼关节数据的双人动作识别方法，其特征在于，包括：
步骤1、对两个动作演示者的动作演示视频进行采样，从采样所得的每帧图像中，根据定义的人体枢轴关节点确定两个动作演示者的枢轴关节点的坐标；
步骤2、利用所述枢轴关节点的坐标计算得到两个动作演示者的枢轴关节点与选中关节点在三维空间中的直角坐标角、正弦相关度、高斯拉普拉斯算子、欧式距离和余弦角；
步骤3、将所述步骤2中计算得到的直角坐标角、正弦相关度、高斯拉普拉斯算子、欧式距离和余弦角相连得到SGDA动作描述子，通过采用K-近邻算法的神经网络模型对所述SGDA动作描述子进行分类学习，完成对于两个动作演示者所完成动作的识别。


2.根据权利要求1所述的基于骨骼关节数据的双人动作识别方法，其特征在于，所述步骤1中，定义的人体枢轴关节点为动作演示者的头部。


3.根据权利要求1或2所述的基于骨骼关节数据的双人动作识别方法，其特征在于，所述方法的步骤2中，用以下公式(1)计算得到两个动作演示者的枢轴关节点与选中关节点在三维空间中的直角坐标角
所述式(1)中，为动作演示者的枢轴关节点的二维坐标，k为动作演示者的编号；为选中关节点的二维坐标，k为动作演示者的编号。


4.根据权利要求3所述的基于骨骼关节数据的双人动作识别方法，其特征在于，所述方法的步骤2中，通过以下公式(2)计算得到正弦相关度ρk：



所述式(2)中，为动作演示者的选中关节点的三维坐标，k为动作演示者的编号，i为选中关节点的编号，i取值为1至14；为两个动作演示者在三维空间中的直角坐标角。


5.根据权利要求3所述的基于骨骼关节数据的双人动作识别方法，其特征在于，所述方法的步骤2中，通过以下公式(3)计算得到高斯拉普拉斯算子G：



所述式(3)中，为动作演示者的选中关节点的三维坐标，k为动作演示者的编号，k值为1或2，i为选中关节点的编号，i取值为1至14；zk(k＝1,2)表示标准差σk(k＝1,2)。


6.根据权利要求3...

【专利技术属性】
技术研发人员：叶中付，穆哈姆德·舒嘉·伊斯兰姆·赛米姆，潘威，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34