一种骨架人体行为智能识别方法及装置制造方法及图纸

本申请公开了一种骨架人体行为智能识别方法及装置，方法包括获取关节数据以及骨骼数据，将关节数据以及骨骼数据分别输入至三元强化图卷积神经网络，得到关节数据的数据流网络的特征数据以及骨骼数据的数据流网络的特征数据，对关节数据和骨骼数据的数据流网络的不同层级的特征数据进行分别融合处理，得到第一融合数据流和第二融合数据流，根据第一融合数据流以及第二融合数据流，得到目标信息。本申请充分利用骨架数据中的有效的关节信息和骨骼信息，输入至基于自注意力机制的自适应图卷积神经网络以对骨架数据的有效信息进行提取，可以从不同的角度出发挖掘有效的空间信息，解决了对传统的骨架数据有效信息使用不足的情况。况。况。

【技术实现步骤摘要】
一种骨架人体行为智能识别方法及装置


[0001]本申请涉及人工智能
，具体涉及一种骨架人体行为智能识别方法、装置、设备及介质。

技术介绍

[0002]人体行为识别是计算机视觉领域中一个重要的研究课题，其目的在于对人体行为动作数据中的有效信息或具有辨识力的特征进行提取，并利用这些信息和特征对人体行为进行动作类别细分。骨架人体行为识别则是使用从人体动作中获取的人体骨架数据作为输入数据，识别人体骨架展现出的人体动作所属类别。
[0003]现有技术中，基于骨架的人体行为识别方法直接使用人体骨架数据，而忽略了根据人体骨架数据得到的衍生数据，导致一些重要的信息被忽略而造成识别精度较低。

技术实现思路

[0004]本申请针对现有的问题，提出了一种骨架人体行为智能识别方法、装置、设备及介质，具体技术方案如下：
[0005]在本申请的第一方面，提供一种骨架人体行为智能识别方法，所述方法包括：
[0006]获取关节数据以及骨骼数据，所述关节数据以及所述骨骼数据根据骨架数据得到；
[0007]将所述关节数据以及所述骨骼数据分别输入至三元强化图卷积神经网络，得到所述关节数据的数据流网络的特征数据以及所述骨骼数据的数据流网络的特征数据，其中，所述三元强化图卷积神经网络是预先训练后的基于自注意力机制的自适应图卷积神经网络；
[0008]对所述关节数据的数据流网络的不同层级的特征数据进行融合处理，得到第一融合数据流，以及对所述骨骼数据的数据流网络的不同层级的特征数据进行融合处理，得到第二融合数据流；
[0009]根据所述第一融合数据流以及所述第二融合数据流，得到目标信息。
[0010]可选地，所述三元强化图卷积神经网络包括强化模型，所述强化模型包括空间图卷积模块、时间图卷积模块以及通道图卷积模块。
[0011]可选地，获取关节数据以及骨骼数据的步骤之前，所述方法还包括：
[0012]从待测视频的多帧图像中获取所述骨架数据；
[0013]根据所述骨架数据，获得所述关节数据以及所述骨骼数据。
[0014]可选地，从待测视频的多帧图像中获取所述骨架数据的步骤，包括：
[0015]获取所述待测视频的多帧图像；
[0016]采用Kinect传感器从所述多帧图像中获得骨架数据；或者，
[0017]采用OpenPose算法从所述多帧图像中获得骨架数据。
[0018]可选地，所述关节数据的数据流网络包括第一空间数据流、第一视角差异数据流
以及第一时间差异数据流；所述骨骼数据的数据流网络包括第二空间数据流、第二视角差异数据流以及第二时间差异数据流；
[0019]对所述关节数据的数据流网络的不同层级的特征数据进行融合处理，得到第一融合数据流，以及对所述骨骼数据的数据流网络的不同层级的特征数据进行融合处理，得到第二融合数据流的步骤，包括：
[0020]分别提取第一空间数据流、第一视角差异数据流以及第一时间差异数据流中的同一层级的特征数据，融合为第一单层数据；
[0021]对多个不同层级的第一单层数据进行融合，得到所述第一融合数据流；
[0022]分别提取第二空间数据流、第二视角差异数据流以及第二时间差异数据流中的同一层级的特征数据，融合为第二单层数据；
[0023]对多个不同层级的第二单层数据进行融合，得到所述第二融合数据流。
[0024]可选地，根据所述第一融合数据流以及所述第二融合数据流，得到目标信息的步骤，包括：
[0025]根据所述第一融合数据流以及所述第二融合数据流，获得第一预测分数以及第二预测分数；
[0026]对所述第一预测分数以及所述第二预测分数进行融合，得到所述目标信息。
[0027]可选地，对所述第一预测分数以及所述第二预测分数进行融合，得到所述目标信息的步骤，包括：
[0028]采用加权平均融合的方法对所述第一预测分数以及所述第二预测分数进行融合，得到所述目标信息。
[0029]在本申请的第二方面，提供一种骨架人体行为智能识别装置，所述装置包括：
[0030]获取模块，用于获取关节数据以及骨骼数据，所述关节数据以及所述骨骼数据根据骨架数据得到；
[0031]第一获得模块，用于将所述关节数据以及所述骨骼数据分别输入至三元强化图卷积神经网络，得到所述关节数据的数据流网络的特征数据以及所述骨骼数据的数据流网络的特征数据，其中，所述三元强化图卷积神经网络是预先训练后的基于自注意力机制的自适应图卷积神经网络；
[0032]第二获得模块，用于对所述关节数据的数据流网络的不同层级的特征数据进行融合处理，得到第一融合数据流，以及对所述骨骼数据的数据流网络的不同层级的特征数据进行融合处理，得到第二融合数据流；
[0033]第三获得模块，用于根据所述第一融合数据流以及所述第二融合数据流，得到目标信息。
[0034]在本申请的第三方面，提供一种电子设备，该设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现如上述第一方面所述的方法。
[0035]在本申请的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现上述第一方面所述的方法。
[0036]本申请具有以下有益效果：
[0037]本申请的实施例针对人体骨架数据获取的关节数据以及骨骼数据，将关节数据以
及骨骼数据分别输入至三元强化图卷积神经网络，得到关节数据的数据流网络的特征数据以及骨骼数据的数据流网络的特征数据，对关节数据的数据流网络的不同层级的特征数据进行融合处理，得到第一融合数据流，以及对骨骼数据的数据流网络的不同层级的特征数据进行融合处理，得到第二融合数据流，根据第一融合数据流以及第二融合数据流，最终得到目标信息。相较于现有技术中仅采用人体的骨架数据作为人体行为识别的输入数据，本申请通过对人体骨架数据所得到的关节数据和骨骼数据进行进一步得到的目标信息的过程，充分利用骨架数据中的有效的关节信息和骨骼信息，输入至基于自注意力机制的自适应图卷积神经网络以对骨架数据的有效信息进行提取，可以从不同的角度出发挖掘有效的空间信息，补充了传统的骨架数据有效信息使用不足。并且，通过使用多种数据，减少了各数据流的信息提取压力，使得到的目标信息更为丰富、选择面更广，有效地增加了根据目标信息识别人体行为的精度。
附图说明
[0038]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0039]图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图；
[0040]图2为根据一示例性实施例示出的一种骨架人体行为智能识别方法的流程图；
[0041]图3为根据一示例性实施例示出的一种骨架人体行为智能识别方法中步骤S103的示例流程图；
[0042]图4为根据一示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种骨架人体行为智能识别方法，其特征在于，所述方法包括：获取关节数据以及骨骼数据，所述关节数据以及所述骨骼数据根据骨架数据得到；将所述关节数据以及所述骨骼数据分别输入至三元强化图卷积神经网络，得到所述关节数据的数据流网络的特征数据以及所述骨骼数据的数据流网络的特征数据，其中，所述三元强化图卷积神经网络是预先训练后的基于自注意力机制的自适应图卷积神经网络；对所述关节数据的数据流网络的不同层级的特征数据进行融合处理，得到第一融合数据流，以及对所述骨骼数据的数据流网络的不同层级的特征数据进行融合处理，得到第二融合数据流；根据所述第一融合数据流以及所述第二融合数据流，得到目标信息。2.根据权利要求1所述的方法，其特征在于，所述三元强化图卷积神经网络包括强化模型，所述强化模型包括空间图卷积模块、时间图卷积模块以及通道图卷积模块。3.根据权利要求1所述的方法，其特征在于，获取关节数据以及骨骼数据的步骤之前，所述方法还包括：从待测视频的多帧图像中获取所述骨架数据；根据所述骨架数据，获得所述关节数据以及所述骨骼数据。4.根据权利要求3所述的方法，其特征在于，从待测视频的多帧图像中获取所述骨架数据的步骤，包括：获取所述待测视频的多帧图像；采用Kinect传感器从所述多帧图像中获得骨架数据；或者，采用OpenPose算法从所述多帧图像中获得骨架数据。5.根据权利要求1所述的方法，其特征在于，所述关节数据的数据流网络包括第一空间数据流、第一视角差异数据流以及第一时间差异数据流；所述骨骼数据的数据流网络包括第二空间数据流、第二视角差异数据流以及第二时间差异数据流；对所述关节数据的数据流网络的不同层级的特征数据进行融合处理，得到第一融合数据流，以及对所述骨骼数据的数据流网络的不同层级的特征数据进行融合处理，得到第二融合数据流的步骤，包括：分别提取第一空间数据流、第一视角差异数据流以及第一时间差异数据流中的同一层级的特征数据，融合为第一单层数据；对多个不同层级的第一单层数据进行融合，得到所述第一融合数据流；...

【专利技术属性】
技术研发人员：邓浩阳，柯少杰，蒋文维，卢志祥，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：