一种基于人体骨架的行为识别方法及系统技术方案

本发明专利技术提供了一种基于人体骨架的行为识别方法及系统，对输入的待识别视频进行预处理，提取待识别视频中包含的人体骨架信息。利用注意力网络、图卷积神经网络和长短期记忆网络，处理人体骨架的相关信息得到待识别视频中每个人体骨架对应的行为特征表示。根据行为特征表示，确定待识别视频中每个人体骨架的行为标签预测结果，标签预测结果用于反映作业人员的行为是否为违章行为。基于人体骨架识别作业人员的行为，且可同时识别多个作业人员的行为，提高违章行为的识别效率和识别准确率。提高违章行为的识别效率和识别准确率。提高违章行为的识别效率和识别准确率。

【技术实现步骤摘要】
一种基于人体骨架的行为识别方法及系统


[0001]本专利技术涉及视频分析
，具体涉及一种基于人体骨架的行为识别方法及系统。

技术介绍

[0002]为保障电网的安全生产和稳定运行，需要对电网作业现场的违章行为进行识别。目前通常采用人工监控的方式来对违章行为进行识别，但是由于电网作业现场的人数众多，无法全面兼顾违章行为的识别且容易出现纰漏，违章行为的识别效率较低和识别准确率较低。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种基于人体骨架的行为识别方法及系统，以解决现有识别违章行为方式存在的识别效率较低和识别准确率较低等问题。
[0004]为实现上述目的，本专利技术实施例提供如下技术方案：
[0005]本专利技术实施例第一方面公开一种基于人体骨架的行为识别方法，所述方法包括：
[0006]利用预设工具对待识别视频进行预处理，得到待处理信息，所述待处理信息中至少包含：从所述待识别视频提取得到的每帧关键图像中的人体骨架的数量，每个人体骨架的关节点的数量，以及每个关节点的初始关节点特征；
...

【技术保护点】

【技术特征摘要】
1.一种基于人体骨架的行为识别方法，其特征在于，所述方法包括：利用预设工具对待识别视频进行预处理，得到待处理信息，所述待处理信息中至少包含：从所述待识别视频提取得到的每帧关键图像中的人体骨架的数量，每个人体骨架的关节点的数量，以及每个关节点的初始关节点特征；对于每帧所述关键图像中的人体骨架，利用注意力网络，结合所述人体骨架中各个关节点的初始关节点特征，确定所述人体骨架中各个关节点的关节点权重；对于每帧所述关键图像中的人体骨架，利用图卷积神经网络，结合所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，确定得到所述人体骨架中各个关节点的新关节点特征；将所有所述关键图像中同一个关节点的所述新关节点特征进行串联并将其输入长短期记忆网络，获取得到时序信息；将所述新关节点特征作为所述初始关节点特征，返回执行确定所述人体骨架中各个关节点的关节点权重这一步骤直至执行K次，得到所述待识别视频中每个人体骨架对应的行为特征表示；根据所述行为特征表示，确定所述待识别视频中每个人体骨架的行为标签预测结果。2.根据权利要求1所述的方法，其特征在于，利用预设工具对待识别视频进行预处理，得到待处理信息，包括：利用OpenPose对待识别视频进行预处理，得到待处理信息。3.根据权利要求1所述的方法，其特征在于，对于每帧所述关键图像中的人体骨架，利用注意力网络，结合所述人体骨架中各个关节点的初始关节点特征，确定所述人体骨架中各个关节点的关节点权重，包括：对于每帧所述关键图像中的人体骨架，将所述人体骨架中各个关节点的初始关节点特征进行拼接得到二维矩阵，将所述二维矩阵输入注意力网络进行权重学习，确定所述人体骨架中各个关节点的关节点权重，所述注意力网络由全连接层构成。4.根据权利要求1所述的方法，其特征在于，对于每帧所述关键图像中的人体骨架，利用图卷积神经网络，结合所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，确定得到所述人体骨架中各个关节点的新关节点特征，包括：对于每帧所述关键图像中的人体骨架，将所述人体骨架的骨架图输入图卷积神经网络，基于关节点特征更新公式、所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，对所述骨架图进行更新，得到更新后的所述骨架图，更新后的所述骨架图包含所述人体骨架中各个关节点的新关节点特征。5.根据权利要求1所述的方法，其特征在于，根据所述行为特征表示，确定所述待识别视频中每个人体骨...

【专利技术属性】
技术研发人员：李岩，张士然，李坚，席海阔，张勇，孔庆泽，张利锋，吴佳，迟承哲，王海燕，和娟，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：