一种基于姿态估计的行人摔倒动作识别方法及设备技术

本申请提供一种基于姿态估计的行人摔倒动作识别方法及设备，本申请采用多尺度的邻接矩阵实现信息的聚合，并在相同结构的上下时空联合模块间引入残差连接，分别提取姿态在双流(关键点流、骨骼边流)上的时空联合特征，最终合并双流结果做出摔倒动作判断，减少了背景对识别效果的影响从而提高动作识别准确率，并且减少了计算量。减少了计算量。减少了计算量。

【技术实现步骤摘要】
一种基于姿态估计的行人摔倒动作识别方法及设备


[0001]本申请涉及计算机领域，尤其涉及一种基于姿态估计的行人摔倒动作识别方法及设备。

技术介绍

[0002]现有技术中，目前行为识别领域常用的数据模态主要分为原始RGB视频和一系列的人体姿态关键点。原始RGB视频中不仅包含人体的行为运动信息，而且也拥有许多对识别精度产生影响的背景信息，例如光照、杂乱的周边环境。然而当今智能硬件水平飞速提升，获取人体关键点的姿态估计算法在实时性方面也越来越优秀，可以借助于高鲁棒性的行人检测网络提取出视频中每个人的姿态信息，最后把姿态输出结果封装成所需数据形式。
[0003]摔倒动作识别方法中需要把从视频中提取的人体姿态坐标组成图数据，利用图卷积网络进行特征学习。早期有学者提出基于骨架的时空图卷积网络ST
‑
GCN做特征提取，在一帧图像上(空间维度)对人体的关关键点自然连接图做图卷积，在时间维度上做时间卷积或用LSTM网络进行特征融合，它很好地利用了人体结构的自然连接和动作事件本身各相关关节的联动关系，考虑了空间和时间上的相邻关节，但它只考本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于姿态估计的行人摔倒动作识别方法，其特征在于，所述方法包括：获取原始视频流中多帧图像，对每一帧所述图像进行行人检测和跟踪，姿态估计得到人体跟踪编号和关键点信息，并采用多尺度的邻接矩阵将每个关键点前后多帧图像的所述关键点信息进行聚合，得到姿态图数据；将所述姿态图数据输入图卷积神经网络中，在所述图卷积神经网络中的多个时空合并图卷积模块之间引入残差连接，并依次经过多个所述时空合并图卷积模块进行特征提取得到姿态时空联合特征；结合摔倒动作变化特性，对所述姿态时空联合特征进行动作识别得到动作识别分类结果。2.根据权利要求1所述的方法，其特征在于，所述图卷积神经网络中包括第一时空合并图卷积模块、第二时空合并图卷积模块和第三时空合并图卷积模块；每个所述时空合并图卷积模块内包括多窗口多尺度3D图卷积层和序列化组件层，所述序列化组件包括多尺度图卷积和连续两个多尺度时间卷积。3.根据权利要求2所述的方法，其特征在于，所述将所述姿态图数据输入图卷积神经网络中，在所述图卷积神经网络中的多个时空合并图卷积模块之间引入残差连接，并依次经过多个所述时空合并图卷积模块进行特征提取得到姿态时空联合特征，包括：将所述姿态图数据输入所述图卷积神经网络中，对所述姿态图数据进行归一化处理调整所述姿态图数据的数组形状；将调整后的姿态图数据输入所述第一时空合并图卷积模块进行特征提取，得到第一姿态时空特征；将所述第一姿态时空特征输入所述第二时空合并图卷积模块进行特征提取，得到第二姿态时空特征；所述第一姿态时空特征残差连接所述第二姿态时空特征后，输入所述第三时空合并图卷积模块进行特征提取，得到所述姿态时空联合特征。4.根据权利要求3所述的方法，其特征在于，所述将调整后的姿态图数据输入所述第一时空合并图卷积模块进行特征提取，得到第一姿态时空特征，包括：分别将所述调整后的姿态图数据输入所述第一时空合并图卷积模块中的所述多窗口多尺度3D图卷积层和所述序列化组件层中；所述调整后的姿态图数据依次通过所述序列化组件层中的所述多尺度图卷积和连续两个所述多尺度时间卷积进行特征提取；所述调整后的姿态图数据通过所述多窗口多尺度3D图卷积层进行特征提取；将通过所述多窗口...

【专利技术属性】
技术研发人员：张富凯，贺天成，张海燕，
申请(专利权)人：河南理工大学，
类型：发明
国别省市：