危险行为识别方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种危险行为识别方法、装置、设备及存储介质，通过获取用户所在场景环境下的目标用户行为图像集；利用预设危险行为模型中的空间特征提取网络，对每帧第一用户行为图像进行空间特征提取，得到包含空间特征信息的多帧第二用户行为图像；利用预设危险行为模型中的时序特征提取网络，对多帧第二用户行为图像进行时序特征提取，得到目标用户行为图像集的时序特征信息，以能够从多帧连续图像中提取到时间信息；基于空间特征信息和时序特征信息，对场景环境下的用户行为进行行为识别，得到用户行为的行为类型。本申请无需依赖光流信息和提取人体骨骼点，提高实用性，满足实际应用场景需求。应用场景需求。应用场景需求。

【技术实现步骤摘要】
危险行为识别方法、装置、设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种危险行为识别方法、装置、设备及存储介质。

技术介绍

[0002]肢体冲突等危险行为容易危害他人的人身安全，是公共场所巡检的重点关注对象。随着人工智能技术的迅速发展，计算机视觉技术被广泛应用于行为识别。目前，基于计算机视觉的危险行为识别方法主要有基于双流法的识别方法和基于骨骼提取与图卷积网络(Graph Convolutional Networks，GCN)的识别方法。
[0003]双流法需要两个并行的2D卷积网络，其中一个2D卷积网络输入光流图用于提取时序特征，但是该方法严重依赖光流提取。基于骨骼提取与GCN的识别方法通过提取人体骨骼点，再利用GCN根据人体骨骼点进行危险行为识别，但是该方法难以应用在人多的场合，不能满足公共场所人多的实际情况。可见，当前危险行为识别方法存在难以满足实际应用场景需求的问题。

技术实现思路

[0004]本申请提供了一种危险行为识别方法、装置、设备及存储介质，以解决当前危险行为识别方法存在难以满足实际应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种危险行为识别方法，其特征在于，包括：获取用户所在场景环境下的目标用户行为图像集，所述用户行为图像集包括连续的多帧第一用户行为图像；利用预设危险行为模型中的空间特征提取网络，对每帧所述第一用户行为图像进行空间特征提取，得到包含空间特征信息的多帧第二用户行为图像；利用预设危险行为模型中的时序特征提取网络，对多帧所述第二用户行为图像进行时序特征提取，得到所述目标用户行为图像集的时序特征信息；基于所述空间特征信息和所述时序特征信息，对所述场景环境下的用户行为进行行为识别，得到所述用户行为的行为类型，所述行为类型为危险行为或非危险行为。2.如权利要求1所述的危险行为识别方法，其特征在于，所述空间特征提取网络为Mobilenetv3网络，所述利用预设危险行为模型中的空间特征提取网络，对每帧所述第一用户行为图像进行空间特征提取，得到包含空间特征信息的多帧第二用户行为图像，包括：将所述第一用户行为图像逐帧输入到所述Mobilenetv3网络；利用所述Mobilenetv3网络中的多个Bneck卷积块，对每帧所述第一用户行为图像进行空间特征提取，输出多帧所述第二用户行为图像，多个所述Bneck卷积块中有若干个所述Bneck卷积块包含注意力机制，所述注意力机制用于确定所述第一用户行为图像在多个图像通道中的注意力权重。3.如权利要求1所述的危险行为识别方法，其特征在于，所述时序特征提取网络为门控逻辑神经网络GRU，所述利用预设危险行为模型中的时序特征提取网络，对多帧所述第二用户行为图像进行时序特征提取，得到所述目标用户行为图像集的时序特征信息，包括：将多帧所述第二用户行为图像输入到所述GRU；利用所述GRU，根据所述空间特征信息，对每帧所述第二用户行为图像进行时序特征提取，输出所述目标用户行为图像集的时序特征信息，其中上一帧所述第二用户行为图像的GRU输出向量为下一帧所述第二用户行为图像的输入参数。4.如权利要求3所述的危险行为识别方法，其特征在于，所述GRU表示为：z
t
＝sigmoid(w
z
[h
t
‑1,x
t
])；r
t
＝sigmoid(w
r
[h
t
‑1,x
t
])；])；其中，z
t
为GRU的更新门，w
z
为更新门的权重矩阵，r
t
为GRU的重置门，w

【专利技术属性】
技术研发人员：万里红，袁野，吴国栋，刘岩岩，
申请(专利权)人：河南中原动力智能制造有限公司，
类型：发明
国别省市：