一种基于深度学习的图像人员动作分析方法技术

本发明专利技术涉及人员动作分析领域，具体提供一种基于深度学习的图像人员动作分析方法，采用姿势感知网络实现，所述姿势感知网络包括姿势分支残差模块、姿势编码模块和姿势交互模块；所述方法包括：获取第一摄像头拍摄的第一视角图像，对第一视角图像进行处理并输入姿势分支残差模块，得到混合姿势特征；获取第二摄像头拍摄的第二视角图像，输入姿势编码模块，得到所述姿势编码模块输出的姿势编码特征；将混合姿势特征和姿势编码特征进行融合，再输入到姿势交互模块进行交互，得到姿势交互特征；将姿势交互特征输入到人体动作预测模块中，对人体动作进行检测，识别出人员的异常行为。本发明专利技术能够提高人员行为异常检测精度。能够提高人员行为异常检测精度。能够提高人员行为异常检测精度。

【技术实现步骤摘要】
一种基于深度学习的图像人员动作分析方法


[0001]本专利技术涉及人员动作分析领域，尤其涉及一种基于深度学习的图像人员动作分析方法。

技术介绍

[0002]人员异常动作识别是图像动作行为领域向视频领域的一个自然延伸，目前深度学习算法在图像动作分类上的准确率已经超过普通人的水平，但是，深度学习在异常动作识别领域的进展并不像在图像动作分类领域那么显著。
[0003]目前，人员异常动作的应用很是广泛，如银行通过在监控区域内加装行为异常识别报警摄像头，可以有效地获取图像数据进行及时自动地分析，一旦发现异常情况可以及时快速地通知相关人员，避免一些极端情况的发生，确保银行和人民的财产安全。
[0004]目前的异常行为检测系统，大部分都是通过单摄像头完成异常检测，例如银行、校园以及网吧等公共场所，这样的检测方法的性能受到诸如遮挡和倾斜视角等具有挑战性的情况的影响，检测精度并不高。

技术实现思路

[0005]本专利技术的目的在于克服现有技术之缺陷，提供了一种基于深度学习的图像人员动作分析方法，提高检测精度。
[0006]本专利技术是这样实现的：
[0007]一种基于深度学习的图像人员动作分析方法，采用姿势感知网络实现，所述姿势感知网络包括姿势分支残差模块、姿势编码模块和姿势交互模块；所述方法包括：
[0008]获取第一摄像头拍摄的第一视角图像，对所述第一视角图像进行处理，将处理好的所述第一视角图像输入姿势分支残差模块，得到所述姿势分支残差模块输出的混合姿势特征；
[0009]获取第二摄像头拍摄的第二视角图像，将所述第二视角图像输入姿势编码模块，得到所述姿势编码模块输出的姿势编码特征；其中，所述第一摄像头和所述第二摄像头用于在不同角度对人员进行拍摄，所述第二视角图像与所述第一视角图像分辨率相同；
[0010]将所述混合姿势特征和所述姿势编码特征进行融合，再输入到姿势交互模块进行交互，得到所述姿势交互模块输出的姿势交互特征；
[0011]将所述姿势交互特征输入到人体动作预测模块中，对人体动作进行检测，识别出人员的异常行为。
[0012]可选地，对所述第一视角图像进行如下处理：
[0013]利用依次级联的卷积核分别为3
×
3和5
×
5的两个卷积层，对图像进行缩小处理，其中，3
×
3卷积层的步长为2、补丁为1，5
×
5卷积层的步长为3、补丁为2。
[0014]可选地，所述姿势分支残差模块包括并联的两个分支，两个分支的输出端进行求和，其中，一个分支包括依次级联的卷积核为3
×
3的卷积层、BN层和Relu激活函数，另一个
分支包括依次级联的卷积核为5
×
5的卷积层、BN层和Relu激活函数。
[0015]可选地，所述姿势编码模块包括ResNet18网络，所述ResNet18网络对所述第二视角图像进行特征提取，得到所述第二视角图像的整体图像分辨率特征，作为所述姿势编码特征。
[0016]可选地，所述姿势交互模块包括一个空间
‑
通道感知交互子模块和一个深度可分离多层感知子模块；
[0017]所述空间
‑
通道感知交互单元子模块包括通道注意单元和空间注意单元；
[0018]所述深度可分离多层感知子模块包括依次级联的LayerNorm层、深度可分离3
×
3卷积层和GELU激活函数。
[0019]可选地，在所述姿势交互模块中，对输入X采用1
×
1卷积运算，得到查询序列Q、关键字序列K和值序列V；
[0020]对所述查询序列Q和转置后的所述关键字序列K进行点积计算，得到空间感知特征N；
[0021]将所述值序列V与所述通道注意单元进行矩阵相乘后得到结果S
′
；
[0022]将S
′
进行维度转换操作，得到S，将S与所述空间感知特征N进行计算，得到通道感知交互特征M；其中，M＝Softmax(N)
×
S；
[0023]将所述通道感知交互特征M进行维度转换操作，得到M'，将M'与所述空间注意单元进行矩阵相乘后得到空间感知交互特征W；
[0024]将所述空间感知交互特征W与所述通道感知交互特征M进行位置相加，得到空间
‑
通道感知交互注意力值；
[0025]将所述空间
‑
通道感知交互注意力值输入到所述深度可分离多层感知子模块中，对空间
‑
通道感知交互特征的不同通道和空间的特征进行处理，得到姿势交互特征。
[0026]可选地，所述通道注意单元的数学表达式如下：
[0027][0028][0029]y1＝fc1(y
s_averag
)
[0030]y2＝fc2(GELU(BN(y1)))
[0031]y
c
＝soft(y2)
[0032][0033]其中，fc3代表深度可分离3
×
3卷积，average代表平均池化层，fc1代表1
×
1卷积层，fc2代表1
×
1卷积，BN表示BN层，GELU表示激活函数，Soft代表sigmoid函数，是点乘号。
[0034]可选地，所述空间注意单元的数学表达式如下：
[0035][0036][0037][0038]其中，fc4代表1
×
1卷积层，fc5代表1
×
1卷积，BN表示BN层，GELU表示激活函数，s代
表sigmoid函数，
·
是对应元素乘号。
[0039]可选地，在所述姿势感知网络的训练过程中，人体姿态估计模块采用均方差损失对预测得到的人体姿态骨架特征与人体姿态骨架真实值进行计算，得到Loss2；
[0040]人体动作预测模块采用交叉熵损失对检测到的人体动作与人体动作真实值进行计算，得到Loss1；
[0041]利用如下公式进行反向梯度回传，完成训练过程
[0042]Loss＝pLoss1+dLoss2
[0043]其中，p和d表示系数。
[0044]本专利技术具有以下有益效果：
[0045]1、本专利技术采用双视角方法解决目前采用单视角检测方法存在的遮挡和角度问题，利用两个不同角度的摄像头检测同一用户，其中一个摄像头拍摄的图片，利用姿势分支残差模块进行姿势局部与全局信息融合，该模块能够有效避免歧义姿势生成；另外一个摄像头拍摄的图片，利用姿势编码模块得到姿势编码特征，通过第二视角图像对遮挡的关节点准确性得到有效地提高，再将两者共同提供给空间
‑
通道感知交互注意力，提高模型的关节点识别准确度。
[0046]2、为了增强注意力单元(如图4所示)在通道维度上的建模能力，本专利技术生成通道动态权重，它可以为注意力单元分支流提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的图像人员动作分析方法，其特征在于，采用姿势感知网络实现，所述姿势感知网络包括姿势分支残差模块、姿势编码模块和姿势交互模块；所述方法包括：获取第一摄像头拍摄的第一视角图像，对所述第一视角图像进行处理，将处理好的所述第一视角图像输入姿势分支残差模块，得到所述姿势分支残差模块输出的混合姿势特征；获取第二摄像头拍摄的第二视角图像，将所述第二视角图像输入姿势编码模块，得到所述姿势编码模块输出的姿势编码特征；其中，所述第一摄像头和所述第二摄像头用于在不同角度对人员进行拍摄，所述第二视角图像与所述第一视角图像分辨率相同；将所述混合姿势特征和所述姿势编码特征进行融合，再输入到姿势交互模块进行交互，得到所述姿势交互模块输出的姿势交互特征；将所述姿势交互特征输入到人体动作预测模块中，对人体动作进行检测，识别出人员的异常行为。2.根据权利要求1所述的方法，其特征在于，对所述第一视角图像进行如下处理：利用依次级联的卷积核分别为3
×
3和5
×
5的两个卷积层，对图像进行缩小处理，其中，3
×
3卷积层的步长为2、补丁为1，5
×
5卷积层的步长为3、补丁为2。3.根据权利要求1所述的方法，其特征在于，所述姿势分支残差模块包括并联的两个分支，两个分支的输出端进行求和，其中，一个分支包括依次级联的卷积核为3
×
3的卷积层、BN层和Relu激活函数，另一个分支包括依次级联的卷积核为5
×
5的卷积层、BN层和Relu激活函数。4.根据权利要求1所述的方法，其特征在于，所述姿势编码模块包括ResNet18网络，所述ResNet18网络对所述第二视角图像进行特征提取，得到所述第二视角图像的整体图像分辨率特征，作为所述姿势编码特征。5.根据权利要求1所述的方法，其特征在于，所述姿势交互模块包括一个空间
‑
通道感知交互子模块和一个深度可分离多层感知子模块；所述空间
‑
通道感知交互单元子模块包括通道注意单元和空间注意单元；所述深度可分离多层感知子模块包括依次级联的LayerNorm层、深度可分离3
×
3卷积层和GELU激活函数。6.根据权利要求5所述的方法，其特征在于，在所述姿势交互模块中，对输入X采用1
×
1卷积运算，得到查询序列Q、关键字序列K和值序列V；对所述查询序列Q...

【专利技术属性】
技术研发人员：展新，许文超，
申请(专利权)人：秀珍教育科技济南有限公司，
类型：发明
国别省市：