多人行为识别方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种多人行为识别方法、装置、计算机设备及存储介质，其中方法包括：获取检测区域内的图像数据；对图像数据进行切帧处理，以得到多帧静态图片；将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为识别结果。本发明专利技术结合了多目标跟踪、关键点检测以及光流估计方法，可以有效的对多目标移动的人体进行实时行为识别，对较短时间段内大幅移动人体的行为检测有很好的兼容性，提高了模型在不同场景识别的鲁棒性以及准确性，使得模型对于复杂内容的图像有较好的理解能力。的图像有较好的理解能力。的图像有较好的理解能力。

【技术实现步骤摘要】
多人行为识别方法、装置、计算机设备及存储介质


[0001]本专利技术涉及计算机视觉
，更具体地说是一种多人行为识别方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着社会快速发展，人体行为预测是目前工业界和学界的一个研究热点和难点，其在实际生活中有重要应用价值。针对人体行为预测目前有以下几种方式：
[0003]第一种是首先对采集的可见光图像及红外图像进行图像处理得到跟踪目标区域，接着检测待跟踪目标区域是否包括行人，当包含行人的时候对行人进行跟踪，并在跟踪的过程中检测行人边缘以从待跟踪目标区域获得行人待识别区域，将行人待识别区域输入到识别模型得到行人行为识别结果。该专利基于红外的方式对目标进行跟踪，设备需要额外的花费，且基于传统的方向梯度直方图的方式对图像进行特征提取来判断行人目标，受光照影响严重，效果较差，且该方法仅仅基于人物外观轮廓进行行为识别忽略了空间时间融合信息，识别效果较差。
[0004]第二种是通过运用多任务深度学习的方法训练3D卷积神经网络，将多种人体行为属性以背景视频的固定连续帧数的帧快作为网络的输入，经过3D卷积神经网络训练后完成识别任务。该方法仅仅对固定位置的人体行为进行识别，且仅针对单个人进行行为识别，有很大的局限性。此外，基于3D卷积进行行为识别，模型效率较低，训练的模型容易受背景因素的影响严重，导致识别效果差。
[0005]第三种是通过获取视频片段，对视频片段中的图像帧序列进行特征提取以及降维处理，然后对降维后的特征向量进行编码，将降维特征向量进行扩充，得到预设个数的扩充特征向量。将扩充特征向量和所述编码特征向量输入到三层单层解码器进行解码，再将最后一层解码特征向量输入至单层全连接前馈网络进行计算，得到多个预测值。再将预测值输入至逻辑回归网络得到对应的预测概率，选取最大概率值对应的类别作为最后一层解码特征向量对应矩形框的人体行为动作类别。该方法先采取空间信息，接着再通过不同时间段的空间特征进行时间特征的提取，很容易在时间特征提取的过程中丢失空间信息，很难做到空间特征与时间特征的融合，因此动作识别的准确度会被降低。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的不足，提供多人行为识别方法、装置、计算机设备及存储介质。
[0007]为实现上述目的，本专利技术采用以下技术方案：
[0008]第一方面，多人行为识别方法，包括：
[0009]获取检测区域内的图像数据；
[0010]对图像数据进行切帧处理，以得到多帧静态图片；
[0011]将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到
人体行为识别结果。
[0012]其进一步技术方案为：所述将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为识别结果，包括：
[0013]将多帧静态图片以图片序列的形式输入至跟踪模型进行处理，以得到带有id索引的人物图像；
[0014]将带有id索引的不同人物图像输入至关键点检测模型进行处理，以得到关键点热力图；
[0015]将带有id索引的人物图像输入至光流模型中进行处理，以得到光流特征图；
[0016]将关键点热力图和光流特征图输入至视频分类模型中进行处理，以得到人体行为识别结果。
[0017]其进一步技术方案为：所述将带有id索引的不同人物图像输入至关键点检测模型进行处理，以得到关键点热力图，包括：
[0018]将带有id索引的不同人物图像输入到多个串联的ExtrackBlock中进行处理，以得到人物特征；
[0019]将人物特征进行输入到RefineBlock进行处理，以得到关键点热力图。
[0020]其进一步技术方案为：所述将带有id索引的不同人物图像输入到多个串联的ExtrackBlock中进行处理，以得到人物特征，包括：
[0021]将带有id索引的不同人物图像分别进行深度可分离卷积和空间可分离卷积处理，以得到深度卷积特征和空间卷积特征；
[0022]将深度卷积特征和空间卷积特征进行相加处理，以得到相加结果特征；
[0023]将相加结果特征分别通过第一卷积、第二卷积、第三卷积和第四卷积进行处理，以得到第一卷积特征、第二卷积特征、第三卷积特征和第四卷积特征；
[0024]将第一卷积特征、第二卷积特征、第三卷积特征和第四卷积特征分别输入到4个注意力机制分支中进行处理，以分别得到第一注意力分支特征、第二注意力分支特征、第三注意力分支特征和第四注意力分支特征；
[0025]将第一注意力分支特征、第二注意力分支特征、第三注意力分支特征和第四注意力分支特征进行concat处理，以得到结合特征；
[0026]将结合特征与空间卷积特征进行合并，以得到人物特征。
[0027]其进一步技术方案为：所述将人物特征进行输入到RefineBlock进行处理，以得到关键点热力图，包括：
[0028]将人物特征通过可变形卷积处理，以得到可变形卷积特征；
[0029]将可变形卷积特征输入至SCSE中进行处理，以得到注意力权重特征；
[0030]将可变形卷积特征输入到混合深度卷积网络并连接sigmoid层进行处理，以得到注意力特征图；
[0031]将注意力权重特征与注意力特征图进行相乘处理后得到的结果与可变形卷积特征进行相加处理，以得到输出特征；
[0032]将输出特征通过双线性插值放大到原始尺寸，以得到关键点热力图。
[0033]其进一步技术方案为：所述将带有id索引的人物图像输入至光流模型中进行处理，以得到光流特征图，包括：
[0034]将前后两帧带有id索引的人物图像输入到残差卷积进行处理，以得到第一残差卷积特征和第二残差卷积特征；
[0035]将第一残差卷积特征和第二残差卷积特征分别输入到深度可分离卷积网络和空间可分离卷积网络进行处理，以得到第一深度可分离卷积特征、第一空间可分离卷积特征、第二深度可分离卷积特征、第二空间可分离卷积特征；
[0036]将第一深度可分离卷积特征和第一空间可分离卷积特征进行concat处理，以得到第一结合特征；
[0037]将第二深度可分离卷积特征和第二空间可分离卷积特征进行concat处理，以得到第二结合特征；
[0038]将第一结合特征、第二结合特征进行相乘处理后的结果经过sigmoid激活函数处理，以得到激活函数特征；
[0039]将第一残差卷积特征进行卷积处理，以得到卷积处理特征；
[0040]将卷积处理特征与激活函数特征进行concat，以得到合并特征；
[0041]将合并特征输入到卷积块中进行处理，以得到卷积块特征；
[0042]对激活函数特征进行空洞卷积上采样处理，以得到空洞卷积上采样特征；
[0043]对合并特征进行反卷积上采样处理，以得到反卷积上采样特征；
[0044]对卷积块特征进行反池化上采样处理，以得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多人行为识别方法，其特征在于，包括：获取检测区域内的图像数据；对图像数据进行切帧处理，以得到多帧静态图片；将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为识别结果。2.根据权利要求1所述的多人行为识别方法，其特征在于，所述将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为识别结果，包括：将多帧静态图片以图片序列的形式输入至跟踪模型进行处理，以得到带有id索引的人物图像；将带有id索引的不同人物图像输入至关键点检测模型进行处理，以得到关键点热力图；将带有id索引的人物图像输入至光流模型中进行处理，以得到光流特征图；将关键点热力图和光流特征图输入至视频分类模型中进行处理，以得到人体行为识别结果。3.根据权利要求2所述的多人行为识别方法，其特征在于，所述将带有id索引的不同人物图像输入至关键点检测模型进行处理，以得到关键点热力图，包括：将带有id索引的不同人物图像输入到多个串联的ExtrackBlock中进行处理，以得到人物特征；将人物特征进行输入到RefineBlock进行处理，以得到关键点热力图。4.根据权利要求3所述的多人行为识别方法，其特征在于，所述将带有id索引的不同人物图像输入到多个串联的ExtrackBlock中进行处理，以得到人物特征，包括：将带有id索引的不同人物图像分别进行深度可分离卷积和空间可分离卷积处理，以得到深度卷积特征和空间卷积特征；将深度卷积特征和空间卷积特征进行相加处理，以得到相加结果特征；将相加结果特征分别通过第一卷积、第二卷积、第三卷积和第四卷积进行处理，以得到第一卷积特征、第二卷积特征、第三卷积特征和第四卷积特征；将第一卷积特征、第二卷积特征、第三卷积特征和第四卷积特征分别输入到4个注意力机制分支中进行处理，以分别得到第一注意力分支特征、第二注意力分支特征、第三注意力分支特征和第四注意力分支特征；将第一注意力分支特征、第二注意力分支特征、第三注意力分支特征和第四注意力分支特征进行concat处理，以得到结合特征；将结合特征与空间卷积特征进行合并，以得到人物特征。5.根据权利要求3所述的多人行为识别方法，其特征在于，所述将人物特征进行输入到RefineBlock进行处理，以得到关键点热力图，包括：将人物特征通过可变形卷积处理，以得到可变形卷积特征；将可变形卷积特征输入至SCSE中进行处理，以得到注意力权重特征；将可变形卷积特征输入到混合深度卷积网络并连接sigmoid层进行处理，以得到注意力特征图；将注意力权重特征与注意力特征图进行相乘处理后得到的结果与可变形卷积特征进
行相加处理，以得到输出特征；将输出特征通过双线性插值放大到原始尺寸，以得到关键点热力图。6.根据权利要求2所述的多人行为识别方法，其特征在于，所述将带有id索引的人物图像输入至光流模型中进行处理，以得到光流特征图，包括：将前后两帧带有id索引的人物图像输入到残差卷积进行处理，以得到第一残差卷积特征和第二残差卷积特征；将第一残差卷积特征和第二残差卷积特征分别输入...

【专利技术属性】
技术研发人员：胡懋成，王秋阳，周婧雯，汪玉冰，郑博超，凤阳，
申请(专利权)人：深圳市赛为智能股份有限公司，
类型：发明
国别省市：