基于多监控视频的工作行为检测方法、装置、设备及介质制造方法及图纸

本申请的基于多监控视频的工作行为检测方法、装置、设备及介质，从不同摄像头拍摄的监控视频中提取所有待识别目标的人物图像集合，以获取该监控视频下所有待识别目标的特征集合，将不同摄像头拍摄的监控视频下的待识别目标进行重识别，能够准确汇总同一待识别目标的所有人物图像，进而得到同一拍摄时间下多个人物图像，再根据多个人物图像进行工作行为检测以得到该拍摄时间的工作行为，提高了工作行为检测的准确性，同时，可以实现针对同一目标的所有工作行为进行梳理，有利于提高监控视频数据利用率。据利用率。据利用率。

【技术实现步骤摘要】
基于多监控视频的工作行为检测方法、装置、设备及介质


[0001]本申请涉及人工智能
，尤其涉及一种基于多监控视频的工作行为检测方法、装置、设备及介质。

技术介绍

[0002]行为检测是视频理解和计算机视觉领域非常热门的研究内容，在智能监控、人机交互等领域中被广泛应用。在人工智能技术飞速发展的背景下，深度学习成为推动图像识别、视频检测的关键因素。基于这些有利条件，深度学习被广泛应用到行为检测技术中。通过训练检测模型，对场景中的人体行为状态进行实时检测和分析，更加智能化的实现动作行为分析。日常生活中，人们的工作行为状态是企业管理者关注的重要指标，通过分析和观察员工的工作状态，可以合理的分配工作，提升工作效率和帮助企业发展。
[0003]为了全面采集办公区域内每个员工的工作行为，通常在该办公区域的不同位置设置多个摄像头，对于同一个员工，在同一个拍摄时间，不同摄像头所采集的画面中该员工的拍摄角度不同。现有技术中工作行为状态检测方法大多采用对监控视频图像提取特征，借助检测器从视频图像中寻找关键特征点，然后将特征输入到分类器进行分类的方式，没有充分利用同一拍摄时间不同拍摄头采集的同一检测对象的拍摄画面，不利于提高工作行为检测的准确性。

技术实现思路

[0004]本申请的目的在于提供一种基于多监控视频的工作行为检测方法、装置、设备及介质，以解决现有技术中不利于提高工作行为检测的准确性的技术问题。
[0005]本申请的技术方案如下：提供一种基于多监控视频的工作行为检测方法，包括：
[0006]根据第一监控视频获取至少一个待识别目标的人物图像集合，对每个所述待识别目标的人物图像集合进行特征提取，获取所述待识别目标的特征集合，其中，所述人物图像集合包括多个人物图像，每个所述人物图像包括所述待识别目标、对所述待识别目标的拍摄角度、拍摄时间以及摄像头标识，多个所述人物图像至少包括两个所述拍摄角度，所述特征集合包括所述待识别目标的不同拍摄角度的特征；
[0007]根据所述待识别目标的特征集合以及从第二监控视频中提取的多个待识别对象的特征集合，获取与所述待识别目标匹配的所述待识别对象；
[0008]将所述待识别目标的人物图像集合以及匹配的至少一个所述待识别对象的人物图像集合中多个所述人物图像按照拍摄时间进行聚类，获取所述待识别目标在不同拍摄时间的待处理图像集合，每个所述待处理图像集合包括同一拍摄时间的多个所述人物图像；
[0009]将所述待识别目标的所述待处理图像集合输入预先训练好的工作行为检测模型中，输出所述待识别目标在所述拍摄时间的工作行为结果，其中，所述工作行为检测模型是根据标注有行为类别的样本图像集合训练得到的，所述样本图像集合包括相同拍摄时间的多个不同拍摄角度的样本对象。
[0010]在一些实施方式中，所述行为检测模块包括对应不同图像尺寸范围的多个特征提取通道，不同的特征提取通道对应不同的膨胀因子；
[0011]所述将所述待识别目标的所述待处理图像集合输入预先训练好的工作行为检测模型中，输出所述待识别目标在所述拍摄时间的工作行为结果，包括：
[0012]将所述待识别目标的所述待处理图像集合中所述人物图像输入卷积模块，输出每个所述人物图像的特征图；
[0013]获取每个所述特征图的图像尺寸；
[0014]根据所述图像尺寸所在的尺寸范围将所述特征图输入至对应的所述特征提取通道，根据所述特征提取通道的膨胀系数对所述特征图进行卷积操作，输出所述特征图的特征矩阵；
[0015]根据所述待识别目标的不同所述特征矩阵对所述待识别目标进行工作行为检测，输出概率向量，其中，所述概率向量包括所述待识别目标为每个预设行为类别的概率，将所述概率向量中概率最大的行为类别作为所述工作行为结果。
[0016]在一些实施方式中，所述卷积模块包括具有第一卷积核的第一卷积层、具有第二卷积核的第二卷积层以及分别具有第三卷积核的第三卷积层和第四卷积层；
[0017]所述将所述待识别目标的所述待处理图像集合中所述人物图像输入卷积模块，输出每个所述人物图像的特征图，包括：
[0018]所述将所述待识别目标的所述待处理图像集合中所述人物图像输入第一卷积层，输出每个所述人物图像的第一特征图；
[0019]将所述第一特征图输入至第二卷积层，输出每个所述人物图像的第二特征图；
[0020]将所述第二特征图输入至第三卷积层，输出每个所述人物图像的第三特征图；
[0021]将所述第三特征图输入至第四卷积层，输出每个所述人物图像的第四特征图；
[0022]将所述第三特征图和所述第四特征图进行特征融合，输出每个所述人物图像的所述特征图。
[0023]在一些实施方式中，所述根据所述待识别目标的特征集合以及从第二监控视频中提取的多个待识别对象的特征集合，获取与所述待识别目标匹配的所述待识别对象，包括：
[0024]根据所述待识别目标的特征集合以及所述待识别对象的特征集合，将所述待识别目标和所述待识别对象进行特征比对，得到对应的比对值；
[0025]将所述比对值最高的所述待识别对象作为与所述待识别目标匹配的所述待识别对象。
[0026]在一些实施方式中，所述根据所述待识别目标的特征集合以及所述待识别对象的特征集合，将所述待识别目标和所述待识别对象进行特征比对，得到对应的比对值，包括：
[0027]计算所述待识别目标的特征集合以及所述待识别对象的特征集合的距离，将所述距离作为所述比对值。
[0028]在一些实施方式中，所述对每个所述待识别目标的人物图像集合进行特征提取，获取所述待识别目标的特征集合，包括：
[0029]按照预设的划分方式将所述人物图像划分为不同网格区域，分别提取所述人物图像中不同网格区域的第一特征，得到所述人物图像的第一特征矩阵；
[0030]将所述拍摄角度相同的所述人物图像的所述第一特征矩阵进行特征融合，得到所
述拍摄角度的融合特征矩阵；
[0031]将不同所述拍摄角度的所述融合特征矩阵进行拼接，得到所述待识别目标的所述特征集合。
[0032]在一些实施方式中，所述将所述待识别目标的所述待处理图像集合输入预先训练好的工作行为检测模型中，输出所述待识别目标在所述拍摄时间的工作行为结果之后，还包括：
[0033]若所述工作行为结果为异常行为类型，则根据所述待识别目标的特征集合以及多个标准对象的特征集合，获取与所述待识别目标匹配的所述标准对象，其中，所述标准对象的特征集合是根据所述标准对象的人物图像集合进行特征提取得到的，所述标准对象的每个所述人物图像是预先采集得到的。
[0034]本申请的另一技术方案如下：提供一种基于多监控视频的工作行为检测装置，包括：
[0035]人物特征模块，用于根据第一监控视频获取至少一个待识别目标的人物图像集合，对每个所述待识别目标的人物图像集合进行特征提取，获取所述待识别目标的特征集合，其中，所述人物图像集合包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多监控视频的工作行为检测方法，其特征在于，包括：根据第一监控视频获取至少一个待识别目标的人物图像集合，对每个所述待识别目标的人物图像集合进行特征提取，获取所述待识别目标的特征集合，其中，所述人物图像集合包括多个人物图像，每个所述人物图像包括所述待识别目标、对所述待识别目标的拍摄角度、拍摄时间以及摄像头标识，多个所述人物图像至少包括两个所述拍摄角度，所述特征集合包括所述待识别目标的不同拍摄角度的特征；根据所述待识别目标的特征集合以及从第二监控视频中提取的多个待识别对象的特征集合，获取与所述待识别目标匹配的所述待识别对象；将所述待识别目标的人物图像集合以及匹配的至少一个所述待识别对象的人物图像集合中多个所述人物图像按照拍摄时间进行聚类，获取所述待识别目标在不同拍摄时间的待处理图像集合，每个所述待处理图像集合包括同一拍摄时间的多个所述人物图像；将所述待识别目标的所述待处理图像集合输入预先训练好的工作行为检测模型中，输出所述待识别目标在所述拍摄时间的工作行为结果，其中，所述工作行为检测模型是根据标注有行为类别的样本图像集合训练得到的，所述样本图像集合包括相同拍摄时间的多个不同拍摄角度的样本对象。2.根据权利要求1所述的基于多监控视频的工作行为检测方法，其特征在于，所述行为检测模块包括对应不同图像尺寸范围的多个特征提取通道，不同的特征提取通道对应不同的膨胀因子；所述将所述待识别目标的所述待处理图像集合输入预先训练好的工作行为检测模型中，输出所述待识别目标在所述拍摄时间的工作行为结果，包括：将所述待识别目标的所述待处理图像集合中所述人物图像输入卷积模块，输出每个所述人物图像的特征图；获取每个所述特征图的图像尺寸；根据所述图像尺寸所在的尺寸范围将所述特征图输入至对应的所述特征提取通道，根据所述特征提取通道的膨胀系数对所述特征图进行卷积操作，输出所述特征图的特征矩阵；根据所述待识别目标的不同所述特征矩阵对所述待识别目标进行工作行为检测，输出概率向量，其中，所述概率向量包括所述待识别目标为每个预设行为类别的概率，将所述概率向量中概率最大的行为类别作为所述工作行为结果。3.根据权利要求2所述的基于多监控视频的工作行为检测方法，其特征在于，所述卷积模块包括具有第一卷积核的第一卷积层、具有第二卷积核的第二卷积层以及分别具有第三卷积核的第三卷积层和第四卷积层；所述将所述待识别目标的所述待处理图像集合中所述人物图像输入卷积模块，输出每个所述人物图像的特征图，包括：所述将所述待识别目标的所述待处理图像集合中所述人物图像输入第一卷积层，输出每个所述人物图像的第一特征图；将所述第一特征图输入至第二卷积层，输出每个所述人物图像的第二特征图；将所述第二特征图输入至第三卷积层，输出每个所述人物图像的第三特征图；将所述第三特征图输入至第四卷积层，输出每个所述人物图像的第四特征图；
将所述第三特征图和所述第四特征图进行特征融合，输出每个所述人物图像的所述特征图。4.根据权利要求1所述的基于多监控视频的工作行为检测方法，其特征在于，所述根据所述待识别目标的特征集合以及从第二监控视频中提取的多个待识别对象的特征集合，获取与所述待识别目标匹配的所述待识别对象，包括：根据所述待识别目标的特征集合以及所述待识别对象的特征集合，将所述待识别目标和所述待识别对象进行特征比对，得到对应的比对...

【专利技术属性】
技术研发人员：刘兴廷，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：