【技术实现步骤摘要】
时空域行为的检测和跟踪方法、装置、存储介质及设备
[0001]本申请涉及图像处理
，特别涉及一种时空域行为的检测和跟踪方法、装置、存储介质及设备。
技术介绍
[0002]时空域行为的检测在行为识别领域的地位是非常重要的，在智能安防、无人驾驶等领域有着非常广泛的应用场景，在实际应用中，常常结合目标跟踪算法对特定目标对象的持续的行为进行统计和分析。
[0003]现有技术中是将时空域行为检测和目标跟踪算法独立为两个完全不同的任务。在进行目标跟踪时，基于检测框的目标检测是通过两帧之间的检测框交并比以及通过卡尔曼估计运动方向，此方法抵挡遮挡性能较差。基于视觉特征的目标检测是将人体的特征提取并缓存，与后续的人体特征做相似度比较，此方法可以抵挡遮挡等问题，但是无法抵挡相似服装(例如校服，统一制服)，同时计算量也较大，特征提取计算量与人数线性相关，比对计算量与人数指数相关。
技术实现思路
[0004]本申请提供了一种时空域行为的检测和跟踪方法、装置、存储介质及设备，用于解决在检测时空域行为的同时进行目标跟踪时，...
【技术保护点】
【技术特征摘要】
1.一种时空域行为的检测和跟踪方法，其特征在于，所述方法包括：将从视频中提取出的视频帧依次添加到预定长度的队列中，直至所述队列中的视频帧的数量达到所述预定长度时得到一个视频帧序列；获取第一个视频帧中的各个目标对象的位置信息和跟踪标识；利用预先训练的检测模型对所述位置信息、所述跟踪标识和所述视频帧序列进行处理，得到时空域特征矩阵；利用所述检测模型对所述时空域特征矩阵进行目标检测，得到最后一个视频帧中各个目标对象的位置信息和行为分类信息；利用所述检测模型对所述时空域特征矩阵进行跟踪检测，得到最后一个视频帧中各个目标对象的跟踪标识。2.根据权利要求1所述的方法，其特征在于，所述利用预先训练的检测模型对所述位置信息、所述跟踪标识和所述视频帧序列进行处理，得到时空域特征矩阵，包括：利用预先训练的检测模型对所述位置信息和所述跟踪标识生成注意力特征图和第一特征矩阵；利用所述检测模型对所述注意力特征图和所述视频帧序列生成第二特征矩阵；利用所述检测模型对所述第一特征矩阵和所述第二特征矩阵生成时空域特征矩阵。3.根据权利要求2所述的方法，其特征在于，所述利用预先训练的检测模型对所述位置信息和所述跟踪标识生成注意力特征图和第一特征矩阵，包括：利用所述检测模型，根据高斯核对每个目标对象的位置信息和跟踪标识计算高斯分布，将所有目标对象的高斯分布的数值填充至元素为0的掩码矩阵中的对应位置处，得到注意力特征图，所述掩码矩阵的尺度与所述视频帧的尺度相同；利用所述检测模型对所述位置信息和所述跟踪标识进行格式转换，利用全连接的线性层对转换后的特征矩阵进行处理，并在时间维度上采用重复操作将处理后的特征矩阵转换为第一特征矩阵。4.根据权利要求3所述的方法，其特征在于，当所述位置信息为目标对象的检测框的坐标信息时，所述根据高斯核对每个目标对象的位置信息和跟踪标识计算高斯分布，包括：对于每个目标对象，根据所述目标对象的位置信息获取所述检测框的宽度和高度，根据所述宽度和所述高度计算所述高斯核的核大小，根据所述核大小计算高斯的标准差；将所述核大小和所述标准差输入高斯核的公式中，得到两个尺度分布；将所述两个尺度分布相乘，得到所述高斯分布。5.根据权利要求2所述的方法，其特征在于，所述利用所述检测模型对所述注意力特征图和所述视频帧序列生成第二特征矩阵，包括：利用所述检测模型将所述注意力特征图和所述视频帧序列按照通道方向进行拼接，得到第三特征矩阵；利用三维卷积神经网络中的前三次空间下采样结构对所述第三特征矩阵进行卷积处理，得到所述第二特征矩阵。6.根据权利要求2所述的方法，其特征在于，所述利用所述检测模型对所述第一特征矩阵和所述第二特征矩阵生成时空域特征矩阵，包括：利用所述检测模型将所述第一特征矩阵和所述第二特征矩阵相加，得到第四特征矩
阵；利用三维卷积神经网络中的后两次空间下采样结构对所述第四特征矩阵进行卷积处理，得到第五特征矩阵；利用所述检测模型...
【专利技术属性】
技术研发人员：杨帆，冯帅，白立群，胡建国，
申请(专利权)人：南京甄视智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。