一种间歇性遮挡下的动态多目标识别方法技术

本发明专利技术公开了一种间歇性遮挡下的动态多目标识别方法。首先，采集并制作了存在间歇性遮挡影响的用于目标识别的连续图像序列和视频数据集，用于动态多目标识别算法的训练和测试。其次，设计基于中心网络的目标识别模块，获取输入视频相邻两帧图像中目标的边界框、运动偏移量和热点图特征信息。再次，采用基于门控循环单元网络的特征提取模块更新目标在当前帧中的特征信息，结合目标在之前帧中的特征信息获取目标运动轨迹。最后，采用基于匈牙利算法的目标轨迹匹配模块对目标及其运动轨迹进行匹配，并为每个目标分配相应的ID值，进而实现动态多目标识别。本发明专利技术能够应用于间歇性遮挡条件下动态多目标识别问题中。挡条件下动态多目标识别问题中。

【技术实现步骤摘要】
一种间歇性遮挡下的动态多目标识别方法


[0001]本专利技术涉及图像处理领域，具体为一种间歇性遮挡下的动态多目标识别方法。

技术介绍

[0002]多目标识别是计算机视觉中较为基础的研究问题，正在被广泛地应用于智慧监控、工业检测和人机交互等诸多领域，具有重要的研究和应用价值，但其仍面临复杂场景下的诸多挑战，如目标多且相互遮挡、环境光照变化明显、背景干扰等。
[0003]近年来，深度学习算法的深入研究进一步推动了环境感知性能的提升，在目标分类等任务上甚至达到或超过了人类识别的精度，因此，许多基于深度学习的目标识别方法被提出。相比于传统方法，基于深度学习的目标识别方法因其更强的泛化性和鲁棒性受到了广大研究者的关注。
[0004]目标相互遮挡在动态多目标识别过程中非常容易发生，传统方法在基于单帧图像目标检测的基础上，结合输入视频中前后两帧的目标特征来改善单个目标识别置信度较低的影响，进而提高目标的识别精度，但这类方法不能很好地获取相邻图像帧之间目标的特征信息，因此无法有效匹配目标及其运动轨迹，对于受较长时间遮挡的目标识别问题效果不佳。
[0005]近年来，一系列基于深度学习的多目标识别方法已被提出，例如Zhou等人在European Conference on Computer Vision提出使用中心网络(CenterNet)进行动态多目标识别，该方法通过提取目标在输入视频前后两帧中的边界框、热点图、运动偏移量特征信息并对目标及其运动轨迹进行匹配，在网络结构更为简化的基础上，取得了更高的动态目标识别准确率。实验证明，该方法可得到更出色的动态目标识别性能，足以证明深度学习算法在动态目标识别上的确具有优异表现。然而这类方法不能很好地提取输入视频多帧图像中的目标特征信息，难以准确识别受间歇性遮挡影响的动态目标。经过相关技术检索发现，目前尚无满足在目标受间歇性遮挡影响下基于深度学习的动态多目标识别方法。

技术实现思路

[0006]为了解决基于中心网络的动态多目标识别方法无法解决间歇性遮挡下的动态多目标识别问题，本专利技术提出了间歇性遮挡下的动态多目标识别新方法，该方法通过融合输入视频多帧图像中的目标特征信息，能够在目标受间歇性遮挡影响较大的情况下，对多个动态目标进行有效识别，提高了动态多目标识别的准确率。
[0007]本专利技术提供一种间歇性遮挡下的动态多目标识别方法，该方法包括训练和测试两个阶段，其中，训练阶段由基于中心网络的目标识别模块，基于门控循环单元网络的特征提取模块以及基于匈牙利算法的目标轨迹匹配模块实现。基于中心网络的目标识别模块包括基准网络以及特征提取模块，基准网络采用DLA
‑
34网络结构，特征提取模块采用中心网络。测试阶段待训练阶段完成后，将待识别的视频输入基于中心网络的目标识别模
块，经过处理后再经基于匈牙利算法的目标轨迹匹配模块对目标及其运动轨迹进行匹配，即可实现动态多目标识别。该方法包含以下步骤：
[0008]步骤1：训练数据集准备。
[0009]步骤2：将总长度为T帧的训练视频数据输入基准网络，通过基准网络获取标记有目标种类及边界框信息的相邻帧序列(x
t
‑1，x
t
)，t＝2,
…
,T，其中，x
t
表示标记有目标种类及边界框信息的第t帧图像，目标种类信息用于识别目标，同一种目标的种类信息相同，边界框信息用于计算目标中心点所在位置。
[0010]步骤3：将基准网络获取的相邻帧序列(x
t
‑1，x
t
)输入特征提取模块，预测得到x
t+1
帧序列上所有目标中心点的运动偏移量和热点图特征信息，目标中心点的运动偏移量用于计算运动轨迹，热点图用于判断所标记的目标种类是否准确。
[0011]步骤4：计算损失函数，其中，整体损失函数表达式更新如下：其中，T表示输入视频的序列长度，λ
f
，λ
s
和λ
O
为超参数，分别定义了整体损失函数中各个分支的权重,λ
f
＝1，λ
s
＝0.1，λ
O
＝0.1；L
f
表示目标热点图的预测损失，具体采用基于局部损失的损失函数，其表达式如下：其中，Y
cab
表示第t帧在位置(a,b)上属于种类c的目标的热点图真实值，该值由输入视频直接得到，表示由相邻帧序列(x
t
‑1，xt)预测得到的第t帧中相应位置的目标的热点图，N表示第t帧图像中的目标个数，α、β为超参数，表示遍历第t帧图像所有位置上所有种类的目标。L
s
表示目标边界框位置的预测损失，采用基于L1损失的损失函数，其表达式如下：其中，表示基准网络预测的第t帧图像上第i个目标中心点位置的边界框位置，表示第t帧图像上的第i个目标中心点位置的边界框位置真实值，真实值由输入视频直接得到。L
o
表示目标运动偏移量的预测损失，采用基于回归函数的损失函数，其表达式如下：
其中表示在第t帧图像上的每个边界框上目标i的运动轨迹，表示检测到的第t帧和第t
‑
1帧图像上目标i的中心点位置的真实值，真实值由输入视频直接得到；表示基于更新后的目标特征信息M
t
，在输入的第t帧图像采用正定位头P
t
对目标中心点位置进行的有监督学习，表示基于更新后的目标特征信息M
t
，在输入的第t帧图像采用负定位头V
t
对目标中心点位置进行的有监督学习。其中，M
t
的更新过程由基于门控循环单元网络的特征提取模块完成，通过分别计算第t帧对应的门控循环单元网络中的更新门参数z
t
、隐藏层递归表示参数和重置门参数r
t
，进而获取更新后的第t帧图像目标特征信息M
t
，目标特征信息包括目标边界框大小、运动偏移量和热点图，具体计算公式如下：其中，z
t
表示更新门参数，M
t
‑1表示第t
‑
1帧更新后的目标边界框大小、运动偏移量和热点图，在输入的第1帧图像上，M1＝0，表示隐藏层递归表示参数，更新门参数z
t
的计算表达式如下：z
t
＝δ(W
z
F
t
+U
z
M
t
‑1+b
z
)其中δ()表示Logistic函数，其输出区间为(0,1)，W
Z
、U
z
和b
z
是门控循环单元网络更新门可学习的网络参数，F
t
表示更新前的第t帧目标边界框大小、运动偏移量和热点图，F1、F2的取值分别为第1帧、第2帧图像上目标边界框大小、运动偏移量和热点图的真实值，真实值由输入视频直接得到，从第三帧开始赋预测值。隐藏层递归表示参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种间歇性遮挡下的动态多目标识别方法，其特征在于：该方法包括训练和测试两个阶段，其中，训练阶段由基于中心网络的目标识别模块，基于门控循环单元网络的特征提取模块以及基于匈牙利算法的目标轨迹匹配模块实现；测试阶段：训练完成后，将待识别的视频输入基于中心网络的目标识别模块，经过处理后再经基于匈牙利算法的目标轨迹匹配模块对目标及其运动轨迹进行匹配，即可实现动态多目标识别。2.根据权利要求1所述的一种间歇性遮挡下的动态多目标识别方法，其特征在于：基于中心网络的目标识别模块包括基准网络以及特征提取模块，基准网络采用DLA
‑
34网络结构，特征提取模块采用中心网络。3.根据权利要求1所述的一种间歇性遮挡下的动态多目标识别方法，其核心在于，训练过程如下：步骤1，训练数据集准备。步骤2：将总长度为T帧的训练视频数据输入基准网络，通过基准网络获取标记有目标种类及其边界框信息的相邻帧序列(x
t
‑1，x
t
)，t＝2,
…
,T，其中，x
t
表示标记有目标种类及其边界框信息的第t帧图像，目标种类信息用于识别目标，边界框信息用于计算目标中心点所在位置。步骤3：将基准网络获取的相邻帧序列(x
t
‑1，x
t
)输入特征提取模块，预测得到x
t+1
帧序列上所有目标中心点的运动偏移量和热点图，目标中心点的运动偏移量用于计算运动轨迹，热点图用于判断所标记的目标种类是否准确。步骤4：计算损失函数，其中，整体损失函数表达式更新如下：其中，T表示输入视频的序列长度，λ
f
，λ
s
和λ
O
为超参数，分别定义了整体损失函数中各个分支的权重，L
f
表示目标热点图的预测损失，具体采用基于局部损失的损失函数，其表达式如下：)其中，Y
cab
表示第t帧在位置(a,b)上属于种类c的目标在真实热点图上的对应值，表示由相邻帧序列(x
t
‑1，x
t
)预测得到的第t帧中相应位置的目标的热点图，N表示训练数据第t帧中的目标个数，α、β为超参数，表示遍历第t帧图像中所有位置上所有种类的目标；L
s
表示目标边界框位置的预测损失，采用基于L1损失的损失函数，其表达式如下：其中，表示基准网络预测的第t帧图像上第i个目标中心点位置的边界框位置，表
示第t帧图像上第i个目标中心点位置的边界框位置真实值；L
o
表示目标运动偏移量的预测损失，采用基于回归函数的损失函数，其表达式如下：其中表示在第t帧图像的每个边界框上目标i的运动轨迹，表示第t帧和第t
‑
1帧图像上目标i的中心点位置的真实值；表示基于更新后的目标特征信息M
t
，在输入的第t帧图像采用正定位头P
t
对目标中心点位置进行的有监督学习...

【专利技术属性】
技术研发人员：曹政才，李俊年，张东，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：