用于目标检测和跟踪的方法及系统技术方案

本发明专利技术提供一种用于目标检测和跟踪的方法及系统，属于视频监控领域。所述方法包括：训练目标检测与目标跟踪相联合的联合模型；通过所述联合模型处理当前时刻的视频序列的每帧图像，以生成候选框，该候选框包括目标坐标及目标属于各个类别的概率；结合相对于所述当前时刻的前一时刻的跟踪片段调整所述候选框；基于调整后的候选框生成最终的检测框，以进行目标检测，得到最终检测结果；以及将所述最终检测结果与所述前一时刻的跟踪片段相结合，生成所述当前时刻的跟踪片段。本发明专利技术利用跟踪信息对检测器本身进行优化，将跟踪信息与检测器在早期进行融合，使得检测结果更为准确。

Method and System for Target Detection and Tracking

【技术实现步骤摘要】
用于目标检测和跟踪的方法及系统
本专利技术涉及视频监控领域，具体地涉及一种用于目标检测和跟踪的方法及系统。
技术介绍
随着互联网和人工智能技术的不断发展，越来越多的领域开始涉及自动化计算与分析，其中视频监控领域是最为重要的场景之一，例如用于安防。在视频监控中，目标检测与跟踪又是最为重要的技术之一。其中，检测算法是在视频帧中找到运动的目标，如在第10帧中找到目标A，在第11帧中找到目标a，而跟踪算法则是证明A与a是同一目标，由此可知跟踪算法是基于检测算法的。但是，常见的视频监控领域的目标检测与跟踪技术多采用逐帧检测目标的检测算法，然后通过跟踪算法将各帧的检测结果进行结合产生跟踪轨迹。但这种方法只能让跟踪算法从检测结果中受益，而检测算法却不能从跟踪结果中受益。对此，现有技术中的一些优化方案尝试利用之前帧的跟踪信息在当前帧上产生预测框，并将这些预测框与检测器在当前帧上产生的检测框相结合，以用于改善检测结果(例如，利用之前帧的跟踪轨迹对当前帧上匹配的检测框进行重打分等)。但这些优化方案都是属于一些“晚融合”的方法，即只能在检测器输出最终检测结果之后，对检测结果进行处理，并不能利用跟踪信息对检本文档来自技高网...

【技术保护点】
1.一种用于目标检测和跟踪的方法，其特征在于，该方法包括：训练目标检测与目标跟踪相联合的联合模型；通过所述联合模型处理当前时刻的视频序列的每帧图像，以生成候选框，该候选框包括目标坐标及目标属于各个类别的概率；结合相对于所述当前时刻的前一时刻的跟踪片段调整所述候选框；基于调整后的候选框生成最终的检测框，以进行目标检测，得到最终检测结果；以及将所述最终检测结果与所述前一时刻的跟踪片段相结合，生成所述当前时刻的跟踪片段。

【技术特征摘要】
1.一种用于目标检测和跟踪的方法，其特征在于，该方法包括：训练目标检测与目标跟踪相联合的联合模型；通过所述联合模型处理当前时刻的视频序列的每帧图像，以生成候选框，该候选框包括目标坐标及目标属于各个类别的概率；结合相对于所述当前时刻的前一时刻的跟踪片段调整所述候选框；基于调整后的候选框生成最终的检测框，以进行目标检测，得到最终检测结果；以及将所述最终检测结果与所述前一时刻的跟踪片段相结合，生成所述当前时刻的跟踪片段。2.根据权利要求1所述的用于目标检测和跟踪的方法，其特征在于，在所述通过所述联合模型处理当前时刻的视频序列的每帧图像之前，该方法还包括：对所述图像进行预处理，再将预处理后的图像输入至所述联合模型；其中，所述预处理包括：将所述图像缩放成固定尺寸，并减去统一的RGB均值。3.根据权利要求1所述的用于目标检测和跟踪的方法，其特征在于，所述训练目标检测与目标跟踪相联合的联合模型包括：通过预测框标注每帧图像中的目标的坐标及所属于的类别，并针对每一预测框分配一个跟踪ID；在所述视频序列的每个训练集中采样当前时刻和前一时刻对应的视频序列中相邻的两帧图像；在所采样的所述前一时刻对应的两帧图像上计算进行目标检测的第一损失；在所采样的所述前一时刻和所述当前时刻分别对应的两帧图像上计算进行目标跟踪的第二损失；以及基于所述第一损失和所述第二损失，训练出所述联合模型。4.根据权利要求3所述的用于目标检测和跟踪的方法，其特征在于，所述在所采样的所述前一时刻和所述当前时刻分别对应的两帧图像上计算进行目标跟踪的第二损失包括：对于前一时刻t-1上的每个预测框bt-1，计算其与该前一时刻t-1的每个真实值范围之间的交并比IOU，并将bt-1分配给IOU最大的真实值范围确定在当前时刻t与所述相对应的真实值范围以及采用以下公式计算bt-1与之间的第二损失式中，表示预测框bt-1的表观特征ε(bt-1)与真实值范围的表观特征之间的余弦距离。5.根据权利要求1所述的用于目标检测和跟踪的方法，其特征在于，该方法还包括：在生成所述候选框的同时，生成该候选框的表观特征。6.根据权利要求5所述的用于目标检测和跟踪的方法，其特征在于，所述结合相对于所述当前时刻的前一时刻的跟踪片段调整所述候选框包括：对于当前时刻t的第i个候选框通过下式计算其在受到前一时刻t-1所有的跟踪片段的影响的约束下属于类别c的概率：式中，表示候选框与第j个跟踪片段的相似度权重，且表示在候选框受到跟踪片段的影响的约束下该候选框属于类别c的概率；其中，通过下式计算所述式中，表示候选框的表观特征与跟踪片段的表观特征之间的余弦距离，γ为设定的系数；其中，通过下式计算所述式中，表示候选框属于类别c的概率，表示第j个跟踪片段属于类别c的概率。7.根据权利要求6所述的用于目标检测和跟踪的方法，其特征在于，该方法还包括通过下式来确定所述式中，β为设定参数，为跟踪片段的长度。8.根据权利要求1所述的用于目标检测和跟踪的方法，其特征在于，所述基于调整后的候选框生成最终的检测框包括：对所述调整后的候选框进行非最大值抑制NMS处理和阈值过滤处理以得到最终的检测框。9.一种用于目标检测和跟踪的系统，其特征在于，该系统包括：模型训练单元，用于训练目标检测与目标跟踪相联合的联合模型；候选框生成单元，用于通过所述联合模型处理当前时刻的视频序列的每帧图像，以生成候选框，该候选框包括目标坐标及目标属于各个类别的概率；候选框调整单元，用于结合相对于所述当前时刻的前一时刻的跟踪片...

【专利技术属性】
技术研发人员：何刚，袁宇辰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11