一种高速多目标检测跟踪和目标图像优选方法及存储介质技术

本发明专利技术公开了一种高速多目标检测跟踪和目标图像优选方法及存储介质，应用于计算机视觉技术领域，方法中先获取输入的若干帧视频序列，通过SSD检测器检测当前帧中待跟踪目标，通过基于匈牙利算法实现的多目标跟踪算法对待跟踪目标进行跟踪，并根据上一帧中标记后的待跟踪目标进行数据关联、赋值和标记，最后对当前帧的候选关键目标图像的进行评分更新优选目标图像。本发明专利技术通过在高速的多目标跟踪算法基础上，结合匈牙利算法，对待跟踪目标进行数据关联，在不引入ReID模型的情况下，大幅度降低了复杂度，提高跟踪速度，并且速度几乎不随跟踪目标的数量增加而增加；利用过滤器降低跟踪器输出目标中出现错误目标的情况提高目标优选的精度。

【技术实现步骤摘要】
一种高速多目标检测跟踪和目标图像优选方法及存储介质
本专利技术涉及计算机视觉
，尤其涉及一种高速多目标检测跟踪和目标图像优选方法及存储介质。
技术介绍
近年来，随着信息技术的不断发展，城市信息化应用水平不断提升，视频监控系统的应用越来越广泛，视频分析技术发挥越来越关键的作用，其中多目标的检测跟踪和目标优选是视频分析技术中的重要组成部分。多目标检测跟踪主要包括目标检测和目标跟踪。目标检测是在某视频帧中检测出多个目标并将其分类，目标跟踪则是以视频序列的某一帧为起点，经过人工选定或者检测器检测到的目标，在后续帧中不断估计它们的位置，跟踪获取目标的运动状态。目前，针对视频监控场景中的目标跟踪方法有很多，但是，由于目标(例如行人、车辆)的外观特征易受到着装、视角、遮挡、姿态、光照等因素影响，复杂场景中的多目标跟踪仍然是一个难题。对工程应用而言，现有技术有注重跟踪速度而损失精度的(例如，IOUTracker、SORT)，有注重精度但损失精度的(例如，DeepSORT)，这两种方式均不太实用，所以如何均衡速度和精度(捕获率、重复率)才是工程应用的难点。目标优选是指在监控视频中，对一个目标从出现到消失的每一帧中，对该目标的图像进行评分，获取该目标在视频序列中整个生命周期中质量最高的一帧图像作为其优选图像。优选图像的选取对于后续目标的特征提取、结构化分析以及检索等都直观重要，高质量的优选图像，能够有效提高目标属性识别的准确性以及检索的成功率。因此，如何进行目标优选，筛选获取质量最高的优选图像成为人们日益关心的问题。
技术实现思路
专利技术目的：针对现有技术中多目标检测跟踪速度和精度较低的缺陷，本专利技术公开了一种高速多目标检测跟踪和目标图像优选方法及存储介质，通过检测器获取当前帧中的待跟踪目标，并结合匈牙利算法，对待跟踪目标进行关联，在不引入ReID模型的情况下，大幅度降低了复杂度，提高跟踪速度，并且速度几乎不随跟踪目标的数量增加而增加。技术方案：为实现上述技术目的，本专利技术采用以下技术方案。一种高速多目标检测跟踪和目标图像优选方法，包括以下步骤：S1、获取输入的若干帧视频序列：从监控视频中选取若干帧视频序列；S2、视频序列初始化：从第一帧图像开始，对输入的视频序列初始化视频网格和初始化参考点，所述视频网格包括横向线条rowi和纵向线条colj，其中i＝1，2...m，j＝1，2...n；参考点为主观判定场景中最佳位置；S3、检测当前帧中待跟踪目标：将初始化后的视频序列输入到CNN神经网络中，通过预训练后的检测器检测获取视频序列当前帧中若干待跟踪目标，并对每个待跟踪目标分别赋值类别ID，并对每个待跟踪目标划定自身的坐标框；S4、对多目标进行跟踪：检测器后连接跟踪器，在跟踪器中采用基于匈牙利算法实现的多目标跟踪算法对当前帧中所有待跟踪目标进行跟踪，对当前帧中待跟踪目标和上一帧标记后的待跟踪目标之间进行关联、赋值和标记，标记名称为候选关键目标执行步骤S5；S5、对同一ID值的目标图像进行优选：根据候选关键目标坐标框提取候选关键目标图像，对所有候选关键目标图像分别计算图像评分，所述图像评分由候选关键目标的位置评分和图像质量评分加权计算获得；对于当前帧中每一个候选关键目标，若上一帧中没有同一ID值的优选目标图像，则将当前帧中候选关键目标图像更新为当前帧的优选目标图像；若当前帧中候选关键目标图像的图像评分大于上一帧中同一ID值的优选目标图像的图像评分，则将当前帧中候选关键目标图像更新为当前帧的优选目标图像，否则将上一帧中同一ID值的优选目标图像作为当前帧的优选目标图像；S6、获取输入的视频序列下一帧图像，返回步骤S3，直至所有视频序列检测结束，实现若干帧视频序列的多目标跟踪和目标图像优选。优选地，所述步骤S3预训练后的检测器中，检测器的预先训练过程为：首先准备训练样本测试集，所述训练样本测试集中包括若干张图片；采用开源深度学习框架Caffe和开源SSD模型对检测器进行迭代训练，训练过程中生成若干模型；最后向检测器的若干模型输入训练样本测试集进行测试，选择训练好的最优模型，完成测试。优选地，所述步骤S4中跟踪器后还连接有过滤器，采用过滤器去除跟踪器输出目标中出现的误检目标。优选地，所述步骤S4中利用匈牙利算法对每个待跟踪目标进行关联、赋值和标记具体过程包括：S41、数据关联：计算当前帧中待跟踪目标与上一帧标记后的待跟踪目标之间的交互比即IoU，IoU最大值大于预设重叠阈值，则判定当前帧中待跟踪目标与相应的上一帧标记后的待跟踪目标相关联，执行步骤S42；否则，当前帧中待跟踪目标关联失败，执行步骤S43；S42、对关联成功的待跟踪目标进行赋值和标记：将上一帧标记后的待跟踪目标ID赋值给当前帧中相应待跟踪目标，并将当前帧中所有得到ID赋值的待跟踪目标标记为候选关键目标；S43、对关联失败的待跟踪目标进行标记：采用预设过滤器对当前帧中没有关联成功的待跟踪目标进行过滤，将预设过滤器输出的待跟踪目标标记为候选关键目标，并将其丢失时间记为1；对上一帧中没有关联成功的待跟踪目标的丢失时间进行加1更新，更新后的丢失时间大于时间阈值，将相应待跟踪目标标记为消失跟踪目标，更新后的丢失时间小于时间阈值，将相应待跟踪目标标记为丢失跟踪目标。优选地，所述步骤41中计算当前帧中待跟踪目标与上一帧标记后的待跟踪目标之间的交互比的具体过程为：将所有的上一帧第i个标记后的待跟踪目标的坐标框标记为原标记框Gi，将当前帧中第j个待跟踪目标的坐标框标记为候选标记框Cj，利用匈牙利算法计算每一个候选标记框Cj与所有原标记框Gi的交互比即IoU，获取每一个候选标记框Cj与所有原标记框Gi的IoU最大值，IoU最大值大于预设重叠阈值，则判定IoU最大值所在的候选标记框Cj与原标记框Gi相关联，否则关联失败。优选地，所述步骤S5中图像评分的具体计算过程为：S51、获取候选关键目标的坐标位置：根据视频网格获取候选关键目标的坐标框触碰的视频网络横向线条rowi和纵向线条colj；S52、计算候选关键目标的位置评分SL：计算横向线条rowi和纵向线条colj与最佳参考点的距离，距离越大，则位置评分SL越低，距离越小，则位置评分SL越高；S53、计算候选关键目标的图像质量评分SIQA：在训练好的孪生网络模型中输入候选关键目标图像，采用RankIQA算法计算候选关键目标的图像质量评分SIQA；S54、计算图像评分：将候选关键目标的位置评分和图像质量评分加权计算。优选地，所述步骤S53中孪生网络模型的训练过程为：S531、生成训练样本：获取一组原始图片，对原始图片进行失真获取若干失真图，所述失真图含有自身等级，根据等级对失真图进行排序，并结合相应原始图片，生成排好序的训练样本；S532、孪生网络模型第一次训练：将训练样本输入至孪生网络中进行训练，计算铰链损失函数值并进行反向传播，直至铰链损失函数值达本文档来自技高网...

【技术保护点】
1.一种高速多目标检测跟踪和目标图像优选方法，其特征在于，包括以下步骤：/nS1、获取输入的若干帧视频序列：从监控视频中选取若干帧视频序列；/nS2、视频序列初始化：从第一帧图像开始，对输入的视频序列初始化视频网格和初始化参考点，所述视频网格包括横向线条row

【技术特征摘要】
1.一种高速多目标检测跟踪和目标图像优选方法，其特征在于，包括以下步骤：
S1、获取输入的若干帧视频序列：从监控视频中选取若干帧视频序列；
S2、视频序列初始化：从第一帧图像开始，对输入的视频序列初始化视频网格和初始化参考点，所述视频网格包括横向线条rowi和纵向线条colj，其中i＝1，2...m，j＝1，2...n；参考点为主观判定场景中最佳位置；
S3、检测当前帧中待跟踪目标：将初始化后的视频序列输入到CNN神经网络中，通过预训练后的检测器检测获取视频序列当前帧中若干待跟踪目标，对每个待跟踪目标分别赋值类别ID，并对每个待跟踪目标划定自身的坐标框；
S4、对多目标进行跟踪：检测器后连接跟踪器，在跟踪器中采用基于匈牙利算法实现的多目标跟踪算法对当前帧中所有待跟踪目标进行跟踪，对当前帧中待跟踪目标和上一帧标记后的待跟踪目标之间进行关联、赋值和标记，标记名称为候选关键目标执行步骤S5；
S5、对同一ID值的目标图像进行优选：根据候选关键目标坐标框提取候选关键目标图像，对所有候选关键目标图像分别计算图像评分，所述图像评分由候选关键目标的位置评分和图像质量评分加权计算获得；对于当前帧中每一个候选关键目标，若上一帧中没有同一ID值的优选目标图像，则将当前帧中候选关键目标图像更新为当前帧的优选目标图像；若当前帧中候选关键目标图像的图像评分大于上一帧中同一ID值的优选目标图像的图像评分，则将当前帧中候选关键目标图像更新为当前帧的优选目标图像，否则将上一帧中同一ID值的优选目标图像作为当前帧的优选目标图像；
S6、获取输入的视频序列下一帧图像，返回步骤S3，直至所有视频序列检测结束，实现若干帧视频序列的多目标跟踪和目标图像优选。


2.根据权利要求1所述的一种高速多目标检测跟踪和目标图像优选方法，其特征在于，所述步骤S3预训练后的检测器中，检测器的预先训练过程为：
首先准备训练样本测试集，所述训练样本测试集中包括若干张图片；
采用开源深度学习框架Caffe和开源SSD模型对检测器进行迭代训练，训练过程中生成若干模型；
最后向检测器的若干模型输入训练样本测试集进行测试，选择训练好的最优模型，完成测试。


3.根据权利要求1所述的一种高速多目标检测跟踪和目标图像优选方法，其特征在于：所述步骤S4中跟踪器后还连接有过滤器，采用过滤器去除跟踪器输出目标中出现的误检目标。


4.根据权利要求1所述的一种高速多目标检测跟踪和目标图像优选方法，其特征在于：所述步骤S4中对当前帧中待跟踪目标和上一帧标记后的待跟踪目标之间进行关联、赋值和标记，其具体过程包括：
S41、数据关联：计算当前帧中待跟踪目标与上一帧标记后的待跟踪目标之间的交互比即IoU，IoU最大值大于预设重叠阈值，则判定当前帧中待跟踪目标与相应的上一帧标记后的待跟踪目标相关联，执行步骤S42；否则，当前帧中待跟踪目标关联失败，执行步骤S43；
S42、对关联成功的待跟踪目标进行赋值和标记：将上一帧标记后的待跟踪目标ID赋值给当前帧中相应待跟踪目标，并将当前帧中所有得到ID赋值的待跟踪目标标记为候选关键目标；
S43、对关联失败的待跟踪目标进行标记：采用预设过滤器对当前帧中没有关联成功的待跟踪目标进行过滤，将预设过滤器输出的待跟踪目标标记为候选关键目标，并将其丢失时间记为1；对上一帧中没有关联成功的待跟踪目标的丢失时间进行加1更新，更新...

【专利技术属性】
技术研发人员：鞠蓉，邢卫国，孙超，施远银，
申请(专利权)人：南京博雅集智智能技术有限公司，
类型：发明
国别省市：江苏;32