一种基于孪生网络的密集场景下多目标追踪方法技术

本发明专利技术涉及一种基于孪生网络的密集场景下多目标追踪方法，预先训练目标检测模型和孪生网络，然后基于训练好的目标检测模型和孪生网络进行整个视频中每个视频帧的多目标追踪，可实现部分遮挡、姿态变化情况下的准确地目标匹配，具有较好的处理效率，可对可见光视频进行高效准确的多目标追踪。行高效准确的多目标追踪。行高效准确的多目标追踪。

【技术实现步骤摘要】
一种基于孪生网络的密集场景下多目标追踪方法


[0001]本专利技术属于图像处理和机器学习领域，涉及一种基于孪生网络的密集场景下多目标追踪方法。

技术介绍

[0002]基于可见光视频的多目标追踪技术具有广泛的需求，但视频采集过程中易受到光照、噪声等外部因素的干扰，且目标运动过程中广泛存在姿态变化、遮挡等不利因素，导致多目标追踪过程中容易出现跟踪提前结束、ID跳变等问题。
[0003]随着深度学习技术的持续发展，基于卷积神经网络进行图像特征提取日益精确。卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其层级结构对输入图像提取层次性的表征特征，广泛应用于图像分类，目标检测、分隔和追踪等领域。
[0004]孪生神经网络(Siamese neural network)，是基于两个人工神经网络建立的耦合构架。孪生神经网络以两个样本为输入，输出其嵌入高维度空间的表征，以比较两个样本的相似程度。
...

【技术保护点】

【技术特征摘要】
1.一种基于孪生网络的密集场景下多目标追踪方法，其特征在于，包括以下步骤：(1)预先训练目标检测模型和孪生网络；(2)对t时刻的图像帧，利用目标检测模型获得该视频帧中的目标检测框和置信度值，对各检测框应用置信度过滤和NMS处理，得到置信度较高的不重叠目标框；(3)对第T
‑
1帧中已经在追踪的各个目标应用Kalman滤波，得到各目标在第T帧中预测位置；(4)计算各检测框和预测位置之间的马氏距离；(5)对第T
‑
1帧中各已追踪的目标，选取和其预测位置距离最小的检测框；(6)对位置距离和表观特征距离按照下式进行融合；(7)对距离矩阵应用匈牙利匹配，可得到密集场景下第T
‑
1帧中各追踪目标和第T帧各预测位置之间的对应关系；(8)对于能够匹配上的追踪目标，使用Kalman滤波整合匹配的检测位置、预测信息和特征匹配选择的最佳位置，得到最优目标位置，并设置目标丢失帧数为0；(9)对于未被匹配的追踪器，将其目标丢失帧数加1，将连续缺失一定帧数的“确认”跟踪状态，修改为“删除”，表示该追踪目标已消失；(10)对于未匹配上的检测框，根据目标的信息建立一个新的跟踪目标，设置为“未确认”状态，连续匹配上一定帧数的“未确认”跟踪状态，修改其状态为“确认”，表示出现了新的追踪目标；至此，完成了第T帧的目标追踪；...

【专利技术属性】
技术研发人员：张晓林，杨剑锋，李雪，杨振，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：