【技术实现步骤摘要】
一种利用短程关联和长程修剪的多目标跟踪与分割方法
本专利技术涉及计算机视觉
，尤其是涉及一种利用短程关联和长程修剪的多目标跟踪与分割方法。
技术介绍
在计算机视觉领域，利用卷积神经网络进行多目标跟踪与分割取得了巨大成功。最近的多目标跟踪方法主要是应用先检测后跟踪的范式，通过应用数据关联算法将检测目标链接在一起来组成运动轨迹。而数据关联的性能高度依赖于相似性测量方法，但由于目标之间的频繁遮挡，相似性测量并不稳定。中国专利CN201910176113.X公开一种基于轨迹度量学习的在线多目标跟踪方法，用于解决现有在线多目标跟踪方法实用性差的技术问题。首先使用现有的目标检测算法生成检测响应；然后，将现有轨迹集合分割为高置信集合和低置信集合，使用静态特征和传统度量方法来处理高置信集合与下一时刻检测响应的数据连接问题，使用相似性度量矩阵增强针对低置信集合的数据连接能力，得到最终结果。以现有轨迹信息为训练样本集，在线学习轨迹与检测响应间的相似性度量矩阵，增强轨迹判别的分辨能力。多目标跟踪与分割任务通过结合实例分割和多目标跟踪...
【技术保护点】
1.一种利用短程关联和长程修剪的多目标跟踪与分割方法，其特征在于包括以下步骤：/n1)在给定的包含分割和轨迹标号标签的数据集上训练好一个用于分割和跟踪的卷积神经网络，将视频图片输入训练后的分割和跟踪的卷积神经网络，得到视频图片中每个目标实例对应的分割位置和实例表征向量；/n2)使用欧式距离度量不同实例之间表征向量的空间距离以及实例掩码中心距离，并将空间距离和实例掩码中心距离度量转化成向量相似性得分和掩码中心相似性得分；使用实例掩码和边缘框在相邻帧之间的传播得分得到掩码相似性得分和边缘框相似性得分；/n3)利用步骤2)所得四种相似性得分和匈牙利算法得到视频中目标实例的运动轨迹...
【技术特征摘要】
1.一种利用短程关联和长程修剪的多目标跟踪与分割方法，其特征在于包括以下步骤：
1)在给定的包含分割和轨迹标号标签的数据集上训练好一个用于分割和跟踪的卷积神经网络，将视频图片输入训练后的分割和跟踪的卷积神经网络，得到视频图片中每个目标实例对应的分割位置和实例表征向量；
2)使用欧式距离度量不同实例之间表征向量的空间距离以及实例掩码中心距离，并将空间距离和实例掩码中心距离度量转化成向量相似性得分和掩码中心相似性得分；使用实例掩码和边缘框在相邻帧之间的传播得分得到掩码相似性得分和边缘框相似性得分；
3)利用步骤2)所得四种相似性得分和匈牙利算法得到视频中目标实例的运动轨迹；
4)在目标实例轨迹中，使用先前帧的目标实例置信得分对当前帧目标实例置信得分进行调整，并清除实例置信得分低的运动轨迹，最终得到高置信得分的长程运动轨迹。
2.如权利要求1所述一种利用短程关联和长程修剪的多目标跟踪与分割方法，其特征在于在步骤1)中，所述训练好一个用于分割和跟踪的卷积神经网络的具体方法为：
通过训练实例表征分支网络并预测外观向量，并用于关联视频中目标实例；通过最小化以下短程关联损失函数来训练：
LSA＝λLbatch-hard+(1-λ)Lframe-wise(1)
其中，Lbatch-hard是全局损失函数，Lframe-wise是局部损失函数，λ是权重参数；
其中，I表示分割网络检测到的目标实例集；d，e和g是检测到的目标实例；It表示当前第t帧中检测到的目标实例集；是目标类别为cl的实例d的实例表征向量；实例d具有被分配的轨迹标号idd；γ是余量参数；f∈F表示帧间间隔；对于It中的实例d，在先前的视频帧t-f中的存在有目标实例e和g；实例d和e位于相同的轨迹上(即idd＝ide)，而实例d和g位于不同的轨迹上(即idd≠idg)，使用目标实例d，e和g的实例表征向量和来测量d，e和g之间的欧式距离。
3.如权利要求1所述一种利用短程关联和长程修剪的多目标跟踪与分割方法，其特征在于在步骤2)中，所述将空间距离和实例掩码中心距离度量转化成向量相似性得分和掩码中心相似性得分；使用实例掩码和边缘框在相邻帧之间的传播得分得到掩码相似性得分和边缘框相似性得分的具体步骤为：
(2.1)基于向量距离的相似性度量
基于实例表征向量，通过计算两个实例的表征向量的欧式距离并在其中应用距离相似性转换函数，从而获得两个实例之间的相似性得分；通过计算当前第t帧中检测到的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。