背景感知跟踪方法、计算机可读存储介质及计算机设备技术

本发明专利技术适用于计算机视觉跟踪领域，提供了背景感知跟踪方法、计算机可读存储介质及计算机设备，包括：构建背景感知模型，从背景感知模型中提取真实样本用于训练滤波器，所述真实样本指从测试视频中实时提取的目标信息和背景信息；从测试视频之外的视频数据集中以参考目标为条件来搜索目标对象，挖掘包括与目标相关度高于预设阈值的图像作为困难样本，重新根据所述困难样本训练并更新滤波器；通过更新后的滤波器更新DCFNet框架的输出，实现对目标的在线跟踪。解决了由傅里叶频域卷积带来的边界效应问题，增强了跟踪的鲁棒性。增强了跟踪的鲁棒性。增强了跟踪的鲁棒性。

Background sensing and tracking method, computer readable storage medium and computer equipment

【技术实现步骤摘要】
背景感知跟踪方法、计算机可读存储介质及计算机设备


[0001]本专利技术属于计算机视觉跟踪领域，尤其涉及一种背景感知跟踪方法、计算机可读存储介质及计算机设备。

技术介绍

[0002]基于判别式相关滤波的方法现在已经成为在线目标跟踪的一种主要方法。DCFNet是一个端到端的轻量级网络架构，学习卷积特征并同时执行相关跟踪过程。具体来说，DCFNet将DCF视为一个添加在Siamese网络中的特殊相关滤波器层，并通过将网络输出定义为对象位置的概率热图来导出通过它的反向传播。由于推导仍在傅里叶频域中进行，因此保持了离散余弦变换的效率特性，速度更快，效率更高。虽然跟踪速度可以满足实时要求，但是会有严重的边界效应和出现边界效应导致在跟踪阶段鲁棒性不强，这也是利用傅里叶频域变换的普遍缺陷。

技术实现思路

[0003]本专利技术的目的在于提供一种背景感知跟踪方法、计算机可读存储介质及计算机设备，旨在解决的跟踪过程中由傅立叶频域产生的边界效应和由边界效应导致的在跟踪阶段鲁棒性不强的问题。
[0004]第一方面，本专利技术提供了一种背景感知跟踪方法，包括：
[0005]构建背景感知模型，从背景感知模型中提取真实样本用于训练滤波器，所述真实样本指从测试视频中实时提取的目标信息和背景信息；
[0006]从测试视频之外的视频数据集中以参考目标为条件来搜索目标对象，挖掘包括与目标相关度高于预设阈值的图像作为困难样本，重新根据所述困难样本训练并更新滤波器；
[0007]通过更新后的滤波器更新DCFNet框架的输出，实现对目标的在线跟踪。
[0008]进一步地，所述困难样本包括正样本和负样本；困难样本中图像的背景信息设为负样本，目标对象设为正样本。
[0009]进一步地，所述从测试视频之外的视频数据集中以参考目标为条件来搜索目标对象具体为：从测试视频之外的视频数据集中选择随机视频帧和目标对象；使用索引结构从所述随机视频帧中检索最近邻边界框作为参考框，并从所述随机视频帧中选取多个样本作为额外的负样本训练，并检索所述随机视频帧的真实目标特征，将所述随机视频帧中的目标对象作为附加的正样本。
[0010]进一步地，所述方法还包括基于交替方向乘子法来学习更新后的滤波器。
[0011]第二方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的背景感知跟踪方法的步骤。
[0012]第三方面，本专利技术提供了一种计算机设备，包括：一个或多个处理器、存储器以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计
算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现所述的背景感知跟踪方法的步骤。
[0013]在本专利技术中，从背景感知模型中提取真实样本用于训练滤波器，挖掘包括与目标相关度高于预设阈值的图像作为困难样本，重新根据所述困难样本训练并更新滤波器，加强分类器判别目标的能力，解决了由傅里叶频域卷积带来的边界效应问题，增强了跟踪的鲁棒性和精度，解决目标样本和背景样本不均衡的问题。
附图说明
[0014]图1是本专利技术一实施例提供的一种背景感知跟踪方法的流程图。
[0015]图2是本专利技术一实施例提供的一种计算机设备的具体结构框图。
具体实施方式
[0016]为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0017]为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。
[0018]请参阅图1，本专利技术一实施例提供的一种背景感知跟踪方法包括以下步骤：需注意的是，若有实质上相同的结果，本专利技术的背景感知跟踪方法并不以图1所示的流程顺序为限。
[0019]S1.构建背景感知模型，从背景感知模型中提取真实样本用于训练滤波器，所述真实样本指从测试视频中实时提取的目标信息和背景信息；
[0020]S2.从测试视频之外的视频数据集中以参考目标为条件来搜索目标对象，挖掘包括与目标相关度高于预设阈值的图像作为困难样本，重新根据所述困难样本训练并更新滤波器；
[0021]S3.通过更新后的滤波器更新DCFNet框架的输出，实现对目标的在线跟踪。
[0022]在本专利技术一实施例中，所述困难样本包括正样本和负样本；困难样本中图像的背景信息设为负样本，目标对象设为正样本。
[0023]在本专利技术一实施例中，所述从测试视频之外的视频数据集中以参考目标为条件来搜索目标对象具体为：从测试视频之外的视频数据集中选择随机视频帧和目标对象；使用索引结构从所述随机视频帧中检索最近邻边界框作为参考框，并从所述随机视频帧中选取多个样本作为额外的负样本训练，并检索所述随机视频帧的真实目标特征，将所述随机视频帧中的目标对象作为附加的正样本。
[0024]本专利技术一实施例使用一个基于PReMVOS的嵌入网络，为每个表示该对象外观的真实搜索框提取一个嵌入向量，在COCO上进行类的分离，在YouTube
‑
VOS数据集上进行训练，以消除单个对象实例之间的歧义。
[0025]在线跟踪流程为：
[0026]输入图像的训练帧；
[0027]对训练样本应用循环位移和裁剪操作，从整个训练帧中返回所有的统一尺寸的训练样本；
[0028]通过一个二进制矩阵的裁剪算子，分别将所有样本的大小与目标或过滤器的大小相匹配；
[0029]将匹配后的样本送入相关滤波层进行学习更新。
[0030]在本专利技术一实施例中，所述方法还包括基于交替方向乘子法来学习更新后的滤波器。
[0031]在本专利技术一实施例中，DCFNet框架的构造方式为：根据目标区域的特征和期待的高斯分布响应训练一个判别式的回归函数，通过最小化脊损失获得滤波器w：
[0032][0033][0034]其中，w
l
表示滤波器w的通道l，
★
表示循环相关，λ为正则化系数；表示离散傅里叶变换F(y)，y
*
表示复数y的复共轭，
⊙
表示矩阵的Hadamard积；
[0035]利用一个搜索片调整获得新一帧中的特征通过搜索相关响应图g的最大值来估计平移：
[0036][0037]DCFNet框架原理：
[0038]将训练图像样本和测试图像样本分别通过三个卷积层后输出到相关滤波层，输出训练和更新后的滤波器，接着和真实值的概率热图进行傅立叶频域卷积，输出预测值的概率热图。
[0039]其中，DCFNet将DCF视为一个添加在Siamese网络中的特殊相关滤波器层，并通过将网络输出定义为对象位置的概率热图来导出通过它的反向传播。
[0040]在本专利技术一实施例中，所述从背景感知模型中提取真实样本用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种背景感知跟踪方法，其特征在于，包括：构建背景感知模型，从背景感知模型中提取真实样本用于训练滤波器，所述真实样本指从测试视频中实时提取的目标信息和背景信息；从测试视频之外的视频数据集中以参考目标为条件来搜索目标对象，挖掘包括与目标相关度高于预设阈值的图像作为困难样本，重新根据所述困难样本训练并更新滤波器；通过更新后的滤波器更新DCFNet框架的输出，实现对目标的在线跟踪。2.如权利要求1所述的方法，其特征在于，所述困难样本包括正样本和负样本；困难样本中图像的背景信息设为负样本，目标对象设为正样本。3.如权利要求1所述的方法，其特征在于，所述从测试视频之外的视频数据集中以参考目标为条件来搜索目标对象具体为：从测试视频之外的视频数据集中选择随机视频帧和目标对象；使用索引结构从所述随机视频帧中检索最近邻边界框作为参考框，并从所述随机视频帧中选取多个样本作为额外的负样本训练，并检索所述随机视频帧的真实目标特征，将所述随机视频帧中的目标对象作为附加的正样本。4.如权利要求1所述的方法，其特征在于，所述方法还包括基于交替方向乘子法来学习更新后的滤波器。5.如权利要求1所述的方法，其特征在于，DCFNet框架的构造方式为：根据目标区域的特征和期待的高斯分布响应训练一个判别式的回归函数，通过最小化脊损失获得滤波器w：小化脊损失获得滤波器w：其中，w
l
表示滤波器w的通道l，
★
表示循环相关，λ为正则化系数；表示离散傅里叶变换F(y)，y
*
表示复数y的复共轭，
⊙
表示矩阵的Hadamard积；利用一个搜索片调整获得新一帧中的特征通过搜索相...

【专利技术属性】
技术研发人员：纪元法，孙轲炜，孙希延，吴孙勇，严素清，付文涛，梁维彬，贾茜子，郭宁，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：