鲁棒性视觉跟踪方法技术

本发明专利技术提供了一种鲁棒性视觉跟踪方法，包括对现有的视频数据进行预处理；用多个视频序列训练预训练的卷积神经网络；随机初始化全连接层；投影输入特征；构建图模型G，图模型G表示结果重新投影到原始表示空间中；建立全局推理模型；把第一帧添加到短期跟踪和长期跟踪的集合中；自第二帧起，绘制正样本和负样本作为训练样本；利用元学习对参数矩阵P进行在线学习；短期更新输出特征对全局推理模型进行微调；从卷积神经网络的最后一层获得三种样本；训练三元组损失函数调节多模态相似度，并最小化距离函数。相较于现有技术，本发明专利技术通过加强嵌套全局推理模型，并利用部分多域目标信息进行场景感知更新，能够提高计算机视觉跟踪的性能。能够提高计算机视觉跟踪的性能。能够提高计算机视觉跟踪的性能。

【技术实现步骤摘要】
鲁棒性视觉跟踪方法


[0001]本专利技术涉及一种鲁棒性视觉跟踪方法，属于计算机视觉


技术介绍

[0002]RGBT跟踪(视觉跟踪)在遮挡或背景杂波等具有挑战性的场景中的跟踪性能却远不能令人满意。以严重遮挡为例，目标外观本身无法提供足够有用的目标信息，因此在动态场景中探索目标与周围背景之间的关系成为一种很有前景的解决方案。
[0003]有鉴于此，确有必要提出一种鲁棒性视觉跟踪方法，以解决上述问题。

技术实现思路

[0004]本专利技术的目的在于提供一种鲁棒性视觉跟踪方法，能够利用部分多域目标信息进行场景感知更新。
[0005]为实现上述目的，本专利技术提供了一种鲁棒性视觉跟踪方法，主要包括以下步骤：
[0006]步骤1、对现有的视频数据进行预处理，将每帧图像以目标为中心裁剪；
[0007]步骤2、用多个视频序列训练预训练的卷积神经网络，初始化目标框；
[0008]步骤3、随机初始化全连接层；
[0009]步骤4、对视频数据的第一帧采集500个正样本和5000个负样本作为训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种鲁棒性视觉跟踪方法，其特征在于，主要包括以下步骤：步骤1、对现有的视频数据进行预处理，将每帧图像以目标为中心裁剪；步骤2、用多个视频序列训练预训练的卷积神经网络，初始化目标框；步骤3、随机初始化全连接层；步骤4、对视频数据的第一帧采集500个正样本和5000个负样本作为训练样本；步骤5、投影输入特征X∈R
H
×
W
×
C输入到低维的子空间中来生成低维特征步骤6、构建图模型G，图模型G表示结果重新投影到原始表示空间中；步骤7、建立全局推理模型，并学习全局推理模型的参数图模型G；步骤8、把第一帧添加到短期跟踪和长期跟踪的集合中；步骤9、自第二帧起，绘制正样本和负样本作为训练样本，用于全局推理模型的短期更新和长期更新；步骤10、利用元学习对参数矩阵P进行在线学习，对输出特征进行微调；步骤11、短期更新输出特征对全局推理模型进行微调；步骤12、从卷积神经网络的最后一层获得三种样本；步骤13、训练三元组损失函数调节多模态相似度，并最小化距离函数。2.根据权利要求1所述的鲁棒性视觉跟踪方法，其特征在于：步骤1中，将每帧图像裁剪的尺寸的分辨率为107x107x3。3.根据权利要求1所述的鲁棒性视觉跟踪方法，其特征在于：步骤2中，所述卷积神经网络包括conv1、conv2和conv3，且所述conv1、所述conv2和所述conv3均包括5个卷积层和3个全连接层。4.根...

【专利技术属性】
技术研发人员：刘力玮，康彬，赵世豪，李鑫，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：