目标跟踪自校正方法、系统、介质、设备、终端及应用技术方案

本发明专利技术属于目标跟踪技术领域，公开了一种目标跟踪自校正方法、系统、介质、设备、终端及应用，选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。本发明专利技术利用深度学习的强大能力，提取目标的深度特征，很大程度提高跟踪的精度。

【技术实现步骤摘要】
目标跟踪自校正方法、系统、介质、设备、终端及应用
本专利技术属于目标跟踪
，尤其涉及一种目标跟踪自校正方法、系统、介质、设备、终端及应用。
技术介绍
目前：目标跟踪在过去几十年中备受关注，并且广泛应用于诸如监视，机器人技术和人机交互等众多视觉应用中。近年来，由于标准化基准的构建和业界的需求，视频目标跟踪技术得以飞速发展，其中不乏各类优秀算法，其代表算法包括基于相关滤波类、基于深度学习类等。相关滤波最早被应用于信号处理领域计算两个信号的相关程度，其将时域上的计算转到频域，可以极大减少运算量，实现算法实时跟踪。基于深度学习的目标跟踪算法具有强的普适性和有效性，近年来基于孪生网络的跟踪算法得到了广泛发展。基于孪生网络的跟踪器将跟踪问题视为互相关问题，首先训练一个连接两个网络分支的神经网络，然后从两个分支的互相关中产生相似性图，一个用于对象模板，另一个用于搜索区域。该类跟踪算法具有跟踪速度快，准确率高的优点。然而，其研究中的诸多挑战也困扰着众多研究人员，如光照变化、尺度变化、快速变形、运动模糊、背景斑杂和目标遮挡等都会影响跟踪器性能。尤其是当目标跟踪丢失后，后续场景难以跟踪到正确的目标。此类因素严重影响了目标跟踪的准确性。通过上述分析，现有技术存在的问题及缺陷为：目前跟踪场景中的干扰因素会影响跟踪结果，很容易导致跟踪失效，且当跟踪失效后难以重新找到目标，缺乏有效的校正方法使得跟踪器重新获得正确的目标位置。解决以上问题及缺陷的难度为：如何有效地判断出跟踪失效的场景以及校正跟踪结果。解决以上问题及缺陷的意义为：可以自行判断跟踪算法是否失效，当跟踪失效后，校正跟踪结果，避免跟踪失效后完全丢失目标，对于提升目标跟踪准确度具有重大意义，对实际场景中的应用具有较大的现实意义。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种目标跟踪自校正方法、系统、介质、设备、终端及应用。本专利技术是这样实现的，一种目标跟踪自校正方法，所述目标跟踪自校正方法包括：选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。进一步，所述选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，对模板帧与搜索帧提取深度特征并做互相关操作，得到模板帧与搜索帧的深度特征相似度图具体包括：1)特征提取：跟踪序列中第一帧为模板帧，需要跟踪的图像为搜索帧。将模板图像I1与当前搜索图像I2输入相同的特征提取网络，得到模板特征F1与搜索特征F2，选择GoogleNet网络为特征提取网络；2)互相关计算相似度得分：将模板特征F1与搜索特征F2输入分类与回归支路，使用F1作卷积核与F2做互相关计算，分类支路得到目标中心位置的相似度图S，S中相似度最大点即为目标中心点位置(x1,y1)，回归分支得到四条边框距离中心点位置，二者综合得到相似度图。相似度计算定义如下：fi(z,x)＝ψi(φ(z))*ψi(φ(x)),i∈{cls,reg}；式中z代表模板帧，x代表搜索帧，*代表互相关操作，φ(.)代表特征提取过程，ψi(.)代表分类分支或回归分支，i代表子任务类型，其中cls代表分类支路，reg代表回归支路；3)图像尺寸：模板帧根据目标位置裁剪大小为127*127，搜索帧根据前帧目标位置裁剪大小为303*303，将裁剪后图像输入特征提取网络，得到模板特征大小为3*3*256，其中256是特征维度，3*3是每一维度特征图尺寸，搜索模板大小为27*27*256，其中256是特征维度，27*27是每一维度特征图尺寸。将二者做互相关后，得到的相似度图大小为19*19。进一步，所述取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效具体包括：1)距离分布直方图：根据相似度图S得到相似度最高的位置S1的坐标为(x1,y1)，依此类推，相似度为第M高的位置SM坐标为(xM,yM)，取M＝10，上一帧中相似度最高的位置S1'为(x'1,y'1)。距离分布P定义如下：P＝{D12,D13,…D(M-1)M}；其中作出距离分布P的分布直方图H＝{H1,H2,…Hn}，其中n为直方图的组数，Hi代表第i组的频率；2)U型分布：当直方图H呈现“U”型分布，即H1、Hn频率较大，此时判决算法认为目标跟踪可能失效，此时进一步判断，取H1>0.3,Hn>0.3,n＝10；3)距离判断：当距离分布呈现“U”型分布时，说明场景中出现了相似物，产生干扰。对前10个目标的位置聚类，聚类中心分别为目标位置与相似物体位置，其中距离S1'距离近位置为目标位置；跟踪中第f帧目标中心点位置为(xf,yf)，相似物中心点坐标为(x'f,y'f),第f+1帧目标中心点位置为(xf+1,yf+1)，相似物中心点坐标为(x'f+1,y'f+1)，则定义目标距离为Df，转移距离为D'f，二者定义为：若Df＞Df'，则目标发生跟踪失效，反之未发生失效。进一步，所述当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标具体包括：判断目标跟踪失效后，取失效帧中相似度最高的10个目标为候选目标，前一帧中跟踪结果为参考目标，计算参考目标与10个候选目标的结构相似度，计算公式如下：SSIM(x,y)＝l(x,y)α·c(x,y)β·s(x,y)γ；其中x，y分别为参考目标与候选目标，ux,uy,σx2,σy2,σxy分别表示图像x，y的均值、方差和协方差。C1、C2、C3为小的常数。利用参数α、β、γ调整模型中三个成分所占的比重；候选目标中与参考目标SSIM相似度最大的目标即为跟踪结果。进一步，所述计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价包括：使用准确率Accuracy指标计算公式：其中代表第t帧中目标groundtruth代表的boundingbox，代表第t帧跟踪器预测的boundingbox。本专利技术的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画本文档来自技高网...

【技术保护点】
1.一种目标跟踪自校正方法，其特征在于，所述目标跟踪自校正方法包括：/n选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；/n取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；/n当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；/n计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。/n

【技术特征摘要】
1.一种目标跟踪自校正方法，其特征在于，所述目标跟踪自校正方法包括：
选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；
取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；
当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；
计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。


2.如权利要求1所述的目标跟踪自校正方法，其特征在于，所述选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，对模板帧与搜索帧提取深度特征并做互相关操作，得到模板帧与搜索帧的深度特征相似度图具体包括：
1)特征提取：跟踪序列中第一帧为模板帧，需要跟踪的图像为搜索帧，将模板图像I1与当前搜索图像I2输入相同的特征提取网络，得到模板特征F1与搜索特征F2，选择GoogleNet网络为特征提取网络；
2)互相关计算相似度得分：将模板特征F1与搜索特征F2输入分类与回归支路，使用F1作卷积核与F2做互相关计算，分类支路得到目标中心位置的相似度图S，S中相似度最大点即为目标中心点位置(x1,y1)，回归分支得到四条边框距离中心点位置，二者综合得到相似度图，相似度计算定义如下：
fi(z,x)＝ψi(φ(z))*ψi(φ(x)),i∈{cls,reg}；
式中z代表模板帧，x代表搜索帧，*代表互相关操作，φ(.)代表特征提取过程，ψi(.)代表分类分支或回归分支，i代表子任务类型，其中cls代表分类支路，reg代表回归支路；
3)图像尺寸：模板帧根据目标位置裁剪大小为127*127，搜索帧根据前帧目标位置裁剪大小为303*303，将裁剪后图像输入特征提取网络，得到模板特征大小为3*3*256，其中256是特征维度，3*3是每一维度特征图尺寸，搜索模板大小为27*27*256，其中256是特征维度，27*27是每一维度特征图尺寸，将二者做互相关后，得到的相似度图大小为19*19。


3.如权利要求1所述的目标跟踪自校正方法，其特征在于，所述取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效具体包括：
1)距离分布直方图：根据相似度图S得到相似度最高的位置S1的坐标为(x1,y1)，依此类推，相似度为第M高的位置SM坐标为(xM,yM)，取M＝10，上一帧中相似度最高的位置S'1为(x'1,y'1)，距离分布P定义如下：
P＝{D12,D13,…D(M-1)M}；
其中
作出距离分布P的分布直方图H＝{H1,H2,…Hn}，其中n为直方图的组数，Hi代表第i组的频率；
2)U型分布：当直方图H呈现“U”型分布，即H1、Hn频率较大，此时判决算法认为目标跟踪可能失效，此时进一步判断，取H1>0.3,Hn>0.3,n＝10；
3)距离判断：当距离分布呈现“U”型分布时，说明场景中出现了相似物，产生干扰，对前10个目标的位置聚类，聚类中心分别为目标位置与相似物体位置，其中距离S′1距离近位置为目标位置；
跟踪中第f帧目标中心点位置为(xf,yf)，相似物中心点坐标为(x'f,y'f),第f+1帧目标中心点位置为(xf+1,yf+1)，相似物中心点坐标为(x'f+1,y'f+1)，则定义目标距离为Df，转移距离为D'f，二者定义为：






若Df＞Df'，则目标发生跟踪失效，反之未发生失效。


4.如权利要求1所述的目标跟踪自校正方法...

【专利技术属性】
技术研发人员：张建龙，李桥，何建辉，王斌，崔梦莹，刘池帅，郭鑫宇，时国强，方光祖，余鑫城，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61