一种基于孪生神经网络的单目标跟踪方法技术

本发明专利技术涉及一种基于孪生神经网络的单目标跟踪方法，该方法包括如下步骤：S1、获取模板图像和当前帧搜索图像；S2、将模板图像和当前帧搜索图像分别送入训练好的siamfc++网络中，得到预测分类响应图、预测质量响应图和回归响应图；S3、将预测分类响应图和预测质量评估响应图进行点乘得到预测概率图；S4、获取预测概率图最大响应点所对应的回归响应图上坐标值，作为预测目标的坐标值，将预测目标的坐标值映射到搜索图像对应的坐标系下，得到目标的位置。置。置。

【技术实现步骤摘要】
一种基于孪生神经网络的单目标跟踪方法


[0001]本专利技术涉及是深度学习技术的单目标跟踪方法，特别是深度学习网络结构中的孪生网络和无需事先设置先验框的目标检测技术，属于目标跟踪


技术介绍

[0002]目标跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的行为理解，以完成更高一级的任务。
[0003]目标跟踪(单目标)领域的研究者们将跟踪算法分为生成式和判别式方法。一：生成式方法采用特征模型描述目标的外观特征，再最小化跟踪目标与候选目标之间的重构误差来确认目标；生成式方法着重于目标本身的特征提取，忽略目标的背景信息，比较著名的方法有卡尔曼滤波，粒子滤波，mean
‑
shift等，在目标外观发生剧烈变化或者遮挡时候容易出现目标漂移或者目标丢失情况。二：判别式方法将目标跟踪看做是一个二元分类问题，通过训练关于目标和背景的分类器来从候选目标中确定目标，该方法可以显著的区分背景和目标，具有性能鲁棒，准确率高的有点，渐渐成为目标跟踪领域主流方法。且目前大多数基于深度学习的目标跟踪算法也属于判别式方法。
[0004]在人工智能顶级会议AAAI上发表了一篇文章SiamFC++:Towards Robust and Accurate Visual Tracking with Target Estimation Guidelines实现单目标跟踪功能，该文献提出分类和状态估计任务的分离，分类任务将目标从干扰物和背景中分类出来，目标状态的估计如iou
‑
loss回归等有利于对目标尺度变化的适应性；分类分数应该直接表示目标存在的置信度分数，即在“视野”中对应像素的子窗口，而不是预设置的锚点框。抛弃目标比例或比率这样的先验知识，提高了模型的泛化能力。使用与分类无关的估计质量评分而非使用分类置信度进行边框选择，提高了模型的准确率。但该方法还存在下列问题：
[0005]该方法在模型训练阶段，SiamFC++采用特征图上的特征点映射回原输入图像时，映射回的像素点在目标框内即为正样本。但通常情况下，目标框占据输入图像很小的比例，因此会导致正样本数量很少，负样本数量太多，产生类别不均衡问题，严重影响模型的精度。
[0006]该方法类别预测分支使用Focal
‑
loss作为损失函数，它是在标准交叉熵损失基础上修改得到的。这个损失函数可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。但是难分类样本很可能是离群点，过度关注离群点容易产生过拟合现象，降低模型泛化能力。
[0007]该方法边框回归分支采用IOU
‑
loss，IoU是真实框和预测框的交集和并集之比，当它们完全重合时，IoU就是1，不相交时为0。但是IOU
‑
loss在IoU值是相同时，IoU值不能反映两个框是如何相交的。当预测框和目标框不相交时，IoU(A,B)＝0时，不能反映A,B距离的远近，此时损失函数不可导，IoU Loss无法优化两个框不相交的情况。

技术实现思路

[0008]本专利技术解决的技术问题是：克服现有技术的不足，提供一种容易训练、防止过拟合，提高模型泛化能力，同时减少误识别的方法。
[0009]本专利技术的技术解决方案是：一种基于孪生神经网络的单目标跟踪方法，该方法包括如下步骤：
[0010]S1、获取模板图像和当前帧搜索图像。
[0011]S2、将模板图像和当前帧搜索图像分别送入训练好的siamfc++网络中，得到预测分类响应图、预测质量响应图和回归响应图；
[0012]S3、将预测分类响应图和预测质量评估响应图进行点乘得到预测概率图；
[0013]S4、获取预测概率图最大响应点所对应的回归响应图上坐标值，作为预测目标的坐标值，将预测目标的坐标值映射到搜索图像对应的坐标系下，得到目标的位置。
[0014]优选地，所述siamfc++网络为孪生神经网络，所述孪生神经网络包括类别预测分支、预测质量评估分支，边框回归分支；
[0015]模板图像和搜索图像输入至类别预测分支后，得到模板图像和搜索图像的分类特征图，模板图像和搜索图像的分类特征图进行卷积操作，得到分类响应图；
[0016]模板图像和搜索图像输入至预测质量评估分支后，得到模板图像和搜索图像的预测质量评估特征图，模板图像和搜索图像的预测质量评估特征图进行卷积操作，得到质量评估响应图；
[0017]模板图像和搜索图像输入至边框回归分支后，得到模板图像和搜索图像的回归特征图，模板图像和搜索图像的回归特征图进行卷积操作，得到回归响应图。
[0018]优选地，所述siamfc++网络的训练方法如下：
[0019]S1.1、从LaSOT数据集中获取裁剪后的模板图像和搜索图像；
[0020]S1.2、将裁剪后的模板图像和搜索图像输入至siamfc++网络，得到预测分类响应图、预测质量响应图和回归响应图；
[0021]S1.3、预测分类响应图、预测质量响应图和回归响应图，分别计算类别预测分支、预测质量评估分支，边框回归分支的损失函数；
[0022]S4、将三支路损失函数的总和作为siamfc++网络总的损失函数，使用随机梯度下降算法进行损失优化，得到使得siamfc++网络总的损失函数达到最小值，从而确定siamfc++网络的参数。
[0023]优选地，所述边框回归分支采用GIOU函数作为损失函数。
[0024]优选地，所述类别预测分支采用梯度模长作为损失函数，该损失函数公式如下：
[0025][0026]式中，N为分类响应图中的特征点数；i为分类响应图中的特征点序号，即类别预测分支模型样本的序号；GD(g
i
)为类别预测分支模型第i个样本的梯度密度。
[0027]优选地，所述梯度密度GD(g
i
)的计算公式为：
[0028][0029]式中，δ
ε
(g
k
,g
i
)为1或者0，当第k个样本的梯度模长g
k
分布在范围内时，δ
ε
(g
k
,g
i
)为1，否则δ
ε
(g
k
,g
i
)为0；l
ε
(g
i
)代表了区间的长度，即ε；
[0030]优选地，所述梯度模长g
i
的计算公式如下：
[0031][0032]其中，是类别预测模型的预测概率，的取值为0或1，是训练集样本的标签。
[0033]优选地，所述质量评估分支采用BCE
‑
loss作为损失函数。
[0034]在分配正负样本时，通过事先设置阈值的方式来减少负样本数量。在类别预测分支使用梯度模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孪生神经网络的单目标跟踪方法，其特征在于包括如下步骤：S1、获取模板图像和当前帧搜索图像。S2、将模板图像和当前帧搜索图像分别送入训练好的siamfc++网络中，得到预测分类响应图、预测质量响应图和回归响应图；S3、将预测分类响应图和预测质量评估响应图进行点乘得到预测概率图；S4、获取预测概率图最大响应点所对应的回归响应图上坐标值，作为预测目标的坐标值，将预测目标的坐标值映射到搜索图像对应的坐标系下，得到目标的位置。2.根据权利要求1所述的一种基于孪生神经网络的单目标跟踪方法，其特征在于所述siamfc++网络为孪生神经网络，所述孪生神经网络包括类别预测分支、预测质量评估分支，边框回归分支；模板图像和搜索图像输入至类别预测分支后，得到模板图像和搜索图像的分类特征图，模板图像和搜索图像的分类特征图进行卷积操作，得到分类响应图；模板图像和搜索图像输入至预测质量评估分支后，得到模板图像和搜索图像的预测质量评估特征图，模板图像和搜索图像的预测质量评估特征图进行卷积操作，得到质量评估响应图；模板图像和搜索图像输入至边框回归分支后，得到模板图像和搜索图像的回归特征图，模板图像和搜索图像的回归特征图进行卷积操作，得到回归响应图。3.根据权利要求1所述的一种基于孪生神经网络的单目标跟踪方法，其特征在于所述siamfc++网络的训练方法如下：S1.1、从LaSOT数据集中获取裁剪后的模板图像和搜索图像；S1.2、将裁剪后的模板图像和搜索图像输入至siamfc++网络，得到预测分类响应图、预测质量响应图和回归响应图；S1.3、预测分类响应图、预测质量响应图和回归响应图，分别计算类别预测分支、预测质量评估分支，边框回归分支的损失函数；S4、将三支路损失函数的总和作为siamfc++网络总的损失函数，使用随机梯度下降算法进行损...

【专利技术属性】
技术研发人员：杨兆龙，庞惠民，夏永清，
申请(专利权)人：浙江大立科技股份有限公司，
类型：发明
国别省市：