一种建立噪声环境下对目标精确跟踪网络的方法技术

本发明专利技术公开了一种建立噪声环境下对目标精确跟踪网络的方法，包括以下步骤：设置对抗性噪声训练的训练次数，噪声发生器产生噪声的种类和大小，跟踪器损失函数的平衡系数；将一对图片对送入噪声发生器，噪声发生器根据设置的相关参数对图片对加入噪声，处理后的图片对送入骨干网络进行特征提取；将特征提取后得到的响应图进行分类和回归，从而得到当前帧的跟踪结果，而后迭代运行这一流程至遍历测试数据集的全部视频序列的全部视频帧；将每一帧的跟踪结果记录保存，并定量分析跟踪精确度和跟踪成功率。本发明专利技术在最大化BCE loss值的条件下，通过训练使最后的跟踪器损失值最小，从而让跟踪器能够在保证对干净视频跟踪效果的同时应对各种噪声环境下的跟踪。对各种噪声环境下的跟踪。对各种噪声环境下的跟踪。

【技术实现步骤摘要】
一种建立噪声环境下对目标精确跟踪网络的方法


[0001]本专利技术涉及计算机视觉领域，特别涉及一种建立噪声环境下对目标精确跟踪网络的方法。

技术介绍

[0002]目标跟踪是计算机视觉研究领域的热点话题，实时目标跟踪广泛应用于无人机侦察、视频监控、自动驾驶、机器人技术等多个领域。目标跟踪是在视频帧序列中寻找感兴趣目标的过程，其主要任务根据第一帧给出目标信息，在后续帧中使用跟踪策略定位目标位置。目标跟踪的难点在于实际应用中面临的各种挑战，例如复杂背景、尺度变化、遮挡与移出视野、快速运动、平行旋转和非平行旋转以及噪声环境下的目标跟踪。在实际应用中，这些干扰因素不同程度地影响了跟踪器的性能，从而导致精度和成功率的下降。
[0003]随着研究的深入，越来越多优秀的跟踪算法被提出来应对各种跟踪挑战，但在目标跟踪的性能评估中几乎没有考虑视频质量的下降。噪声是视频图像采集、传输、处理过程的副产品。许多情况都可能使图像出现噪声，例如由于光线变化，电子电路的磁场干扰、传感器高温导致的高斯噪声。以及在视频传输、解码，接收过程中由于AD转换错误产生的椒盐噪声。同时，恶劣的室外环境，例如下雨、大雪、雾霾、黑夜，也会导致跟踪视频发生不同程度的退化。对于噪声视频序列，跟踪器往往会因为噪声影响目标特征的正确表达导致性能下降，无法实现目标的准确定位与跟踪。目前已经有研究者利用噪声来提高跟踪器的性能。Fiza等人利用基于输入噪声的正则化方法来减少泛化误差和过拟合问题。类似地，Li等人探索设计了一个噪声感知框架，来提高跟踪器的识别能力。Amirkhani等人应用风格迁移技术与原始数据集结合训练跟踪器，提高跟踪器的鲁棒性。
[0004]虽然近年来提出了一些利用噪声提高跟踪器性能的方法，但仍然缺乏目标跟踪器的在噪声环境数据集的性能测试。目前主流的目标跟踪框架只能够在实现实时跟踪的同时在干净的数据集上达到很高的跟踪准确率，但当面向低质量的视频进行跟踪时，其跟踪精度会大幅下降。因此，在噪声环境下对基于深度学习的目标跟踪对抗训练方法进行研究，对提高跟踪器面对低质量视频跟踪的准确性和鲁棒性至关重要。

技术实现思路

[0005]本专利技术要解决的技术问题是：针对基于噪声环境下的目标跟踪任务，设计一种端到端的自适应降噪跟踪网络，网络能够在各种噪声环境下实现对目标的精确跟踪。
[0006]为了实现以上技术目的，本专利技术采用如下技术方案：
[0007]一种建立噪声环境下对目标精确跟踪网络的方法，包括以下步骤：首先设置对抗性噪声训练的训练次数，噪声发生器产生噪声的种类和大小，跟踪器损失函数的平衡系数；将一对图片对送入噪声发生器，噪声发生器根据设置的相关参数对图片对加入噪声，处理后的图片对送入骨干网络进行特征提取；将特征提取后得到的响应图进行分类和回归，从而得到当前帧的跟踪结果，而后迭代运行这一流程至遍历测试数据集的全部视频序列的全
部视频帧；将每一帧的跟踪结果记录保存，并定量分析跟踪精确度和跟踪成功率。
[0008]进一步地，所述的一种建立噪声环境下对目标精确跟踪网络的方法，包括以下步骤：
[0009]步骤1：获取目标跟踪视频，将干净的视频送入噪声发生器，噪声发生器可以对干净的视频图像加入不同种类和不同程度的噪声，加噪完毕后，发生器会将噪声图片输出，然后读取下一帧图像进行加噪处理；
[0010]步骤2：对每个视频进行取样，使它们包含干净数据，剩下的数据都经过噪声发生器进行加噪声处理；
[0011]步骤3：假设视频的第x帧图像为x，并且该图像经过噪声发生器的处理，δ是噪声的标准差，x+δ表示将噪声的标准差加入第x帧干净图像后得到的噪声图像；
[0012]步骤4：输入模板帧的边界框，靠此信息检测后面候选区域中的目标；将模板帧和经过处理的视频的待检测帧送入同一个骨干网络，为了使经过噪声发生器处理后的视频能够最大限度地混淆跟踪器，引入损失函数BCE loss，其中BCE loss是用来衡量加噪声对跟踪器的影响程度，定义为l
ce
：
[0013]l
ce
＝
‑
ylg(p)+(1
‑
y)lg(1
‑
p)
[0014]其中；y表示待检测帧经骨干网络提取后的分类得分图，p表示地面真实标签；
[0015]步骤5：设模板帧的bounding box结果为(x
c
，y
c
，w
r
，h
r
)，其中x
c
，y
c
分别为跟踪图像的中心点的横纵坐标，w
r
，h
r
分别为跟踪图像的宽与高；
[0016]步骤6：将待检测视频的第I帧输入到跟踪器中，得到N个建议候选框，计算当前帧N个建议候选框与模板帧结果(x
c
，y
c
，w
r
，h
r
)的交并比结果IOU，那么真实分类置信度标签为P
c
：
[0017][0018]步骤7：对于当前待检测帧I的第n个(0＜n≤N)跟踪建议框其中分别为跟踪结果中心点的横纵坐标，分别为跟踪结果的宽与高，其与上一帧跟踪结果(x
c
，y
c
，w
r
，h
r
)的真实回归偏移量为即
[0019][0020][0021][0022][0023]步骤8：对于当前待检测帧I，得到的跟踪器第n个(0＜n≤N)跟踪建议框的损失函数为L(I，n，θ)，即；
[0024][0025]其中，L
c
表示二进制分类损失函数，采用交叉熵损失函数进行计算；L
r
表示边框回
归损失函数，采用smoothL1损失函数进行计算，表示当前待检测帧I中的第n个建议候选框的预测分类置信度分数，代表跟踪器预测当前待检测帧I中的第n个建议候选框中包含跟踪目标的概率；输入帧I中的第n个建议候选框的预测回归偏移量，代表跟踪器预测输入帧I中的第n个建议候选框的坐标和目标坐标之间的偏移大小；表示当前帧I中的第n个建议候选框的真实分类置信度分数，代表当前待检测帧I中的第n个建议候选框中包含跟踪目标的真实概率；表示当前帧I中的第n个建议候选框的真实回归偏移量，代表输入帧I中的第n个建议候选框的坐标和目标坐标之间真实的偏移大小，λ是一个固定的权重参数，λ表示跟踪器所采用的网络参数；
[0026]步骤9：对第I帧图像，根据候选框的预测分类置信度分数的最高值对应的第n个跟踪建议框加上对应的预测回归偏移量即为跟踪结果(x
pro
，y
pro
，w
pro
，h
pro
)，其中预测回归偏移量因此，跟踪结果为：
[0027][0028][0029][0030][0031]步骤10：将视频的下一帧I+1作为待检测帧重复步骤4
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种建立噪声环境下对目标精确跟踪网络的方法，其特征在于，包括以下步骤：首先设置对抗性噪声训练的训练次数，噪声发生器产生噪声的种类和大小，跟踪器损失函数的平衡系数；将一对图片对送入噪声发生器，噪声发生器根据设置的相关参数对图片对加入噪声，处理后的图片对送入骨干网络进行特征提取；将特征提取后得到的响应图进行分类和回归，从而得到当前帧的跟踪结果，而后迭代运行这一流程至遍历测试数据集的全部视频序列的全部视频帧；将每一帧的跟踪结果记录保存，并定量分析跟踪精确度和跟踪成功率。2.根据权利要求1所述的一种建立噪声环境下对目标精确跟踪网络的方法，其特征在于，包括以下步骤：步骤1：获取目标跟踪视频，将干净的视频送入噪声发生器，噪声发生器可以对干净的视频图像加入不同种类和不同程度的噪声，加噪完毕后，发生器会将噪声图片输出，然后读取下一帧图像进行加噪处理；步骤2：对每个视频进行取样，使它们包含干净数据，剩下的数据都经过噪声发生器进行加噪声处理；步骤3：假设视频的第x帧图像为x，并且该图像经过噪声发生器的处理，δ是噪声的标准差，x+δ表示将噪声的标准差加入第x帧干净图像后得到的噪声图像；步骤4：输入模板帧的边界框，靠此信息检测后面候选区域中的目标；将模板帧和经过处理的视频的待检测帧送入同一个骨干网络，为了使经过噪声发生器处理后的视频能够最大限度地混淆跟踪器，引入损失函数BCE loss，其中BCE loss是用来衡量加噪声对跟踪器的影响程度，定义为l
ce
：l
ce
＝
‑
ylg(p)+(1
‑
y)lg(1
‑
p)其中；y表示待检测帧经骨干网络提取后的分类得分图，p表示地面真实标签；步骤5：设模板帧的bounding box结果为(x
c
，y
c
，w
r
，h
r
)，其中x
c
，y
c
分别为跟踪图像的中心点的横纵坐标，w
r
，h
r
分别为跟踪图像的宽与高；步骤6：将待检测视频的第I帧输入到跟踪器中，得到N个建议候选框，计算当前帧N个建议候选框与模板帧结果(x
c
，y
c
，w
r
，h
r
)的交并比结果IOU，那么真实分类置信度标签为P
c
：步骤7：对于当前待检测帧I的第n个(0＜n≤N)跟踪建议框其中分别为跟踪结果中心点的横纵坐标，分别为跟踪结果的宽与高，其与上一帧跟踪结果(x
c
...

【专利技术属性】
技术研发人员：李福生，段裕龙，鲁欣，张焕龙，赵彦春，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：