一种基于对齐时空记忆网络的热红外目标跟踪方法技术

本发明专利技术公开了一种基于对齐时空记忆网络的热红外目标跟踪方法，包括以下步骤；

【技术实现步骤摘要】
一种基于对齐时空记忆网络的热红外目标跟踪方法


[0001]本专利技术属于热红外目标跟踪
、
时空记忆网络
，具体涉及一种基于对齐时空记忆网络的热红外目标跟踪方法
。

技术介绍

[0002]热红外目标跟踪因为对光照不敏感且能在完全黑暗的情况下跟踪目标，因此被广泛的应用于夜间的辅助驾驶，视频监控和海面救援等领域
。
尽管当前热红外目标跟踪的研究取得了不错的发展，然而其仍然面临着诸如相似物干扰，遮挡，热交叉，尺度变化等挑战
。
由于热红外图像没有颜色，缺乏丰富的纹理细节等特征导致热红外目标跟踪中面临着非常频繁又极具挑战的问题，即无法精确估计目标边界框
。
[0003]现有技术中，一些热红外目标跟踪方法企图通过获得更强判别能力的特征模型去区分与目标相似的干扰物
。
尽管这些方法取得了一定的效果，但是它们的性能受限于手工特征有限的判别能力而难以有较大的突破
。
最近，一些方法使用卷积神经网络的强大表征能力去提升热红外目标跟踪的性能
。
基于匹配的热红外跟踪方法较基于预训练深度特征的方法获得了显著的进步，证明在匹配任务下学到的深度特征更适合热红外目标跟踪
。
[0004]然而，在相似干扰物严重的场景下，上述这些方法由于缺少细粒度的判别信息，而容易漂移到相似干扰物上
。
[0005]在目标边界框估计方面，
Danelljan M,Robinson A,Khan F S,et al.Beyond correlation filters:Learning continuous convolution operators for visual tracking[C]//Proceedings of the European Conference on Computer Vision.2016:472
–
488.
中提出在确定目标中心位置后，利用几个固定的尺度因子来寻找最合适的目标边界框；
Danelljan M,Bhat G,Khan F S,et al.ATOM:Accurate tracking by overlap maximization[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2019:4660
–
4669.
提出通过计算一些候选样本和跟踪框架中的参考目标之间的交并重叠分数来确定合适的目标边界框；
Yan B,Zhang X,Wang D,et al.Alpha
‑
refine:Boosting tracking performance by precise bounding box estimation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2021:5289
‑
5298.
提出了一种目标边界框估计模型，该模型能够专注于更详细的空间信息，从而有助于进行准确的目标定位
。
准确的边界框估计策略不仅能够准确的定位目标的位置，同时会对后续跟踪结果产生很大的影响
。
[0006]上述现有的热红外目标跟踪算法的边界框估计策略虽说够定位出目标的位置，但是，还远远达不到实际感知场景的需求，目标边界框的偏移会随着时间的推移而累计，从而导致跟踪器丢失目标
。
因此，在热红外目标跟踪任务中如何设计准确的边界框估计策略，仍然是一个需要深入研究的问题
。

技术实现思路

[0007]为了克服上述现有技术存在的不足，本专利技术的目的在于提供一种基于对齐时空记忆网络的热红外目标跟踪方法，该方法利用上下文信息进行目标辅助定位的特点，能够达到提升跟踪精度的目的
。
[0008]为了实现上述目的，本专利技术采用的技术方案是：
[0009]一种基于对齐时空记忆网络的热红外目标跟踪方法，包括以下步骤；
[0010]S1、
构建跨帧的时空记忆网络模型，训练时空记忆网络模型，时空记忆网络模型采用状态向量的形式进行信息的传递，用于预测热红外目标的位置；
[0011]S2、
时空记忆网络模型参数对齐，采用空间对齐模块来矫正帧间的时空记忆网络模型参数，避免热红外目标运动过程中的位置信息叠加导致的模型参数错误，对热红外目标的边界框进行估计；
[0012]S3、
热红外目标跟踪定位，通过对齐时空记忆网络辅助预测器生成的响应图确定跟踪目标的最终位置
。
所述步骤
S1
中，时空记忆网络建模跟踪场景中的全部区域，并且保留任何有助于热红外目标定位的场景信息；场景信息为场景中具有的相似物的位置的信息；
[0013]时空记忆网络模型采用状态向量的形式进行信息的传递，通过保持目标邻域内每个区域的状态向量来编码某个图像块是否与目标
、
背景或干扰物体相关
。
[0014]当目标在视频序列中运动时，通过时空记忆网络模型估计不同帧之间的相互关系来实现状态向量的传递；通过传递下来的状态向量和目标外观模型之间的融合，以达到精确定位跟踪热红外目标的目的
。
[0015]进一步的，所述状态向量包含对应图像区域的局部信息，因此，当热红外目标在视频序列中移动时，状态向量会得到相应的传递并在时空记忆网络模型中有选择的保留下来，给定第
t
帧视频图像，状态向量
h
t
‑1从前一帧的位置变换到当前帧的位置通过状态传播模块
Π
来实现，其中状态传递函数为：
[0016](h
′
t
‑1,
ξ
t
)
＝
Π
(x
t
,x
t
‑1,h
t
‑1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0017]其中
x
t
和
x
t
‑1分别表示第
t
帧和第
t
‑1帧的深度特征，输出
h
t
′
‑1表示时空状态传递，用于弥补场景中热红外目标和背景的移动，
ξ
t
表示状态传递的置信度，其值越高越可能被传递下来，
ξ
t
用来判断当前帧的信息是否需要继续传递，如果不需要传递就可以直接删除当前帧信息，实现时空信息的跨帧传递；同时为了保证时空记忆网络中尽可能少的信息冗余，把用来进行时空信息传递的总帧数定义为固定值
k
，通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于对齐时空记忆网络的热红外目标跟踪方法，其特征在于，包括以下步骤；
S1、
构建跨帧的时空记忆网络模型，训练时空记忆网络模型，时空记忆网络模型采用状态向量的形式进行信息的传递，用于预测热红外目标的位置；
S2、
时空记忆网络模型参数对齐，采用空间对齐模块来矫正帧间的时空记忆网络模型参数，对热红外目标的边界框进行估计；
S3、
热红外目标跟踪定位，通过对齐时空记忆网络辅助预测器生成的响应图确定跟踪目标的最终位置
。2.
根据权利要求1所述的一种基于对齐时空记忆网络的热红外目标跟踪方法，其特征在于，所述步骤
S1
中，时空记忆网络建模跟踪场景中的全部区域，并且保留任何有助于热红外目标定位的场景信息；场景信息为场景中具有的相似物的位置的信息；时空记忆网络模型采用状态向量的形式进行信息的传递，通过保持目标邻域内每个区域的状态向量来编码某个图像块是否与目标
、
背景或干扰物体相关
。3.
根据权利要求2所述的一种基于对齐时空记忆网络的热红外目标跟踪方法，其特征在于，当目标在视频序列中运动时，通过时空记忆网络模型估计不同帧之间的相互关系来实现状态向量的传递；通过传递下来的状态向量和目标外观模型之间的融合，以达到精确定位跟踪热红外目标的目的
。4.
根据权利要求3所述的一种基于对齐时空记忆网络的热红外目标跟踪方法，其特征在于，所述状态向量包含对应图像区域的局部信息，当热红外目标在视频序列中移动时，状态向量会得到相应的传递并在时空记忆网络模型中有选择的保留下来，给定第
t
帧视频图像，状态向量
h
t
‑1从前一帧的位置变换到当前帧的位置通过状态传播模块
Π
来实现，其中状态传递函数为：
(h
′
t
‑1,
ξ
t
)
＝
Π
(x
t
,x
t
‑1,h
t
‑1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
其中
x
t
和
x
t
‑1分别表示第
t
帧和第
t
‑1帧的深度特征，输出
h
′
t
‑1表示时空状态传递，用于弥补场景中热红外目标和背景的移动，
ξ
t
表示状态传递的置信度，
ξ
t
用来判断当前帧的信息是否需要继续传递，如果不需要传递就可以直接删除当前帧信息，实现时空信息的跨帧传递；把用来进行时空信息传递的总帧数定义为固定值
k
，通过对置信度
ξ
τ
(
τ
＝
1,2,3,...,t
‑
1)
进行排序保留最大的
k
个对应的视频帧，从而得到跨帧的时空记忆网络模型
。5.
根据权利要求4所述的一种基于对齐时空记忆网络的热红外目标跟踪方法，其特征在于，跟踪器使用外观模型和时空记忆网络模型传递下来的状态来预测热红外目标的位置，后者捕捉了场景中所有物体的有价值的信息，将时空记忆网络模型中的传播状态向量
h
′
t
‑1、
状态传递的置信度
ξ
t
和外观模型预测
s
t
输入到预测模块，预测模块给出融合后的目标置信度得分：
ρ
t
＝
P(h
′
...

【专利技术属性】
技术研发人员：袁笛，谢雪梅，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：