基于多策略融合树的可见光红外视觉跟踪方法技术

本发明专利技术公开一种基于多策略融合树的可见光红外视觉跟踪方法，所述方法包括：获取可见光图像样本和热红外图像样本；将可见光图像样本和热红外图像样本输入至预先训练好的目标跟踪网络模型，目标跟踪网络模型包括可见光模态适配器、热红外模态适配器、融合树网络和实例适配器，各模态对应的适配器包括多个网络层级；融合树网络当前层级的输出特征与各模态对应的适配器当前层级的输出特征进行矩阵相加融合后传入各模态对应的适配器的下一层级网络中；将各模态对应的适配器最后一层级输出的模态特征图拼接后输入实例适配器，预测目标跟踪结果。本发明专利技术引入特殊的多策略融合树结构来实现多种不同融合策略的结合，以在复杂场景中获得稳健融合结果。获得稳健融合结果。获得稳健融合结果。

【技术实现步骤摘要】
基于多策略融合树的可见光红外视觉跟踪方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于多策略融合树的可见光红外视觉跟踪方法。

技术介绍

[0002]目标跟踪，其主要就是指通过计算机技术或是其他的专业设备，并根据某一种特殊算法来实现对于目标的跟踪定位处理，将具体的位置以及动向信息作为基础，采取与之对应的处理措施。目标跟踪在工业界有着广泛的应用如安防监控，自动驾驶，行为分析等，如果各类仪器设备能够实现高效的跟踪识别，就能够完成各类较为复杂的任务，也正是由于目标跟踪技术所具备的现代化特征，使其在民用领域以及军事领域当中得到了广泛应用。
[0003]目前，基于检测跟踪框架的目标跟踪，实质上是基于一个性能良好的分类器对于目标和背景的一个二分类的问题。先在根据第一帧给定的目标位置上，通过设定一个阈值来确认目标和背景的样本，以此来初始化目标跟踪的模型，在进行后续帧中目标的跟踪。在后续帧中，依然是对上一帧所预测的目标位置附近进行高斯分布采样，并使用分类器来区分目标样本和背景样本，并选择其中最高得分的正样本来作为下一帧目标的预测位置。
[0004]传统的目标跟踪一般都是基于单模态的，例如：可见光(波长0.4
‑
0.7)图像包含了丰富的几何和纹理细节，但是对于光线比较敏感，在复杂场景中图像所能传递的信息质量会受到较大的影响，如：雾霾与强烈的光照变化等。而热红外(波长3
‑
12)图像反映的是场景中表面温度的分布情况，从而对于光照变化不敏感，具有很好的云雾穿透，以及特殊的识别伪装能力，但是该模态的图像存在一些局限性，比如分辨率一般较低，边缘模糊，且容易受温度分布影响。
[0005]RGBT跟踪利用可见光和热红外数据的互补特性来实现全天候的持续定位目标，作为一个多模态表示学习问题，充分挖掘两个模态之间的互补信息，来实现复杂场景和具有多种挑战环境下具有鲁棒的RGBT跟踪，但是在应对多种复杂问题前提下，如何实现两种模态有效的融合是目前所需要解决的一个问题。
[0006]现有的研究工作通常根据输入的两种不同模态图像质量预测模态的权重来整合两种模态的多尺度特征，还有一些采用注意力机制自适应地融合不同层的模态特征。这些方法试图使用单一策略融合方案来处理所有可能的变化，而忽略了对多策略融合机制的探索，这是在复杂场景中获得稳健融合结果的有效方法。
[0007]相关技术中，公布号为CN110148104A的中国专利技术专利申请公开了一种基于显著性分析与低秩表示的红外与可见光图像融合方法，其通过构建输入源图像的分层树形结构，考虑了图像块的特征相似性，得到的树形结构能够反映出目标在图像中的全局显著特性，其通过对输入图像中的部分区域进行处理然后通过简单的融合规则，进行融合。一方面，该方案所关注参数为整个图像中的部分参数，图像融合效果欠佳；另一方面，该方案所采用的简单的融合规则无法复杂场景中所有可能的变化，无法在复杂场景中获得稳健的融合结
果。

技术实现思路

[0008]本专利技术所要解决的技术问题在于如何实现多种不同融合策略的结合，在复杂场景中获得稳健的融合结果。
[0009]本专利技术通过以下技术手段实现解决上述技术问题的：
[0010]本专利技术提出了一种基于多策略融合树的可见光红外视觉跟踪方法，所述方法包括：
[0011]获取可见光图像样本和热红外图像样本；
[0012]将所述可见光图像样本和所述热红外图像样本输入至预先训练好的目标跟踪网络模型，其中，所述目标跟踪网络模型包括可见光模态适配器、热红外模态适配器、融合树网络和实例适配器，所述可见光模态适配器、所述热红外模态适配器和所述融合树网络均包括多个网络层级；
[0013]将所述可见光图像样本作为所述可见光模态适配器和所述融合树网络的输入，所述融合树网络当前层级的输出特征与所述可见光模态适配器当前层级的输出特征进行矩阵相加融合后传入所述可见光模态适配器的下一层级网络中；
[0014]将所述热红外图像作为所述热红外适配器和所述融合树网络的输入，所述融合树网络当前层级的输出特征与所述热红外模态适配器当前层级的输出特征进行矩阵相加融合后传入所述热红外模态适配器的下一层级网络中；
[0015]将所述可见光模态适配器最后一层级输出的模态特征图与所述热红外模态适配器最后一层级输出的模态特征图进行拼接，得到拼接特征图；
[0016]将所述拼接特征图输入所述实例适配器，预测目标跟踪结果。
[0017]本专利技术引入特殊的多策略融合树结构来实现多种不同融合策略的结合，来充分探索这些模态信息最有效的融合策略，利用这些特别的融合策略相互结合，解决复杂场景和多挑战任务中不同模态融合问题，减少这些因素对目标跟踪的影响，以在复杂场景中获得稳健融合结果。
[0018]进一步地，所述可见光模态适配器和所述热红外模态适配器均包括n个层级的适配网络，其中，上一层级的适配网络的输出作为下一层级的适配网络的输入；
[0019]所述可见光模态适配器中最后一层级的适配网络的输出与所述热红外模态适配器最后一层级的适配网络的输出经拼接后作为所述实例适配器的输入。
[0020]进一步地，前(n
‑
1)个所述适配网络包括依次连接卷积函数、最大池化函数、局部响应归一化函数以及激活函数；最后一层级的适配网络包括依次连接的卷积函数和激活函数，n≥2且为整数。
[0021]进一步地，所述融合树网络包括n个层级的分支网络，其中，所述可见光图像样本和所述热红外图像样本均作为第一个层级的分支网络的输入，第一个层级的分支网络的输出作为第二层级的分支网络的输入；剩余层级的分支网络中，上一层级的分支网络的输出与下一层级的分支网络的输入之间连接有聚合模块；
[0022]所述融合树网络中当前层级的分支网络的输出特征与所述可见光模态适配器中当前层级的适配网络的输出特征经矩阵相加操作后作为所述可见光模态适配器中下一层
级的适配网络的输入；
[0023]所述融合树网络中当前层级的分支网络的输出特征与所述热红外模态适配器中当前层级的适配网络的输出特征经矩阵相加操作后作为所述热红外模态适配器中下一层级的适配网络的输入。
[0024]进一步地，第n个层级的所述分支网络包括3
(n
‑
1)
个分支，第一个层级所述分支网络中的一个分支的起点连接一通用适配器，分支上设置有通道注意力模块作为叶子节点，第(n
‑
1)个层级所述分支网络中每三个分支的起点连接一通用适配器，通道注意力模块、空间注意力模块和位置注意力模块分别设置于三个分支作为叶子节点；
[0025]上一层级所述分支网络中的分支的终点连接下一层级所述分支网络中的通用适配器。
[0026]进一步地，所述通用适配器采用模态共享卷积函数，用于提取所述可见光图像样本和所述热红外图像样本的共有特征。
[0027]进一步地，所述实例适配器包括带有神经远随机激活的第一全连本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多策略融合树的可见光红外视觉跟踪方法，其特征在于，所述方法包括：获取可见光图像样本和热红外图像样本；将所述可见光图像样本和所述热红外图像样本输入至预先训练好的目标跟踪网络模型，其中，所述目标跟踪网络模型包括可见光模态适配器、热红外模态适配器、融合树网络和实例适配器，所述可见光模态适配器、所述热红外模态适配器和所述融合树网络均包括多个网络层级；将所述可见光图像样本作为所述可见光模态适配器和所述融合树网络的输入，所述融合树网络当前层级的输出特征与所述可见光模态适配器当前层级的输出特征进行矩阵相加融合后传入所述可见光模态适配器的下一层级网络中；将所述热红外图像作为所述热红外适配器和所述融合树网络的输入，所述融合树网络当前层级的输出特征与所述热红外模态适配器当前层级的输出特征进行矩阵相加融合后传入所述热红外模态适配器的下一层级网络中；将所述可见光模态适配器最后一层级输出的模态特征图与所述热红外模态适配器最后一层级输出的模态特征图进行拼接，得到拼接特征图；将所述拼接特征图输入所述实例适配器，预测目标跟踪结果。2.如权利要求1所述的基于多策略融合树的可见光红外视觉跟踪方法，其特征在于，所述可见光模态适配器和所述热红外模态适配器均包括n个层级的适配网络，其中，上一层级的适配网络的输出作为下一层级的适配网络的输入；所述可见光模态适配器中最后一层级的适配网络的输出与所述热红外模态适配器最后一层级的适配网络的输出经拼接后作为所述实例适配器的输入。3.如权利要求2所述的基于多策略融合树的可见光红外视觉跟踪方法，其特征在于，前(n
‑
1)个所述适配网络包括依次连接卷积函数、最大池化函数、局部响应归一化函数以及激活函数；最后一层级的适配网络包括依次连接的卷积函数和激活函数，n≥2且为整数。4.如权利要求2所述的基于多策略融合树的可见光红外视觉跟踪方法，其特征在于，所述融合树网络包括n个层级的分支网络，其中，所述可见光图像样本和所述热红外图像样本均作为第一个层级的分支网络的输入，第一个层级的分支网络的输出作为第二层级的分支网络的输入；剩余层级的分支网络中，上一层级的分支网络的输出与下一层级的分支网络的输入之间连接有聚合模块；所述融合树网络中当前层级的分支网络的输出特征与所述可见光模态适配器中当前层级的适配网络的输出特征经矩阵相加操作后作为所述可见光模态适配器中下一层级的适配网络的输入；所述融合树网络中当前层级的分支网络的输出特征与所述热红外模态适配器中当前层级的适配网络的输出特征经矩阵相加...

【专利技术属性】
技术研发人员：李成龙，程致远，鹿安东，张彰，王亮，李尚泽，
申请(专利权)人：安徽大学，
类型：发明
国别省市：