【技术实现步骤摘要】
本公开涉及计算机视觉领域，尤其涉及一种基于动态融合网络的目标跟踪方法、装置、设备及介质。
技术介绍
1、近年来，rgb-t(rbg-thermal)的目标跟踪技术受到广泛关注，rgb图像可以体现目标丰富的颜色、细节、纹理信息，但是容易受到光照影响；热红外(tir)图像能够体现物体的温度信息，不受光照影响，但是通常会缺失物体的细节和纹理信息。如何有效的利用rgb图像和tir图像的优势互补，提高目标跟踪的准确性和鲁棒性，成为研究的热点。随着深度学习技术的发展，深度神经网络被引入到rgb-t跟踪中，通过自动学习特征表示和相关模型，深度学习方法能够更加准确的捕捉目标的外观和运动特征，显著提高跟踪算法的准确性和鲁棒性。
2、目前rgb-t等多模态数据源的目标跟踪任务，常采用“动态卷积核”的方式，根据不同的输入图像序列，自适应的计算各模态的单一特征及模态间的共同特征，实现对各模态数据源贡献度的计算与优化。然而，在实际应用过程中会碰到如热交叉、目标隐藏、烟尘遮蔽等非合作现象，造成目标跟踪任务失败。当前已有的神经网络模型在解决rgb-t目标跟踪任务时处理粗暴，多不考虑任务中多种非合作因素的耦合关系，直接将所有数据放入模型完成训练，忽视了任务场景的个性化特征。考虑了非合作因素耦合关系的神经网络模型将两种模态(视觉和红外)的数据同时放入一个模型训练，虽然考虑了任务场景的个性化问题，但是忽视了rgb与tir模态数据的个性化特征，即每一种模态数据擅长处理的非合作因素被忽视。这些模型在大型数据集中表现良好，但是当样本数量少时精度表现不佳。p>
技术实现思路
1、(一)要解决的技术问题
2、本公开提供了一种基于动态融合网络的目标跟踪方法、装置、设备及介质能够解决现有技术中神经网络模型所出现的一下技术问题至少之一：
3、(1)非合作因素处理不精细。已有的神经网络模型针对非合作因素的考虑有两方面问题，一方面，大部分模型期望通过训练一个模型，解决跟踪问题中的所有限制，不考虑非合作因素的复杂耦合关系，导致训练所需数据集规模大、训练模型复杂。另一方面，考虑了非合作因素的神经网络模型忽视rgb与tir模态数据的个性化特征，对所有的非合作因素均放入两种模态数据训练，每一种模态数据擅长处理的非合作因素被忽视。
4、(2)动态卷积核设置不合理。已有的神经网络模型在计算这种权重贡献度时，对不同的图像序列均通过输入相同全连接层的方式实现，忽视了不同图像序列所在任务场景的个性化需求，即不同图像序列中的不同非合作因素对于权重生成的影响被忽视，导致动态卷积核设置不合理。
5、(3)网络模型无法适应部分遮挡、低照度、热交叉下目标跟踪的任务需求。现有的神经网络模型多面向通用化，缺乏针对极端的非合作场景下的个性化应用需求。
6、(二)技术方案
7、鉴于上述问题，本公开提供了一种基于动态融合网络的目标跟踪方法、装置、设备及存储介质。
8、根据本公开的第一个方面，提供了一种基于动态融合网络的目标跟踪方法，其中，所述方法包括以下步骤：将rgb模态图像序列输入目标动态融合网络进行可见光限制特征提取和加权计算，得到rgb模态特征数据；将热红外模态图像序列输入目标动态融合网络进行热红外限制特征提取和加权计算，得到热红外模态特征数据；将所述rgb模态特征数据和所述热红外模态特征数据进行跨模态融合动态卷积，生成所述rgb模态特征数据对应的第一卷积特征集和所述热红外模态特征数据对应的第二卷积特征集；将所述第一卷积特征集和所述第二卷积特征集进行特征融合得到第三卷积特征集，所述第三卷积特征集包含所述第一卷积特征集和所述第二卷积特征集的所有特征；对所述第三卷积特征集进行计算提取得到rgb跟踪结果和热红外跟踪结果；其中，所述rgb模态特征数据和所述热红外模态特征数据均包括多层次的模态特征数据。
9、在一些示例性的实施例中，在所述将rgb模态图像序列输入目标动态融合网络进行可见光限制特征提取和加权计算步骤之前，还包括以下步骤：获取显著性目标物体的图像数据序列，对所述图像数据序列进行数据划分，得到rgb模态可见光限制特征对应的m个第一训练子集数据和热红外模态限制子模块对应的n个第二训练子集数据；利用所述m个第一训练子集数据和所述n个第二训练子集数据完成对初始动态融合网络进行网络训练，得到目标动态融合网络。
10、在一些示例性的实施例中，所述利用所述m个第一训练子集数据和所述n个第二训练子集数据完成对初始动态融合网络进行网络训练的步骤，包括：分别利用所述m个第一训练子集数据完成对应的rgb模态可见光限制特征提取训练，分别利用所述n个第二训练子集数据完成热红外限制特征提取训练，共需要训练m+n次；每次训练完成后保存并固化训练结果；输入所述m个第一训练子集数据和所述n个第二训练子集数据的全部数据，随机初始化所述动态融合网络进行网络参数，进行跨模态融合动态卷积训练；保存并固化训练结果。
11、在一些示例性的实施例中，所述将rgb模态图像序列输入目标动态融合网络进行可见光限制特征提取和加权计算的步骤，包括：提取所述rgb模态图像序列的可见光限制特征，得到第一限制子集数据；输入所述第一限制子集数据，通过选择性核网络生成各个所述第一限制子集数据对应的第一权重，所述第一权重用于表示所述第一限制子集数据对于任务跟踪场景的贡献度；将全部所述第一限制子集数据与对应的所述第一权重相乘后累加，得到rgb模态目标数据。
12、在一些示例性的实施例中，所述将热红外模态图像序列输入目标动态融合网络进行热红外限制特征提取和加权计算的步骤，包括：提取所述热红外模态图像序列的热红外限制特征，得到第二限制子集数据；输入所述第二限制子集数据，通过选择性核网络生成各个所述第二限制子集数据对应的第二权重，所述第二权重用于表示所述第二限制子集数据对于任务跟踪场景的贡献度；将全部所述第二限制子集数据与对应的所述第二权重相乘后累加，得到热红外模态目标数据。
13、在一些示例性的实施例中，所述将所述rgb模态特征数据和所述热红外模态特征数据进行跨模态融合动态卷积的步骤，包括：对所述rgb模态图像序列进行聚合处理，得到第一特征的权重和第二特征的权重，所述第一特征为可见光特有的特征，所述第二特征为可见光与热红外共同的特征；对所述热红外模态图像序列进行聚合处理，得到第三特征的权重和所述第二特征的权重，所述第三特征为热红外特有的特征；用二维卷积函数提取所述rgb模态特征数据的所述第一特征，得到第四卷积特征集，用二维卷积函数提取所述热红外模态特征数据的所述第三特征，得到第五卷积特征集，用二维卷积函数提取所述rgb模态特征数据和所述热红外模态特征数据的第二特征，得到第六卷积特征集；将rgb模态特征数据对应的第四卷积特征集和第六卷积特征集与第一特征的权重和第二特征的权重进行加权计算，形成所述rgb模态特征数据对应的第一卷积特征集，将热红外模态目标数据对应的第五卷积特征集和第六卷积特征集与第三特征的权重和第二特征的权重本文档来自技高网...
【技术保护点】
1.一种基于动态融合网络的目标跟踪方法，其中，所述方法包括以下步骤：
2.根据权利要求1所述的基于动态融合网络的目标跟踪方法，其中，在所述将RGB模态图像序列输入目标动态融合网络进行可见光限制特征提取和加权计算步骤之前，还包括以下步骤：
3.根据权利要求2所述的基于动态融合网络的目标跟踪方法，其中，所述利用所述m个第一训练子集数据和所述n个第二训练子集数据完成对初始动态融合网络进行网络训练的步骤，包括：
4.根据权利要求1所述的基于动态融合网络的目标跟踪方法，其中，所述将RGB模态图像序列输入目标动态融合网络进行可见光限制特征提取和加权计算的步骤，包括：
5.根据权利要求1或4所述的基于动态融合网络的目标跟踪方法，其中，所述将所述RGB模态特征数据和所述热红外模态特征数据进行跨模态融合动态卷积的步骤，包括：
6.根据权利要求1所述的基于动态融合网络的目标跟踪方法，其中，所述可见光限制特征包括遮挡限制特征和热交叉限制特征；以及
7.一种基于动态融合网络的目标跟踪装置，其中，所述装置包括以下模块：
8
9.一种电子设备，其中，包括：
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～6中任一项所述的方法。
...【技术特征摘要】
1.一种基于动态融合网络的目标跟踪方法，其中，所述方法包括以下步骤：
2.根据权利要求1所述的基于动态融合网络的目标跟踪方法，其中，在所述将rgb模态图像序列输入目标动态融合网络进行可见光限制特征提取和加权计算步骤之前，还包括以下步骤：
3.根据权利要求2所述的基于动态融合网络的目标跟踪方法，其中，所述利用所述m个第一训练子集数据和所述n个第二训练子集数据完成对初始动态融合网络进行网络训练的步骤，包括：
4.根据权利要求1所述的基于动态融合网络的目标跟踪方法，其中，所述将rgb模态图像序列输入目标动态融合网络进行可见光限制特征提取和加权计算的步骤，包括：
5.根据权利要求1或4所述的基于动态融合...
【专利技术属性】
技术研发人员：李聪健，王文生，田璟，张道兵，周浩然，谢明理，牟翰林，张景华，翟曜，杨侃，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。