一种RGBT目标跟踪模型的训练方法及装置制造方法及图纸

本发明专利技术公开了一种RGBT目标跟踪模型的训练方法及装置，方法包括：1)、构建依次由稠密特征聚合模块以及分类模块组成的跟踪模型，稠密特征聚合模块包括提取可见光图像特征的第一卷积层序列；以及提取热红外图像特征的第二卷积层序列，第一卷积层中的与第二卷积层中深度相同的卷积层为配对卷积层；除第一个配对卷积层以外的配对卷积层均对应一个特征聚合层，第一个配对卷积层的卷积结果输入到下一个配对卷积层的特征聚合层中；分类模块包括依次串联的若干层全连接层；2)、使用预先标记的可见光图像样本以及预先标记的热红外图像样本训练跟踪模型，得到目标跟踪模型。本发明专利技术实施例可以使目标识别结果更加准确。

A training method and device of RGBT target tracking model

【技术实现步骤摘要】
一种RGBT目标跟踪模型的训练方法及装置
本专利技术涉及一种模型训练方法及装置，更具体涉及一种RGBT目标跟踪模型的训练方法及装置。
技术介绍
传统的目标识别都是基于单模态的，例如都是基于可见光的。可见光图像中包含了丰富的几何和纹理细节，但是可见光图像对光线比较敏感，在复杂场景中图像所能传递的信息质量会受到较大的影响。热红外图像反应的是场景中表面温度的分布情况，从而对光照变化不敏感，具有很好的穿透性以及特殊的识别伪装的能力。因此，可以利用两个模态的互补的特点，利用RGBT(RedGreenBlueThermal，红绿蓝热红外)跟踪技术将可见光图像中的特征与红外图像中的特征进行融合，能够利用模态间互补性在具有挑战性的环境中实现稳健的跟踪性能。尽管在RGBT跟踪方面取得了很大进展，但仍有许多问题需要解决，其中如何有效地融合RGB和热红外源是提高跟踪性能的核心因素，目前仍未得到很好的解决。目前，现有的一些RGBT跟踪方法使用手动权重来实现RGB和热红外数据的融合，但它们的通用性和可扩展性都很低。还有一些方法通过融合不同模态的特征或重构系数，在贝叶斯滤波框架中进行联合稀疏表示，但是当某个模态本文档来自技高网...

【技术保护点】
1.一种RGBT目标跟踪模型的训练方法，其特征在于，所述方法包括：1)、构建依次由稠密特征聚合模块以及分类模块组成的跟踪模型，其中，稠密特征聚合模块包括若干层提取可见光图像特征的第一卷积层序列；以及若干层提取热红外图像特征的第二卷积层序列，第一卷积层序列中的卷积层数量等于第二卷积层序列中的卷积层数量；第一卷积层中的与第二卷积层中深度相同的卷积层为配对卷积层；除第一个配对卷积层以外的配对卷积层均对应一个特征聚合层，第一个配对卷积层的卷积结果输入到下一个配对卷积层的特征聚合层中；从第三个配对卷积层开始，将第三个配对卷积层作为当前配对卷积层，当前配对卷积层对应的特征聚合层将前一个特征聚合层的聚合特征...

【技术特征摘要】
1.一种RGBT目标跟踪模型的训练方法，其特征在于，所述方法包括：1)、构建依次由稠密特征聚合模块以及分类模块组成的跟踪模型，其中，稠密特征聚合模块包括若干层提取可见光图像特征的第一卷积层序列；以及若干层提取热红外图像特征的第二卷积层序列，第一卷积层序列中的卷积层数量等于第二卷积层序列中的卷积层数量；第一卷积层中的与第二卷积层中深度相同的卷积层为配对卷积层；除第一个配对卷积层以外的配对卷积层均对应一个特征聚合层，第一个配对卷积层的卷积结果输入到下一个配对卷积层的特征聚合层中；从第三个配对卷积层开始，将第三个配对卷积层作为当前配对卷积层，当前配对卷积层对应的特征聚合层将前一个特征聚合层的聚合特征、当前配对卷积层中的卷积层的卷积结果进行特征聚合，直至最后一个特征聚合层；分类模块包括依次串联的若干层全连接层；2)、使用预先标记的可见光图像样本以及预先标记的热红外图像样本训练所述跟踪模型，得到目标跟踪模型。2.根据权利要求1所述的一种RGBT目标跟踪模型的训练方法，其特征在于，第一个配对卷积层的卷积结果输入到下一个配对卷积层的特征聚合层中，包括：第一个配对卷积层的卷积结果经过最大池化处理后输入到下一个配对卷积层的特征聚合层中。3.根据权利要求1所述的一种RGBT目标跟踪模型的训练方法，其特征在于，前一个特征聚合层的聚合特征，包括：最大池化后的前一个特征聚合层的输出特征。4.根据权利要求1所述的一种RGBT目标跟踪模型的训练方法，其特征在于，所述特征聚合层，包括：依次串联的第三卷积层、非线性激活函数层以及局部响应归一化层，其中，所述第三卷积层为卷积核尺寸为1*1卷积层；非线性激活函数层，用于：利用公式，计算非线性输出结果，其中，XF为非线性输出结果；σ()为激活函数；∑为求和函数；Wi为卷积核；b为偏置；xi为第i个特征通道的特征；n为特征通道的数量；局部响应归一化层，用于：利用公式，B＝LRN(XF)，计算聚合后的特征，其中，B为聚合后的特征；LRN()为局部响应归一化函数。5.根据权利要求1所述的一种RGBT目标跟踪模型的训练方法，其特征在于，所述稠密特征聚合模块以及分类模块之间还设有特征剪切模块，特征剪切模块包括：全局平均池化层以及权重随机选择层，其中，全局平均池化层用于：利用公式，计算各个特征通道的激活状态，其中，scorei为第i个特征通道的激活状态；W为特征图像的宽；H为特征图像的高；∑为求和函数；J为像素点的横坐标；K为像素点的纵坐标；xi为第i个特征通道的特征；权重随机选择层用于，利用公式，计算各个特征通道的被选择权重，其中，keyi为第i个通道的被选择权重；ri为介于0和1之间的标量；scorei为第i个特征通道的激活状态。6.根据权利要求1所述的一种RGBT目标跟踪模型的训练方法，其特征在于，所述步骤2)，包括：选取K个可见光视频序列以及K个热红外视频序列，且可见光视频序列与热红外视频序列是逐帧对应的；从每一个可见光视频序列中选取第一预设数量个视频帧，并从每一个视频帧中选择第二预设数量个正样本以及第三预设数量个负样本，对第二预设数量个正样本以及第三预设数量个负样本进行标记并将标记后样本作为预先标记的可见光图像样本；从每一个热红...

【专利技术属性】
技术研发人员：李成龙，罗斌，朱亚彬，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽,34