一种基于多适配器的可见光红外视觉跟踪方法及装置制造方法及图纸

本发明专利技术公开了一种基于多适配器的可见光红外视觉跟踪方法及装置，方法包括：1)、预先构建由可见光模态适配器、通用适配器、热红外模态适配器以及实例适配器的初始识别模型；2)、使用预先标定好目标的样本视频训练初始识别模型，得到训练后的识别模型，其中，样本视频包括：若干个可见光‑热红外光样本视频对；3)、使用训练后的初始识别模型跟踪待识别视频中的待识别目标。应用本发明专利技术实施例，可以达到良好的多模态视频跟踪效果。

A visible infrared vision tracking method and device based on multi adapter

【技术实现步骤摘要】
一种基于多适配器的可见光红外视觉跟踪方法及装置
本专利技术涉及一种目标跟踪方法及装置，更具体涉及一种基于多适配器的可见光红外视觉跟踪方法及装置。
技术介绍
目标跟踪是计算机视觉一个非常重要的研究领域。目标跟踪在工业界有着广泛的应用领域如安防监控，自动驾驶，行为分析等。目前基于检测跟踪框架的目标跟踪，实质上是基于一个性能良好的分类器对于目标和背景的一个二分类的问题。先在根据第一帧给定的目标位置上，通过设定一个阈值来确认目标和背景的样本，以此来初始化目标跟踪的模型，在进行后续帧中目标的跟踪。在后续帧中，依然是对上一帧所预测的目标位置附近进行高斯分布采样，并使用分类器来区分目标样本和背景样本，并选择其中最高得分的正样本来作为下一帧目标的预测位置。传统的目标跟踪一般都是基于单模态的，例如：可见光(波长0.4-0.7μm)图像包含了丰富的几何和纹理细节，但是对于光线比较敏感，在复杂场景中图像所能传递的信息质量会受到较大的影响，如：雾霾与强烈的光照变化等。而热红外(波长3-12μm)图像反映的是场景中表面温度的分布情况，从而对于光照变化不敏感，具有很好的云雾穿透，以及特殊的识别伪装能力。但是该模本文档来自技高网...

【技术保护点】
1.一种基于多适配器的可见光红外视觉跟踪方法，其特征在于，所述方法包括：1)、预先构建由可见光模态适配器、通用适配器、热红外模态适配器以及实例适配器的初始识别模型，其中，可见光模态适配器中的每个第一卷积层均与通用适配器中的对应次序的第二卷积层并联；红外光模态适配器中的每个第三卷积层均与通用适配器中的对应次序的第二卷积层并联；所述实例适配器包括若干个串联的全连接层；2)、使用预先标定好目标的样本视频训练所述初始识别模型，得到训练后的识别模型，其中，样本视频包括：若干个可见光‑热红外光样本视频对；3)、使用训练后的初始识别模型跟踪待识别视频中的待识别目标。

【技术特征摘要】
1.一种基于多适配器的可见光红外视觉跟踪方法，其特征在于，所述方法包括：1)、预先构建由可见光模态适配器、通用适配器、热红外模态适配器以及实例适配器的初始识别模型，其中，可见光模态适配器中的每个第一卷积层均与通用适配器中的对应次序的第二卷积层并联；红外光模态适配器中的每个第三卷积层均与通用适配器中的对应次序的第二卷积层并联；所述实例适配器包括若干个串联的全连接层；2)、使用预先标定好目标的样本视频训练所述初始识别模型，得到训练后的识别模型，其中，样本视频包括：若干个可见光-热红外光样本视频对；3)、使用训练后的初始识别模型跟踪待识别视频中的待识别目标。2.根据权利要求1所述的一种基于多适配器的可见光红外视觉跟踪方法，其特征在于，所述可见光模态适配器中包含的若干层第一卷积层中的首个第一卷积层接收可见光图像，并将特征提取后的得到的数据输入到通用适配器中；第一卷积层中除首个第一卷积层以外的其他第一卷积层接收通用适配器中的第二卷积层的输出，并对所述第二卷积层的输出进行特征提取后将特征提取后的数据输出至通用适配器中；红外光模态适配器中包含的若干层第三卷积层中的首个第三卷积层接收热红外光图像，并将特征提取后的得到的数据输入到通用适配器中；第三卷积层中除首个第三卷积层以外的其他第三卷积层接收通用适配器中的第二卷积层的输出，并对所述第二卷积层的输出进行特征提取后将特征提取后的数据输出至通用适配器中；通用适配器中包含的若干层第二卷积层中的首个第二卷积层接收可见光以及热红外光图像，对所接收的图像进行特征提取处理，将可见光图像对应的特征提取后的数据与对应次序的第一卷积层输出的特征提取后的数据进行数据融合处理，得到融合后的针对可见光图像的数据并输出至下一个第二卷积层；将热红外图像对应的特征提取后的数据与对应次序的第三卷积层输出的特征提取后的数据进行数据融合处理，得到融合后的针对热红外图像的数据并输出至下一个第二卷积层；第二卷积层中除首个第二卷积层以外的其他第二卷积层将接收上一个第二卷积层输出的针对可见光图像的数据与对应次序的第一卷积层输出的特征提取后的数据进行数据融合处理，并将融合得到的数据输出至下一个第二卷积层；第二卷积层中除首个第二卷积层以外的其他第二卷积层将接收上一个第二卷积层输出的针对热热红外光图像的数据与对应次序的第三卷积层输出的特征提取后的数据进行数据融合处理，并将融合得到的数据输出至下一个第二卷积层；通用适配器中还包括关联函数，所述关联函数将最后一个第二卷积层输出的针对可见光图像的融合后数据与针对热热红外光图像的融合后的数据进行关联处理，并输出至所述实例适配器中。3.根据权利要求2所述的一种基于多适配器的可见光红外视觉跟踪方法，其特征在于，所述第一卷积层以及第三卷积层中除最后一层以外的卷积层均是由卷积层、非线性层、正则化层以及池化层堆叠组成；所述第一卷积层以及第三卷积层中的最后一层卷积层均是由卷积层以及非线性层堆叠组成。4.根据权利要求2所述的一种基于多适配器的可见光红外视觉跟踪方法，其特征在于，所述实例适配器中除最后一层全连接层以的其他全连接层均是由神经元随机激活层、全连接层以及非线性层堆叠组成；所述实例适配器中最后一层全连接层为softmax层。5.根据权利要求1所述的一种基于多适配器的可见光红外视觉跟踪方法，其特征在于，所述步骤2)，包括：21)、针对若干个可见光-热红外光样本视频对中的当前可见光-热红外光样本视频对，根据预先标定的待识别目标的真值框，在可见光-热红外光样本视频对中的可见光样本视频中的每一帧图像中按照预设的第一采样规则进行采样，得到第一采样结果，其中，所述预设的第一采样规则包括：采样数量以及交并比中的一种或组合，且所述第一采样结果包括：正样本以及负样本；22)、为对应于当前可见光-热红外光样本视频对的所述初始识别模型中的实例适配器构建新的最后一个全连接层，得到对应于当前可见光-热红外光样本视频对的构建后初始识别模型；23)、将所述第一采样结果输入到所述构建后初始识别模型中，迭代第一预设数量次，得到迭代后的初始识别模型；24)、将若干个可见光-热红外光样本视频对中除当前可见光-热红外光样本视频对以外的其他可见光-热红外光样本视频对中的一个作为当前可见光-热红外光样本视频对，使用预设的学习率更新所述迭代后的初始识别模型中的卷积层参数以及全连接层参数，得到更新后的初始识别模型，将所述更新后的初始识别模型作为对应于当前可见光-热红外光样本视频对的初始识别模型；并返回执行步骤22)；直至最后一个可见光-热红外光样本视频对，得到训练后的初始识别模型。6.根据权利要求1所述的一种基于多适配器的可见光红外视觉跟踪方法，其特征在于，所述步骤3)，包括：31)、获取待识别视频对中的第一个帧对中的热热红外光图像以及可见光图像，其中，所述待识别视频对包括各帧分别对应的热红外光视频以及可见光视频，且帧对中的热热红外光图像与可见光图像为对应的视频帧；32)、以第一个帧对中预设的待识别目标对应的真值框为基准，根据预设的第二采样规则进行采样，得到第二采样结果，其中，所述预设的第二采样规则包括：采样数量以及交并比中的一种或组合，且所述第二采样结果包括：正样本以及负样本；33)、针对所述第二采样结果，为训练后的识别模型中的实例适配器，构建新的最后一个全连接层，得到目标...

【专利技术属性】
技术研发人员：李成龙，鹿安东，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽,34