一种基于深度特征和关键点匹配的红外目标跟踪方法技术

本发明专利技术公开了一种基于深度特征和关键点匹配的红外目标跟踪方法，应用于目标技术领域，包括以下步骤：S1、构建特征提取网络模型；S2、获取红外数据集作为网络训练数据集；S3、计算深度特征相似度和外观特征相似度；S4、通过最小化网络的损失函数训练特征提取网络模型；S5、进行目标跟踪检测。本发明专利技术可以同时提取两帧图像深度特征并融合特征，增强了对图像深度特征的利用率，同时使用深度特征相似度与外观特征相似度作为匹配标准，提高了算法的抗遮挡和抗干扰能力。和抗干扰能力。和抗干扰能力。

【技术实现步骤摘要】
一种基于深度特征和关键点匹配的红外目标跟踪方法


[0001]本专利技术涉及目标跟踪
，更具体的说是涉及一种基于深度特征和关键点匹配的红外目标跟踪方法。

技术介绍

[0002]视觉跟踪是计算机视觉领域研究的热点之一，其广泛应用于视频监控、智能交通等民用领域。近年来，随着计算机视觉领域的快速发展，跟踪算法的综合性能得到了显著提升。同时，由于红外成像系统利用目标产生的能量进行探测，通过获取目标的能量信息对目标进行识别，因此红外成像系统具有被动探测和全天时探测的能力，被广泛应用于目标感知的设备中；其中，对感兴趣的目标进行跟踪是红外探测系统的主要任务，因此，对红外目标的跟踪是当今一个研究热点问题。
[0003]中国专利公开号为“CN113470071A”的专利技术专利，名称为“一种两层级联红外行人跟踪方法”，该方法首先提取红外图像目标的深度特征，为了减小目标跟踪框漂移，构造归一化联合置信度和归一化联合置信响应，最后通过联合置信度实现对目标轨迹的匹配。但是由于该方法提取特征时仅对深度特征归一化进行匹配，在目标被遮挡时会出现丢失轨迹等情况，跟踪成功率低，同时过程复杂，跟踪速度慢。
[0004]因此，如何提出一种跟踪成功率高、跟踪速度快的红外目标跟踪方法是本领域技术人员亟需解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于深度特征和关键点匹配的红外目标跟踪方法，在保证高跟踪精度的同时，提高跟踪速度，减少因遮挡而产生的目标轨迹丢失现象。
[0006]为了实现上述目的，本专利技术提供如下技术方案：
[0007]一种基于深度特征和关键点匹配的红外目标跟踪方法，包括以下步骤：
[0008]S1、构建特征提取网络模型：构建好的特征提取网络模型包括深度特征提取网络和外观特征提取网络；深度特征提取网络用于提取输入目标的特征图，得到目标的深度特征；外观特征提取网络用于提取输入目标的关键点特征信息，得到输入目标的外观特征；
[0009]S2、获取红外数据集作为网络训练数据集；
[0010]S3、计算特征相似度：将S2中获取的训练数据集输入S1中构建好的特征提取网络模型中，提取特征并计算特征相似度；
[0011]S4、通过最小化网络的损失函数训练特征提取网络模型，当训练次数达到设定阈值或损失函数的值到达设定范围内时，保存模型参数；
[0012]S5、进行目标跟踪检测：将S4中保存的模型参数进行固定，将待测视频序列输入到参数固定后的特征提取网络模型中，获得特征匹配结果。
[0013]优选的，深度特征提取网络包括卷积层、残差块、最大池化层、归一化层、平均池化层和激活函数；残差块包括卷积层、归一化层和激活函数，其中，激活函数使用线性整流函
数ReLU；所有卷积核大小均为n
×
n。
[0014]优选的，外观特征提取网络包括以下五个步骤：建立图像尺度空间、构建高斯差分金字塔、插值查找、指定方向参数和生成外观描述子。
[0015]优选的，S2中的红外数据集为红外图像数据集CVC
‑
09。
[0016]优选的，S3具体为：S3具体为：将红外数据集中的视频首帧图像输入到特征提取网络模型中得到深度特征和外观特征，将深度特征和外观特征记为已确定目标的深度特征和已确定目标的外观特征；
[0017]将第n帧图像与第n+1帧图像通过深度特征提取网络提取深度特征并融合深度特征得到融合的深度特征，计算融合的深度特征与已确定目标的深度特征的相似度，当相似度大于预设阈值时，第n帧图像与已确定目标图像相匹配，将融合的深度特征更新为新的已确定目标深度特征，当相似度小于预设阈值时，第n帧图像与已确定目标图像无法匹配，将第n+1帧与第n+2帧图像的深度特征融合，得到新的融合的深度特征，计算新的融合的深度特征与已确定目标的深度特征的相似度；
[0018]将第n帧图像通过外观特征提取网络提取外观特征，计算第n帧图像外观特征与已确定目标的外观特征的相似度。
[0019]优选的，S4具体为：将深度特征的相似度与外观特征的相似度按照权重求和得到总相似度函数，将总相似度函数作为网络损失函数，通过最小化网络损失函数训练特征提取网络模型，当训练次数达到设定阈值或损失函数的值到达设定范围内时，保存模型参数。
[0020]优选的，S4中保存模型参数之后还包括：通过PTB
‑
TIR数据集对特征提取网络模型进行测试。
[0021]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于深度特征和关键点匹配的红外目标跟踪方法，具有以下有益效果：
[0022]1、在深度特征提取网络中使用了残差块的结构，残差块中有很多旁路的支线将输入直接连接到后面的层，使得后面的层可以直接学习残差，传统的卷积层或全连接层在传递信息时，会存在信息的丢失，损耗等问题，本专利技术直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入，输出差别的部分，简化了学习目标和难度；
[0023]2、深度特征提取网络中使用两帧图像输入并提取其深度特征，可以最大化利用图像中相似特征信息，增强跟踪过程的抗遮挡能力；
[0024]3、本专利技术采用的外观特征对于光线、噪声、微视角改变的容忍度高，并且外观特征高度显著、容易获取，并且它的区分性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；
[0025]4、在特征匹配部分，本专利技术将运动特征与外观特征的评价标准综合起来，相比于其他算法中仅采用运动特征或外观特征的方案更加合理，匹配的结果更加精准且更加快速。
附图说明
[0026]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据
提供的附图获得其他的附图。
[0027]图1为本专利技术的基于深度特征和关键点匹配的红外目标跟踪方法流程图；
[0028]图2为本专利技术的深度特征提取网络结构图；
[0029]图3为本专利技术深度特征提取网络中的残差块结构图；
[0030]图4为本专利技术的外观特征提取算法流程图；
[0031]图5为本专利技术的特征相似度计算原理框图。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]本专利技术实施例公开了一种基于深度特征和关键点匹配的红外目标跟踪方法，如图1所示，包括以下步骤：
[0034]S1、构建特征提取网络模型：构建好的特征提取网络模型包括深度特征提取网络和外观特征提取网络；深度特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度特征和关键点匹配的红外目标跟踪方法，其特征在于，包括以下步骤：S1、构建特征提取网络模型：构建好的特征提取网络模型包括深度特征提取网络和外观特征提取网络；深度特征提取网络用于提取输入目标的特征图，得到目标的深度特征；外观特征提取网络用于提取输入目标的关键点特征信息，得到输入目标的外观特征；S2、获取红外数据集作为网络训练数据集；S3、计算特征相似度：将S2中获取的训练数据集输入S1中构建好的特征提取网络模型中，提取特征并计算特征相似度；S4、模型训练判断：当训练次数达到设定阈值或损失函数的值到达设定范围内时，停止模型训练，保存模型参数；S5、进行目标跟踪检测：将S4中保存的模型参数进行固定，将待测视频序列输入到参数固定后的特征提取网络模型中，获得特征匹配结果。2.根据权利要求1所述的一种基于深度特征和关键点匹配的红外目标跟踪方法，其特征在于，深度特征提取网络包括卷积层、残差块、最大池化层、归一化层、平均池化层和激活函数，残差块包括卷积层、归一化层和激活函数，其中，激活函数使用线性整流函数ReLU；所有卷积核大小均为n
×
n。3.根据权利要求2所述的一种基于深度特征和关键点匹配的红外目标跟踪方法，其特征在于，外观特征提取网络包括以下五个步骤：建立图像尺度空间、构建高斯差分金字塔、插值查找、指定方向参数和生成外观描述子。4.根据权利要求3所述的一种基于深度特征和关键点匹配的红外目标跟踪方法，其特征在于，S2中的红外数据集为红外图像数据集CVC
...

【专利技术属性】
技术研发人员：郝子强，郑廷源，李锐，洪洋，陈宇，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：