【技术实现步骤摘要】
本专利技术属于红外图像处理，特别是涉及一种基于全卷积角点预测头的红外目标跟踪方法及系统。
技术介绍
1、红外目标跟踪技术在多个领域中发挥着重要作用。在军事应用中，红外目标跟踪可用于监测和追踪敌方无人机，提供实时情报，以及在夜间战斗中识别和定位目标。在边境安全领域，它被应用于非法入境检测，通过全天候的监测能力，及时发现和跟踪潜在的边境威胁。在城市安全和监控方面，红外目标跟踪可用于交通监测，提供实时交通状况信息，并加强对关键建筑物和地区的安全监控。此外，该技术还在环境监测与保护、医学图像处理等领域展现出潜力，为各种应用场景提供了更全面的监测和识别手段。
2、然而，红外目标跟踪面临着一些挑战。首先，大气条件对红外辐射的传播产生影响，尤其在高湿度和多云天气下，性能可能受到限制。其次，红外图像的分辨率相对较低，难以捕捉细小目标或提供精细的图像细节。另外，红外技术通常对温差敏感，需要存在明显的温度差异才能获得清晰图像，这在某些应用场景中可能成为限制因素。设备成本相对较高也限制了红外目标跟踪技术的广泛应用。克服这些挑战需要技术的不断创新和进步，以提高性能、扩展适用场景，并降低相关技术的成本。
3、现有的红外目标跟踪器可以从针对可见光图像的跟踪器中获得启发，例如，mlssnet基于孪生跟踪器siamfc引入了通道注意力机制和空间注意力机制来分别处理alexnet提取的浅层特征和深层特征，以计算模板与搜素特征的多级相似性度量。siammss在孪生跟踪器siamgat上加入了多组空间移动模型，有效扩充了目标边缘细节的特征，提
技术实现思路
1、为了解决
技术介绍
中存在的问题，本专利技术的一方面提供一种基于全卷积角点预测头的红外目标跟踪方法，包括：
2、s1：获取红外成像视频，提取视频图像帧，生成红外图像帧序列；
3、s2：从红外图像帧序列的第一帧图像中裁剪出包含追踪目标的图像块作为模板图像；
4、s3：利用残差网络提取模板图像和搜索图像的抽象信息，得到第一模板图像特征和第一搜索图像特征，其中，所述搜索图像包括：红外图像帧序列中的红外图像；
5、s4：利用边缘信息补充模块强化第一模板图像特征和第一搜索图像特征中的边缘信息，得到第二模板图像特征和第二搜索图像特征；
6、s5：将第二模板图像特征和第二搜索图像特征输入gam模型进行特征嵌入，计算模板图像与搜索图像的相似性匹配度得到特征响应图；
7、s6：将特征响应图输入到基于全卷积的角点预测头，通过估计角点的概率分布预测追踪目标在搜索图像中的位置。
8、优选地，所述提取视频图像帧的过程包括：采用opencv-python库处理红外成像视频，以抽帧间隔为300ms对红外成像视频进行抽帧，并将抽出来的红外图像的尺寸调整为255*255*3，构建红外图像帧序列。
9、优选地，所述从红外图像帧序列的第一帧图像中裁剪出包含追踪目标的图像块作为模板图像包括：
10、s21：在红外图像帧序列的第一帧图像中用标注框对追踪目标进行标注，以第一帧图像左上角为原点，则标注框的四维向量表示boxinit为：
11、boxinit＝(linit,tinit,winit,hinit)
12、其中，linit和tinit表示标注框的左上角点的坐标，winit和hinit表示标注框的宽度和长度；
13、s22：在第一帧图像中以标注框的中心为图像块的中心裁剪出大小为127*127*3的图像块作为模板图像。
14、优选地，所述利用边缘信息补充模块强化第一模板图像特征和第一搜索图像特征中的边缘信息包括：
15、
16、其中，f1表示第一模板图像特征或第一搜索图像特征；f2表示第二模板图像特征或第二搜索图像特征；conv表示步长为1，无填充，卷积核大小为1×1的卷积层；resize表示将特征rh×w×c重塑为rs×c的二维张量，s＝h*w；mean()表示取平均值函数；max()表示取最大值函数。
17、优选地，所述预测追踪目标在搜索图像中的位置包括：
18、
19、其中，pos表示位置编码矩阵，f表示特征响应图，(xtl,ytl)表示预测框左上角点在搜索图像中的位置，(xbr,ybr)表示预测框右下角点在搜索图像中的位置；convs1表示第一全卷积分支；convs2表示第二全卷积分支。
20、优选地，所述第一全卷积分支和第二全卷积分支均由依次串联的多个卷积层组成。
21、本专利技术的另一方面提供一种基于全卷积角点预测头的红外目标跟踪系统，所述系统应用于所述的一种基于全卷积角点预测头的红外目标跟踪方法，包括：
22、数据获取模块，用于获取红外成像视频，提取视频图像帧，生成红外图像帧序列；
23、模板制作模块，用于从红外图像帧序列的第一帧图像中裁剪出包含追踪目标的图像块作为模板图像；
24、特征提取模块，用于利用残差网络提取模板图像和搜索图像的抽象信息，得到第一模板图像特征和第一搜索图像特征，其中，所述搜索图像包括：红外图像帧序列中的红外图像；
25、边缘信息补充模块，用于强化第一模板图像特征和第一搜索图像特征中的边缘信息，得到第二模板图像特征和第二搜索图像特征；
26、gam模块，用于将第二模板图像特征和第二搜索图像特征输入gam模型进行特征嵌入，计算模板图像与搜索图像的相似性匹配度得到特征响应图；
27、预测输出模块，用于将特征响应图输入到基于全卷积的角点预测头，通过估计角点的概率分布预测追踪目标在搜索图像中的位置。
28、本专利技术的再一方面提供一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的一种基于全卷积角点预测头的红外目标跟踪方法。
29、本专利技术至少具有以下有益效果
30、本专利技术针对目前红外目标跟踪模型无法稳定生成精确预测框的难点，本专利技术以siamgat为基线跟踪器，设计了一个适用于红外目标跟踪的孪生跟踪器，该跟踪器引入了更深层次的神经网络来提取初始红外特征，并设计了边缘信息补充模块来边缘信息。此外本专利技术还设计了一种基于全卷积角点预测头的红外目标跟踪方法。该方法采用基于全卷积层的角点预测头，来预测目标框左上角点和右下角点的坐标。对于特征嵌入得到的响应图，角点预测头通过估计角点的概率分布来预测目标框左上角点本文档来自技高网...
【技术保护点】
1.一种基于全卷积角点预测头的红外目标跟踪方法，其特征在于，包括：
2.根据权利要求1所述的一种基于全卷积角点预测头的红外目标跟踪方法，其特征在于，所述提取视频图像帧的过程包括：采用OpenCV-Python库处理红外成像视频，以抽帧间隔为300ms对红外成像视频进行抽帧，并将抽出来的红外图像的尺寸调整为255*255*3，构建红外图像帧序列。
3.根据权利要求1所述的一种基于全卷积角点预测头的红外目标跟踪方法，其特征在于，所述从红外图像帧序列的第一帧图像中裁剪出包含追踪目标的图像块作为模板图像包括：
4.根据权利要求1所述的一种基于全卷积角点预测头的红外目标跟踪方法，其特征在于，所述利用边缘信息补充模块强化第一模板图像特征和第一搜索图像特征中的边缘信息包括：
5.根据权利要求1所述的一种基于全卷积角点预测头的红外目标跟踪方法，其特征在于，所述预测追踪目标在搜索图像中的位置包括：
6.根据权利要求5所述的一种基于全卷积角点预测头的红外目标跟踪方法，其特征在于，所述第一全卷积分支和第二全卷积分支均由依次串联的多个卷积层组成
7.一种基于全卷积角点预测头的红外目标跟踪系统，所述系统应用于权利要求1-6任一所述的一种基于全卷积角点预测头的红外目标跟踪方法，其特征在于，包括：
8.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-6任一项所述的一种基于全卷积角点预测头的红外目标跟踪方法。
...【技术特征摘要】
1.一种基于全卷积角点预测头的红外目标跟踪方法，其特征在于，包括：
2.根据权利要求1所述的一种基于全卷积角点预测头的红外目标跟踪方法，其特征在于，所述提取视频图像帧的过程包括：采用opencv-python库处理红外成像视频，以抽帧间隔为300ms对红外成像视频进行抽帧，并将抽出来的红外图像的尺寸调整为255*255*3，构建红外图像帧序列。
3.根据权利要求1所述的一种基于全卷积角点预测头的红外目标跟踪方法，其特征在于，所述从红外图像帧序列的第一帧图像中裁剪出包含追踪目标的图像块作为模板图像包括：
4.根据权利要求1所述的一种基于全卷积角点预测头的红外目标跟踪方法，其特征在于，所述利用边缘信息补充模块强化第一模板图...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。