【技术实现步骤摘要】
基于注意力和知识蒸馏的孪生高光谱图像跟踪方法和系统
[0001]本专利技术涉及图像处理
，尤其是指一种基于注意力和知识蒸馏的孪生高光谱图像跟踪方法和系统。
技术介绍
[0002]高光谱成像技术将成像技术与光谱技术相结合，可以探测目标的二维几何空间和一维光谱信息，获取高光谱分辨率的连续、窄波段的图像数据。随着高光谱成像技术的日益成熟，已成为广泛应用于遥感、农业、环境监测等领域的重要工具。通过捕捉物体的大量连续光谱信息，高光谱成像技术能够提供丰富的光谱特征，可以实现物质识别、地表覆盖分类和环境变化监测等应用。随着传感器技术和数据处理方法的不断发展，高光谱成像技术的分辨率和准确性不断提升，为科学研究和实际应用带来了更大的潜力和机会。但是，高光谱数据在计算复杂度高、标注数据缺乏、特征提取困难和适应目标外观变化方面面临挑战，限制了其在高光谱跟踪任务中的应用。
[0003]近年来，孪生网络在单目标跟踪中被广泛应用。孪生网络的目标跟踪器的核心思想是通过提取目标和搜索区域的特征并比较它们的相似性来进行目标跟踪。现有技术中，有采...
【技术保护点】
【技术特征摘要】
1.一种基于注意力和知识蒸馏的孪生高光谱图像跟踪方法，其特征在于，包括：构建跟踪网络模型，所述跟踪网络模型包括混合注意力机制和孪生网路，通过所述混合注意力机制捕捉高光谱图像数据的多尺度信息，通过所述孪生网络学习高光谱图像数据的光谱特征；获取现有的高光谱图像数据集并训练所述跟踪网络模型，将训练完成的跟踪网络模型作为教师模型；获取待测物体的高光谱图像数据进行预处理并分为训练集和测试集，将所述跟踪网络模型作为学生模型，使用所述教师模型和训练集对所述学生模型进行知识蒸馏，将知识蒸馏后的学生模型作为预测模型；将训练集和测试集输入所述预测模型得到目标跟踪结果。2.根据权利要求1所述的基于注意力和知识蒸馏的孪生高光谱图像跟踪方法，其特征在于：所述预处理，具体包括：将所述高光谱图像数据按序排列得到高光谱图像序列，将所述高光谱图像序列中的每帧图像作为初始帧图像；使用遗传算法选择所述初始帧图像中联合熵最大的三个波段，将这三个波段组成新的帧图像；根据所述新的帧图像的标签计算出跟踪目标的中心坐标、宽和高，根据跟踪目标的中心坐标、宽和高形成跟踪框；对所述跟踪框进行缩放和剪裁，使用全局图像像素的均值对所述跟踪框超出搜索区域的部分进行填充，将裁剪和填充后的跟踪框中的图像作为预处理后的帧图像。3.根据权利要求2所述的基于注意力和知识蒸馏的孪生高光谱图像跟踪方法，其特征在于：所述将训练集和测试集输入所述预测模型得到目标跟踪结果，包括：提取预处理后的高光谱图像序列中的第一帧的帧图像作为模板帧图像，提取预处理后的高光谱图像序列中第T帧的帧图像作为检测帧图像；所述跟踪网络模型的主干网络为深度学习神经网络，使用深度学习神经网络提取所述模板帧图像的特征图，使用所述孪生网路提取所述检测帧图像的特征图；将所述模板帧图像的特征图和所述检测帧图像的特征图进行逐通道的互相关操作得到响应图，将响应图输入所述混合注意力机制得到最终的响应图；所述跟踪网络模型的分类模型包括分类分支和回归分支，所述分类分支包括中心分支，将最终的响应图输入所述分类模型得到预测的目标框；重复提取预处理后的高光谱图像序列中的第T帧的下一帧的帧图像作为检测帧图像，执行上述操作得到第T帧的下一帧的帧图像对应的预测的目标框，直到遍历完预处理后的高光谱图像序列中的所有帧图像，将此时所有预测的目标框作为候选目标框；使用尺度变化惩罚对所述候选目标框进行打分并选出得分前n对应的n个预测的目标框，在得分前n对应的n个预测的目标框附近选取多个临近的预测的目标框做加权平均，将加权平均得到的结果作为最终的目标跟踪结果。4.根据权利要求3所述的基于注意力和知识蒸馏的孪生高光谱图像跟踪方法，其特征在于：使用所述教师模型和训练集对所述学生模型进行知识蒸馏时，建立的总损失函数L为：
，其中，L
cls
为使用所述教师模型和训练集对所述学生模型进行知识蒸馏时的损失函数，L
cen
为所述中心分支的损失函数，L
reg
为所述回归分支的损失函数，λ1和λ2为权重系数；所述回归分支的损失函数L
reg
的计算方法为：，其中，(i,j)表示响应图中的每个位置，(x,y)表示点(i,j)映射回跟踪框中的对应位置，表示在(i,j)点处的实际边界框与预测边界框之间的IOU损失函数值，表示真实点(x,y)到真实框四条边的距离；的取值为0或1，当特征图中的点不属于第一帧手动划定的可视范围内时，该点的值为0，否则为1；A
reg
(i,j)表示...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。