【技术实现步骤摘要】
本专利技术涉及一种基于双流视觉提示的高光谱目标跟踪方法，属于高光谱目标跟踪技术。
技术介绍
1、视觉目标跟踪是计算机视觉中的一项重要任务，广泛应用于视频监控、自动驾驶等领域。与传统的rgb图像相比，利用高光谱快照传感器的高光谱成像技术的进步，允许关于场景内容的详细组成信息。高光谱图像中多波段光谱特征的稳定性使得高光谱目标跟踪能够有效地应对物体形变和遮挡等挑战，这增强了视觉目标跟踪系统从复杂背景中区分目标的能力，提高了目标间的识别能力，提升目标跟踪成功率。
2、早期基于材料的高光谱跟踪器使用手工特征提取器从高光谱视频中捕获材质信息，然后采用背景感知相关滤波器进行目标跟踪；最近的高光谱跟踪研究采用了深度学习特征。然而，与rgb图像相比，由于高光谱图像存在通道不匹配和光谱冗余等问题，所以目前主流的方法是通过各种降维方法将高光谱图像转换为三通道图像，在转换之后对基于rgb的跟踪器的参数进行全面的微调。尽管高光谱跟踪技术取得了改进，但目前的高光谱跟踪解决方案仍然有重大的局限性：
3、1、高光谱波段冗余：高光谱图像比rgb图像包含更多的波段，存在重复信息，导致跟踪过程中存在干扰和低效问题。
4、2、高光谱训练数据有限：受到现有传感器技术的限制，缺乏高质量的高光谱数据，阻碍了rgb网络的有效迁移训练，影响了高光谱目标跟踪的鲁棒性。
5、3、时间信息利用不足：传统的高光谱跟踪器往往忽略了高光谱视频中关键的时间变化，影响了其处理复杂场景的能力，如物体快速变化和遮挡。
技术
1、专利技术目的：凭借丰富的光谱信息，高光谱图像有利于各种应用场景中的目标跟踪；为了利用大规模预训练rgb跟踪器的强大表示能力，高光谱图像跟踪的主流方法是对基于rgb跟踪器的参数进行全面微调；但由于下游高光谱波段信息冗余、训练数据稀缺等原因，这种方式虽然有效但并不是最优的；且已有的高光谱跟踪器对时序信息的利用非常有限。为了缓解上述问题，本专利技术提出了一个统一的光谱-时空多模态双流视觉提示的高光谱目标跟踪方法。
2、技术方案：为实现上述目的，本专利技术采用的技术方案为：
3、一种基于双流视觉提示的高光谱目标跟踪方法，将用于实现该方法的网络模型称为hdsp模型，hdsp模型的训练和跟踪过程包括如下步骤：
4、(1)将第t帧高光谱图像和第t-1帧高光谱图像作为hdsp模型的输入；通过波段选择模块bsm得到ht的三个代表性波段，将这三个代表性波段组合成第t帧伪彩色图像ht和ht-1分别通过cie颜色匹配函数cmfs得到第t帧假彩色图像和第t-1帧假彩色图像对ft、pt、ft-1进行裁剪、切块嵌入并展平到潜在空间中生成相应的令牌，首次生成的令牌记为初始令牌，初始令牌表示为
5、(2)将输入到双流视觉提示器mdvp中，mdvp由一个初始互相关提示层icpl和多个后续互相关提示层cpl组成；icpl由一个运动特征融合模块mffm和两个提示生成模块pgm组成，将两个提示生成模块pgm分别记为第一层pgm-1和第一层pgm-2；将后续互相关提示层cpl记为第l层cpl，第l层cpl由两个提示生成模块pgm组成，将两个提示生成模块pgm分别记为第l层pgm-1和第l层pgm-2，l＝2,3,…,l；为了便于介绍，本专利技术将mdvp中基于生成的令牌信息称为基础信息流，基于生成的令牌信息称为时空提示流，基于生成的令牌信息称为光谱提示流；
6、在mdvp中，mffm将与进行融合得到初始时空提示流将和输入到第一层pgm-1中得到第一层时空提示流将和输入到第一层pgm-2中得到第一层光谱提示流将icpl输出的第一层时空提示流和第一层光谱提示流作为第2层cpl的输入；
7、在第l层cpl中，将和输入到第l层pgm-1中得到第l层时空提示流将和输入到第l层pgm-2中得到第l层光谱提示流
8、(3)构造l层的分类编码器，将逐元素相加后输入到分类编码器的第l层，得到第l层基础信息流记为对于分类编码器的第l层输出的第l层基础信息流首先通过线性层进行通道降维，然后输入到预测头进行分类，并进行边界框回归，实现目标跟踪；
9、(4)使用分类损失和边界框回归损失计算总损失利用总损失对hdsp模型进行训练，最终得到训练好的hdsp模型；
10、(5)使用训练好的hdsp模型对视频帧进行目标跟踪得到目标跟踪结果。
11、优选的，所述步骤(1)中，基于下列步骤计算ft、pt、ft-1：
12、(11)计算第t帧伪彩色图像pt，包括如下步骤：
13、(111)将第t帧高光谱图像ht拆分为包括n个波段的序列，第i个波段记为i＝1,2,…,n；基于的图像熵评估的信息含量：
14、
15、其中：表示波段的概率密度函数，通过对波段的像素强度255直方图进行归一化即可得到；以作为x，以i作为y，将映射到二维坐标系中；
16、(112)利用每个波段的图像熵对波段进行密度聚类，依次选择每个波段作为聚类中心，并计算局部密度值和最小距离
17、局部密度值取决于各波段之间的直接距离，在满足三角不等式的基础上，局部密度值定义为：
18、
19、其中：表示和之间的欧式距离；当x＜0时，当x≥0时，dr为聚类半径，由ht中n个波段图像熵的最大值与最小值之差的三分之一确定，除数3与rgb中的通道数相同；
20、根据波段与另一图像熵较高的波段的局部密度值计算波段的图像熵距离波段的图像熵的最小距离
21、
22、通过最小距离表征波段与波段的相关性；
23、(113)将映射到二维坐标系中，为了保持rgb的3个通道与基础信息流的一致性，选择最高的前三个聚类中心，将这三个聚类中心所对应的波段作为代表性波段，将这三个代表性波段组合成第t帧伪彩色图像pt；
24、(12)计算第t帧和第t-1帧假彩色图像ft、ft-1，包括如下步骤：
25、(121)对于包含h×w像素和n个波段的高光谱图像ht、ht-1，使用颜色匹配函数cmfs将高光谱图像ht、ht-1转换到ciexyz颜色空间，表示为：
26、
27、
28、其中：表示颜色匹配函数cmfs，it、it-1是高光谱图像ht、ht-1经过颜色匹配函数cmfs后在ciexyz颜色空间中呈现的假彩色图像；本案中，使用了cie(2006)转换的10-deg xyzcmfs函数，步长为0.1nm，默认的ciexyz颜色空间为rgb颜色空间；
29、(122)利用基于样例色彩迁移的monge-kantorovitch线性色彩映射变换方法，强化假彩色图像与rgb图像的颜色接近程度，将强化后的it、it-1记为ft、ft-1；
30、(13)对ft、pt、ft-1进行裁剪、切块嵌入并展平到潜在空间中生成相应的令牌，首次生成的令牌记为初始本文档来自技高网...
【技术保护点】
1.一种基于双流视觉提示的高光谱目标跟踪方法，其特征在于：将用于实现该方法的网络模型称为HDSP模型，HDSP模型的训练和跟踪过程包括如下步骤：
2.根据权利要求1所述的基于双流视觉提示的高光谱目标跟踪方法，其特征在于：所述步骤(1)中，基于下列步骤计算Ft、Pt、Ft-1：
3.根据权利要求1所述的基于双流视觉提示的高光谱目标跟踪方法，其特征在于：所述步骤(2)中，利用MDVP融合多模态特征生成光谱提示流与时空提示流，并将光谱提示流与时空提示流插入到分类编码器中；MDVP由一个初始互相关提示层ICPL和多个后续互相关提示层CPL组成；
4.根据权利要求1所述的基于双流视觉提示的高光谱目标跟踪方法，其特征在于：所述步骤(2)中，提示生成模块PGM包括通道注意模块CAM、空间注意模块SAM和交叉融合模块CFM三个部分；
5.根据权利要求1所述的基于双流视觉提示的高光谱目标跟踪方法，其特征在于：所述步骤(3)中，在构造L层的分类编码器时，与假彩色图像相关的所有网络参数都是冻结的，包括切块嵌入、特征提取、特征交互和预测头的网络参数。>
6.根据权利要求1所述的基于双流视觉提示的高光谱目标跟踪方法，其特征在于：所述步骤(4)中，使用损失函数对分类编码器进行训练时，先使用基线模型OSTrack中的参数对HDSP模型进行初始化，再使用交叉熵损失作为分类损失Lcls，使用IoU损失作为边界框回归损失然后根据分类损失和边界框回归损失计算总损失λiou、为正则化参数，L1表示平均绝对误差，最后利用总损失对HDSP模型进行跟踪训练；训练时，冻结HDSP模型的主干网络，只对HDSP模型的提示部分进行参数训练，最终得到训练好的模型；HDSP模型的主干网络包括Ft和Ft-1的切块嵌入部分、分类编码器、预测头，HDSP模型的提示部分包括Pt的切块嵌入部分、MDVP。
7.根据权利要求1所述的基于双流视觉提示的高光谱目标跟踪方法，其特征在于：所述步骤(5)中，使用训练好的HDSP模型对视频帧进行目标跟踪，要求：①输入为视频帧中前后相邻两帧高光谱图像；②采用Siamese架构进行目标跟踪，初始化输入的第一帧高光谱图像作为模版帧，后续帧高光谱图像作为搜索帧；目标跟踪过程中，不采用在线模板，不对模板帧进行更新；③将最终的分类分数图的最大值作为跟踪目标的中心位置，并进行网络回归以确定边界框的位置。
...【技术特征摘要】
1.一种基于双流视觉提示的高光谱目标跟踪方法，其特征在于：将用于实现该方法的网络模型称为hdsp模型，hdsp模型的训练和跟踪过程包括如下步骤：
2.根据权利要求1所述的基于双流视觉提示的高光谱目标跟踪方法，其特征在于：所述步骤(1)中，基于下列步骤计算ft、pt、ft-1：
3.根据权利要求1所述的基于双流视觉提示的高光谱目标跟踪方法，其特征在于：所述步骤(2)中，利用mdvp融合多模态特征生成光谱提示流与时空提示流，并将光谱提示流与时空提示流插入到分类编码器中；mdvp由一个初始互相关提示层icpl和多个后续互相关提示层cpl组成；
4.根据权利要求1所述的基于双流视觉提示的高光谱目标跟踪方法，其特征在于：所述步骤(2)中，提示生成模块pgm包括通道注意模块cam、空间注意模块sam和交叉融合模块cfm三个部分；
5.根据权利要求1所述的基于双流视觉提示的高光谱目标跟踪方法，其特征在于：所述步骤(3)中，在构造l层的分类编码器时，与假彩色图像相关的所有网络参数都是冻结的，包括切块嵌入、特征提取、特征交互和预测头的网络参数。
6.根据权利要求1所述的基于双...
【专利技术属性】
技术研发人员：姚睿，张璐，周勇，祝汉城，赵佳琦，邵志文，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。