【技术实现步骤摘要】
本专利技术属于计算机视觉与模式识别，具体涉及一种端到端的弱对齐多光谱遥感图像目标检测方法及装置。
技术介绍
1、遥感图像目标检测旨在从给定的遥感图像中定位并识别目标，已广泛应用于智能监控，城市规划，港口管理和军事侦察等领域。随着人工智能技术和多传感器技术的快速发展，多光谱遥感图像目标检测通过充分利用可见光和红外图像的互补性，实现更加稳健和精准的目标识别，已取得了广泛关注。然而在实际应用中，由于成像条件、设备精度等因素的影响，多光谱数据往往存在位置偏移问题，即可见光和红外图像对没有严格对齐，使得一个物体在不同的模态中有不同的位置。这种弱对齐多光谱遥感图像目标检测给深度学习方法带来了挑战，因为特征融合和神经网络训练可能会受到影响。
2、现有的弱对齐遥感图像目标检测技术主要采用先对齐后融合的策略。论文weaklyaligned cross-modal learning for multispectral pedestrian detection设计一个区域特征对齐(rfa)模块来捕获位置偏移，并自适应地对齐两种模态的区域特征，进而提出了一种新的多模态融合方法，通过特征重加权来选择更可靠的特征并抑制无用的特征。此外，此论文提出了一种新颖的roi抖动策略，以提高对不同设备和系统设置下意外偏移模式的鲁棒性。论文cross-modality proposal-guided feature mining for unregisteredrgb-thermal pedestrian detection提出了一种跨模态提议引导的特征挖掘
3、尽管现有方法可以提高检测的准确性，但是仍面临以下缺点：
4、1、通过区域候选网络提取可见光和红外图像局部特征以达到对齐特征的目的，模型复杂度高，难以满足实时检测需求；
5、2、采用先对齐后融合的特征融合方式，跨模态互补性无法被充分利用，模型检测能力欠佳；
6、3、需要更加复杂的后处理操作，以同时准确定位出可见光和红外图像下的目标，模型时效性低。
7、因此实现高精度高时效的弱对齐遥感图像目标检测需要提出一种无需显示提取可见光和红外图像局部特征的对齐-融合并行方法，以更加充分的利用多模态互补性，此外此方法也需要满足无需复杂后处理操作的端到端范式，以在保证模型速度的情况下同时检测可见光和红外图像下的目标，而这也是本专利技术所要解决的技术问题。
技术实现思路
1、有鉴于此，本专利技术提供一种端到端的弱对齐多光谱遥感图像目标检测方法及装置，能够充分挖掘并利用了多模态目标互补性，在无需复杂后处理操作的同时，准确定位出可见光和红外图像下的目标。
2、实现本专利技术的技术方案如下：
3、第一方面，本申请实施例一种端到端的弱对齐多光谱遥感图像目标检测方法，具体过程为：
4、训练数据的构建：将预设的弱对齐可见光和红外遥感图像进行标注处理，获得弱对齐多光谱遥感图像目标检测数据集；
5、目标检测网络构建：构建端到端的弱对齐多光谱遥感图像目标检测网络，包括特征编码网络、查询选择网络和解码网络，其中，
6、所述特征编码网络，用于对输入红外和可见光图像进行编码，输出可见光编码特征和红外编码特征；
7、查询选择网络，用于对可见光编码特征和红外编码特征进行处理，输出初始共享内容查询、初始可见光参考点和初始红外参考点；
8、解码网络，用于将初始共享内容查询、初始可见光参考点、初始红外参考点可见光编码特征和红外编码特征进行交互，实现多模态特征的对齐与融合，并最终输出目标分类结果和可见光红外目标位置；
9、目标检测网络训练：利用目标检测数据集对目标检测网络进行训练；
10、遥感图像目标检测：利用训练完成的目标检测网络进行遥感图像目标检测，检测结果包括：目标类别、可见光目标位置和红外目标位置。
11、进一步地，本专利技术所述查询选择网络包括：分类网络、可见光回归网络和红外回归网络；
12、所述分类网络：用于获取输入融合特征的每个像素特征的分类得分，进而通过top-k操作选择出得分最高的k个像素特征作为初始共享内容查询；
13、所述可见光回归网络：用于从可见光编码特征中选择k个像素特征所对应的回归输出，并与初始目标框(初始目标框是预设好的，每张图像都是一样)相加形成初始可见光参考点；
14、所述红外回归网络：用于从红外编码特征中选择k个像素特征所对应的回归输出，并于初始目标框相加形成初始红外参考点。
15、进一步地，本专利技术所述解码网络的具体处理过程为：
16、(1)将初始可见光参考点和初始红外参考点，通过共享位置编码网络得到位置查询，并将位置查询与初始共享内容查询相加形成共享查询；
17、(2)共享查询通过多头自注意力网络增强不同查询之间的区别后，共享查询、多模态多尺度特征输入到对偶多模态多尺度多头稀疏注意力模块中，得到精细化共享内容查询；
18、(3)将精细化共享内容查询通过分类网络输出目标分类结果，将精细化共享内容查询通过可见光红外双回归网络，输出与初始可见光参考点和初始红外参考点相加得到可见光目标位置和红外目标位置，其中可见光目标位置和红外目标位置被看作精细化参考点，输入到下一个解码器中，实现逐步精细化目标框的目的。
19、进一步地，本专利技术所述对偶多模态多尺度多头稀疏注意力模块的算法：
20、那么对偶多模态多尺度多头稀疏注意力模块的流程可以用下式表示：
21、
22、δpqhlk＝foffset(fq)
23、其中，h代表注意力头数量，l代表每个模态中多尺度层级数目，k代表每一层的特征采样点数量，wh和w′h是注意力机制的线性映射网络权重，是层级映射函数，和通过采样点权重网络fweight生成，表示第l层特征图上第h个注意力头中的第k个注意力权重，δpqhlk通过采样点偏移网络foffset生成，表示第l层特征图上第h个注意力头中的第k个采样点偏移，fq为共享查询特征，f′q为精细化共享内容查询，为多模态多尺度特征,和分别表示红外特征和可见光特征，为可见光参考点，为红外参考点。
24、进一步地，本专利技术构建双回归损失和对偶iou感知分类损失，指导目标检测网络训练；
25、设真值和网络输出由和z＝{c,bvis,bir}表示，则网络的总损失l可以由下式表示：
26、
27、其中，lbox是l1损失函数，lgiou是giou损失函数，l1是平均绝对值误差损失函数，iouvis和iouir是预测值和真实框之间的iou，lcls是对偶iou感知分类损失；
28、
29、其中d＝(iouvisiouir)，a,y,本文档来自技高网...
【技术保护点】
1.一种端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，具体过程为：
2.根据权利要求1所述端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，所述查询选择网络包括：分类网络、可见光回归网络和红外回归网络；
3.根据权利要求2所述端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，所述解码网络的具体处理过程为：
4.根据权利要求3所述端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，所述对偶多模态多尺度多头稀疏注意力模块的算法：
5.根据权利要求2所述端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，构建双回归损失和对偶IoU感知分类损失，指导目标检测网络训练；
6.根据权利要求5所述端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，所述Lcls为：
7.根据权利要求1所述端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，在训练时，通过随机翻转真值标签到其他标签来引入类别噪声，噪声的强度由超参数控制，负查询的噪声大于正查询。
8.根据权利要求7所述端到端的弱对齐多光谱遥感
9.根据权利要求1所述端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，引入了注意力掩码，确保初始查询看不到去噪查询。
10.一种端到端的弱对齐多光谱遥感图像目标检测装置，该装置为目标检测网络，包括特征编码网络、查询选择网络和解码网络，其中，
...【技术特征摘要】
1.一种端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，具体过程为：
2.根据权利要求1所述端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，所述查询选择网络包括：分类网络、可见光回归网络和红外回归网络；
3.根据权利要求2所述端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，所述解码网络的具体处理过程为：
4.根据权利要求3所述端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，所述对偶多模态多尺度多头稀疏注意力模块的算法：
5.根据权利要求2所述端到端的弱对齐多光谱遥感图像目标检测方法，其特征在于，构建双回归损失和对偶iou感知分类损失，指导目标检测网络训练；
...
【专利技术属性】
技术研发人员：胡晶晶，鲍威，徐逍君，杨修齐，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。