基于双光配准融合的目标检测方法、装置及无人机系统制造方法及图纸

技术编号:43162316 阅读:26 留言:0更新日期:2024-11-01 19:55
本发明专利技术属于图像处理领域,为解决传统的图像处理算法确定红外图像中的目标位置,准确性较差,影响可见光图像中目标检测精度的问题,提供了一种基于双光配准融合的目标检测方法、装置及无人机系统。其中,基于双光配准融合的目标检测方法包括分别提取山区可见光图像的纹理信息与山区红外图像的温度信息,得到可见光特征图和红外特征图;计算红外特征图和可见光特征图之间的视角偏差,进而将山区红外图像进行空间变换为与山区可见光图像配准的山区红外图像;提取配准后的红外特征图并与可见光特征图融合,得到融合特征;基于融合特征与目标的语义和位置信息之间的关系,预测得到当前融合特征所对应的目标的语义和位置信息,其提高了目标检测精度。

【技术实现步骤摘要】

本专利技术属于图像处理领域,尤其涉及一种基于双光配准融合的目标检测方法、装置及无人机系统


技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息,不必然构成在先技术。

2、由于山区气象条件差、地形复杂、交通不便,且传统的搜救工作主要依赖于大范围的人工排查,搜救时间长,搜救难度和风险极大,给搜救工作带来极大的挑战,从而导致错过最佳营救时间。因此,快速搜索、精准定位、及时响应是提高搜救成功率的关键。另外,由于山区植被长势茂盛,失踪被困人员一定概率上存在被植被遮挡的情况,且失踪事件多发生于光照较差的傍晚或深夜,无人机搭载单一的光学传感器难以适用于山区复杂的搜救场景。

3、现有技术考虑到双光设备在目标搜寻领域的适用性更强,提出了一种双光相机在无人机应用的红外可见光融合目标检测技术,其首先将红外图像信息和可见光图像信息进行图像对齐配准,并在红外图像中确定目标位置,进而依据位置信息在可见光图像中检测目标,其充分利用了可见光图的细节信息与红外图像的温度信息,但在实际实现过程中,在配准阶段需要标定相机,不具备设备的普适性;同时,应用本文档来自技高网...

【技术保护点】

1.一种基于双光配准融合的目标检测方法,其特征在于,包括:

2.如权利要求1所述的基于双光配准融合的目标检测方法,其特征在于,采用双通道的目标特征提取网络提取可见光特征图和红外特征图。

3.如权利要求2所述的基于双光配准融合的目标检测方法,其特征在于,所述双通道的目标特征提取网络中的每条通道中均包含至少两个层级,且每个层级的卷积核通道数自上而下逐级递增;层级间通过最大池化层处理,使得下一层级输入的特征映射尺寸缩减为上一层级输出的设定比例。

4.如权利要求1所述的基于双光配准融合的目标检测方法,其特征在于,利用跨模态注意力模块,将双通道网络分开提取的可见...

【技术特征摘要】

1.一种基于双光配准融合的目标检测方法,其特征在于,包括:

2.如权利要求1所述的基于双光配准融合的目标检测方法,其特征在于,采用双通道的目标特征提取网络提取可见光特征图和红外特征图。

3.如权利要求2所述的基于双光配准融合的目标检测方法,其特征在于,所述双通道的目标特征提取网络中的每条通道中均包含至少两个层级,且每个层级的卷积核通道数自上而下逐级递增;层级间通过最大池化层处理,使得下一层级输入的特征映射尺寸缩减为上一层级输出的设定比例。

4.如权利要求1所述的基于双光配准融合的目标检测方法,其特征在于,利用跨模态注意力模块,将双通道网络分开提取的可见光特征和红外特征,通过卷积和点乘运算获得两者相关联的特征,以用于计算红外特征图和可见光特征图之间的视角偏差;

5.一种基于双光配准融合的目标检测装置,其特征在于,包括:

6.如权利要求5所述的基于双光配准融合的目标检测装置,其特征在于,在所述特征提取模块中,采用双通道的目标特征提取网络提取可见光特征图...

【专利技术属性】
技术研发人员:朱宏亮李奇潘洁吴海涛张昊泽徐鑫陈俊美杨杰张亦卓董晓晗亓立壮李延港刘承浩孙明正刘冲周英逯行政魏宏伟
申请(专利权)人:齐鲁空天信息研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1