针对无人机的双模态图像配准方法、装置、设备及介质制造方法及图纸

技术编号:43640243 阅读:32 留言:0更新日期:2024-12-13 12:38
本申请涉及一种针对无人机的双模态图像配准方法、装置、设备和介质,通过采用特征提取网络分别对可见光‑红外双模态图像对中的可见光图像以及红外线图像进行多尺度特征提取后,分别针对同一个尺度下的可见光特征以及红外线特征采用特征聚合网络进行两个特征之间的共性特征融合,再采用编码器分别将多个尺度下的可见光共性融合特征以及红外线共性融合特征进行融合,利用由可变形卷积网络和稀疏采样构建的解码器对编码器的输出进行解码得到基于采样点的偏移矢量,最后采用角点回归网络以及回归网络根据偏移矢量得到对对应双模态图像对进行配准的变换参数,采用本方法可以快速且有效的进行在线双模态配准。

【技术实现步骤摘要】

本申请涉及图像配准,特别是涉及一种针对无人机的双模态图像配准方法、装置、设备及介质


技术介绍

1、随着多类型传感器的广泛使用,在自动驾驶、无人机图像处理等领域,多模态图像相比传统的可见光图像由于其抗干扰能力强、信息量大的特点,受到越来越多的关注。配备多传感器的无人机在为获得现场全面信息提高了一种新的方式。通过对无人机获取的多传感器图像信息进行处理,可以获得更丰富的感知信息,有效扩展无人机的使用场景。目前可见光-红外图像已经在无人机目标检测、目标跟踪等诸多领域中获得了广泛应用。

2、然而,目前的无人机双模态图像处理工作都仅仅关注于双模态图像的融合任务,假设不同模态图像已经完成配准,而无人机获取的可见光/红外图像受限于图像采集设备的影响,获取的双模态图像是未配准的,需要在线下进行预配准,这极大的限制了双模态算法的应用。同时对于无人机来说,可见光载荷包含广角和变焦相机,广角相机焦距固定,成像范围大,但目标较小,无法实现远距离对目标进行观测,变焦相机通过改变焦距,可以对目标进行放大,适合对目标的近距离观测,而红外载荷为定焦相机,成像面积固定。在无人机本文档来自技高网...

【技术保护点】

1.一种针对无人机的双模态图像配准方法,其特征在于,所述方法包括:

2.根据权利要求1所述的双模态图像配准方法,其特征在于,所述编码器中包括两个分别处理可见光共性融合特征以及红外线共性融合特征的编码器分支;

3.根据权利要求2所述的双模态图像配准方法,其特征在于,在所述解码器中:

4.根据权利要求3所述的双模态图像配准方法,其特征在于,在所述解码器中,处理流程表示为:

5.根据权利要求3所述的双模态图像配准方法,其特征在于,所述采用角点回归网络根据所述偏移矢量得到角点坐标,处理流程表示为:

6.根据权利要求1-5任一项所述的双模...

【技术特征摘要】

1.一种针对无人机的双模态图像配准方法,其特征在于,所述方法包括:

2.根据权利要求1所述的双模态图像配准方法,其特征在于,所述编码器中包括两个分别处理可见光共性融合特征以及红外线共性融合特征的编码器分支;

3.根据权利要求2所述的双模态图像配准方法,其特征在于,在所述解码器中:

4.根据权利要求3所述的双模态图像配准方法,其特征在于,在所述解码器中,处理流程表示为:

5.根据权利要求3所述的双模态图像配准方法,其特征在于,所述采用角点回归网络根据所述偏移矢量得到角点坐标,处理流程表示为:

6.根据权...

【专利技术属性】
技术研发人员:李冬冬高智楠蒯杨柳陈睿
申请(专利权)人:中国人民解放军国防科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1