一种基于自校准注意力机制的图像点云配准方法技术

技术编号:41131777 阅读:33 留言:0更新日期:2024-04-30 18:01
本发明专利技术涉及跨模态配准技术领域,具体涉及一种基于自校准注意力机制的图像点云配准方法,包括:构件图像‑点云网络模型;将图像‑点云配准数据集分为训练数据集和测试数据集,并提取图像和点云的深层次特征;依次进行位置嵌入操作、自注意力和交叉注意力处理、跨模态校准以及多尺度特征提取,实现图像与点云的粗匹配;通过密集匹配模块实现图像与点云的精匹配;利用PNP与RANSAC算法获取图像‑点云配准结果,得到训练完成的图像‑点云配准网络模型;将测试数据集作为训练完成的图像‑点云配准网络模型的输入,获取最终的图像‑点云配准结果。本发明专利技术通过粗匹配和精匹配处理,实现最大匹配分数的图像‑点云配准,提高了配准准确率。

【技术实现步骤摘要】

本专利技术涉及跨模态配准,具体涉及一种基于自校准注意力机制的图像点云配准方法


技术介绍

1、随着科技的发展,单一的数据来源已经不能满足现代高精尖技术的需要,为了能够获取更多的信息量,进行多模态数据融合工作刻不容缓。图像数据和点云数据的配准就是多模态数据融合的一个重要方向,其在自动驾驶、智慧城市建设等重大方向都有重要的意义。二维图像可以提供丰富的色彩和纹理信息,而三维点云数据可以提供丰富的深度及结构信息。二维图像和三维点云的配准建立了点云数据与图像数据的联系,为图像和点云的进一步融合提供了基础。图像-点云跨模态配准问题虽然能够很好的结合2d及3d的信息,但是由于图像和点云数据结构不同以及点云的稀疏性和无序性等特征,从而难以得到图像到点云的描述符来实现图像和点云的配准工作。

2、目前常用的图像-点云配准方法是基于检测关键描述符的方式进行图像-点云的配准工作,这类方法的关键是分别在图像以及点云中检测关键点,然后根据相关的描述符进行图像和点云的匹配。但是这种策略的难点主要是图像和点云的关键点属于不同的视觉领域,图像关键点的检测基于纹理以及颜色信息,而本文档来自技高网...

【技术保护点】

1.一种基于自校准注意力机制的图像点云配准方法,其特征在于,该方法包括以下步骤:

2.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法,其特征在于,步骤S3中,利用位置嵌入模块将fi和fp进行位置嵌入操作,加强fi和fp的位置特征的具体方法为:

3.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法,其特征在于,步骤S4中,自注意力和交叉注意力处理的具体方法包括:

4.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法,其特征在于,步骤S5中,获取校准后的图像和点云特征的具体方法为:

5.根据权利要求1所述的基于自...

【技术特征摘要】

1.一种基于自校准注意力机制的图像点云配准方法,其特征在于,该方法包括以下步骤:

2.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法,其特征在于,步骤s3中,利用位置嵌入模块将fi和fp进行位置嵌入操作,加强fi和fp的位置特征的具体方法为:

3.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法,其特征在于,步骤s4中,自注意力和交叉注意力处理的具体方法包括:

4.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法,其特征在于,步骤s5中,获取校准后的图像和点云特征的具体方法为:

5.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法,其特征在于,步骤s6中,实现图像与点云的粗匹配的具体方法为:

6.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法,其特征在于,步骤s7中,实现图像和点云的精细匹配的具体方法为:

7.根据权利要求6所述的基于自校准注意力机制的图像点云配准方法,其特征在于,步骤s7-2中,采用sinkhor...

【专利技术属性】
技术研发人员:邓丽珍林泽锐朱虎
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1