【技术实现步骤摘要】
本专利技术涉及跨模态配准，具体涉及一种基于自校准注意力机制的图像点云配准方法。
技术介绍
1、随着科技的发展，单一的数据来源已经不能满足现代高精尖技术的需要，为了能够获取更多的信息量，进行多模态数据融合工作刻不容缓。图像数据和点云数据的配准就是多模态数据融合的一个重要方向，其在自动驾驶、智慧城市建设等重大方向都有重要的意义。二维图像可以提供丰富的色彩和纹理信息，而三维点云数据可以提供丰富的深度及结构信息。二维图像和三维点云的配准建立了点云数据与图像数据的联系，为图像和点云的进一步融合提供了基础。图像-点云跨模态配准问题虽然能够很好的结合2d及3d的信息，但是由于图像和点云数据结构不同以及点云的稀疏性和无序性等特征，从而难以得到图像到点云的描述符来实现图像和点云的配准工作。
2、目前常用的图像-点云配准方法是基于检测关键描述符的方式进行图像-点云的配准工作，这类方法的关键是分别在图像以及点云中检测关键点，然后根据相关的描述符进行图像和点云的匹配。但是这种策略的难点主要是图像和点云的关键点属于不同的视觉领域，图像关键点的检测基于纹理以及颜色信息，而点云关键点的检测基于空间结构几何信息，而二维和三维的描述符描述的是不同的视觉信息，这就使得采用图像和点云中一致的描述符来匹配像素和点比较困难。
3、对于上述现有技术中存在的问题，本领域技术人员做出了诸多努力，如中国专利申请cn106097334b公开了一种基于深度学习的点云配准方法，通过将点云转换成深度图像表示；使用堆叠卷积自动编码器网络提取深度图像的特征；利用提取
技术实现思路
1、为解决上述问题，本专利技术提供了一种基于自校准注意力机制的图像点云配准方法，通过对图像和点云的深层次特征进行提取，并进行粗匹配和精匹配处理，实现最大匹配分数的图像-点云配准，提高了配准准确率。
2、为实现上述目的，本专利技术采用的技术方案是一种基于自校准注意力机制的图像点云配准方法，该方法包括以下步骤：
3、步骤s1：构件图像-点云网络模型，图像-点云网络模型包括图像特征提取网络、点云特征提取网络、位置嵌入模块、多头注意力模块、跨模态校准模块、融合模块、多尺度特征提取模块和密集匹配模块；
4、步骤s2：将图像-点云配准数据集分为训练数据集和测试数据集，并将训练数据集的图像数据和点云数据分别输入图像特征提取网络和点云特征提取网络中，分别提取深层次的图像特征fi以及深层次的点云特征fp，同时保留原始分辨率大小的图像和点云特征记为f1，f2；
5、步骤s3：利用位置嵌入模块将fi和fp进行位置嵌入操作，加强fi和fp的位置特征，并分别记作f3和f4；
6、步骤s4：将f3和f4输入至多头注意力模块中进行自注意力和交叉注意力处理，使二者获取跨模态的相关性，细化图像和点云特征,分别记为f5和f6；
7、步骤s5：将f5和f6输入跨模态校准模块中，对点云和图像特征进行进一步的相关性修正，并利用融合模块对图像和点云的特征以及对应的注意力分数进行迭代，获取校准后的图像和点云特征；
8、步骤s6：利用多尺度特征提取模块对校准后的图像特征和点云特征进行图像补丁及点云斑块的对齐，实现图像与点云的粗匹配；
9、步骤s7：利用密集匹配模块将粗匹配的结果与f1和f2进行图像像素和点云点对的局部密集点对应，实现对图像和点云的精细匹配，完成图像与点云的密集匹配；
10、步骤s8：基于图像与点云的密集匹配的结果，利用pnp与ransac算法计算获取图像-点云配准结果，得到训练完成的图像-点云网络模型；
11、步骤s9：将测试数据集作为训练完成的图像-点云配准网络模型的输入，获取最终的图像-点云配准结果。
12、进一步的，步骤s3中，利用位置嵌入模块将fi和fp进行位置嵌入操作，加强fi和fp的位置特征的具体方法为：
13、步骤s3-1：计算嵌入函数的系数，计算公式为：其中，a0是嵌入向量的初始指数，l是嵌入向量的长度，k是公差，factor是嵌入函数的系数；
14、步骤s3-2：通过计算公式计算出正弦和余弦的值，并将两个向量进行维度拼接，输出形状为(b,l,2n)的向量；计算公式为：
15、sin_vals＝sin(factor×input)，cos_vals＝cos(factor×input)，其中，b是批次大小，n是输入向量的维度大小，sin_vals是正弦值，cos_vals是余弦值，input是输入向量；
16、步骤s3-3：将得到嵌入向量与深层次特征进行add操作，得到带有位置信息的特征，其中add为向量拼接操作。
17、进一步的，步骤s4中，自注意力和交叉注意力处理的具体方法包括：
18、步骤s4-1：利用可学习的权重矩阵wi{i∈q,k,v}对输入图像和点云特征进行处理，获得对应的q＝wqf′、k＝wkf′、v＝wvf′向量，其中f′为输入特征，q、k、v分别是计算注意力分数所需的三个向量，分别为query、value和key；
19、步骤s4-2：对获得的向量进行相应token层的线性变换处理；
20、步骤s4-3：进行注意力分数计算，并对得到的分数进行缩放，具体计算公式为：multihead＝concat(head1,…,headn)，whereheadi＝attention(qi,ki,vi)；其中，attention为最终的注意力分数结果，softmax为归一化操作，multihead为多头注意力，headi表示多头注意力中的个体；d表示q和k的向量长度；n表示多头注意力的头数；i表示多头注意力里第i个头，i∈{1,2,3,4…n}；kt表示k向量的转置；
21、步骤s4-4：得到计算结果后应用dropout原理获取最后的输出，并利用注意力分数和变量v进行hidden token的计算，将计算完成后的hidden token连接残差网络以获得多头注意力的输出。
22、进一步的，步骤s5中，获取校准后的图像和点云特征的具体方法为：
23、步骤s5-1：利用余弦相似性公式对图像和点云特征进行相似性计算，余弦相似性公式为：其中，sim为相似性矩阵，u、v分别为图像和点云特征；vt表示v的转置；
24、步骤s5-2：定义一个二元邻接矩阵a，对邻接矩阵a按列求和得到对角矩阵d，并通过计算得到拉普拉斯矩阵，计算公式为：l＝d-a；
25、步骤s5-3：对拉普拉斯矩阵进行求逆，计算公式具体为：
26、l1-1＝inv((d-a)(sim-1))，其中，1表示与相邻顶点的信息流交换，l1-1表示拉普拉斯矩阵的逆；
27、步骤s5-4：对图像和点云的注意力图进行本文档来自技高网...
【技术保护点】
1.一种基于自校准注意力机制的图像点云配准方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤S3中，利用位置嵌入模块将fi和fp进行位置嵌入操作，加强fi和fp的位置特征的具体方法为：
3.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤S4中，自注意力和交叉注意力处理的具体方法包括：
4.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤S5中，获取校准后的图像和点云特征的具体方法为：
5.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤S6中，实现图像与点云的粗匹配的具体方法为：
6.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤S7中，实现图像和点云的精细匹配的具体方法为：
7.根据权利要求6所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤S7-2中，采用Sinkhorn算法进行相似性矩阵的迭代的具体方法为：根
8.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤S8中，利用PNP与RANSAC算法获取图像-点云配准结果的具体方法为：
9.根据权利要求8所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤S8-2中，利用RANSAC算法对经过精确匹配的图像数据和点云数据进行迭代计算的具体方法为：从经过精确匹配的图像数据和点云数据中随机选择一个最小的子集用于估计模型参数，再计算所有数据点到估计的模型的拟合误差，将误差小于阈值的点视为内点，将误差大于阈值的点视为外点；判断内点的数量是否达到阈值，若是，则停止迭代，输出结果，若不是，则重新进行随机采样直到达到最大迭代次数。
...【技术特征摘要】
1.一种基于自校准注意力机制的图像点云配准方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤s3中，利用位置嵌入模块将fi和fp进行位置嵌入操作，加强fi和fp的位置特征的具体方法为：
3.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤s4中，自注意力和交叉注意力处理的具体方法包括：
4.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤s5中，获取校准后的图像和点云特征的具体方法为：
5.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤s6中，实现图像与点云的粗匹配的具体方法为：
6.根据权利要求1所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤s7中，实现图像和点云的精细匹配的具体方法为：
7.根据权利要求6所述的基于自校准注意力机制的图像点云配准方法，其特征在于，步骤s7-2中，采用sinkhor...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。