【技术实现步骤摘要】
联合混合尺度特征描述子与邻居一致性的图像匹配方法
[0001]本专利技术属于基于深度学习的计算机视觉
，主要涉及了联合混合尺度特征描述子与邻居一致性的图像匹配方法。
技术介绍
[0002]图像特征匹配是指在同一三维场景的两个二维视图之间建立点到点的对应关系，图像匹配是许多下游三维计算机视觉任务的基石，包括三维重建、视觉定位、运动结构(SfM)、同步定位和映射(SLAM)等。给定一对图像，传统的特征匹配方法是：(1)特征检测(2)特征描述(3)特征匹配(4)剔除离群点。
[0003]早期的特征匹配方法趋向于人工设计出特征点提取器和描述子，并取得了一定的成功。近些年来深度学习方法采用数据驱动策略，可以获得对光照和视角变化更加鲁棒的描述子，卷积神经网络最先被采用作为特征点检测和描述的工具。近年来为了扩大感受野和聚合更大的上下文信息，Transformer被广泛应用于特征匹配中。受部分场景中大量的稀疏纹理影响，特征点的可重复性变差且更难被提取出来，无特征点检测器的方法趋向于先建立视图间的密集匹配，在提取出可靠的匹配加以...
【技术保护点】
【技术特征摘要】
1.联合混合尺度特征描述子与邻居一致性的图像匹配方法，其特征在于：所述方法依次经过基于卷积与注意力混合和基于增强自注意力的网络后，将不同尺度的特征描述子在特征维度上拼接，获得初始的分配矩阵，初始匹配点对经过基于一个共享权重的图神经网络后，修正分配矩阵，实现图像匹配。2.如权利要求1所述的联合混合尺度特征描述子与邻居一致性的图像匹配方法，其特征在于，包括以下步骤：S1，特征提取：对输入的从不同视角拍摄同一画面的原图片经过FPN网络进行不同分辨率的特征提取，经由特征提取得到的特征图具有不同的空间分辨率和语义信息，原图像1/2分辨率大小的特征图和1/8大小的特征图被用作下一步的特征描述；S2，单尺度特征描述：将步骤S1获得的1/8大小的特征图位置编码后输入基于卷积与注意力混合的神经网络，得到单尺度特征描述子；所述基于卷积与注意力混合的神经网络中的混合自注意力层额外增加了一个卷积分支而交叉注意力层则保持不变，混合自注意力层的卷积分支恢复了原图像的局部几何结构而注意力分支进行特征内部的信息交互；交叉注意力层实现不同特征的信息交互，更新每一层的特征；S3，多尺度特征描述：将步骤S1中获得的从不同视角拍摄的原图片作为输入，输入至基于增强自注意力的网络中，输出多尺度的特征描述子；所述基于增强自注意力的网络中增强自注意力中的键矩阵(K)和值矩阵(V)在不同自注意力头中以不同的比例下采样，每一个自注意力头进行不同尺度特征的信息传递，生成多尺度的特征描述子；S4，不同尺度特征融合：将步骤S2获得的单尺度特征描述子和步骤S3获得的多尺度特征描述子在特征维度上进行拼接；S5，将步骤S4获得的混合尺度描述子输入最优匹配层，得到初始的分配矩阵；基于设置的阈值，选取初始的匹配点对；S6，邻居一致性滤除外点：将步骤S4获得的初始匹配点对建模成图结构，输入到一个共享权重的图神经网络，图神经网络的输出被用于修正初始的分配矩阵，获取新的匹配点对；S7，匹配精修：将步骤S1获得的1/2大小的特征图和步骤S4获得的混合描述子输入到一个全连接神经网络中，得到增强的1/2大小的特征图；所得特征图和步骤S6获得的像素级精度的新匹配点对输入到一个匹配精修网络，输出亚像素级精度的最终匹配，从而构建了完整的图像匹配模型，实现图像匹配。3.如权利要求2所述的联合混合尺度特征描述子与邻居一致性的图像匹配方法，其特征在于：所述步骤S2中将1/8大小的特征图进行位置编码并重新排列成一维张量；经由卷积与自注意力融合的混合自注意层和交叉注意力层，得到单尺度特征描述子4.如权利要求3所述的联合混合尺度特征描述子与邻居一致性的图像匹配方法，其特征在于：所述步骤S2中基于卷积与注意力混合的神经网络训练过程具体为：混合自注意力机制和交叉注意力机制在网络中不同层交替使用，当使用混合自注意力机制时，在特征图内学习每个像素之间的相似性；当使用交叉注意力机制时，学习特征图间每个像素的相似性，最终通过一层全连接神经网络得到网络层与层之间传递的信息。5.如权利要求3所述的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。