一种基于稀疏特征匹配点对的相机相对定向深度学习方法技术

本发明专利技术涉及深度学习技术领域，尤其涉及一种基于稀疏特征匹配点对的相机相对定向深度学习方法，首先通过匹配点对分类网络将匹配点对分为内点和外点，然后以所有的内点为相机相对位姿参数解算网络的输入，将输入的每对匹配点坐标看作图节点，将输入的所有匹配点对当作图结构数据，使用自注意力机制在图结构上提取匹配点对全局影像关系特征，并通过残差网络进一步提炼影像关系特征，以匹配点对为输入通过自注意力机制在图结构上的全局影像关系特征学习，解决了现有深度学习方法基于像素语义特征来进行相对定向的处理数据量大、模型结构复杂问题。杂问题。杂问题。

【技术实现步骤摘要】
一种基于稀疏特征匹配点对的相机相对定向深度学习方法


[0001]本专利技术涉及深度学习
，尤其涉及一种基于稀疏特征匹配点对的相机相对定向深度学习方法。

技术介绍

[0002]相机相对定向技术根据两张图像恢复拍摄两张图像时相机的相对位姿参数，根据连续场景中两两相机的相对定向，将所有相机位姿都统一到同一坐标系中，则可得到相机的绝对定向。它是基于运动恢复结构(SfM)三维重建算法中的关键步骤，在同步定位与建图(SLAM)中，相机相对位姿的精度对视觉里程计的定位精度起着决定性的作用。现有的相机相对定向方法主要分为两类，第一类是基于传统摄影测量中相对定向理论解算；第二类是基于深度学习算法的相对定向参数估计。
[0003]传统相对定向算法首先基于稀疏特征匹配算法(例：SIFT、SURF等)获得两影像之间的稀疏特征匹配点对；然后基于五点算法或八点算法构建方程组求解影像间基础矩阵，并剔除内参影响得到本质矩阵；然后对本质矩阵进行分解得到旋转矩阵和平移向量。但在求解过程中由于无法得到绝对准确的匹配点对，往往需要借助随机采样一致性算法(RANSAC)来获得更准确匹配结果，所以该方法需要反复迭代计算，计算量大、非常耗时。近年来也有学者提出改进的非线性优化算法来减小误匹配点的干扰，能提高影像间位姿参数精度，但是这些算法大多基于分支定界法(branch andbound)来实现，也需要反复迭代搜索，也存在耗时较长的问题。
[0004]基于深度学习算法的相对位姿参数估计算法，2017年，Iaroslav Melekhov等人以左右影像为输入基于卷积神经网络设计了相对位姿参数估计深度学习模型，该网络通过两个全连接分支分别输出相对旋转与平移参数。在视觉导航中一些研究者将图像对作为输入，通过深度学习网络直接估计相机相对姿态，这些方法用于处理单目视频序列，进行单目深度估计以及帧间运动的估计。由于这些方法没有显式地利用图像对之间的几何关系作为约束，而是基于左、右影像中各像素语义特征来获得位姿参数，因此这些方法估计的相机相对姿态精度不高，另外由于输入的是图像而非匹配点对，因此网络结构设计比较复杂，计算量也较大。

技术实现思路

[0005]本专利技术的目的在于公开一种基于稀疏特征匹配点对的相机相对定向深度学习方法，其中的相对定向方法与传统算法相比速度大幅提高同时具有更小的误差，与现有基于像素语义特征深度学习算法相比平均精度更高，处理的数据量更少、具有更轻量化的网络结构。
[0006]为实现上述目的，本专利技术提出了一种基于稀疏特征匹配点对的相机相对定向深度学习方法，包括下列步骤：
[0007]获取同一场景不同视角下拍摄的两幅影像；
[0008]通过稀疏特征匹配模块后得到匹配点集；
[0009]通过匹配点对分类网络将匹配点集对分为内点集和外点集；
[0010]相机相对位姿参数解算网络根据所有内点集通过深度学习网络解释输出相对旋转、平移位姿参数。
[0011]其中，所述匹配点对分类网络基于OANet网络改造形成，网络输出的各匹配点对准确性值S经过tanh和ReLU函数处理，范围变换到[0,1)之间，将变换后的准确性值与阈值进行比较，小于阈值的认为是误匹配点，大于等于阈值的认为是正确匹配点。
[0012]其中，所述内点集为匹配误差小的相对准确匹配点的数据集合，所述外点集为匹配误差大的错误匹配点的数据集合。
[0013]其中，所述相机相对位姿参数解算网络包括基于注意力机制的全局特征提取模块、残差学习模块以及相机相对姿态回归模块，通过所述基于注意力机制的全局特征提取模块提取全部特征后，经所述残差学习模块提高网络的非线性度，最后由所述相机相对姿态回归模块回归输出相机相对姿态。
[0014]其中，所述基于注意力机制的全局特征提取模块以匹配点对为输入，通过自注意力机制在图结构上进行全局影像关系特征学习。
[0015]其中，所述残差学习模块由多个残差子模块连接而成，所述残差学习模块中的所有操作输出特征维度均为128
×
N
×
1。
[0016]其中，所述相机相对位姿回归模块由一个最大池化层和多个全连接层组成，其中最大池化层在空间维度进行操作。
[0017]本专利技术提出了一种基于稀疏特征匹配点对的相机相对定向深度学习方法，首先通过匹配点对分类网络将匹配点对分为内点和外点，然后以所有的内点为相机相对位姿参数解算网络的输入，将输入的每对匹配点坐标看作图节点，将输入的所有匹配点对当作图结构数据，使用自注意力机制在图结构上提取匹配点对全局影像关系特征，并通过残差网络进一步提炼影像关系特征，以匹配点对为输入通过自注意力机制在图结构上的全局影像关系特征学习，解决了现有深度学习方法基于像素语义特征来进行相对定向的处理数据量大、模型结构复杂问题。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本专利技术的相机相对姿态估计整体流程图。
[0020]图2是本专利技术的相机相对位姿参数解算网络结构示意图。
[0021]图3是本专利技术的全局特征提取模块结构示意图。
[0022]图4是本专利技术的自注意力机制模块结构示意图。
[0023]图5是本专利技术的残差结构示意图。
[0024]图6是本专利技术的相机相对位姿回归模块结构示意图。
[0025]图7是本专利技术的匹配点对分类网络训练损失曲线图。
[0026]图8是本专利技术的相机相对姿态估计网络训练损失曲线图。
[0027]图9是本专利技术的实施例匹配点对分类网络在DeMon论文数据集上的分类准确度比较图。
具体实施方式
[0028]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0029]请参阅图1，本专利技术提出了一种基于稀疏特征匹配点对的相机相对定向深度学习方法，包括下列步骤：
[0030]S1：获取同一场景不同视角下拍摄的两幅影像；
[0031]S2：通过稀疏特征匹配模块后得到匹配点集；
[0032]S3：通过匹配点对分类网络将匹配点集对分为内点集和外点集；
[0033]S4：相机相对位姿参数解算网络根据所有内点集通过深度学习网络解释输出相对旋转、平移位姿参数。
[0034]所述匹配点对分类网络基于OANet网络改造形成，网络输出的各匹配点对准确性值S经过tanh和ReLU函数处理，范围变换到[0,1)之间，将变换后的准确性值与阈值进行比较，小于阈值的认为是误匹配点，大于等于阈值的认为是正确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于稀疏特征匹配点对的相机相对定向深度学习方法，其特征在于，包括下列步骤：获取同一场景不同视角下拍摄的两幅影像；通过稀疏特征匹配模块后得到匹配点集；通过匹配点对分类网络将匹配点集对分为内点集和外点集；相机相对位姿参数解算网络根据所有内点集通过深度学习网络解释输出相对旋转、平移位姿参数。2.如权利要求1所述的基于稀疏特征匹配点对的相机相对定向深度学习方法，其特征在于，所述匹配点对分类网络基于OANet网络改造形成，网络输出的各匹配点对准确性值S经过tanh和ReLU函数处理，范围变换到[0,1)之间，将变换后的准确性值与阈值进行比较，小于阈值的认为是误匹配点，大于等于阈值的认为是正确匹配点。3.如权利要求1所述的基于稀疏特征匹配点对的相机相对定向深度学习方法，其特征在于，所述内点集为匹配误差小的相对准确匹配点的数据集合，所述外点集为匹配误差大的错误匹配点的数据集合。4.如权利要求1所述的基于稀疏特征匹配点对的相机相对定向深度学习方法，其特征在于，所...

【专利技术属性】
技术研发人员：彭智勇，吴磊，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：