大尺度变化鲁棒的图像特征匹配方法及装置制造方法及图纸

本发明专利技术提供一种大尺度变化鲁棒的图像特征匹配方法及装置，方法包括：获得原始图像对，将所述原始图像对输入尺度估计模型，获得所述原始图像对的尺度比值；根据所述尺度比值对所述原始图像对进行缩放，获得缩放图像对；对所述缩放图像对进行特征点提取和匹配，获得特征点对；将所述特征点对的坐标根据所述尺度比值进行恢复后与所述原始图像对结合，获得包含特征点对的原始图像对。在大尺度差异情况下，本发明专利技术提出的图像特征匹配方法能大幅提升图像局部特征的表现。局部特征的表现。局部特征的表现。

【技术实现步骤摘要】
大尺度变化鲁棒的图像特征匹配方法及装置


[0001]本专利技术涉及计算机视觉
，尤其涉及一种大尺度变化鲁棒的图像特征匹配方法及装置。

技术介绍

[0002]在两幅图像之间建立像素级的对应是三维重建、增强现实、视觉定位、同时定位和地图构建等任务中的关键步骤之一。建立像素级对应最经常采用的方法是提取和匹配图像局部特征点。所谓特征点，是图像里的一些特别的或显著的地方。特征点由关键点和描述子两部分组成。关键点是指特征点在图像里的位置，有些特征点还具有朝向、大小等信息。描述子通常是一个向量，按照某种人为设计的规则生成，描述该关键点邻域的信息。对于描述子的要求是，在视角变化和尺度变化的情况下，对应于同一空间三维点的不同图像中的关键点，它们的描述子应相似或互为描述子各维张成的向量空间中的最近邻。两幅图像的特征点匹配，就是认为描述子向量足够相似的两个特征点是一个空间三维点在两个二维图像平面上的投影。
[0003]尽管特征点提取和描述的方法层出不穷，但现有技术更多地关注特征点对于光照和视角变化的鲁棒性，对于特征点的尺度问题关注不多。然而，尺度变化在室外场景定位、城市级AR等应用中十分常见。现有的关键点检测算法和描述子对大尺度变化的鲁棒性不佳。在尺度剧烈变化的情况下，现有方法很难为下游任务建立足够的点对应，该问题称为图像局部特征的尺度问题。为了缓解该尺度问题，基于图像金字塔的多尺度特征提取方法被广泛应用。该方法虽然增强了图像局部特征对于尺度变化的鲁棒性，但是在大尺度变化下依然表现不佳。

技术实现思路

[0004]本专利技术提供一种大尺度变化鲁棒的图像特征匹配方法及装置，用以解决现有技术中在图像尺度剧烈变化情况下图像局部特征的提取和匹配方法很难为下游任务建立足够对应点的缺陷，实现了图像特征匹配各方面的提升。
[0005]本专利技术提供一种大尺度变化鲁棒的图像特征匹配方法，包括：
[0006]获得原始图像对，将所述原始图像对输入尺度估计模型，获得所述原始图像对的尺度比值；
[0007]根据所述尺度比值对所述原始图像对进行缩放，获得缩放图像对；
[0008]对所述缩放图像对进行特征点提取和匹配，获得特征点对；
[0009]将所述特征点对的坐标根据所述尺度比值进行恢复后与所述原始图像对结合，获得包含特征点对的原始图像对。
[0010]根据本专利技术提供的一种大尺度变化鲁棒的图像特征匹配方法，所述尺度估计模型包括特征提取和融合层、匹配层和回归层；
[0011]所述特征提取和融合层用于提取原始图像对的多尺度特征并分别进行加权融合，
获得原始图像对的多尺度融合特征图对；
[0012]所述匹配层用于根据所述原始图像对的多尺度融合特征图对获得经过共视注意力机制增强后的相关图；
[0013]所述回归层用于对所述经过共视注意力机制增强后的相关图进行降维，获得第一原始图像和第二原始图像的尺度比值。
[0014]根据本专利技术提供的一种大尺度变化鲁棒的图像特征匹配方法，所述根据所述原始图像对的多尺度融合特征图对获得经过共视注意力机制增强后的相关图，包括：
[0015]根据原始图像对的多尺度融合特征图对获得所述原始图像对的相关图；
[0016]根据所述原始图像对的相关图提取原始图像对的共视区域概率图；
[0017]将所述原始图像对的共视区域概率图和所述原始图像对的相关图相乘，获得经过共视注意力机制增强后的相关图。
[0018]根据本专利技术提供的一种大尺度变化鲁棒的图像特征匹配方法，所述尺度估计模型是基于训练数据集训练得到的。
[0019]根据本专利技术提供的一种大尺度变化鲁棒的图像特征匹配方法，所述训练数据集包括模拟训练数据集和真实场景数据集，所述两种训练数据集均包含图像对尺度比值标签。
[0020]根据本专利技术提供的一种大尺度变化鲁棒的图像特征匹配方法，所述尺度估计模型训练时的损失函数是基于所述训练数据集中的样本图像对、所述样本图像对的对偶样本图像对以及尺度比例值标签建立的。
[0021]本专利技术还提供一种大尺度变化鲁棒的图像特征匹配装置，包括：
[0022]尺度比值计算模块，用于获得原始图像对，将所述原始图像对输入尺度估计模型，获得所述原始图像对的尺度比值；
[0023]缩放模块，用于根据所述尺度比值对所述原始图像对进行缩放，获得缩放图像对；
[0024]特征匹配模块，用于对所述缩放图像对进行特征点提取和匹配，获得特征点对；
[0025]恢复模块，用于将所述特征点对的坐标根据所述尺度比值进行恢复后与所述原始图像对结合，获得包含特征点对的原始图像对。
[0026]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述大尺度变化鲁棒的图像特征匹配方法的步骤。
[0027]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述大尺度变化鲁棒的图像特征匹配方法的步骤。
[0028]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述大尺度变化鲁棒的图像特征匹配方法的步骤。
[0029]本专利技术提供的大尺度变化鲁棒的图像特征匹配方法及装置，在特征匹配之前对图像对进行放缩，并基于共视注意力机制设计了尺度估计卷积神经网络模型获得更精确的尺度比值，该模型具有很高的精度和很强的泛化性。本专利技术对图像大尺度变化具有很强的鲁棒性。在图像匹配和相机位姿估计任务中，本专利技术的图像特征匹配方法能大幅提升多种典型的图像局部特征和当前最优的局部特征匹配方法的表现。
附图说明
[0030]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1是本专利技术实施例提供的大尺度变化鲁棒的图像特征匹配方法的流程示意图之一；
[0032]图2是本专利技术实施例提供的大尺度变化鲁棒的图像特征匹配方法的流程示意图之二；
[0033]图3是本专利技术实施例提供的尺度估计模型结构示意图；
[0034]图4是本专利技术实施例提供的特征提取和融合层结构示意图；
[0035]图5是本专利技术实施例提供的匹配层结构示意图；
[0036]图6是本专利技术实施例提供的回归层结构示意图；
[0037]图7是本专利技术实施例提供的模拟训练数据示意图；
[0038]图8是本专利技术实施例提供的对三种典型图像特征的增强效果定性结果图；
[0039]图9是本专利技术实施例提供的对两种当前一流的图像特征匹配方法的增强效果定性结果图；
[0040]图10是本专利技术实施例提供的大尺度变化鲁棒的图像特征匹配装置的结构示意图；...

【技术保护点】

【技术特征摘要】
1.一种大尺度变化鲁棒的图像特征匹配方法，其特征在于，包括：获得原始图像对，将所述原始图像对输入尺度估计模型，获得所述原始图像对的尺度比值；根据所述尺度比值对所述原始图像对进行缩放，获得缩放图像对；对所述缩放图像对进行特征点提取和匹配，获得特征点对；将所述特征点对的坐标根据所述尺度比值进行恢复后与所述原始图像对结合，获得包含特征点对的原始图像对。2.根据权利要求1所述的大尺度变化鲁棒的图像特征匹配方法，其特征在于，所述尺度估计模型包括特征提取和融合层、匹配层和回归层；所述特征提取和融合层用于提取原始图像对的多尺度特征并分别进行加权融合，获得原始图像对的多尺度融合特征图对；所述匹配层用于根据所述原始图像对的多尺度融合特征图对获得经过共视注意力机制增强后的相关图；所述回归层用于对所述经过共视注意力机制增强后的相关图进行降维，获得第一原始图像和第二原始图像的尺度比值。3.根据权利要求2所述的大尺度变化鲁棒的图像特征匹配方法，其特征在于，所述根据所述原始图像对的多尺度融合特征图对获得经过共视注意力机制增强后的相关图，包括：根据原始图像对的多尺度融合特征图对获得所述原始图像对的相关图；根据所述原始图像对的相关图提取原始图像对的共视区域概率图；将所述原始图像对的共视区域概率图和所述原始图像对的相关图相乘，获得经过共视注意力机制增强后的相关图。4.根据权利要求1至3中任一所述的大尺度变化鲁棒的图像特征匹配方法，其特征在于，所述尺度估计模型是基于训练数据集训练得到的。5.根据权利要求4所述...

【专利技术属性】
技术研发人员：傅禹杰，吴毅红，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：