由粗到细的图像稠密匹配方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种由粗到细的图像稠密匹配方法、系统、设备及存储介质，粗匹配时，使用RANSAC对源图像和目标图像之间的候选稀疏对进行拟合得到单应性估计矩阵，进行全局配准完成对象的粗略定位，克服因尺度、旋转以及视角等几何变换差异引起的匹配不准确问题；粗匹配后的图像，通过光流估计网络生成可匹配区域的光流场预测，完成对象细节的匹配，克服颜色、外观以及纹理不同带来的影响。上述由粗到细的图像稠密匹配方案具有较好的泛化能力，不仅能解决弱纹理、无纹理、重复纹理、大视差、大前景干扰图像对的稠密匹配问题，而且在类内差异较大以及不同模态的待配准图像对上都能够达到像素级对齐，充分证明了而本发明专利技术方法具有很好的应用前景和应用价值。应用前景和应用价值。应用前景和应用价值。

【技术实现步骤摘要】
由粗到细的图像稠密匹配方法、系统、设备及存储介质


[0001]本专利技术涉及图像稠密匹配
，尤其涉及一种由粗到细的图像稠密匹配方法、系统、设备及存储介质。

技术介绍

[0002]图像匹配技术作为计算机视觉的重要方向之一，其目的在于快速准确地建立相似对象或者场景之间的对应关系，将已知图像的信息通过估计的对应关系转移到新图像上。这样不仅可以直接获取新图像的各类信息，而且还能辅助其他视觉任务的执行。
[0003]根据匹配方式，图像匹配技术大致可被分为图像特征点匹配和图像稠密匹配两类。图像特征点匹配先提取图像中的特征点，然后在另一张图中寻求匹配的对应点，以此来建立两张图之间的对应关系。由于图像特征点匹配仅能够估计图像之间的整体相似关系，而无法确定局部的对应关系，因此很难将已知图像的信息转移到新图像中。为了获取更加精确的对应关系，图像稠密匹配应运而生。图像稠密匹配主要目的是建立图像之间的像素级匹配关系，寻求源图像中每个像素在目标图像中的对应像素，从而将已知图像的属性转移到新的图像上。
[0004]在已有的图像稠密匹配方法中，专利《一种适合变形图像的稠密匹配方法》(公开号CN106023230A)在人工提取匹配特征点对的基础上，将多项式纠正和坐标对应关系保存机制用于变形图像的稠密匹配，该方法的人工成本较高且鲁棒性较差，限制了图像匹配技术的应用；专利《一种基于稀疏匹配与图像边缘的稠密匹配方法与系统》(公开号CN106548482A)结合边缘检测得到的边缘图像和稀疏匹配得到的特征点视差值来进行图像匹配，其在弱纹理区域无法精确寻找到像素匹配点，且细节匹配效果较差；专利《一种基于非刚性稠密匹配的图像光流估计方法及系统》(公开号CN108986150A)将两帧图像进行稠密块匹配，通过计算图像间非刚性稠密运动场以及变分光流来预测对象的运动信息，时间和空间消耗较大，且对真实场景中大视差、大位移图像对的泛化能力较差。
[0005]上述已有的图像稠密匹配方法存在很多亟待解决的问题：1)如何在大尺度空间变换的情况下准确地计算图像间的稠密匹配关系；2)如何有效地感知对象的结构信息从而提高鲁棒性；3)如何在图像细节上得到较好的表现效果；4)如何克服语义鸿沟，在内容、灰度、纹理等方面存在较大差异的不同域图像上实现像素级匹配。因此，设计一套的技术方案来提高图像稠密匹配的准确性和鲁棒性具有重要的实用价值和现实意义。

技术实现思路

[0006]本专利技术的目的是提供一种由粗到细的图像稠密匹配方法、系统、设备及存储介质，能够实现不同尺度、不同角度、不同场景下的图像稠密匹配，正确地估计图像中每个像素的对应关系，提升图像稠密匹配的鲁棒性和泛化能力。
[0007]本专利技术的目的是通过以下技术方案实现的：
[0008]一种由粗到细的图像稠密匹配方法，其特征在于，包括：
[0009]全局配准阶段：通过随机抽样一致算法对源图像与目标图像的多尺度的特征匹配点对进行处理，利用处理得到的单应性估计矩阵对所述源图像进行变换，获得变换后的源图像；
[0010]像素匹配阶段：通过光流估计网络预测变换后的源图像与所述目标图像的光流场，利用所述光流场对变换后的源图像进行光流映射，实现图像稠密匹配。
[0011]一种由粗到细的图像稠密匹配系统，基于前述方法实现，该系统包括：
[0012]全局配准的粗匹配模块，应用于全局配准阶段，通过随机抽样一致算法对源图像与目标图像的多尺度的特征匹配点对进行处理，利用处理得到的单应性估计矩阵对所述源图像进行变换，获得变换后的源图像；
[0013]像素匹配的细对齐模块，应用于像素匹配阶段，通过光流估计网络预测变换后的源图像与所述目标图像的光流场，利用所述光流场对变换后的源图像进行光流映射，实现图像稠密匹配。
[0014]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
[0015]其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0016]一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现前述的方法。
[0017]由上述本专利技术提供的技术方案可以看出，采用粗匹配到细对齐的分层匹配策略来估计光流场，克服几何变换无法进行像素对齐以及光流配准无法解决大位移的局限性问题，使得稠密匹配更加准确和鲁棒；具体地，粗匹配时，使用RANSAC(随机抽样一致算法)对源图像和目标图像之间的候选稀疏对进行拟合得到单应性估计矩阵，进行全局配准完成对象的粗略定位，克服因尺度、旋转以及视角等几何变换差异引起的匹配不准确问题；给定两个粗略对齐后的图像，通过光流估计网络生成可匹配区域的光流场预测，完成对象细节的匹配，克服颜色、外观以及纹理不同带来的影响。上述由粗到细的图像稠密匹配方案具有较好的泛化能力，不仅能解决弱纹理、无纹理、重复纹理、大视差、大前景干扰图像对的稠密匹配问题，而且在类内差异较大以及不同模态的待配准图像对上都能够达到像素级对齐，充分证明了本专利技术方法具有很好的应用前景和应用价值。
附图说明
[0018]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0019]图1为本专利技术实施例提供的一种由粗到细的图像稠密匹配方法的处理流程图；
[0020]图2为本专利技术实施例提供的一种由粗到细的图像稠密匹配整体流程示意图；
[0021]图3为本专利技术实施例提供的一种由粗到细的图像稠密匹配训练过程图；
[0022]图4为本专利技术实施例提供的一种由粗到细的图像稠密匹配训练数据集插图；
[0023]图5为本专利技术实施例提供的一种由粗到细的图像稠密匹配结果示意图；
[0024]图6为本专利技术实施例提供的一种处理设备的示意图。
具体实施方式
[0025]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0026]首先对本文中可能使用的术语进行如下说明：
[0027]术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
[0028]下面对本专利技术所提供的一种由粗到细的图像稠密匹配方案进行详细描述。本专利技术实施例中未作详细描述的内容属于本领域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种由粗到细的图像稠密匹配方法，其特征在于，包括：全局配准阶段：通过随机抽样一致算法对源图像与目标图像的多尺度的特征匹配点对进行处理，利用处理得到的单应性估计矩阵对所述源图像进行变换，获得变换后的源图像；像素匹配阶段：通过光流估计网络预测变换后的源图像与所述目标图像的光流场，利用所述光流场对变换后的源图像进行光流映射，实现图像稠密匹配。2.根据权利要求1所述的一种由粗到细的图像稠密匹配方法，其特征在于，通过随机抽样一致算法对源图像与目标图像的多尺度的特征匹配点对进行处理之前，还包括多尺度特征提取与特征匹配的步骤，相关步骤包括：利用卷积神经网络构建源图像I
s
和目标图像I
t
的特征矩阵，固定源图像I
s
和目标图像I
t
的纵横比进行多尺度的缩放，按多个不同尺度提取特征并进行维度变换；将变换维度后的多个尺度特征进行拼接得到特征矩阵，对特征矩阵进行点积后得到行列值均为最大的索引值，即特征匹配点对。3.根据权利要求1所述的一种由粗到细的图像稠密匹配方法，其特征在于，训练时，像素匹配阶段包括：利用光流估计网络预测变换后的源图像与所述目标图像的光流场与匹配度掩码，利用所述光流场对变换后的源图像进行光流映射；所述匹配度掩码通过计算变换后的源图像与目标图像相似度得到，用于对图像的对齐效果进行像素级度量，并且作为未对齐像素点的权重，参与损失函数的计算。4.根据权利要求3所述的一种由粗到细的图像稠密匹配方法，其特征在于，所述利用光流估计网络预测变换后的源图像与所述目标图像的光流场和匹配度掩码的步骤包括：变换后的变换后的源图像I
s
′
与目标图像I
t
分别经过一个全卷积层进行特征提取，得到相应的特征映射，变换后的源图像I
s
′
的特征映射记为f
s
，目标图像I
t
的特征映射记为f
t
；对特征映射f
s
与f
t
进行归一化，得到归一化后的特征映射f
s
′
与f
t
′
；将归一化后的特征映射f
s
′
中每个位置的向量f
s
′
(x
′
，y
′
)与归一化后的特征映射f
t
′
中D＝2k+1领域内的向量f
t
′
(x，y)做点积，得到相似张量；其中，k为一个系数，用来保证领域D为奇数；(x，y)为目标图像I
t
中像素的位置坐标，(x
′
，y
′
)为变换后的源图像I
s
′
中相应像素的位置坐标；所述相似张量分别经过全卷积预测网络的两个分支得到光流场和匹配度掩码。5.根据权利要求1所述的一种由粗到细的图像稠密匹配方法，其特征在于，利用所述光流场对变换后的源图像进行光流映射表示为：(x，y)＝F
s
→
t

【专利技术属性】
技术研发人员：王子磊，宋文龙，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：