基于多视图循环一致性的图像匹配对过滤方法及装置制造方法及图纸

本申请涉及一种基于多视图循环一致性的图像匹配对过滤方法及装置。所述方法包括：根据双视图匹配方法对图像集进行图像检索和特征匹配，得到场景图；场景图包括节点和边缘；节点表示局部特征；边缘带有成对的匹配信息；匹配信息包括匹配矩阵；根据三角形枚举技术构建基于三角形的超图，利用超图记录连接场景图之间的所有双跳链，采用MVCEM算法在任意双跳链的限制下根据循环一致性约束对匹配矩阵进行细化，得到过滤后的匹配对。采用本方法能够提高图像匹配准确率。高图像匹配准确率。高图像匹配准确率。

【技术实现步骤摘要】
基于多视图循环一致性的图像匹配对过滤方法及装置


[0001]本申请涉及图像匹配
，特别是涉及一种基于多视图循环一致性的图像匹配对过滤方法、装置、计算机设备和存储介质。

技术介绍

[0002]估计两个图像之间的对应关系是许多计算机视觉任务中的一个关键模块，这些任务包括运动恢复结构(SfM)、多视图立体(MVS)和基于图像的重定位。标准的对应关系查找管道在两个步骤中实现。首先，通过(近似)最近邻搜索匹配局部特征来获得一组假定的对应关系。其次，为了防止影响下游视觉任务，采用后处理措施来提取正确匹配(也称为内点)并拒绝错误匹配(异常点)进行匹配对过滤，近年来，随着深度学习的出现，人们一直在推动以可微的方式解决误匹配过滤问题。
[0003]然而，目前传统的的误匹配过滤工作大多集中在双视图信息上，存在准确性低、稳定性低、复杂等问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高图像匹配准确率的基于多视图循环一致性的图像匹配对过滤方法、装置、计算机设备和存储介质。
[0005]一种基于多视图循环一致性的图像匹配对过滤方法，所述方法包括：
[0006]获取待过滤的图像集；图像集为同一场景下不同拍摄角度的原始视图的集合；
[0007]根据双视图匹配方法对图像集进行图像检索和特征匹配，得到场景图；场景图包括节点和边缘；节点表示局部特征；边缘带有成对的匹配信息；匹配信息包括匹配矩阵；
[0008]根据三角形枚举技术构建基于三角形的超图，利用超图记录连接场景图之间的所有双跳链，采用MVCEM算法在任意双跳链的限制下根据循环一致性约束对匹配矩阵进行细化，得到过滤后的匹配对。
[0009]在其中一个实施例中，根据三角形枚举技术构建基于三角形的超图，包括：
[0010]根据三角形枚举技术构建基于三角形的超图为G
H
＝{V
H
，E
H
}，其中，V
H
表示与原始视图图相同的节点集，E
H
表示包含三角形图案带来的所有可能路径的边集。
[0011]在其中一个实施例中，循环一致性约束包括第一约束、第二约束和第三约束；第一约束为X
a，a
＝I
M
；第二约束为X
a，b
＝(X
b，a
)
T
；第三约束为X
a，b
X
k，b
≤X
a，b
；其中，x
a，b
表示视图I
a
和视图I
b
的匹配矩阵，I
M
表示大小为M的单位矩阵，x
a，a
表示自匹配矩阵。
[0012]在其中一个实施例中，采用MVCEM算法在任意双跳链的限制下根据循环一致性约束对匹配矩阵进行细化，得到过滤后的匹配对，包括：
[0013]采用MVCEM算法在任意双跳链的限制下根据第三约束对匹配矩阵进行细化，得到过滤后的匹配对。
[0014]在其中一个实施例中，采用MVCEM算法在任意双跳链的限制下根据第三约束对匹配矩阵进行细化，得到过滤后的匹配对，包括：
[0015]在任意双跳链的限制下根据第三约束对匹配矩阵进行局部细化，得到局部进化的匹配对；
[0016]局部进化的匹配对为
[0017][0018]其中，i表示路径的序号，k
i
表示第i条路径。
[0019]在其中一个实施例中，在任意双跳链的限制下根据第三约束对局部进化的匹配对进行全局进化，得到过滤后的匹配对；
[0020]过滤后的匹配对为
[0021][0022]其中，N
c
表示超图中的所有可能路径。
[0023]一种基于多视图循环一致性的图像匹配对过滤装置，所述装置包括：
[0024]图像集获取模块，用于获取待过滤的图像集；图像集为同一场景下不同拍摄角度的原始视图的集合；
[0025]视图匹配模块，用于根据双视图匹配方法对图像集进行图像检索和特征匹配，得到场景图；场景图包括节点和边缘；节点表示局部特征；边缘带有成对的匹配信息；匹配信息包括匹配矩阵；
[0026]匹配对过滤模块，用于根据三角形枚举技术构建基于三角形的超图，利用超图记录连接场景图之间的所有双跳链，采用MVCEM算法在任意双跳链的限制下根据循环一致性约束对匹配矩阵进行细化，得到过滤后的匹配对。
[0027]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0028]获取待过滤的图像集；图像集为同一场景下不同拍摄角度的原始视图的集合；
[0029]根据双视图匹配方法对图像集进行图像检索和特征匹配，得到场景图；场景图包括节点和边缘；节点表示局部特征；边缘带有成对的匹配信息；匹配信息包括匹配矩阵；
[0030]根据三角形枚举技术构建基于三角形的超图，利用超图记录连接场景图之间的所有双跳链，采用MVCEM算法在任意双跳链的限制下根据循环一致性约束对匹配矩阵进行细化，得到过滤后的匹配对。
[0031]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0032]获取待过滤的图像集；图像集为同一场景下不同拍摄角度的原始视图的集合；
[0033]根据双视图匹配方法对图像集进行图像检索和特征匹配，得到场景图；场景图包括节点和边缘；节点表示局部特征；边缘带有成对的匹配信息；匹配信息包括匹配矩阵；
[0034]根据三角形枚举技术构建基于三角形的超图，利用超图记录连接场景图之间的所有双跳链，采用MVCEM算法在任意双跳链的限制下根据循环一致性约束对匹配矩阵进行细化，得到过滤后的匹配对。
[0035]上述基于多视图循环一致性的图像匹配对过滤方法、装置、计算机设备和存储介
质，首先根据双视图匹配方法对图像集进行图像检索和特征匹配，得到场景图，能够加强原始视图的边缘信息，提高匹配后场景图的精度，采用MVCEM算法在任意双跳链的限制下根据循环一致性约束对匹配矩阵进行细化，对场景图中的所有边进行剪枝，去掉误匹配的边，得到更加精确的视图，使得剪枝后的视图具有三元组一致性，引入多视图的内在约束来修剪具有低计算复杂度的噪声特征匹配，进而提高后续匹配对过滤的精度，也适用于大规模图像匹配问题，在根据超图记录连接场景图之间的所有双跳链，在任意双跳链的限制下根据循环一致性约束对匹配矩阵进行细化，检查视图中所有的可用路径的可达性来保留可信的匹配对，得到过滤后的匹配对。同时本申请提出的方法与局部特征的类型和双视图匹配的方式无关，可以轻松集成到任何依赖局部特征匹配的通用应用程序中，可适用性范围更广。
附图说明
[0036]图1为一个实施例中一种基于多视图循环一致性的图像匹配对过滤方法的应用场景图；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视图循环一致性的图像匹配对过滤方法，其特征在于，所述方法包括：获取待过滤的图像集；所述图像集为同一场景下不同拍摄角度的原始视图的集合；根据双视图匹配方法对所述图像集进行图像检索和特征匹配，得到场景图；所述场景图包括节点和边缘；所述节点表示局部特征；所述边缘带有成对的匹配信息；所述匹配信息包括匹配矩阵；根据三角形枚举技术构建基于三角形的超图，利用所述超图记录连接所述场景图之间的所有双跳链，采用MVCEM算法在任意所述双跳链的限制下根据所述循环一致性约束对匹配矩阵进行细化，得到过滤后的匹配对。2.根据权利要求1所述的方法，其特征在于，根据三角形枚举技术构建基于三角形的超图，包括：根据三角形枚举技术构建基于三角形的超图为G
H
＝{V
H
，E
H
}，其中，V
H
表示与原始视图图相同的节点集，E
H
表示包含三角形图案带来的所有可能路径的边集。3.根据权利要求1所述的方法，其特征在于，所述循环一致性约束包括第一约束、第二约束和第三约束；所述第一约束为X
a，a
＝I
M
；所述第二约束为X
a，b
＝(X
b，a
)
T
；所述第三约束为X
a，k
X
k，b
≤X
a，b
；其中，x
a，a
表示视图I
a
和视图I
b
的匹配矩阵，I
M
表示大小为M的单位矩阵，x
a，a
表示自匹配矩阵。4.根据权利要求3所述的方法，其特征在于，采用MVCEM算法在任意...

【专利技术属性】
技术研发人员：陈琛，刘煜，张茂军，颜深，程潇雅，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：