一种基于几何一致性的图像语义特征匹配方法组成比例

本发明专利技术公开了一种基于几何一致性的图像语义特征匹配方法，该方法包括语义特征提取、特征匹配初始化、特征匹配定位优化以及图像语义对齐等步骤。其中语义特征提取是使用卷积神经网络提取高层语义特征，来构建五层语义特征金字塔；特征匹配初始化是在特征金字塔顶层基于几何一致性，设计语义特征匹配约束规则，构建能量函数；特征匹配定位优化是为了提高特征匹配的定位精度，通过金字塔反向传播算法，逐层提高特征匹配对的准确率；最后，采用局部几何变换模型估计待匹配图像之间的几何变换模型参数，进行图像变形，实现图像语义对齐。本发明专利技术能够提高语义特征匹配的精度，并实现前景目标几何姿态、朝向的对齐。

A method of image semantic feature matching based on geometric consistency

【技术实现步骤摘要】
一种基于几何一致性的图像语义特征匹配方法
本专利技术涉及图像特征匹配技术，更具体的讲，涉及一种图像语义特征匹配的方法，在具备同一属性类别标签的不同目标图像间建立点对点的特征匹配关系，属于数字图像处理领域和计算机视觉领域。
技术介绍
图像特征匹配是指在图像内容信息相同或者相似的场景下，在图像内检索显著特征信息，并使用特征描述子对特征信息进行量化，然后根据特征描述子之间的相似性程度确定图像间特征与特征之间点对点的匹配关系。图像特征匹配在图像拼接、三维重建、SLAM等计算机视觉领域中有着非常重要的作用。本专利技术涉及图像语义特征匹配，是图像特征匹配领域下的子问题，它主要针对的场景为：待匹配的图像间没有绝对的重叠信息，但存在具备同一属性类别标签的前景目标，前景目标之间的几何外观、形状、姿态等高层语义信息是十分相似的，比如解决一辆奔驰汽车与宝马汽车之间的特征匹配关系即属于语义特征匹配的研究范畴。当前，图像语义特征匹配在影视特效制作、图像场景数据合成、目标跟踪等图形图像应用中有着非常可观的应用价值。本专利技术前，已经有人对图像语义匹配技术做了相关研究。LiuCe等发表论文“Siftflow:Densecorrespondenceacrossscenesanditsapplications”(IEEEtransactionsonpatternanalysisandmachineintelligence,33(5):978–994,2011),这是语义匹配技术相关的第一项研究工作，它从待匹配图像中提取仿SIFT特征，为每个像素点分配128维度的特征描述子，然后根据光流的思想设计能量函数，求解每个像素点的矢量位移，实现像素级的匹配关系，并根据矢量位移实现图像对齐。由于该方法是像素级的匹配算法，因此计算复杂，匹配效率低。此外，它采用的特征描述子是仿SIFT特征，对颜色、梯度等敏感，误匹配较为明显。B.Ham等发表论文“ProposalFlow”(IEEEConferenceonComputerVisionandPatternRecognition,pages3475–3484,2016)，它同样采用光流的思想，但是使用预处理算法在图像中查找包含语义目标信息的数据块，然后以块为单位，建立图像块之间的矢量位移一致性方程。通过求解图像内前景目标块之间的匹配关系，不仅提高了匹配计算效率，还过滤了一定的背景冗余特征，提高了匹配精度。但是，该方法使用的描述子仍然聚焦于低层纹理的颜色、梯度等信息，鲁棒性较低，且需要使用预处理算法提取包含前景目标信息的数据块，处理较为繁琐，对预处理算法的依赖性较高。此外，它对齐模型使用的仍是光流，图像变形时畸变、失真严重，对齐效果差。JingLiao等发表论文“VisualAttributeTransferthroughDeepImageAnalogy”(ACMTransactionsonGraphics,36(4):1–15,2017)，它使用卷积神经网络提取语义特征和特征描述子，但是直接基于特征描述子进行最近邻匹配，对特征描述子的依赖性太高，而获取的特征描述子信息较为冗余，缺乏显著特征的量化机制，以至于产生较多的误匹配。此外，它使用语义特征匹配结果直接计算待匹配图像间具备8个自由度参数的全局单应矩阵模型，对齐能力差，没有充分利用图像的局部相关性。分析现有的相关语义匹配技术发现，图像语义匹配技术还不够成熟，仍有较大的改进空间，当前仍然存在以下几点挑战：1)特征提取时，现有方法仍主要使用传统的SIFT等人造特征的技术路线，过于关注局部邻域的颜色、梯度等纹理信息，特征描述子的区分度不够高；2)特征描述子信息较为冗余，现有方法直接依赖特征描述子进行相似性估计，误匹配较高，且没有充分利用待匹配图像间的几何信息；3)图像对齐时，现有方法直接采用光流或者全局单应矩阵模型，图像变形产生的畸变、失真较为明显，对齐效果差。
技术实现思路
本专利技术的目的是：克服现有技术的不足，提供一种基于几何一致性的语义特征匹配方法。根据语义特征匹配的特点，在使用卷积神经网络提取对颜色、梯度等纹理差异较为鲁棒的语义特征基础上，根据几何一致性原理，设计若干约束项，丰富语义特征匹配的规则，并使用金字塔反向传播算法提高特征匹配的定位精度。此外，充分分析图像的局部特征，建立待匹配图像间的局部几何变换模型，提高图像的语义对齐能力。本专利技术提出了一种基于几何一致性的图像语义特征匹配方法，包括如下步骤：步骤1、语义特征提取步骤所述语义特征提取是使用预训练的图像分类网络提取图像语义特征，并根据神经网络的输出构建特征金字塔，步骤具体为：(1.1)使用预训练的图像分类网络分别提取待匹配图像的语义特征；(1.2)针对每张输入图像，分别选取图像分类网络中若干隐藏层的特征图输出来构建一个五层特征金字塔；(1.3)对每一层特征金字塔包含的语义特征进行特征显著性量化，挑选显著特征集合；步骤2、语义特征匹配初始化步骤所述特征匹配初始化是在特征金字塔的顶层，通过定义多种约束项并最小化能量函数来初始化语义匹配结果，步骤具体为：(2.1)在特征金字塔顶层，选取步骤(1.3)确定的显著特征集合；(2.2)在步骤(2.1)中确定的显著特征集合内，根据几何一致性算法，构造包含表观一致性约束项、朝向一致性约束项和相对距离一致性约束项的能量函数，通过最小化能量函数来求解在特征金字塔顶层的语义特征初始化结果；步骤3、特征匹配定位优化步骤所述特征匹配定位优化是沿着特征金字塔自顶而下，使用金字塔反向传播算法不断对高层的特征匹配结果进行矫正，步骤具体为：(3.1)判断当前特征金字塔的层级是否是最底层，若不是，则继续，否则退出；(3.2)根据上一层的特征匹配结果，计算对应特征在当前层的感知野范围，确定当前层的特征匹配块结果；(3.3)以步骤(3.2)中确定的特征匹配块为单位，使用颜色空间均匀化策略对特征匹配块进行预处理，缓解颜色、梯度差异对语义匹配的影响；(3.4)基于步骤(3.3)中处理完成后的特征匹配块，使用互近邻搜索算法，获取定位更加精确的特征匹配对；(3.5)使用RANSAC算法对特征金字塔当前层级的语义特征匹配结果进行过滤，剔除误匹配和非显著性特征匹配，然后沿着金字塔向下滑动一级，重复步骤(3.1)、(3.2)、(3.3)、(3.4)、(3.5)；步骤4、图像语义对齐步骤所述图像语义对齐是根据特征匹配的结果，估计待匹配图像间的局部几何变换模型参数，进行图像变形，步骤具体为：(4.1)对源图像进行均匀网格划分；(4.2)量化源图像中每一个网格中心点与所有特征匹配对之间的位置关系，并根据位置关系，给予不同特征匹配对相应的权重系数，权重系数代表对应的特征匹配对对求解当前网格的几何模型参数的影响程度；(4.3)顺序遍历每一个网格，根据步骤(4.2)中确定的当前网格中心点与所有特征匹配对之间的权重关系，构造能量函数，迭代计算、更新当前网格的几何变换模型参数本文档来自技高网...

【技术保护点】
1.一种基于几何一致性的图像语义特征匹配方法，其特征在于，包括如下步骤：/n步骤1、语义特征提取步骤/n所述语义特征提取是使用预训练的图像分类网络提取图像语义特征，并根据神经网络的输出构建特征金字塔，步骤具体为：/n(1.1)使用预训练的图像分类网络分别提取待匹配图像的语义特征；/n(1.2)针对每张输入图像，分别选取图像分类网络中若干隐藏层的特征图输出来构建一个五层特征金字塔；/n(1.3)对每一层特征金字塔包含的语义特征进行特征显著性量化，挑选显著特征集合；/n步骤2、语义特征匹配初始化步骤/n所述特征匹配初始化是在特征金字塔的顶层，通过定义多种约束项并最小化能量函数来初始化语义匹配结果，步骤具体为：/n(2.1)在特征金字塔顶层，选取步骤(1.3)确定的显著特征集合；/n(2.2)在步骤(2.1)中确定的显著特征集合内，根据几何一致性原理，构造包含表观一致性约束项、朝向一致性约束项和相对距离一致性约束项的能量函数，通过最小化能量函数来求解在特征金字塔顶层的语义特征匹配初始化结果；/n步骤3、特征匹配定位优化步骤/n所述特征匹配定位优化是沿着特征金字塔自顶而下，使用金字塔反向传播算法不断对高层的特征匹配结果进行矫正，步骤具体为：/n(3.1)判断当前特征金字塔的层级是否是最底层，若不是，则继续，否则退出；/n(3.2)根据上一层的特征匹配结果，计算对应特征在当前层的感知野范围，确定当前层的特征匹配块结果；/n(3.3)以步骤(3.2)中确定的特征匹配块为单位，使用颜色空间均匀化策略对特征匹配块进行预处理，缓解颜色、梯度差异对语义匹配的影响；/n(3.4)基于步骤(3.3)中处理完成后的特征匹配块，使用互近邻搜索算法，获取定位更加精确的特征匹配对；/n(3.5)使用RANSAC算法对特征金字塔当前层级的语义特征匹配结果进行过滤，剔除误匹配和非显著性特征匹配，然后沿着金字塔向下滑动一级，重复步骤(3.1)、(3.2)、(3.3)、(3.4)、(3.5)；/n步骤4、图像语义对齐步骤/n所述图像语义对齐是根据语义特征匹配的结果，估计待匹配图像间的局部几何变换模型参数，进行图像变形，步骤具体为：/n(4.1)对源图像进行均匀网格划分；/n(4.2)量化源图像中每一个网格中心点与所有特征匹配对之间的位置关系，并根据位置关系，给予不同特征匹配对相应的权重系数，权重系数代表对应的特征匹配对对求解当前网格的几何模型参数的影响程度；/n(4.3)顺序遍历每一个网格，根据步骤(4.2)中确定的当前网格中心点与所有特征匹配对之间的权重关系，构造能量函数，迭代计算、更新当前网格的几何变换模型参数；/n(4.4)使用步骤(4.3)中的几何变换模型参数对源图像进行变形，将源图像投影变换到目标图像所在的坐标空间内，实现源图像、目标图像间的图像语义对齐，使得二者内前景目标的几何姿态、朝向趋向于一致。/n...

【技术特征摘要】
1.一种基于几何一致性的图像语义特征匹配方法，其特征在于，包括如下步骤：
步骤1、语义特征提取步骤
所述语义特征提取是使用预训练的图像分类网络提取图像语义特征，并根据神经网络的输出构建特征金字塔，步骤具体为：
(1.1)使用预训练的图像分类网络分别提取待匹配图像的语义特征；
(1.2)针对每张输入图像，分别选取图像分类网络中若干隐藏层的特征图输出来构建一个五层特征金字塔；
(1.3)对每一层特征金字塔包含的语义特征进行特征显著性量化，挑选显著特征集合；
步骤2、语义特征匹配初始化步骤
所述特征匹配初始化是在特征金字塔的顶层，通过定义多种约束项并最小化能量函数来初始化语义匹配结果，步骤具体为：
(2.1)在特征金字塔顶层，选取步骤(1.3)确定的显著特征集合；
(2.2)在步骤(2.1)中确定的显著特征集合内，根据几何一致性原理，构造包含表观一致性约束项、朝向一致性约束项和相对距离一致性约束项的能量函数，通过最小化能量函数来求解在特征金字塔顶层的语义特征匹配初始化结果；
步骤3、特征匹配定位优化步骤
所述特征匹配定位优化是沿着特征金字塔自顶而下，使用金字塔反向传播算法不断对高层的特征匹配结果进行矫正，步骤具体为：
(3.1)判断当前特征金字塔的层级是否是最底层，若不是，则继续，否则退出；
(3.2)根据上一层的特征匹配结果，计算对应特征在当前层的感知野范围，确定当前层的特征匹配块结果；
(3.3)以步骤(3.2)中确定的特征匹配块为单位，使用颜色空间均匀化策略对特征匹配块进行预处理，缓解颜色、梯度差异对语义匹配的影响；
(3.4)基于步骤(3.3)中处理完成后的特征匹配块，使用互近邻搜索算法，获取定位更加精确的特征匹配对；
(3.5)使用RANSAC算法对特征金字塔当前层级的语义特征匹配结果进行过滤，剔除误匹配和非显著性特征匹配，然后沿着金字塔向下滑动一级，重复步骤(3.1)、(3.2)、(3.3)、(3.4)、(3.5)；
步骤4、图像语义对齐步骤
所述图像语义对齐是根据语义特征匹配的结果，估计待匹配图像间的局部几何变换模型参数，进行图像变形，步骤具体为：
(4.1)对源图像进行均匀网格划分；
(4.2)量化源图像中每一个网格中心点与所有特征匹配对之间的位置关系，并根据位置关系，给予不同特征匹配对相应的权重系数，权重系数代表对应的特征匹配对对求解当前网格的几何模型参数的影响程度；
(4.3)顺序遍历每一个网格，根据步骤(4.2)中确定的当前网格中心点与所有特征匹配对之间的权重关系，构造能量函数，迭代计算、更新当前网格的几何变换模型参数；
(4.4)使用步骤(4.3)中的几何变换模型参数对源图像进行变形，将源图像投影变换到目标图像所在的坐标空间内，实现源图像、目标图像间的图像语义对齐，使得二者内前景目标的几何姿态、朝向趋向于一致。


2.根据权利要求1所述的一种基于几何一致性的图像语义特征匹配方法，其特征在于：
在步骤1的图像语义特征提取中，将待匹配图像分别输入预训练的图像分类网络，选取图像分类网络内指定的五个隐藏层的输出来构建特征金字塔，使用卷积神经网络学习到的特征来替代对颜色、梯度信息敏感的SIFT特征，并根据特征金字塔内特征描述子的显著性量化指标，确定每层的显著特征集合。...

【专利技术属性】
技术研发人员：周忠，吴威，陈朗，吕伟，李萌，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11