基于内容感知和剪枝的图像特征匹配方法组成比例

本发明专利技术涉及一种基于内容感知和剪枝的图像特征匹配方法

【技术实现步骤摘要】
基于内容感知和剪枝的图像特征匹配方法


[0001]本专利技术属于图像处理
，具体涉及一种基于内容感知和剪枝的图像特征匹配方法
。

技术介绍

[0002]如图1所示，特征匹配即估计图像对之间的对应，是计算机视觉应用的基础问题，其对图像拼接
、
三维重建和即时定位与地图构建
(SLAM)
等任务都有非常重要的作用
。
它的主要步骤包括特征检测
、
特征描述和特征匹配
。
[0003]高质量的特征是取得可靠匹配的关键，因此对特征检测器进行改进是当前相关研究的热点
。
然而，目前的研究在具有挑战性的场景中所提取到的特征并不能达到高精度匹配的要求，如非平面图象
、
光照变化较大的图像对等
。
[0004]传统的特征提取器通常使用数学方法进行特征点提取，例如拉普拉斯算子和高斯滤波
。SIFI
使用了差分高斯金字塔
DoG(The difference ofGaussians filter)
，提取关键点作为
DoG
的局部极值，使用局部强度值的
Hessian
矩阵进行过滤
。SURF
对
SIFT
进行了改进，它使用
Haar
小波计算逼近于
Hessian
矩阵的提取器，同时，结合
integral image strategy
对二阶微分模板进行了简化
。
与前两种提取器不同，
KAZE
使用非线性偏微分方程，通过非线性扩散滤波进行特征搜索
。AKAZE
是
KAZE
的改进版本，为了加速非线性尺度空间中的特征检测，它将快速显式扩散嵌入到了金字塔框架中
。
[0005]随着深度学习的发展，基于学习的方法也被广泛的应用到特征提取任务中
。DetNet
是学习局部协变特征的第一个通用方法，该方法将检测任务转换为回归问题，然后推导出协方差约束，自动学习稳定锚点，用于几何变换下的局部特征检测
。Quad
‑
net
通过单一实值响应函数实现变换不变分位数排序下的关键点检测，通过优化可重复排序，使其能够完全从头学习检测器
。
为了节约资源，减少计算成本，
D2
‑
Net
和
DFM
使用在目标检测
、
图像分类等任务中表现优异的预训练的神经网络作为特征提取器，也取得了非常好的效果
。
然而，它们所提取到的特征点的数量和质量不足，导致了对最终匹配效果的影响
。

技术实现思路

[0006]本专利技术的目的在于克服现有方法在有效特征数量不足情况下，在非平面图像中获得的准确率不够高的问题，因此提供一种基于内容感知和剪枝的图像特征匹配方法，该方法具有良好的特征匹配性能
。
[0007]为实现上述目的，本专利技术的技术方案是：一种基于内容感知和剪枝的图像特征匹配方法，首先，在特征提取器之前使用一个由完全卷积网络和掩膜预测器组成的块，对输入图像的特征进行加权，以加强对局部有效特征的提取；其次，为获得更加准确的匹配特征对，使用匹配对剪枝方法进行误匹配剔除
。
[0008]在本专利技术一实施例中，该方法具体包括两个阶段：
[0009]第一阶段：
[0010]首先，使用预先训练好的特征提取器
VGG
‑
19
从输入图像
I
A
和
I
B
中提取特征；然后，在最后一层特征图上使用密集近邻搜索
DNNS
初始化对应关系；第三，利用对应关系进行单应性矩阵预对准估计；
[0011]第二阶段：
[0012]首先，将预对齐结果输入到由内容感知块和
VGG
‑
19
组成的特征提取器中进行特征提取；其次，采用
DNNS
进行特征匹配；然后，利用
CLNet
对错误匹配进行剔除，得到结果
。
[0013]在本专利技术一实施例中，所述单应性矩阵采用的是鲁棒模型拟合方法
MAGSAC++
估计单应矩阵
H
BA
，
H
BA
用于扭曲图像
I
B
得到图像
I
Bwarped
。
[0014]在本专利技术一实施例中，使用神经网络作为特征提取器，并使用内容感知块来指导提取特征的过程；内容感知块使用预测的掩码来加权输入图像的特征，通过完整的卷积网络学习一个与输入图像大小相同的掩码，记为
M(
·
)
，即输入图像的特征映射
F(
·
)
的软权值；内容感知块的输出如下：
[0015]G(x)
＝
M(x)*F(x)
[0016]其中
x
是输入图像；
[0017]内容感知块由特征提取器
f(
·
)
和掩码预测器
m(
·
)
组成；对于输入图像对，使用特征提取器
f(
·
)
构造初始特征映射
F
A
和
F
B
，使用掩码预测器预测概率映射
M
A
和
M
B
，然后对
F
A
和
F
B
用
M
A
和
M
B
进行加权，得到加权特征映射
G
A
和
G
B
；
G
A
和
G
B
作为
VGG
‑
19
的输入，获取匹配任务所需的特征
。
[0018]在本专利技术一实施例中，所述特征提取器由全卷积层组成，从输入图像中提取特征以形成初始特征映射，它包含
3*3
核的3个完全卷积层；特征提取器接受大小为
H*W*1
的输入图像，并获得大小为
H*W*C
的特征映射，其中
C
表示通道数；对于输入图像对
I
A
和
I
B
，特征提取器共享权重生成
F
A
和
F
B
，即
[0019]F
i
＝
f(I
i
),i∈{A,B}。
[0020]在本专利技术一实施例中，所述掩膜预测器
m(...

【技术保护点】

【技术特征摘要】
1.
一种基于内容感知和剪枝的图像特征匹配方法，其特征在于，首先，在特征提取器之前使用一个由完全卷积网络和掩膜预测器组成的块，对输入图像的特征进行加权，以加强对局部有效特征的提取；其次，为获得更加准确的匹配特征对，使用匹配对剪枝方法进行误匹配剔除
。2.
根据权利要求1所述的基于内容感知和剪枝的图像特征匹配方法，其特征在于，该方法具体包括两个阶段：第一阶段：首先，使用预先训练好的特征提取器
VGG
‑
19
从输入图像
I
A
和
I
B
中提取特征；然后，在最后一层特征图上使用密集近邻搜索
DNNS
初始化对应关系；第三，利用对应关系进行单应性矩阵预对准估计；第二阶段：首先，将预对齐结果输入到由内容感知块和
VGG
‑
19
组成的特征提取器中进行特征提取；其次，采用
DNNS
进行特征匹配；然后，利用
CLNet
对错误匹配进行剔除，得到结果
。3.
根据权利要求2所述的基于内容感知和剪枝的图像特征匹配方法，其特征在于，所述单应性矩阵采用的是鲁棒模型拟合方法
MAGSAC++
估计单应矩阵
H
BA
，
H
BA
用于扭曲图像
I
B
得到图像
I
Bwarped
。4.
根据权利要求2所述的基于内容感知和剪枝的图像特征匹配方法，其特征在于，使用神经网络作为特征提取器，并使用内容感知块来指导提取特征的过程；内容感知块使用预测的掩码来加权输入图像的特征，通过完整的卷积网络学习一个与输入图像大小相同的掩码，记为
M(
·
)
，即输入图像的特征映射
F(
·
)
的软权值；内容感知块的输出如下：
G(x)
＝
M(x)*F(x)
其中
x
是输入图像；内容感知块由特征提取器
f(
·
)
和掩码预测器
m(
·
)
组成；对于输入图像对，使用特征提取器
f(
·
)
构造初始特征映射
F
A
...

【专利技术属性】
技术研发人员：赖桃桃，李佐勇，王伟策，陈新伟，刘伟霞，
申请(专利权)人：闽江学院，
类型：发明
国别省市：