一种基于融合手工特征与深度特征的图像匹配方法组成比例

本发明专利技术公开了一种基于融合手工特征与深度特征的图像匹配方法，包括以下步骤：提取图像的手工特征生成手工特征描述符，对所得特征描述符进行L1归一化并对每一个元素求平方根；重新构建彩色图像的尺度金字塔，在相应金字塔层上提取局部图像块，并将图像块旋转至主方向；使用坐标注意力残差网络CAR

【技术实现步骤摘要】
一种基于融合手工特征与深度特征的图像匹配方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于融合手工特征与深度特征的图像匹配方法。

技术介绍

[0002]图像匹配以其在机器视觉中的基础性地位，在图像匹配、图像拼接等诸多领域应用广泛。传统的图像匹配算法主要基于手工设计的特征，可解释性更强，但无法提取高层语义，在有些任务中性能不佳。一种异源图像精确匹配方法(CN201910298603.7)为了利用角点、纹理等特征，结合了SIFT特征、基于角点的形状上下文特征、LPQ特征等传统特征提取方法，用于异源图像的精确匹配。由于特征的语义较浅，当图像更复杂时，匹配性能将很受影响。随着深度学习技术的发展，以深度学习为代表目标检测算法，因其对形态、纹理等复杂特征的较强的特征提取能力，大大提高了匹配的性能和准确率，但其需要大量场景样本和计算资源用于训练和推理阶段，精度与计算能力和样本数呈正相关，从而限制了其应用场景。一种基于深度学习的局部特征提取方法(CN 202110611600.1)，性能优于最新的方法。但其训练数据集就打数十万张，这对于大多数场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合手工特征与深度特征的图像匹配方法，其特征在于，包括以下步骤：S1、提取图像的手工特征并生成手工特征描述符，对所得特征描述符应用Hellinger核进行L1归一化并对每一个元素求平方根；S2、对特征点进行筛选后，重新构建彩色图像的尺度金字塔，并围绕特征点在相应金字塔层上提取局部图像块，并将图像块旋转至主方向；S3、训练坐标注意力残差网络CAR
‑
HyNet模型，并使用三元损失训练出最优模型；S4、使用训练后的坐标注意力残差网络CAR
‑
HyNet模型对局部图像块提取深度特征，并生成深度特征描述符；S5、使用特征匹配算法，提取用于表征手工特征的手工特征描述符与用于表征深度特征的深度特征描述符双方对特征点的置信程度，将手工特征描述符与深度特征描述符在欧式空间中进行决策级融合，生成新的包含潜在匹配对的特征点；S6、筛选待配对图像中正确匹配的特征，去除误匹配点，得到包含两幅待配对图像中正确匹配的特征点对。2.根据权利要求1所述的基于融合手工特征与深度特征的图像匹配方法，其特征在于，步骤S1包括以下步骤：S101、使用SIFT算法构建尺度空间并检测极值点；S102、定位特征关键点并确定特征关键点方向，幅值m(x，y)与幅角θ(x，y)的计算公式如下，其中，L(
·
)表示高斯拉普拉斯算子；)表示高斯拉普拉斯算子；S103、使用SIFT算法生成128维的用于表征手工特征的手工特征描述符(请说明如何生成)；S104、使用Hellinger核对特征描述符进行L1归一化并对每一个元素求平方根，Hellinger核为：其中，n表示特征描述符的维度，x和y分别是两个具有欧氏距离规范的n维特征描述符，x
i
和y
i
分别表示第i维的值，H(x，y)表示x和y的Hellinger值。3.根据权利要求1所述的基于融合手工特征与深度特征的图像匹配方法，其特征在于，步骤S2包括以下步骤：S201、以检测到的特征点的强度进行降序排序；S202、使用中心点距离交并比非极大值抑制算法DIOU
‑
NMS计算每个特征点的分类置信度，剔除异常点，防止特征点过多拥挤在一个区域，公式如下：度，剔除异常点，防止特征点过多拥挤在一个区域，公式如下：
其中，s
i
是分类置信度，∈为NMS阈值，M为最高强度的框，B
i
为不同框的强度值，R
DIOU
(M，B
i
)为两个框中心点之间的距离，其中，b和b
gt
表示预测框B和真实框B
gt
的中心点，ρ(
·
)为欧几里德距离，c为覆盖这两个框的最小包围框的对角线长度，IoU表示预测框与真实框的交并比；S203、再次以经DIOU
‑
NMS筛选后的特征点的强度进行降序排序，按照强度从高到底保留指定数量的特征点，从而控制特征点数量；S204、根据SIFT构建尺度金字塔的方式，重建彩色图像的尺度金字塔；S205、根据特征点尺度信息选取所在金字塔层，以特征点为中心，以a*a像素为边长，裁剪出a*a的局部区域图像块，并缩放尺寸至b*bghyS206、根据特征点的角度信息，将图像块旋转至主方向。4.根据权利要求1所述的基于融合手工特征与深度特征的图像匹配方法，其特征在于，所述坐标注意力残差网络CAR
‑
HyNet模型以基于卷积神经网络HyNet为基础，在layer1层中的第三个block块和layer2层的第二个block块中增加坐标注意力模块CoorAtt以增强对位置信息的关注，在layer3层和layer6层添加坐标注意力沙漏模块，并以残差方式连接。5.根据权利要求4所述的基于融合手工特征与深度特征的图像匹配方法，其特征在于，坐标注意力模块的最终输出为：其中，i∈[0，W)，j∈[0，H)表示所处在水平和垂直方向上的位置，x
c
(i，j)为在通道c处、水平i处、垂直j处的特征值，和分别为通道c处...

【专利技术属性】
技术研发人员：宋县锋，施政，邹毅，王彦杰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：