【技术实现步骤摘要】
基于多层特征自身差异融合的动态特征提取与描述方法
[0001]本专利技术属于图像处理领域，更具体地，涉及一种基于多层特征自身差异融合的动态特征提取与描述方法。
技术介绍
[0002]检测和描述不同图像之间的像素级对应关系是许多计算机视觉应用的基础任务，例如图像匹配、视觉定位、三维重建以及图像拼接等。在这些应用中，通常存在光照、噪声、模糊、旋转、尺度、仿射、遮挡等干扰，这些干扰会使得可找到的像素级对应较少或错误较多，影响最终的应用效果。因此，提取可重复的关键点以及可区分的、鲁棒的描述子是许多视觉任务的基础和关键。
[0003]联合特征提取与描述是目前主流的图像匹配方法，使用一个网络来同时输出关键点和描述子，简化了传统匹配的流程，并且可以获得更加全局的信息，有助于提高描述子的鲁棒性以及获得更多的对应关系。
[0004]目前，大多数联合特征提取与描述的匹配方法由于关键点检测分值图感受野较大而产生了较低的关键点检测精度，从而限制了匹配精度和下游任务的效果。并且，由于关键点坐标的离散性和不可导性，现有方法缺乏直接针对关...
【技术保护点】
【技术特征摘要】
1.一种基于多层特征自身差异融合的动态特征提取与描述模型的构建方法，其特征在于，包括：S1，搭建特征提取与描述模型；其中，所述特征提取与描述模型包括：特征提取模块，用于对输入的图像进行特征提取，得到不同层级的特征图；多层特征自身差异检测模块，用于根据某一层级的特征图，计算每个像素特征维度各特征值与平均特征值之间的差异，以得到对应层级的特征自身差异分值图；并将若干层级的特征自身差异分值图进行融合，得到关键点检测分值图；S2，计算损失函数，并将损失反向传播训练所述特征提取与描述模型；所述损失函数包括关键点检测精确度损失函数和回归精确度损失函数，所述关键点检测精确度损失函数表征第一关键点检测分值图和第二关键点检测分值图划分的对应patch分别通过softargmax回归得到的近似可导极大值点坐标之间的平均距离，其中，第一关键点检测分值图为第一图像通过特征提取与描述模型得到的关键点检测分值图，所述第二关键点检测分值图为根据同一场景下的第一图像和第二图像之间的真值匹配图映射的所述第二图像的关键点检测分值图；所述回归精确度损失函数表征关键点检测分值图划分的各patch通过softargmax回归得到的近似可导极大值点坐标与通过argmax得到的不可导极大值点坐标之间的平均距离。2.根据权利要求1所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法，其特征在于，所述损失函数还包括正匹配比例损失函数和误匹配比例损失函数，所述正匹配比例损失函数用于训练特征提取与描述模型时通过使正样本和最难的负样本之间的比例尽可能小以增加正确匹配的数量；所述误匹配比例损失函数用于训练特征提取与描述模型时通过使难以成为正确匹配的点的最近邻与次近邻距离尽可能大，从而通过比例匹配过滤掉所述难以成为正确匹配的点。3.根据权利要求2所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法，其特征在于，令F和F
′
为第一图像I和第二图像I
′
的描述子特征图，选取第一关键点检测分值图S中最大的K个像素作为关键点，并且在描述子特征图F中选取这些关键点的描述子集D＝{d1,d2,d3,
…
,d
K
}；同时，根据真值匹配图M在描述子特征图F
′
中找到对应的描述子D
′
＝{d
′1,d
′2,d
′3,
…
,d
′
K
}；计算描述子集D与D
′
的欧氏距离得到大小为K
×
K的距离矩阵J，距离矩阵J对角线上的元素表示对应点对的描述子距离；所述正匹配比例损失函数表示为：其中，E(
·
)是度量两个描述子的欧氏距离函数，c
p
是常数系数，用于忽略已经被区分的比较好的样本，d
k
和d
′
k
是对应点的描述子，d
′
n
是D
′
中除了匹配对外与d
k
欧氏距离最小的描述子，d
n
【专利技术属性】
技术研发人员：杨华，姜宇扬，黄开基，尹周平，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。