【技术实现步骤摘要】
基于联合特征重组和特征混合的兴趣点、描述符提取方法
本专利技术属于计算机视觉领域，具体涉及一种基于联合特征重组和特征混合的兴趣点、描述符提取方法、系统、装置。
技术介绍
长期以来，利用图像兴趣点及其局部特征描述符来寻找图像之间的正确对应关系是许多基于视觉的应用的基础，如视觉定位和图像检索等。然而，随着行业的快速发展，这些应用需要处理更复杂和困难的场景。由于图像兴趣点检测和描述是这些高级算法的关键组成部分，因此迫切需要进一步提高其精度，这具有重要的意义。在过去的二十年里，有很多优秀的算法被提出来解决上述问题。无论是传统的基于统计和基于滤波的方法，还是基于深度学习的方法，都取得了重大突破。特别是基于深度学习的算法，如SuperPoint、D2-net、R2D2极大地提高了兴趣点检测和局部特征描述的准确性。然而，以前的方法主要关注于更好的基于深度学习的范式来解决这个问题，而略忽略了网络架构设计。而在其他视觉应用中提出的比较优秀的网络架构，如分类、目标检测、分割等，都不适用于图像兴趣点检测或局部特征描述。因此，本专利技术提出...
【技术保护点】
1.一种基于联合特征重组和特征混合的兴趣点、描述符提取方法，其特征在于，该方法包括：/n步骤S100，获取待提取的图像，作为输入图像，并通过特征提取网络提取该图像的多尺度特征图；所述特征提取网络基于残差网络构建；/n步骤S200，对各特征图进行像素重组，并通过卷积、非线性映射，得到得分图Scoremap；基于所述得分图，通过非最大抑制得到兴趣点；/n步骤S300，对所述输入图像中各像素点，获取其在多尺度特征图相应位置的特征向量并进行连接；通过N个连接层对连接后的特征向量进行过滤并压缩，得到各像素点对应的描述符；其中，N为正整数；/n所述描述符其对应的提取网络的损失函数的构建...
【技术特征摘要】
1.一种基于联合特征重组和特征混合的兴趣点、描述符提取方法，其特征在于，该方法包括：
步骤S100，获取待提取的图像，作为输入图像，并通过特征提取网络提取该图像的多尺度特征图；所述特征提取网络基于残差网络构建；
步骤S200，对各特征图进行像素重组，并通过卷积、非线性映射，得到得分图Scoremap；基于所述得分图，通过非最大抑制得到兴趣点；
步骤S300，对所述输入图像中各像素点，获取其在多尺度特征图相应位置的特征向量并进行连接；通过N个连接层对连接后的特征向量进行过滤并压缩，得到各像素点对应的描述符；其中，N为正整数；
所述描述符其对应的提取网络的损失函数的构建方法为：
基于获取的样本图像，作为第一图像；通过预设的多种图像变换方法对所述第一图像进行复合变换，变换后合成新的图像作为第二图像；
在所述第一图像中均匀采样M个像素点，作为第一像素点，并采样各第一像素点在第二图像中对应的像素点，作为第二像素点；提取各第一像素点、第二像素点的描述符；
计算第一像素点与第二像素点的描述符的距离，作为第一距离；并计算各第一像素点与第三像素点的描述符的距离，作为第二距离；所述第三像素点为第二图像中除第二像素点之外，与第一像素点的描述符距离最小，与第二像素点距离小于设定的阈值的像素点；
结合所述第一距离、所述第二距离，构建描述符损失函数。
2.根据权利要求1所述的基于联合特征重组和特征混合的兴趣点、描述符提取方法，其特征在于，所述残差网络不包括最大池化层，其提取的多尺度特征图与输入图像的宽、高分别为：
h＝hm×2m
w＝wm×2m
其中，h表示输入图像的高，w表示输入图像的宽，hm表示第m次卷积的特征图的高，wm表示第m次卷积的特征图的宽，m表示卷积的次数。
3.根据权利要求2所述的基于联合特征重组和特征混合的兴趣点、描述符提取方法，其特征在于，所述输入图像中各像素点其在多尺度特征图中的相应位置的计算方法为：
p(m)＝p/2m＝[x/2m,y/2m]T
其中，p(m)表示第m次卷积的特征图中像素点的位置，T表示转置，x,y表示输入图像中像素点的坐标。
4.根据权利要求1所述的基于联合特征重组和特征混合的兴趣点、描述符提取方法，其特征在于，所述预设的多种图像变换方法包括平移变换、比例变换、平面内旋转变换以及在预先设定的范围内的对称透视变形。
5.根据权利要求3所述的基于联合特征重组和特征混合的兴趣点、描述符提取方法，其特征在于，所述描述符损失函数为：
其中，Ltriplet(D,D',V)表示第一图像、第二图像各像素点对应描述符总的损失，D表示第一图像各像素点...
【专利技术属性】
技术研发人员：徐士彪，张宇阳，孟维亮，张吉光，张晓鹏，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。