【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种图像特征检测方法及系统。
技术介绍
1、在图像中检测和描述兴趣点是许多机器人系统的基本组成部分。同步定位与地图构建(slam)、运动恢复结构(sfm)等领域的研究具有很高的关注度，这些领域需要能够在各种场景下进行检测和重新识别的点，包括照明变化和视角变化。传统上，这些任务依赖于手工设计的特征，如sift、brief或orb，这可能限制在挑战性情况下的性能。随着深度学习方法在计算机视觉领域取得突破，在兴趣点检测和描述方面有了很多值得注意的工作。这些工作显著提高了机器人系统的性能。
2、尽管深度学习的进步带来了改善，但在对有限计算资源的机载设备上部署时，面对诸如多机器人slam和协作定位等多机器人系统的日益关注，这些网络遇到了困难，使得实时处理成为一项挑战。此外，在某些情况下，机器人可能配备多个摄像头，这就需要更多的计算资源。此外，这些描述符是使用浮点数表示的高维度数据来表示单个点。高维度导致在机器人之间传输这些描述符时产生了沉重的通信负担。一些工作采用主成分分析(pca)来压缩描述符。然而，这种方法并没有加速网络推断，并且需要事先收集数据进行pca。因此，迫切需要快速的点检测和紧凑的描述方法，以减轻机载边缘设备之间的通信负担。
3、传统的兴趣点检测算法如shi-tomasi和fast，在与手工设计的描述符(如sift和orb)相结合时，在机器人系统中仍然发挥着重要作用。近年来，深度学习的兴起导致了对稳健的点检测和不变性描述的大量研究。一些研究人员将点检测视为分类问题，而其
4、然而，在机器人上实现神经网络，尤其是大型模型，由于计算资源有限，导致实时执行变得具有挑战性。为了应对这个问题，许多研究都致力于提高效率和减少参数，从而开发了轻量级模型架构，如mobilenet、efficientnet和fasternet。已经进行了许多努力，将兴趣点检测和描述网络提炼为轻量级模型架构。在计算资源有限的平台上，也进行了模型量化的研究，以加速推断过程。
5、此外，随着对多机器人或多相机应用的需求不断增加，对紧凑本地描述符的迫切需求也日益增长。经典方法通常使用256维描述符，例如sift和superpoint。在disk中提出了紧凑描述符的方法。然而，即使这些紧凑描述符在通信需求方面已经有所改善，但仍然要求较高。另一种方法是使用二进制描述符，它可以减轻通信负担，但与浮点描述符相比可能存在性能限制。还有一种技术是使用主成分分析(pca)对描述符进行压缩以进行通信和存储。综上，尽管现有技术已经取得了一些进展，但仍然需要更快、更轻的神经网络来直接生成更紧凑的描述符。
技术实现思路
1、鉴于以上问题，本专利技术提出一种图像特征检测方法及系统，以力图解决或缓解上述一个或多个问题。
2、根据本专利技术的一方面，提出一种图像特征检测方法，该方法包括以下步骤：
3、获取多组图像的特征点和对应的描述子；
4、基于fasternet模块构建图像特征检测模型，并将多组图像的特征点和对应的描述子输入所述图像特征检测模型中进行训练，获取训练好的图像特征检测模型；
5、将待检测图像输入训练好的图像特征检测模型中，获取待检测图像的特征点和描述子。
6、进一步地，所述图像特征检测模型包括共享编码器、检测解码器和描述解码器；其中，所述共享编码器用于将输入的灰度图处理成特征图并输出至所述检测解码器和所述描述解码器，包括patch嵌入层和两个fasternet模块；所述检测解码器用于检测特征图中特征点的位置，包括一个fasternet模块和一个卷积层；所述描述解码器用于采样特征点对应的描述子，包括patch合并层、两个fasternet模块和两个卷积层。
7、进一步地，所述共享编码器中所述patch嵌入层为4×4的卷积层，步长为4；所述描述解码器中所述patch合并层为2×2的卷积层，步长为2；所述卷积层包括深度卷积和点卷积。
8、进一步地，所述图像特征检测模型在训练过程中的损失函数包括特征点检测对应的损失和描述子检测对应的损失，其中，所述特征点检测对应的损失表示为：
9、
10、式中，p表示从给定图像中提取的所有像素块；xp和yp分别对应于像素块的检测输出位置和相应的标签，标签yp是一个大小为k×k的二进制向量，其中每个元素的取值是0或1；unfoldsoftmax(xp；yp)表示将特征图展开成向量，然后在每个向量中添加0作为垃圾桶元素，然后计算交叉熵；
11、所述描述子检测对应的损失表示为：
12、
13、式中，b是图像批量大小，m表示批量中描述子总数；||•||f表示frobenius范数；db,s与db,t分别表示一批图像中第b张图片的学生与教师描述子，rb表示学生与教师描述子间的最优投影矩阵。
14、进一步地，在训练之前，对获取的每个图像对应的所有描述子分别进行压缩。
15、进一步地，在获取待检测图像的特征点和描述子后，若描述子为单精度或半精度浮点数，则按照下述公式将描述子量化为int8或int4表示形式：
16、
17、其中，d和dq分别表示描述子和其对应的量化描述子；qmax表示指定量化的最大整数值；符号表示取整函数，||•||∞表示向量的无穷范数。
18、进一步地，通过superpoint方法获取多组图像的特征点和对应的描述子。
19、根据本专利技术的另一方面，提出一种图像特征检测系统，该系统包括：
20、特征训练集获取模块，其配置成获取多组图像的特征点和对应的描述子；
21、特征检测模型训练模块，其配置成基于fasternet模块构建图像特征检测模型，并将多组图像的特征点和对应的描述子输入所述图像特征检测模型中进行训练，获取训练好的图像特征检测模型；
22、特征检测模块，其配置成将待检测图像输入训练好的图像特征检测模型中，获取待检测图像的特征点和描述子。
23、进一步地，所述图像特征检测模型包括共享编码器、检测解码器和描述解码器；其中，所述共享编码器用于将输入的灰度图处理成特征图并输出至所述检测解码器和所述描述解码器，包括patch嵌入层和两个fasternet模块；所述检测解码器用于检测特征图中特征点的位置，包括一个fasternet模块和一个卷积层；所述描述解码器用于采样特征点对应的描述子，包括patch合并层、两个fasternet模块和两个卷积层；所述共享编码器中所述pat本文档来自技高网...
【技术保护点】
1.一种图像特征检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种图像特征检测方法，其特征在于，所述图像特征检测模型包括共享编码器、检测解码器和描述解码器；其中，所述共享编码器用于将输入的灰度图处理成特征图并输出至所述检测解码器和所述描述解码器，包括Patch嵌入层和两个FasterNet模块；所述检测解码器用于检测特征图中特征点的位置，包括一个FasterNet模块和一个卷积层；所述描述解码器用于采样特征点对应的描述子，包括Patch合并层、两个FasterNet模块和两个卷积层。
3.根据权利要求2所述的一种图像特征检测方法，其特征在于，所述共享编码器中所述Patch嵌入层为4×4的卷积层，步长为4；所述描述解码器中所述Patch合并层为2×2的卷积层，步长为2；所述卷积层包括深度卷积和点卷积。
4.根据权利要求1-3中任一项所述的一种图像特征检测方法，其特征在于，所述图像特征检测模型在训练过程中的损失函数包括特征点检测对应的损失和描述子检测对应的损失，其中，所述特征点检测对应的损失表示为：
5.根据权利要求1-
6.根据权利要求1-3中任一项所述的一种图像特征检测方法，其特征在于，在获取待检测图像的特征点和描述子后，若描述子为单精度或半精度浮点数，则按照下述公式将描述子量化为INT8或INT4表示形式：
7.根据权利要求1所述的一种图像特征检测方法，其特征在于，通过SuperPoint方法获取多组图像的特征点和对应的描述子。
8.一种图像特征检测系统，其特征在于，包括：
9.根据权利要求8所述的一种图像特征检测系统，其特征在于，所述图像特征检测模型包括共享编码器、检测解码器和描述解码器；其中，所述共享编码器用于将输入的灰度图处理成特征图并输出至所述检测解码器和所述描述解码器，包括Patch嵌入层和两个FasterNet模块；所述检测解码器用于检测特征图中特征点的位置，包括一个FasterNet模块和一个卷积层；所述描述解码器用于采样特征点对应的描述子，包括Patch合并层、两个FasterNet模块和两个卷积层；所述共享编码器中所述Patch嵌入层为4×4的卷积层，步长为4；所述描述解码器中所述Patch合并层为2×2的卷积层，步长为2；所述卷积层包括深度卷积和点卷积。
10.根据权利要求8或9所述的一种图像特征检测系统，其特征在于，所述特征检测模型训练模块中所述图像特征检测模型在训练过程中的损失函数包括特征点检测对应的损失和描述子检测对应的损失，其中，所述特征点检测对应的损失表示为：
...【技术特征摘要】
1.一种图像特征检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种图像特征检测方法，其特征在于，所述图像特征检测模型包括共享编码器、检测解码器和描述解码器；其中，所述共享编码器用于将输入的灰度图处理成特征图并输出至所述检测解码器和所述描述解码器，包括patch嵌入层和两个fasternet模块；所述检测解码器用于检测特征图中特征点的位置，包括一个fasternet模块和一个卷积层；所述描述解码器用于采样特征点对应的描述子，包括patch合并层、两个fasternet模块和两个卷积层。
3.根据权利要求2所述的一种图像特征检测方法，其特征在于，所述共享编码器中所述patch嵌入层为4×4的卷积层，步长为4；所述描述解码器中所述patch合并层为2×2的卷积层，步长为2；所述卷积层包括深度卷积和点卷积。
4.根据权利要求1-3中任一项所述的一种图像特征检测方法，其特征在于，所述图像特征检测模型在训练过程中的损失函数包括特征点检测对应的损失和描述子检测对应的损失，其中，所述特征点检测对应的损失表示为：
5.根据权利要求1-3中任一项所述的一种图像特征检测方法，其特征在于，在训练之前，对获取的每个图像对应的所有描述子分别进行压缩。
6.根据权利要求1-3中任一项所述的一种图像特征检测方法，其特征...
【专利技术属性】
技术研发人员：姚昊迪，贺风华，郝宁，谢忱，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。