一种图像特征点提取方法及系统技术方案

本发明专利技术涉及一种图像特征点提取方法及系统，先构建初始特征点提取模型，初始特征点提取模型包括特征提取模块，特征提取模块包括多尺度卷积层和可变形卷积层。利用训练数据集对初始特征点提取模型进行训练，得到训练后特征点提取模型。将待处理图像输入训练后特征点提取模型，即可提取待处理图像的特征点。本发明专利技术通过在特征点提取模型中引入多尺度卷积层和可变形卷积层，能够融合多尺度的图像特征信息，并能够更好的描述图像局部特征，解决缺乏多尺度信息的融合且会破坏局部纹理的完整性的问题，从而实现精确而鲁棒的特征点提取，对图像特征提取的研究与实际应用具有重要的理论和实践价值。论和实践价值。论和实践价值。

【技术实现步骤摘要】
一种图像特征点提取方法及系统


[0001]本专利技术涉及图像处理
，特别是涉及一种基于多尺度卷积和可变形卷积的图像特征点提取方法及系统。

技术介绍

[0002]随着计算机硬件的快速发展和大数据时代的来临，计算机视觉领域获得了蓬勃的发展。图像特征点检测任务是计算机视觉领域的底层任务，对许多更高层的任务起到至关重要的支撑作用，精确且鲁棒的特征点检测，能提升如三维重建、视觉SLAM、图像配准等任务的精度。因此，如何在复杂环境下精确鲁棒地检测图像中的特征点是计算机视觉技术在实际应用中亟待解决的难题。
[0003]随着深度学习的兴起，卷积神经网络在计算机视觉领域开始广泛应用，如何利用深度学习进行特征点检测、描述和匹配也成为了研究的热点。根据深度学习在这些研究中起到的作用，可以将其分为三类：使用传统算法检测的特征点作为监督信息进行训练的方法，采用自监督特征描述网络+手工筛选特征点的方法，和采用自监督方式同时训练特征点检测和描述网络的方法。由于采用SIFT等传统策略提取的特征进行监督会导致特征点检测网络的上限被选用作为监督的人工设计检测器所限制，无法取得更优的效果，因此，采用自监督方式训练网络完成特征提取成为了利用深度学习提取特征点任务中的主流方法。但在特征点的提取过程中，卷积神经网络每一层的尺度变化较大，且只能以固定尺寸的卷积核对输入的特征图进行卷积，缺乏多尺度信息的融合；同时，图像局部的纹理形状并不规则，导致卷积层提取时可能引入无关信息、破坏局部纹理的完整性。所以如何融合多尺度的图像特征信息、更好的描述图像局部特征成为提高特征点提取网络性能的关键。
[0004]基于此，亟需一种精确而鲁棒的特征点提取方法及系统。

技术实现思路

[0005]本专利技术的目的是提供一种图像特征点提取方法及系统，通过在特征点提取模型中引入多尺度卷积层和可变形卷积层，能够融合多尺度的图像特征信息，并能够更好的描述图像局部特征，从而实现精确而鲁棒的特征点提取。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种图像特征点提取方法，所述提取方法包括：
[0008]构建初始特征点提取模型；所述初始特征点提取模型包括特征提取模块；所述特征提取模块包括多尺度卷积层和可变形卷积层；
[0009]利用训练数据集对所述初始特征点提取模型进行训练，得到训练后特征点提取模型；所述训练数据集包括多张训练用图像；
[0010]将待处理图像输入所述训练后特征点提取模型，提取所述待处理图像的特征点。
[0011]一种图像特征点提取系统，所述提取系统包括：
[0012]模型构建模块，用于构建初始特征点提取模型；所述初始特征点提取模型包括特
征提取模块；所述特征提取模块包括多尺度卷积层和可变形卷积层；
[0013]训练模块，用于利用训练数据集对所述初始特征点提取模型进行训练，得到训练后特征点提取模型；所述训练数据集包括多张训练用图像；
[0014]提取模块，用于将待处理图像输入所述训练后特征点提取模型，提取所述待处理图像的特征点。
[0015]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0016]本专利技术用于提供一种图像特征点提取方法及系统，先构建初始特征点提取模型，初始特征点提取模型包括特征提取模块，特征提取模块包括多尺度卷积层和可变形卷积层。利用训练数据集对初始特征点提取模型进行训练，得到训练后特征点提取模型。将待处理图像输入训练后特征点提取模型，即可提取待处理图像的特征点。本专利技术通过在特征点提取模型中引入多尺度卷积层和可变形卷积层，能够融合多尺度的图像特征信息，并能够更好的描述图像局部特征，解决缺乏多尺度信息的融合且会破坏局部纹理的完整性的问题，从而实现精确而鲁棒的特征点提取，对图像特征提取的研究与实际应用具有重要的理论和实践价值。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本专利技术实施例1所提供的提取方法的方法流程图；
[0019]图2为本专利技术实施例1所提供的提取方法的原理图；
[0020]图3为本专利技术实施例1所提供的特征点提取模型的网络结构图；
[0021]图4为本专利技术实施例1所提供的卷积注意力子模块的网络结构图；
[0022]图5为本专利技术实施例1所提供的坐标注意力子模块的网络结构图；
[0023]图6为本专利技术实施例2所提供的提取系统的系统框图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]本专利技术的目的是提供一种图像特征点提取方法及系统，通过在特征点提取模型中引入多尺度卷积层和可变形卷积层，能够融合多尺度的图像特征信息，并能够更好的描述图像局部特征，从而实现精确而鲁棒的特征点提取。
[0026]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0027]实施例1：
[0028]本实施例用于提供一种图像特征点提取方法，其为一种采用自监督方式训练的特
征点提取方法，能实现多尺度、鲁棒的特征点提取。如图1和图2所示，本实施例的提取方法包括：
[0029]S1：构建初始特征点提取模型；所述初始特征点提取模型包括特征提取模块；所述特征提取模块包括多尺度卷积层和可变形卷积层；
[0030]S2：利用训练数据集对所述初始特征点提取模型进行训练，得到训练后特征点提取模型；所述训练数据集包括多张训练用图像；
[0031]S3：将待处理图像输入所述训练后特征点提取模型，提取所述待处理图像的特征点。
[0032]本实施例的待处理图像可以为以不同角度对同一自然场景进行拍照后得到的自然图像，具体可包括利用相机在第一角度下对自然场景进行拍照所得到的第一自然图像和利用相机在第二角度下对自然场景进行拍照所得到的第二自然图像，且第一自然图像和第二自然图像部分重叠。在S3中，将两张待处理图像均输入至训练后特征点提取模型，分别获取获取第一自然图像的第一特征点和第二自然图像的第二特征点。对第一特征点和第二特征点进行匹配，并利用匹配成功的特征点对计算第一自然图像和第二自然图像间的变换矩阵，根据该变换矩阵对第一自然图像和第二自然图像进行拼接，即可得到关于该自然场景的广角图像。
[0033]S1中，多尺度卷积的思想为：在同一层卷积层中，对不同的通道采用不同步长或空洞率的卷积核进行特征提取并进行融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像特征点提取方法，其特征在于，所述提取方法包括：构建初始特征点提取模型；所述初始特征点提取模型包括特征提取模块；所述特征提取模块包括多尺度卷积层和可变形卷积层；利用训练数据集对所述初始特征点提取模型进行训练，得到训练后特征点提取模型；所述训练数据集包括多张训练用图像；将待处理图像输入所述训练后特征点提取模型，提取所述待处理图像的特征点。2.根据权利要求1所述的提取方法，其特征在于，所述初始特征点提取模型还包括特征点检测模块和描述子提取模块；所述特征点检测模块和所述描述子提取模块均与所述特征提取模块相连接；所述特征提取模块用于提取输入图像的特征；所述特征点检测模块用于基于所述特征确定所述输入图像中每一像素点为特征点的概率；所述描述子提取模块用于基于所述特征确定所述输入图像中每一像素点的特征描述符。3.根据权利要求2所述的提取方法，其特征在于，所述特征点检测模块包括特征点重复度子模块和特征点置信度子模块；所述特征点重复度子模块用于基于所述特征计算所述输入图像中每一像素点对应的局部特征区域在图像范围内的重复程度；所述特征点置信度子模块用于基于所述特征计算所述输入图像中每一像素点为特征点的置信度；所述每一像素点为特征点的概率即为所述像素点对应的局部特征区域在图像范围内的重复程度和所述像素点为特征点的置信度的乘积。4.根据权利要求3所述的提取方法，其特征在于，所述特征提取模块还包括第一卷积层、第二卷积层和第三卷积层；所述第一卷积层、所述第二卷积层、所述第三卷积层、所述多尺度卷积层和所述可变形卷积层顺序连接；所述特征点重复度子模块包括依次连接的第四卷积层和第一L2正则化层；所述特征点置信度子模块包括依次连接的第五卷积层和第二L2正则化层；所述描述子提取模块包括第三L2正则化层。5.根据权利要求4所述的提取方法，其特征在于，所述特征提取模块还包括卷积注意力子模块和坐标注意力子模块；所述卷积注意力子模块连接于所述多尺度卷积层和所述可变形卷积层之间；所述多尺度卷积层分别通过第一连接通道和第二连接通道与所述卷积注意力子模块相连接；所述卷积注意力子模块还与所述可变形卷积层相连接；所述坐标注意力子模块连接于所述可变形卷积层和所述特征提取模块的输出端之间；所述可变形卷积层分别通过第三连接通道和第四连接通道与所述坐标注意力子模块相连接；所述坐标注意力子模块还与所述特征提取模块的输出端相连接。6.根据权利要求1所述的提取方法，其特征在于，所述可变形卷积层为受单应矩阵约束的可变形卷积层；其中，计算所述可变形卷积层对应的单应矩阵包括：对用于计算所述单应矩阵的多个采样点进行尺度标准化变换，得到变换后参数；
基于所述变换后参数，利用DLT算法计算所述单应矩阵的参数，得到所述可变形卷积层对应的单应矩阵。7.根据权利要求1所述的提取方法，其特征在于，在利用训练数据集对所述初始...

【专利技术属性】
技术研发人员：汪志涛，胡健萌，卢勇，唐德军，唐崇伟，谢勇，
申请(专利权)人：上海智能交通有限公司，
类型：发明
国别省市：