【技术实现步骤摘要】
本专利技术涉及一种图像特征向量的获取方法，属于计算机视觉。
技术介绍
1、图像检索技术已经成为计算机视觉和视觉同步定位与地图构建vslam系统研究的焦点。图像检索的提出极大地提高了查询效率，允许通过一系列算法从基于查询图像的海量数据库中检索相似的图像，并对最相似的图像进行索引。
2、专利技术人实施现有技术发现，在图像检索早期，主要关注提取图像的全局描述符。然而，这种方法在面对光照变化、变形、遮挡、裁剪等情况时难以达到预期效果，造成局部信息丢失，导致图像检索精度低，限制了全局描述子算法的应用范围，对于全局描述子算法无法涉及到部分，局部特征描述符提取方法(如尺度不变特征变换sift/加速鲁棒特征surf)应运而生。尽管局部特征提取算法具有旋转、尺度和亮度不变性，对视点变化、仿射变换、噪声等具有一定稳定性，但该算法实时性差，有时提取的特征点较少，难以准确提取边缘光滑目标的特征点。此外，这些描述符是手工设计的，无法学习输入描述符。
3、因此，专利技术人通过研究后发现，现有的全局特征的提取方法会造成局部信息丢失，图像特征不够丰富全面，而现有局部特征的提取方法需要手工提取特征，且提取精度低。
技术实现思路
1、本公开的目的在于克服现有技术中的不足，提供一种图像特征全面提取、可学习输入描述符且提取精度优良的图像特征向量的获取方法。
2、为达到上述目的，本公开是采用下述技术方案实现的：
3、第一方面，本公开提供一种图像特征向量的获取方法，包括，>
4、将图像数据集分别输入resnet50卷积网路模型、mobilenet_v2卷积网路模型和convnext_t卷积网路模型中，并分别从对应的卷积网路模型中获得局部特征描述符；
5、将各局部特征描述符分别输入到mamsd模型的多头注意力网络，获取每个注意力头的特征向量，并进行融合，得到融合了所有注意力头的特征向量；
6、将各局部特征描述符分别输入到mamsd模型的多尺度融合网络，得到多尺度小模块，将多尺度小模块输入netvlad层得到每个尺度的特征向量，并对每个尺度的特征向量进行融合，得到融合了所有尺度的特征向量；
7、融合了所有注意力头的特征向量和融合了所有尺度的特征向量再次融合，得到特征图，根据所述特征图得到图像特征向量。
8、在第一方面的一些实施例中，所述将各局部特征描述符分别输入到mamsd模型的多头注意力网络，获取每个注意力头的特征向量，并进行融合，得到融合了所有注意力头的特征向量，包括，
9、通过线性变换将输入的局部特征描述符变换到dmodel维的特征向量；
10、将dmodel维的特征向量划分为与注意力头的数量相同的多个子向量；
11、每个子向量分别与查询矩阵、键矩阵和键矩阵相乘得到查询、键和值；
12、以查询、键和值作为计算参数，根据softmax函数来计算每个注意力头的得分；
13、根据得分融合所有注意力头，获得融合了所有注意力头的特征向量。
14、在第一方面的一些实施例中，所述以查询、键和值作为计算参数，根据softmax函数来计算每个注意力头的得分，包括，
15、所述每个注意力头的得分的计算公式如下：
16、
17、式中，i为注意力头的序号，h为注意力头的数量，headi为第i个注意力头的得分，qi为第i个注意力头的查询向量，ki为第i个注意力头的键向量，vi为第i个注意力头的值向量，dmodel为特征向量的维度，attention为注意力函数，t为向量ki的转置符。
18、所述根据得分融合所有注意力头，获得融合了所有注意力头的特征向量，包括，
19、所述融合了所有注意力头的特征向量的输出公式为：
20、mutilhead＝concat(head1,head2,...,headh)；
21、式中，concat为一种字符串连接函数，mutilhead是一种多头注意力机制函数。
22、在第一方面的一些实施例中，所述将各局部特征描述符分别输入到mamsd模型的多尺度融合网络，得到多尺度小模块，将多尺度小模块输入netvlad层得到每个尺度的特征向量，并对每个尺度的特征向量进行融合，得到融合了所有尺度的特征向量，包括，
23、采用表示所述小模块，小模块尺寸为dx×dy，j为小模块的序号，其中nm表示小模块的总数，mj、xj、yj均分别为第j个小模块的中心坐标，所述小模块的总数nm的计算公式为：
24、
25、式中，sm为设定的步幅，*为乘法符号，h和w分别为局部特征描述的维度。
26、在第一方面的一些实施例中，所述netvlad层通过vlad算法构造获得，获得netvlad层的方法包括：
27、获取vlad算法输出矢量：
28、使用softmax层对vlad算法中分配参数执行可微运算，得到netvlad算法，并作为netvlad层。
29、在第一方面的一些实施例中，所述并对每个尺度的特征向量进行融合，包括，使用基于所选择的融合方法的级联操作来融合来自不同尺度的特征向量，融合公式为：
30、f＝concat(f1,f2,...,fn)；
31、式中，f为融合了所有尺度的特征向量，concat为一种字符串连接函数，f1,f2,...,fn分别为从1到n的多个尺度的特征向量，n为不同尺度的特征向量的数量。
32、在第一方面的一些实施例中，所述根据特征图得到图像特征向量，包括，把得到的特征图正则化得到图像特征向量，所述正则化的选择包括intra正则化或l2正则化。
33、第二方面，本公开还提供一种电子终端，包括处理器以及与所述处理器连接的存储器，在所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，执行如第一方面实施例任一项所述图像特征向量的获取方法的步骤。
34、第三方面，本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面实施例任一项所述图像特征向量的获取方法的步骤。
35、第四方面，本公开还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面实施例中任一项所述的图像特征向量的获取方法的步骤。
36、与现有技术相比，本公开所达到的有益效果：
37、本公开提供的图像特征向量的获取方法，创造性地提出mamsd模型旨在解决传统图像检索中的局部信息丢失和手动提取特征的限制，通过卷积神经网络多头注意力机制和多尺度特征融合机制提高信息提取效率；在mamsd模型中引入netvlad层，更准确地描述图像的局部细节，便于提取更加全面和丰富的图像特征，进而提高图像特征向量的检索准确性和稳定性；通过resnet50卷积网路模型、mobilenet_v2卷积网路模型和con本文档来自技高网...
【技术保护点】
1.一种图像特征向量的获取方法，其特征是，
2.根据权利要求1所述图像特征向量的获取方法，其特征是，所述将各局部特征描述符分别输入到MAMSD模型的多头注意力网络，获取每个注意力头的特征向量，并进行融合，得到融合了所有注意力头的特征向量，包括，
3.根据权利要求2所述图像特征向量的获取方法，其特征是，所述以查询、键和值作为计算参数，根据softmax函数来计算每个注意力头的得分，包括，
4.根据权利要求1所述图像特征向量的获取方法，其特征是，所述将各局部特征描述符分别输入到MAMSD模型的多尺度融合网络，得到多尺度小模块，将多尺度小模块输入NetVLAD层得到每个尺度的特征向量，并对每个尺度的特征向量进行融合，得到融合了所有尺度的特征向量，包括，
5.根据权利要求4所述图像特征向量的获取方法，其特征是，所述NetVLAD层通过VLAD算法构造获得，获得NetVLAD层的方法包括：
6.根据权利要求4所述图像特征向量的获取方法，其特征是，所述对每个尺度的特征向量进行融合，包括，使用基于所选择的融合方法的级联操作来融合来自不
7.根据权利要求1所述图像特征向量的获取方法，其特征是，所述根据特征图得到图像特征向量，包括，把得到的特征图正则化得到图像特征向量，所述正则化的选择包括Intra正则化或L2正则化。
8.一种电子终端，其特征是，包括处理器以及与所述处理器连接的存储器，在所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，执行如权利要求1至7任一项所述图像特征向量的获取方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现权利要求1至7任一项所述图像特征向量的获取方法的步骤。
10.一种计算机程序产品，包括计算机程序/指令，其特征是，该计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述的图像特征向量的获取方法的步骤。
...【技术特征摘要】
1.一种图像特征向量的获取方法，其特征是，
2.根据权利要求1所述图像特征向量的获取方法，其特征是，所述将各局部特征描述符分别输入到mamsd模型的多头注意力网络，获取每个注意力头的特征向量，并进行融合，得到融合了所有注意力头的特征向量，包括，
3.根据权利要求2所述图像特征向量的获取方法，其特征是，所述以查询、键和值作为计算参数，根据softmax函数来计算每个注意力头的得分，包括，
4.根据权利要求1所述图像特征向量的获取方法，其特征是，所述将各局部特征描述符分别输入到mamsd模型的多尺度融合网络，得到多尺度小模块，将多尺度小模块输入netvlad层得到每个尺度的特征向量，并对每个尺度的特征向量进行融合，得到融合了所有尺度的特征向量，包括，
5.根据权利要求4所述图像特征向量的获取方法，其特征是，所述netvlad层通过vlad算法构造获得，获得netvlad层的方法包括：
6.根据权利要求4所述...
【专利技术属性】
技术研发人员：余文斌，魏宏宇，吕正杰，陈宇浩，任正举，朱健杰，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。