【技术实现步骤摘要】
本申请涉及深度学习及计算机视觉识别，尤其涉及基于跨层特征挖掘的图像识别方法、装置及电子设备。
技术介绍
1、图像识别是一个应用广泛的
，但现有技术中对图像识别却远没有达到细粒度的程度。细粒度物体在现实生活中广泛存在，与之相对应的细粒度图像识别是计算机视觉识别中的重要问题。然而当前细粒度图像识别数据集中常见的细粒度标签并不能很好地传达用户所习惯的内容。同理，在深度学习中，这些不同粒度的标签显然包含了不同维度信息之间的相关逻辑和隐藏关系。因此，如何利用这些不同粒度的标签促进图像识别达到预设细粒度的识别效果是亟待解决的问题。
2、不仅如此，现有技术中的图像识别技术大多都集中在单粒度上，缺少多粒度层面的表征，从而限制了对图像的理解能力，使识别效果不全面、不理想。
技术实现思路
1、基于上述技术问题，本申请旨在提供基于跨层特征挖掘的图像识别方法、装置及电子设备，以至少解决上述问题之一。
2、本申请第一方面提供了一种基于跨层特征挖掘的图像识别方法，所述方法包括：
3、获取待识别图像，并提取所述待识别图像的全局特征图；
4、对所述待识别图像的全局特征图进行降维映射，得到所述待识别图像不同层次的特征向量；
5、根据所述待识别图像的不同层次特征图构建特征矩阵；
6、基于所述特征矩阵和所述不同层次的特征向量进行多头注意力机制的加权融合操作，以得到跨层特征挖掘后的特征向量；
7、基于所述跨层特征挖掘后的特征向量识别
8、在本申请的一些实施例中，所述提取所述待识别图像的全局特征图，包括：
9、将所述待识别图像输入预先训练的特征提取网络，得到所述待识别图像的全局特征图。
10、在本申请的一些实施例中，所述对所述待识别图像的全局特征图进行降维映射，得到所述待识别图像不同层次的特征向量，包括：
11、将所述待识别图像的全局特征图进行通道降维；
12、对降维后的全局特征图进行全局最大池化，得到降维映射后的多个1×1的特征向量，将所述降维映射后的多个1×1的特征向量作为所述待识别图像不同层次的特征向量。
13、在本申请的一些实施例中，所述根据所述待识别图像的不同层次特征图构建特征矩阵，包括：
14、对所述待识别图像进行不同层次的卷积操作，得到所述待识别图像的不同层次特征图；
15、将所述待识别图像的不同层次特征图变换为对应的二维特征向量；
16、使用所述二维特征向量构建特征矩阵。
17、在本申请的一些实施例中，所述基于所述特征矩阵和所述不同层次的特征向量进行多头注意力机制的加权融合操作，以得到跨层特征挖掘后的特征向量，包括：
18、将所述不同层次的特征向量作为查询向量；
19、将所述特征矩阵作为键向量和数值向量；
20、根据所述查询向量、所述键向量和所述数值向量进行多头注意力机制的加权融合操作，以得到跨层特征挖掘后的特征向量。
21、在本申请的一些实施例中，所述根据确定出的查询向量、键向量和数值向量进行多头注意力机制的加权融合操作，以得到跨层特征挖掘后的特征向量，包括：
22、针对多头注意力机制中的每个注意力头，计算每个注意力头的查询向量和键向量之间的相似性；
23、基于所述相似性进行计算，得到每个注意力头的注意力权重；
24、用所述每个注意力头的注意力权重对每个注意力头的数值向量进行加权融合，输出每个注意力头的特征向量；
25、对输出的所有注意力头的特征向量进行汇融合，得到跨层特征挖掘后的特征向量。
26、在本申请的一些实施例中，所述基于所述跨层特征挖掘后的特征向量识别所述待识别图像，包括：
27、对所述跨层特征挖掘后的特征向量进行融合，得到融合后特征向量；
28、对所述融合后特征向量进行特征解耦，得到不同粒度的特征集合，基于所述不同粒度的特征集合训练图像识别模型；
29、将所述待识别图像输入训练好的图像识别模型，得到目标识别结果。
30、在本申请的一些实施例中，所述基于所述不同粒度的特征集合训练图像识别模型，包括：
31、使用所述不同粒度的特征集合训练所述多个子分类器，其中，每个子分类器处理预设粒度的信息；
32、对每个子分类器分别计算交叉熵损失，并将每个子分类器的交叉熵损失相加，得到所述图像识别模型的总损失；
33、训练所述多个子分类器，直至所述图像识别模型的总损失达到预设值时停止训练。
34、本申请第二方面提供了一种基于跨层特征挖掘的图像识别装置，所述装置包括：
35、获取模块，用于获取待识别图像，并提取所述待识别图像的全局特征图；
36、映射模块，用于对所述待识别图像的全局特征图进行降维映射，得到所述待识别图像不同层次的特征向量；
37、构建模块，用于根据所述待识别图像的不同层次特征图构建特征矩阵；
38、加权模块，用于基于所述特征矩阵和所述不同层次的特征向量进行多头注意力机制的加权融合操作，以得到跨层特征挖掘后的特征向量；
39、识别模块，用于基于所述跨层特征挖掘后的特征向量识别所述待识别图像。
40、本申请第三方面提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行本申请各实施例中所述基于跨层特征挖掘的图像识别方法。
41、本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
42、本申请各实施例中的所述基于跨层特征挖掘的图像识别方法，获取待识别图像，并提取所述待识别图像的全局特征图，对所述待识别图像的全局特征图进行降维映射，得到所述待识别图像不同层次的特征向量，根据所述待识别图像的不同层次特征图构建特征矩阵，基于所述特征矩阵和所述不同层次的特征向量进行多头注意力机制的加权融合操作，以得到跨层特征挖掘后的特征向量，基于所述跨层特征挖掘后的特征向量识别所述待识别图像，通过跨层特征的挖掘实现了图像中多粒度的分类，使图像识别取得足够精细的识别效果，满足了各种细粒度的识别要求，如此，通过跨层特征的挖掘实现了图像特征的增强，挖掘出类别间细微差异区域中蕴含的信息，构建了从粗粒度到细粒度的标签层次分类，将数据集中现有的细粒度标签向上追溯到它的父类别，将图像分类任务从单标签预测扩展到预定义标签层次结构上的多粒度预测，实现了图像中不同粒度的分类，通过对多粒度的理解，使图像识别取得全面且足够精细的识别效果，也满足了各种细粒度的识别要求。
43、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
本文档来自技高网...【技术保护点】
1.一种基于跨层特征挖掘的图像识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述基于跨层特征挖掘的图像识别方法，其特征在于，所述提取所述待识别图像的全局特征图，包括：
3.根据权利要求1所述基于跨层特征挖掘的图像识别方法，其特征在于，所述对所述待识别图像的全局特征图进行降维映射，得到所述待识别图像不同层次的特征向量，包括：
4.根据权利要求3所述基于跨层特征挖掘的图像识别方法，其特征在于，所述根据所述待识别图像的不同层次特征图构建特征矩阵，包括：
5.根据权利要求4所述基于跨层特征挖掘的图像识别方法，其特征在于，所述基于所述特征矩阵和所述不同层次的特征向量进行多头注意力机制的加权融合操作，以得到跨层特征挖掘后的特征向量，包括：
6.根据权利要求5所述基于跨层特征挖掘的图像识别方法，其特征在于，所述根据确定出的查询向量、键向量和数值向量进行多头注意力机制的加权融合操作，以得到跨层特征挖掘后的特征向量，包括：
7.根据权利要求1所述基于跨层特征挖掘的图像识别方法，其特征在于，所述基于所述跨层特征挖掘后的
8.根据权利要求7所述基于跨层特征挖掘的图像识别方法，其特征在于，所述基于所述不同粒度的特征集合训练图像识别模型，包括：
9.一种基于跨层特征挖掘的图像识别装置，其特征在于，所述装置包括：
10.一种电子设备，包括存储器和处理器，其特征在于，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行如权利要求1-8任意一项所述基于跨层特征挖掘的图像识别方法。
...【技术特征摘要】
1.一种基于跨层特征挖掘的图像识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述基于跨层特征挖掘的图像识别方法，其特征在于，所述提取所述待识别图像的全局特征图，包括：
3.根据权利要求1所述基于跨层特征挖掘的图像识别方法，其特征在于，所述对所述待识别图像的全局特征图进行降维映射，得到所述待识别图像不同层次的特征向量，包括：
4.根据权利要求3所述基于跨层特征挖掘的图像识别方法，其特征在于，所述根据所述待识别图像的不同层次特征图构建特征矩阵，包括：
5.根据权利要求4所述基于跨层特征挖掘的图像识别方法，其特征在于，所述基于所述特征矩阵和所述不同层次的特征向量进行多头注意力机制的加权融合操作，以得到跨层特征挖掘后的特征向量，包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：马占宇，聂士博，杜若一，梁孔明，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。