用于提升细粒度图像分类性能的方法、系统、设备及介质技术方案

本发明专利技术公开了一种用于提升细粒度图像分类性能的方法、系统、设备及介质，它们是一一对应的方案，方案中：在细粒度图像分类网络中设置源信息生成器、中间处理器与目标结合器对细粒度图像分类网络提取的图像特征进行处理后再进行分类，可以提升分类精确度；源信息生成器、中间处理器与目标结合器可以适用于多种结构的细粒度图像分类网络，体现了其即插即用特性，并且，所需的额外计算非常小，与现有的细粒度图像分类网络相结合，能带来更进一步的性能提升，体现了泛用性；综上所示，本发明专利技术可以兼顾计算资源消耗和精度提升，并且可以实现即插即用性和泛用性，对于细粒度识别的实际应用有积极深远的影响。极深远的影响。极深远的影响。

【技术实现步骤摘要】
用于提升细粒度图像分类性能的方法、系统、设备及介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种用于提升细粒度图像分类性能的方法、系统、设备及介质。

技术介绍

[0002]细粒度图像分类也称作子类别图像分类，是近年来计算机视觉、模式识别等领域一个热门的研究课题。其目的是对图像中粗粒度的物体类别做更为细致的子类划分，但由于属于不同子类别的物体存在细微的类间差异和较大的类内差异，因此与普通的图像分类任务相比，细粒度图像分类难度更大。
[0003]细粒度图像分类是一项极具挑战的研究课题，为了获得满意的分类结果，许多现有方案着眼于提取更精细和更充分的物体特征，力求将该类物体与其他类物体进行更精细的区分。这些现有方案基于特征提取骨干网络，例如卷积神经网络模型或者视觉Transformer（变换器）模型，设计了复杂的特征处理模块和分类头。特征处理模块通过融合多层语义信息获得充分的物体表征，分类头则主要基于增强后的物体表征，结合多阶段迭代计算或高阶语义表征算法来得到细粒度识别结果。现有方案虽能够取得较高的精度，但需要消耗大量的计算资源，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于提升细粒度图像分类性能的方法，其特征在于，包括：在细粒度图像分类网络中设置源信息生成器、中间处理器与目标结合器；通过源信息生成器、中间处理器与目标结合器对细粒度图像分类网络从输入图像中提取的若干图像特征进行处理，获得输出分类元素，并由细粒度图像分类网络中的分类器进行分类；其中，所述源信息生成器对细粒度图像分类网络从输入图像中提取的若干图像特征分别进行信息提取，获得若干初级信息元素；所述中间处理器结合给定的分类元素，将所述若干初级信息元素融合为信息元素；所述目标结合器将所述信息元素与所述给定的分类元素融合为输出分类元素。2.根据权利要求1所述的一种用于提升细粒度图像分类性能的方法，其特征在于，所述在细粒度图像分类网络中设置源信息生成器、中间处理器与目标结合器包括：利用源信息生成器与中间处理器构建分类残差融合模块，利用源信息生成器与中间处理器构建多阶段语义融合模块，利用目标结合器构建双向特征对齐模块；所述分类残差融合模块、多阶段语义融合模块与双向特征对齐模块形成一个整体模块，根据分类元素的数目设置相应数目的整体模块；其中，每一个整体模块中的工作过程包括：分类残差融合模块与多阶段语义融合模块分别输出一个信息元素，双向特征对齐模块将给定的分类元素与两个信息元素进行融合，获得输出分类元素；当整体模块的数目大于1时，将所有输出分类元素合并获得最终的输出分类元素，再由细粒度图像分类网络中的分类器进行分类。3.根据权利要求2所述一种用于提升细粒度图像分类性能的方法，其特征在于，所述分类残差融合模块中的源信息生成器与中间处理器称为第一源信息生成器与第一中间处理器；第一源信息生成器的数目与对应阶段中编码器层的数目相同，单个第一源信息生成器对单个编码器层输出的图像特征进行信息提取，获得第一初级信息元素；其中，所述阶段是指细粒度图像分类网络的工作阶段，分类残差融合模块对应的阶段中包含若干编码器层；第一中间处理器的输入为所有第一初级信息元素以及给定的分类元素，通过交叉注意力机制，将所有第一初级信息元素聚合到收集者元素上，再与给定的分类元素相加后通过多层感知机处理，获得信息元素，称为第一信息元素；其中，所述收集者元素为一组预训练的参数。4.根据权利要求3所述一种用于提升细粒度图像分类性能的方法，其特征在于，所述单个第一源信息生成器对单个编码器层输出的图像特征进行信息提取，获得第一初级信息元素包括：单个第一源信息生成器根据对应编码器层的输入图像特征与输出图像特征确定对应编码器层输入与输出的分类元素，将输入与输出的分类元素相减，再乘以一个加权系数，获得第一初级信息元素。5.根据权利要求2所述一种用于提升细粒度图像...

【专利技术属性】
技术研发人员：谢洪涛，卢志颖，张勇东，刘传彬，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：