图像分类方法和装置制造方法及图纸

本发明专利技术实施例公开了一种图像分类方法和装置。该图像分类方法包括：获取待分类图片；将待分类图片输入预先训练的判别性区域学习双分支注意力网络进行细粒度图像分类，得到分类结果；其中，判别性区域学习双分支注意力网络，用于基于双分支注意力网络框架，结合对待分类图片的目标区域特征进行处理，以及，对待分类图片的语义互补信息进行学习，对待分类图片进行细粒度图像分类。本发明专利技术提供的方案能够提升对细粒度图像分类任务中识别准确率的技术效果。果。果。

【技术实现步骤摘要】
图像分类方法和装置


[0001]本专利技术涉及图像处理领域，尤其涉及一种图像分类方法和装置。

技术介绍

[0002]相较于传统的图像分类问题，细粒度图像分类作为图像分类的子类任务，侧重于对粗粒度的类别进行更精细的子类划分，例如鸟类、狗的品种分类，飞机、汽车的品牌型号区分等，目前应用场景包括智能交通、物种识别、商品识别等。由于细粒度分类主要解决方法是找到细微的判别性的区域，来对及其相似的子类图像进行分类。
[0003]传统方法在细粒度图像分类任务中，主要是根据监督方式分为两种，即，强监督和弱监督两种，其中，强监督方法依赖于人工标注的边界框、额外补充信息等定位特征，但是这种方法人工成本过高。弱监督方法的现有问题在于通过利用注意力机制定位最重要的区域，再利用分类子网络进行识别。但是该弱监督方法往往集中在如何识别单个最显著的特征区域，而忽略了次显著但有用的区域，限制了网络的分类能力。
[0004]针对上述相关技术中对细粒度图像分类任务中识别准确率低的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]为解决上述技术问题，本专利技术实施例期望提供一种图像分类方法和装置，以至少解决相关技术中对细粒度图像分类任务中识别准确率低的问题。
[0006]本专利技术的技术方案是这样实现的：
[0007]本专利技术实施例提供一种图像分类方法，包括：获取待分类图片；将待分类图片输入预先训练的判别性区域学习双分支注意力网络进行细粒度图像分类，得到分类结果；其中，判别性区域学习双分支注意力网络，用于基于双分支注意力网络框架，结合对待分类图片的目标区域特征进行处理，以及，对待分类图片的语义互补信息进行学习，对待分类图片进行细粒度图像分类。
[0008]可选的，在获取待分类图片之前，该方法还包括：获取基准数据集的图像；依据基准集的图像构建判别性区域学习双分支注意力网络；训练判别性区域学习双分支注意力网络直至收敛，得到预先训练的判别性区域学习双分支注意力网络。
[0009]进一步地，可选的，依据基准集的图像构建判别性区域学习双分支注意力网络包括：基于特征提取网络构建双分支网络；在双分支网络中的第一阶段的输出位置、第二阶段的输出位置和第三阶段的输出位置设置通道空间增强模块，通过通道空间增强模块对基准集的图像进行通道空间增强，得到第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果；依据第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果进行注意力擦除，得到擦除后的第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果；依据擦除后的第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果进行特征融合，得到特征融合结果；依据生成特征融合结果的双分支网络构建判别性区域学
习双分支注意力网络。
[0010]可选的，通过通道空间增强模块对基准集的图像进行通道空间增强，得到第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果包括：在通道的第一阶段的输出位置、第二阶段的输出位置和第三阶段的输出位置进行特征增强的过程中将基准集的图像沿通道方向分为n份，并将分为n份的图像进行特征增强，得到通道特征增强的第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果；将通道特征增强的第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果进行空间的特征增强，得到特征抑制的第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果。
[0011]进一步地，可选的，依据第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果进行注意力擦除，得到擦除后的第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果包括：设置超参数阈值；依据超参数阈值筛选第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果中的像素，生成注意力擦除掩膜；依据注意力擦除掩膜对第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果进行注意力擦除，得到擦除后的第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果。
[0012]进一步地，可选的，依据擦除后的第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果进行特征融合，得到特征融合结果包括：依据擦除后的第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果进行特征融合，得到互补语义信息的特征融合结果。
[0013]可选的，训练判别性区域学习双分支注意力网络直至收敛，得到预先训练的判别性区域学习双分支注意力网络包括：设置损失函数；依据损失函数训练判别性区域学习双分支注意力网络，其中，损失函数包括：
[0014]P
i
＝classifier
i
(F
Ni
)
[0015]L
cls
＝∑
i∈2I
L
cls
(P
i
,Y
i
)
[0016]classifier
i
为第i部分的分类器，P
i
∈R
num
_
class
为预测得分向量，num_class为对象类别数，Y
i
为输入图像的ground
‑
truth标签向量，L
cls
表示交叉熵损失，I为设定单个分支增强部分特征数；
[0017]L＝L
cls
+α
×
L
concat
(P
concat
,Y
i
)
[0018]L
concat
表示所有增强部分特征F
Ni
拼接的分类损失，L为总分类损失。
[0019]本专利技术实施例提供一种图像分类装置，包括：获取模块，用于获取待分类图片；分类模块，用于将待分类图片输入预先训练的判别性区域学习双分支注意力网络进行细粒度图像分类，得到分类结果；其中，判别性区域学习双分支注意力网络，用于基于双分支注意力网络框架，结合对待分类图片的目标区域特征进行处理，以及，对待分类图片的语义互补信息进行学习，对待分类图片进行细粒度图像分类。
[0020]可选的，该装置还包括：图像获取模块，用于在获取待分类图片之前，获取基准数据集的图像；构建模块，用于依据基准集的图像构建判别性区域学习双分支注意力网络；训练模块，用于训练判别性区域学习双分支注意力网络直至收敛，得到预先训练的判别性区域学习双分支注意力网络。
[0021]进一步地，可选的，构建模块包括：第一构建单元，用于基于特征提取网络构建双分支网络；设置单元，用于在双分支网络中的第一阶段的输出位置、第二阶段的输出位置和
第三阶段的输出位置设置通道空间增强模块，通过通道空间增强模块对基准集的图像进行通道空间增强，得到第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果；注意力擦除单元，用于依据第一阶段的输出结果、第二阶段的输出结果和第三阶段的输出结果进行注意力擦除，得到擦除后的第一阶本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分类方法，其特征在于，包括：获取待分类图片；将所述待分类图片输入预先训练的判别性区域学习双分支注意力网络进行细粒度图像分类，得到分类结果；其中，所述判别性区域学习双分支注意力网络，用于基于双分支注意力网络框架，结合对所述待分类图片的目标区域特征进行处理，以及，对所述待分类图片的语义互补信息进行学习，对所述待分类图片进行细粒度图像分类。2.根据权利要求1所述的图像分类方法，其特征在于，在所述获取待分类图片之前，所述方法还包括：获取基准数据集的图像；依据所述基准集的图像构建所述判别性区域学习双分支注意力网络；训练所述判别性区域学习双分支注意力网络直至收敛，得到所述预先训练的判别性区域学习双分支注意力网络。3.根据权利要求2所述的图像分类方法，其特征在于，所述依据所述基准集的图像构建所述判别性区域学习双分支注意力网络包括：基于特征提取网络构建双分支网络；在所述双分支网络中的第一阶段的输出位置、第二阶段的输出位置和第三阶段的输出位置设置通道空间增强模块，通过所述通道空间增强模块对所述基准集的图像进行通道空间增强，得到所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果；依据所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果进行注意力擦除，得到擦除后的所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果；依据擦除后的所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果进行特征融合，得到特征融合结果；依据生成所述特征融合结果的所述双分支网络构建所述判别性区域学习双分支注意力网络。4.根据权利要求3所述的图像分类方法，其特征在于，所述通过所述通道空间增强模块对所述基准集的图像进行通道空间增强，得到所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果包括：在通道的所述第一阶段的输出位置、所述第二阶段的输出位置和所述第三阶段的输出位置进行特征增强的过程中将所述基准集的图像沿通道方向分为n份，并将分为n份的图像进行特征增强，得到通道特征增强的所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果；将通道特征增强的所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果进行空间的特征增强，得到特征抑制的所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果。5.根据权利要求4所述的图像分类方法，其特征在于，所述依据所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果进行注意力擦除，得到擦除后的
所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果包括：设置超参数阈值；依据所述超参数阈值筛选所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果中的像素，生成注意力擦除掩膜；依据所述注意力擦除掩膜对所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果进行注意力擦除，得到擦除后的所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果。6.根据权利要求5所述的图像分类方法，其特征在于，所述依据擦除后的所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三阶段的输出结果进行特征融合，得到特征融合结果包括：依据擦除后的所述第一阶段的输出结果、所述第二阶段的输出结果和所述第三...

【专利技术属性】
技术研发人员：杨胜英，潘炜垚，雷景生，周武杰，钱小鸿，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：