一种基于图像块评分的细粒度图像分类方法和装置制造方法及图纸

本发明专利技术公开了一种基于图像块评分的细粒度图像分类方法和装置，包括以下步骤：步骤S1：构建分类数据集；步骤S2：构建局部标识；步骤S3：构建分类标识；步骤S4：获得图像分类特征信息和各个图像块特征信息；步骤S5：构建关联性局部标识；步骤S6：生成选择标识；步骤S7：特征处理；步骤S8：训练；步骤S9：将所述全局标识和所述关联性局部标识拼接，训练最后一个transformer层。本发明专利技术解决类内差异大、类间相似程度高的细粒度图像分类的问题，实现在transformer网络中即插即用，效果提升明显。效果提升明显。效果提升明显。

【技术实现步骤摘要】
一种基于图像块评分的细粒度图像分类方法和装置


[0001]本专利技术涉及一种图像分类
，尤其涉及一种基于图像块评分的细粒度图像分类方法和装置。

技术介绍

[0002]细粒度分类是建立在同一大类图像基础上，进行更精细的子类划分，如划分鸟的品种、衣服的款式、狗的种类等。在实际生活中，识别不同子类存在着巨大的应用需求，例如在生态环境中识别不同类别的生物用于更高效地生态保护；零售行业中自动识别商品被顾客拿取/试穿次数，统计数据支撑产品迭代；监控行业中通过对过往车辆类型进行分类，实现更好的城市管理。细粒度分类任务广泛的应用价值使其成为计算机视觉领域一个火热的研究方向，由此在细粒度图像分析方向产生了诸多经典数据集，包括：狗类数据集Stanford Dogs、花类数据集Oxford Flowers、飞机数据集Aircrafts、汽车数据集Stanford Cars等等。
[0003]同大类物种的不同子类往往仅在细微局部存在微小区别，如鸟的嘴巴，而相同子类往往因为姿态、背景、光照、遮挡等影响导致较大的差异。细粒度图像较大的类内差异和类间相似的特点加大了其分类任务的难度和挑战。目前现有的细粒度分类方法主要从两方面考虑：基于定位区域的方法和基于特征编码的方法。基于定位区域的方法主要是利用强监督或者弱监督方法定位有助于区分子类的判别性区域，将这些判别性区域从原图中扣取出来重新送入网络，再将判别性区域特征和图像全局特征融合用于分类。基于特征编码的方法多使用双线性池化方法获取图像高阶信息，从而获取图像更多细节特征。这些方法主要用传统卷积神经网络进行分类，获取有助于细粒度分类的判别性区域和编码特征都需要分别额外构建较复杂的分支结构。且卷积神经网络中，整体特征尺度随网络深度加深而下降，获取的判别性区域需要重新从原图或浅层特征中扣取并送入网络结构进一步提取信息，导致模型复杂度高、耗时大。
[0004]近年来，transformer网络结构多头自注意力机制的长程依赖能力弥补了传统卷积神经网络难以捕捉全局特征的不足，不少研究都开始尝试将transformer模型强大的建模能力应用到计算机视觉领域，在计算机视觉领域实现了一场革新。目前，transformer已经在分类、检测、分割等多个视觉任务上展示了其强大的性能，超分辨、以图搜图、图文互搜等任务也正在成为Transformer的热门研究方向。关于transformer网络如何有效应用于细粒度分类已有了初步研究，然而现有的方法虽然考虑到利用transformer的自注意力机制优选出利于细粒度分类的判别性区域，但是并未考虑transformer网络存在的一个固有缺陷:当网络输入的图像块序列较长时,自注意力机制的长程依赖关系捕捉能力将会受限,对判别性区域判断能力下降,细粒度分类的准确性能下降。
[0005]为此，我们设计了一种基于图像块评分的细粒度图像分类方法和装置以此解决上述技术问题。

技术实现思路

[0006]本专利技术的目的在于提供一种基于图像块评分的细粒度图像分类方法和装置，主要解决类内差异大、类间相似程度高的细粒度图像分类的问题。
[0007]本专利技术采用的技术方案如下：一种基于图像块评分的细粒度图像分类方法，包括以下步骤：步骤S1：获取待分类的目标图像，构建分类数据集；步骤S2：将所述分类数据集分割为若干个不交叠的图像块，对所述图像块编码构建局部标识；步骤S3：利用所述局部标识构建分类标识；步骤S4：将所述局部标识和所述分类标识共同送入transformer网络，利用transformer网络中除最后一个transformer层以外的网络层获得用于表征所述分类标识的图像分类特征信息和用于表征各个图像块的局部标识的图像块特征信息；步骤S5：根据所述图像分类特征信息和所述图像块特征信息，确定所述局部标识和所述分类标识的关联性，并挑选与所述分类标识关联性的大小靠前的若干个所述局部标识以构建所述分类标识的关联性局部标识；步骤S6：构建图像块评分系统，对所述关联性局部标识评分，基于所述评分获得的分值将所述关联性局部标识的特征叠加，生成选择标识；步骤S7：将所述分类标识和所述选择标识的特征拼接，送入所述transformer网络中的最后一个transformer层做特征处理；步骤S8：利用所述步骤S7的特征处理结果构建全连接层和交叉熵损失并进行分类训练，同时利用步骤S6中所述关联性局部标识的分值分布构建相对熵散度损失函数进行辅助训练；步骤S9：对所述步骤S8训练完的模型，固定所述transformer网络中除最后一个transformer层外的其他网络层，仅对所述transformer网络中的最后一个transformer层进行微调操作，所述微调操作过程中，将所述分类标识和所述关联性局部标识拼接，训练最后一个transformer 层。
[0008]进一步地，所述步骤S1中，所述分类数据集包括样本和属性分类标签。
[0009]进一步地，所述步骤S2中，所述分类数据集通过滑动窗口的方式分割为若干个不交叠的图像块，并对所述图像块做卷积操作构建局部标识，卷积层的核宽、核高、步长和所述图像块宽、高相等。
[0010]进一步地，所述步骤S3中，构建尺寸和所述局部标识一致的可训练分类标识作为分类标识。
[0011]进一步地，所述步骤S5中，确定所述局部标识和所述分类标识的关联性的方法为通过transformer网络的注意力机制判断。
[0012]进一步地，所述步骤S6中，包括以下子步骤：步骤S61：所述transformer网络中额外构建一个transformer层和一个输出为维度为1的全连接层；步骤S62：将所述关联性局部标识送入所述额外构建的transformer层和所述输出为维度为1的全连接层，输出的结果进行自注意力操作；
步骤S63：所述自注意力操作后的值作为所述关联性局部标识的分值，基于所述分值将所述关联性局部标识的特征叠加，生成选择标识。
[0013]进一步地，所述步骤S8进行训练前，利用所述步骤S7的特征处理结果，随机选取一个图像块进行若干次不同的随机预处理得到预处理图像块，若干个所述预处理图像块仅亮度、对比度、饱和度存在差异，所述预处理图像块作为网络输入，构建全连接层和交叉熵损失并进行分类训练。
[0014]进一步地，所述微调操作为使用交叉熵损失函数进行微调操作。
[0015]本专利技术还提供一种基于图像块评分的细粒度图像分类装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述任一项所述的一种基于图像块评分的细粒度图像分类方法。
[0016]本专利技术还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述任一项所述的一种基于图像块评分的细粒度图像分类方法。
[0017]本专利技术的有益效果是：本专利技术用transformer结构作为分类基础结构，利用transformer网络全程把图像切分成多个图像块、图像整体尺寸不会随网络深度加深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像块评分的细粒度图像分类方法，其特征在于，包括以下步骤：步骤S1：获取待分类的目标图像，构建分类数据集；步骤S2：将所述分类数据集分割为若干个不交叠的图像块，对所述图像块编码构建局部标识；步骤S3：利用所述局部标识构建分类标识；步骤S4：将所述局部标识和所述分类标识共同送入transformer网络，利用transformer网络中除最后一个transformer层以外的网络层获得用于表征所述分类标识的图像分类特征信息和用于表征各个图像块的局部标识的图像块特征信息；步骤S5：根据所述图像分类特征信息和所述图像块特征信息，确定所述局部标识和所述分类标识的关联性，并挑选与所述分类标识关联性的大小靠前的若干个所述局部标识以构建所述分类标识的关联性局部标识；步骤S6：构建图像块评分系统，对所述关联性局部标识评分，基于所述评分获得的分值将所述关联性局部标识的特征叠加，生成选择标识；步骤S7：将所述分类标识和所述选择标识的特征拼接，送入所述transformer网络中的最后一个transformer层做特征处理；步骤S8：利用所述步骤S7的特征处理结果构建全连接层和交叉熵损失并进行分类训练，同时利用步骤S6中所述关联性局部标识的分值分布构建相对熵散度损失函数进行辅助训练；步骤S9：对所述步骤S8训练完的模型，固定所述transformer网络中除最后一个transformer层外的其他网络层，仅对所述transformer网络中的最后一个transformer层进行微调操作，所述微调操作过程中，将所述分类标识和所述关联性局部标识拼接，训练最后一个transformer 层。2.如权利要求1所述的一种基于图像块评分的细粒度图像分类方法，其特征在于，所述步骤S1中，所述分类数据集包括样本和属性分类标签。3.如权利要求1所述的一种基于图像块评分的细粒度图像分类方法，其特征在于，所述步骤S2中，所述分类数据集通过滑动窗口的方式分割为若干个不交叠的图像块，并对所述图像块做卷积操作构建局部标识，卷积层的核宽、核高、步...

【专利技术属性】
技术研发人员：苏慧，程乐超，杨非，鲍虎军，宋明黎，
申请(专利权)人：之江实验室，
类型：发明
国别省市：