一种基于层次细粒度分类的图像分类方法技术

本发明专利技术公开了一种基于层次细粒度分类的图像分类方法，涉及细粒度分类、深度学习技术等。本发明专利技术方法包括：对少量标注的样本标签进行处理，获取适用于YOLOv5算法的文本标签；建立基于YOLOv5算法的检测器，检测图像中的目标，剔除面积小于预设值的目标框以及重叠的目标框；以目标框为中心从图像中裁剪固定大小的子图像，子图像包含所识别目标的上下文关系，对子图像输入细粒度分类网络，提取子图像的大中小三种粒度的局部特征和全局特征，进行特征融合后进行细粒度类别分类。本发明专利技术实现更全面地利用关键信息和局部特征来提高分类性能，从而能更加准确地捕捉图像中的细节和差异，提高图像细类别的分类性能。图像细类别的分类性能。图像细类别的分类性能。

【技术实现步骤摘要】
一种基于层次细粒度分类的图像分类方法


[0001]本专利技术属于细粒度分类、深度学习以及人工智能领域，具体涉及一种基于层次细粒度分类的图像分类方法。

技术介绍

[0002]图像分类是计算机视觉领域中的一项重要任务，它的目标是将图像分类到预定义的一组类别中。在过去的几十年里，图像分类已经得到了广泛的研究，在很多应用领域中，如动物识别、智能交通以及医疗诊断中都存在图像分类问题。图像分类问题作为一个重要研究内容，目前存在进一步细粒度分类的需求。
[0003]细粒度分类作为对大类下的子类进行识别的分类任务，其相对于传统图像分类任务的区别和难点在于其图像所属类别的粒度更为精细。例如传统分类任务是将“猫”和“狗”进行分类，而细粒度分类任务在于将该类别下的细粒度子类进行分类，即将“哈士奇”和“柴犬”进行分类，后者的图像特征更为相似，其分类更为困难。细粒度图像分类需要从图像的细微之处中进一步挖掘出足够用于分类的信息，即通过对图像提取定位信息并进行分类，从而提升分类性能。目前已存在一些对图像进行细粒度分类的方法。如基于特征的方法中，其将图像转换为特征向量，然后对特征向量进行分类。这种方法通常需要设计合适的特征提取方法，例如使用卷积神经网络(CNN)提取特征。在基于局部的方法中，其通过将图像分解为不同的部件，更好地理解图像中不同部分之间的关系，然后对每个部件进行分类。
[0004]但针对细粒度分类，目前已有的方法都存在一些问题和限制，大多数为直接对图像进行细粒度分类，没有逐步定位具有代表性的局部特征来帮助分类器更好地识别细节和差异，这导致分类效果并不能完全令人满意，无法保证可以准确全面的利用关键信息来提高分类性能。

技术实现思路

[0005]基于现有的细粒度分类技术中存在的一些不足与挑战，本专利技术提供了一种基于层次细粒度分类的图像分类方法，通过两阶段网络的实现，逐步对图像进行精细分类。本专利技术方法尤其适用于只有少数标注标签样本集的细粒度图像分类。
[0006]本专利技术提供的基于层次细粒度分类的图像分类方法，包括以下步骤：
[0007]步骤1、对少量标注的样本标签进行处理，获取适用于YOLOv5算法的文本标签，文本标签由类别、标注框的中心点坐标以及标注框的长和宽组成；
[0008]步骤2、构建检测器，将未标注的图像输入检测器，检测器先使用基于YOLOv5的检测模型检测输入图像中的目标，剔除面积小于预设值的目标框以及重叠的目标框，最后输出标注了类别和置信度的目标框的图像；
[0009]步骤3、获得步骤2输出的标注类别的目标框的图像，对每个目标框，从图像中裁剪获得以目标框为中心的固定大小的子图像，子图像包含所识别目标的上下文关系；将子图像输入细粒度分类网络；
[0010]所述细粒度分类网络使用ResNet
‑
50作为预训练模型；细粒度分类网络先使用拼图生成器将输入的子图像按照预设的大中小三种粒度进行分割，再使用预训练模型依次对大中小三种粒度的图像块提取局部特征，再使用预训练模型对输入的子图像提取全局特征；最后将提取的三种局部特征以及全局特征进行拼接融合，输入分类模块，输出子图像对应的细粒度类别。
[0011]所述的步骤1中，对标签进行转换的方式是：获得图像中的标注框及标签，根据每个标注框的左上角和右下角的图像坐标，计算标注框的中心点坐标、标注框的长和宽，并进行归一化处理。
[0012]所述的步骤2中，当目标框的面积小于输入图像面积的三百分之一时，认为该目标框为无法提供更多有用价值的小目标，进行剔除。当目标框距离图像边缘小于10像素时，认为该目标框中为太靠近边缘显示不完整的目标，进行剔除。判断目标框为重叠框的依据为依次判断所有目标框的中心点坐标，若二者差距小于设置阈值，则为重叠，保留根据置信度高的目标框。
[0013]所述的步骤3中，对每个目标框，以目标框为中心从图像中裁剪256*256像素大小的子图像；拼图生成器设置的大中小三种粒度分别为输入子图像的1/4、1/16、1/64。
[0014]相对于现有技术，本专利技术方法的优点和有益效果在于：
[0015](1)本专利技术方法所设计的两阶段框架通过构建从“整幅图像
‑
＞关键部位
‑
＞精细特征”的过程，从粗到细通过逐层聚焦构建完整的识别框架，从而辨别更加细微的类间差异来提高分类性能。相比直接对整幅图像进行分类，本专利技术采用逐步精细化的方式，更加充分地利用了图像中的局部特征，提高了分类的准确性和鲁棒性。
[0016](2)在实际应用中，图像中关键部位的获取依赖于大量的标记数据，但面对海量图像，需要专家从每张图像中进行标注，这进一步增加了人工标注的负担、难度以及高昂的成本。为此，本专利技术方法通过训练标注有限的检测模型来进一步识别未被标记的图像中的关键部位，从而能够有效地减少标注数据的需求量，降低标注成本，提高图像分类的效率和可扩展性。
附图说明
[0017]图1为本专利技术的一种基于层次细粒度分类的图像分类方法的框架实现图；
[0018]图2为本专利技术中实现“整幅图像
‑
＞关键部位
‑
＞精细特征”过程并进行分类的流程图；
[0019]图3为本专利技术实验中的混淆矩阵的示意图；
[0020]图4为实验指标变化趋势图：(a)损失值变化趋势图；(b)准确率变化趋势图；
[0021]图5为4张热力图的灰度图示例图。
具体实施方式
[0022]下面结合附图对本专利技术的实施方式进行详细描述，且基于附图的描述是示例性的，仅用于对本专利技术进行详细解释，不能作为对本专利技术的限制。
[0023]本专利技术提出了一种基于层次细粒度分类的图像分类方法，如图1所示。在第一阶段，对于每个标注框，计算其在图像中的中心坐标、宽度和高度，建立了一个基于YOLOv5算
法的检测器，采用深度卷积神经网络来实现图像中目标的检测和定位，为后续的细粒度分类提供重要的定位信息。YOLOv5检测模型从图像中检测出关键部位的具体位置，并以此为中心获得固定大小的子图像。在第二阶段，将第一阶段所提取到的子图像输入到细粒度分类网络中训练细粒度分类模型，提取不同类别之间的差异特征，通过多粒度特征提取和融合来区分图像的细粒度类别。本专利技术方法通过从整幅图像到关键部位再对其进行细粒度分类的层层递进过程，逐步聚焦到精细特征，可以更全面地利用关键信息和局部特征来提高分类性能，从而能更加准确地捕捉图像中的细节和差异，提高分类性能。
[0024]本专利技术提出的层次细粒度分类的图像分类方法，具体实现步骤主要包括标签处理、关键部位检测以及细粒度分类这三个部分，如图2所示，具体实现包括如下3个步骤。
[0025]步骤1、对标注标签的样本图像的标签进行处理，获取适用于YOLOv5算法的文本标签。
[0026]有关关键部位的检测模型往往需要基于标注数据集进行监督训练，对于YOLOv5等模型需要以目标区域的坐标作为监督信息标签。所以在检测模型训练之本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于层次细粒度分类的图像分类方法，其特征在于，包括如下步骤：步骤1、对标注的样本标签进行处理，获取适用于YOLOv5算法的文本标签，文本标签由类别、标注框的中心点坐标以及标注框的长和宽组成；步骤2、构建检测器，将未标注的图像输入检测器，检测器先使用基于YOLOv5的检测模型检测输入图像中的目标，再剔除面积小于预设值的目标框以及重叠的目标框，最后输出标注类别和置信度的目标框的图像；步骤3、获得步骤2输出的标注类别的目标框的图像，对每个目标框，从图像中裁剪获得以目标框为中心的固定大小的子图像，子图像包含所识别目标的上下文关系；将子图像输入细粒度分类网络；所述细粒度分类网络先使用拼图生成器将输入的子图像按照预设的大中小三种粒度进行分割，再使用预训练模型依次对大中小三种粒度的图像块提取局部特征，使用预训练模型对输入的子图像提取全局特征，预训练模型使用ResNet
‑
50模型；最后将提取的三种局部特征以及全局特征进行拼接融合，输入分类模块，输出子图像对应的细粒度类别。2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，对标签进行转换的方式是：获得图像中的标注框及标签，根据每个标注框的左上角和右下角的图像坐...

【专利技术属性】
技术研发人员：万玉钗，贾舒琴，李一凡，张珣，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：