一种基于两阶段主动学习的图像识别分类方法技术

本发明专利技术公开了一种基于两阶段主动学习的图像识别分类方法，包含如下步骤：使用常规主动学习方法进行第一阶段主动采样；对各视图中的样本进行聚类；计算两个视图间的一致度；使用表达度和稳定度进行第二阶段主动采样；对神经网络进行训练；对模型进行迭代优化。本发明专利技术是一种与具体的学习任务无关、与现有主动学习方法解耦的新型主动学习方法，可以应用在多种主动学习场景中，且可以与现有主动学习方法结合使用。此外，本发明专利技术同时考虑到了样本的表达性和稳定性，采样出的用于标注的样本具有较高的可信度。本发明专利技术实现了准确、扩展性强的基于多视图聚类计算样本表达度和稳定度的两阶段主动学习方法，因此具有较高的使用价值。因此具有较高的使用价值。因此具有较高的使用价值。

【技术实现步骤摘要】
一种基于两阶段主动学习的图像识别分类方法


[0001]本专利技术涉及一种图像识别方法，特别是一种基于两阶段主动学习的图像识别分类方法。

技术介绍

[0002]在计算机视觉领域，面对复杂的任务及应对其设计的神经网络，高质量的标记数据是不可或缺的。但是，在很多应用场景中，高质量的标记数据却难以大量获取。主动学习(Active Learning，AL)旨在通过使用数量尽可能少、但信息量足够大的标签样本，在控制数据标注成本的同时获得与完全监督训练相同的效果。在传统的基于池的主动学习场景中，大量未标记的样本形成一个候选样本池(称为无标签池)，而训练集是有限的。模型通过特定的采样策略，不断从无标签池中选择关键样本，请求进行人工标注，以此扩展训练集，从而迭代优化当前模型。
[0003]目前AL的主流思路是在遵循上述框架的前提下，设计不同的主动采样策略。例如，在分类任务中，经典的最小置信度(Least Confidence，LC)算法、间隔(Margin)算法和熵(Entropy)算法均以当前模型的预测不确定性作为采样的依据。在目标检测任务中，一部分方法直接借用分类任务的思路，仅对分类分支进行抽样，另一部分方法则将目光聚集于回归分支，将回归框预测的稳定性作为抽样的依据。
[0004]然而，上述方法中的AL采样策略依赖于特定的任务。尽管经过适当的修正后可以适应其他任务，但这些方法在新任务上往往效果不佳。近年来，研究人员开始探索并设计一种任务不可知的AL方法，希望以此提供一种通用的抽样策略。例如，Yoo等人提出了一个任务不可知的损失预测模块，直接预测样本损失用以指导采样。Sener等人提出了一种通过测量数据分布进行主动采样的方法——Coreset。遗憾的是，上述方法的抽样标准仍存在一定的片面性。Yoo等人只考虑到模型的反馈，忽略了数据的特征，而Sener等人只考虑到宏观层面数据的特征分布。

技术实现思路

[0005]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于两阶段主动学习的图像识别分类方法。
[0006]为了解决上述技术问题，本专利技术公开了一种基于两阶段主动学习的图像识别分类方法，包含以下步骤：
[0007]步骤1，在用于训练图像识别分类模型的数据集中，确定需要标注的数据量；
[0008]步骤2，使用主动学习方法进行第一阶段主动采样，得到第一阶段样本；
[0009]步骤3，采用多视图聚类方法，对第一阶段样本进行聚类；
[0010]步骤4，计算任意两个视图间的一致度；
[0011]步骤5，计算采样得分作为采样策略，进行第二阶段主动采样，对经过第二阶段主动采样获得的第二阶段样本进行人工标注；
[0012]步骤6，对图像识别分类模型进行训练；
[0013]步骤7，重复步骤1至步骤6，对图像识别分类模型进行迭代优化，当人工标注的样本数量达到步骤1中所确定的数据量后，跳过步骤1至步骤5，且仅使用步骤6中所述任务损失作为损失函数对图像识别分类模型进行训练；
[0014]步骤8，应用优化完成的图像识别分类模型进行图像识别分类。
[0015]有益效果：
[0016]本专利技术采用一种与具体的学习任务无关、与现有主动学习方法解耦的主动学习方法，对图像识别分类。其中，与具体学习任务无关主要表现在该方法不仅适用于分类任务，对于任何深度学习任务，只要存在大量无标签样本，且在学习架构中使用神经网络对无标签样本的特征进行提取，则均可使用本专利技术。与现有主动学习方法解耦主要体现在本专利技术的核心是一个高度封装的样本采样模块，而并未大规模改造模型的整体架构，因此可以与其他样本采样策略任意组合，取长补短，形成强大的效果。综上，本专利技术有很强的适应性，可以应用在多种主动学习场景中。此外，本专利技术同时考虑到了样本的表达性和稳定性，采样出的用于标注的样本具有较高的可信度。因此本专利技术提出的基于多视图聚类计算样本表达度和稳定度的两阶段主动学习方法进行图像识别分类，取得了更好的效果。
附图说明
[0017]下面结合附图和具体实施方式对本专利技术做更进一步的具体说明，本专利技术的上述和/或其他方面的优点将会变得更加清楚。
[0018]图1为本专利技术流程图。
[0019]图2为各视图样本进行聚类的示意图。
[0020]图3为两个视图间一致度计算流程图。
[0021]图4为样本表达度计算流程图。
[0022]图5为样本稳定度计算流程图。
[0023]图6为模型迭代优化流程图。
[0024]图7为使用本专利技术完成人种分类任务的流程图。
具体实施方式
[0025]如图1所示，本专利技术公开了一种基于两阶段主动学习的图像识别分类方法，包含如下步骤：
[0026]步骤1，确定需要标注的数据量；
[0027]步骤2，使用常规主动学习方法进行第一阶段主动采样；
[0028]步骤3，对各视图中的样本进行聚类；
[0029]步骤4，计算两个视图间的一致度；
[0030]步骤5，使用表达度和稳定度进行第二阶段主动采样；
[0031]步骤6，对神经网络进行训练；
[0032]步骤7，对模型进行迭代优化。
[0033]步骤1具体包括如下步骤：
[0034]根据数据集的标注成本，确定需要标注的总数据量。例如，拟训练一个人种分类模
型，该模型的输入是一张人脸图像，输出是该人脸所属的人种。现假设已从互联网上爬取100万张全球人脸图像，但它们所对应的人种都未知。为完成训练，需要人为标注这些人脸所属的人种作为标签。
[0035]然而，人为标注人种数据是需要大量成本的。例如，华为云商店对通用图片分类标注的定价为48元/万张，而对于人脸等特定领域的图像，标注成本则会更高，例如对于包含性别、表情、头部姿态等多种属性的人脸属性标记任务，定价则达到6000元/万张。假设本应用场景中人种标注的定价为500元/万张，且用于数据标注的总预算为5000元，则共可标注10万张图像。显然，相较于标注全部100万张图像并将它们全部用于模型的训练，只标注并使用10万张图像的训练效果会较差。而主动学习所需解决的问题，就是从无标注的100万张图像中，筛选出相对最具有价值的10万张图像，用这10万张图像对模型进行训练，得到的训练效果尽可能好。
[0036]此处提出的主动学习方法在选择样本时，除依据样本本身的特征外，还需要依据分类模型的某些输出值，而对分类模型进行一定程度的训练后，选择的样本会更加准确。因此，本专利技术将样本采样过程分为若干轮进行，这样除第一轮外，每轮采样时，分类模型都已得到一定程度的训练。例如，可以将采样过程分为10轮，每轮采样1万张图像。
[0037]步骤2具体包括如下步骤：
[0038]暂未标注的数据集称为无标签池。一轮采样可分为两个阶段，其中第二阶段的采样在第一阶段的采样结果中进行。例如对于上述人种分类模型，可以设定第一阶段从无标签池中采样2万张图像，第二阶段本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于两阶段主动学习的图像识别分类方法，其特征在于，包含以下步骤：步骤1，在用于训练图像识别分类模型的数据集中，确定需要标注的数据量；步骤2，使用主动学习方法进行第一阶段主动采样，得到第一阶段样本；步骤3，采用多视图聚类方法，对第一阶段样本进行聚类；步骤4，计算任意两个视图间的一致度；步骤5，计算采样得分作为采样策略，进行第二阶段主动采样，对经过第二阶段主动采样获得的第二阶段样本进行人工标注；步骤6，对图像识别分类模型进行训练；步骤7，重复步骤1至步骤6，对图像识别分类模型进行迭代优化，当人工标注的样本数量达到步骤1中所确定的数据量后，跳过步骤1至步骤5，且仅使用步骤6中所述任务损失作为损失函数对图像识别分类模型进行训练；步骤8，应用优化完成的图像识别分类模型进行图像识别分类。2.根据权利要求1所述的一种基于两阶段主动学习的图像识别分类方法，其特征在于，步骤2中所述的使用主动学习方法进行第一阶段主动采样，包括：对原始数据集即无标签池中的数据使用主动学习方法，作为第一阶段的主动采样策略，得到第一阶段的采样结果，即第一阶段样本，第一阶段样本的集合是无标签池的子集。3.根据权利要求2所述的一种基于两阶段主动学习的图像识别分类方法，其特征在于，步骤3所述对第一阶段样本进行聚类，具体包括：步骤3
‑
1，提取每个第一阶段样本在图像识别分类模型中每一层的特征，定义所有样本在同一层的特征即为一个视图；设图像识别分类模型中用于提取特征的层共有U个，即有U个视图；步骤3
‑
2，使用高斯混合模型GMM对每个视图中第一阶段样本的分布进行建模得到GMM模型，并形成聚类结果。4.根据权利要求3所述的一种基于两阶段主动学习的图像识别分类方法，其特征在于，步骤3所述步骤3
‑
2，使用高斯混合模型GMM对每个视图中第一阶段样本的分布进行建模，并形成聚类结果，具体包括：在高斯混合模型GMM中，使用概率密度函数刻画同一个视图中各个样本的分布，其中，x表示输入样本，θ表示GMM模型的参数K表示高斯混合模型中高斯模型的数量，φ(x|μ
k
,σ
k
)表示以μ
k
为均值、σ
k
为方差的第k个高斯模型，α
k
是权重，即当前样本属于第k个高斯模型的概率；使用高斯混合模型GMM形成聚类结果的具体操作方法叙述如下：设所有第一阶段样本的集合为其中N为第一阶段样本数量，其中x
(i)
(1≤i≤N)表示第i个第一阶段样本；引入隐变量引入隐变量然后执行以下步骤：步骤3
‑2‑
1：随机初始化θ，包括权重α
k
、均值μ
k
和方差σ
k
；
步骤3
‑2‑
2：计算隐变量的估计值方法如下：步骤3
‑2‑
3：计算GMM模型参数θ的估计值和具体方法如下：具体方法如下：具体方法如下：并用和作为α
k
、μ
k
和σ
k
的新值；步骤3
‑2‑
4：重复步骤3
‑2‑
2和步骤3
‑2‑
3，直到模型收敛，即对于事先给定的阈值t
α
、t
μ
和t
σ
，满足：和最终用和作为α
k
、μ
k
和σ
k
的近似值；步骤3
‑2‑
5：对于个U个视图，得到U个分布p1(x|θ1)、p2(x|θ2)、
……
、p
U
(x|θ
U
)，其中θ
U
表示第U个参数；根据上述分布，分别在每个视图上为每个第一阶段样本划分出所属类别作为聚类的结果。5.根据权利要求4所述的一种基于两阶段主动学习的图像识别分类方法，其特征在于，步骤4所述的计算任意两个视图间的一致度，即使用Rand统计量计算两个视图即第m个视图V
m
和第n个视图V
n
间的一致度R(V
m
,V
n
)(1≤m≤U，1≤n≤U)，具体方法如下：将第一阶段样本x
i
在视图V
m
上的聚类结果记为第一阶段样本总数记为s，所有样本共组成s(s
‑
1)/2个样本对，其中样本x

【专利技术属性】
技术研发人员：杨育彬，范译，江彪，
申请(专利权)人：南京大学，
类型：发明
国别省市：