一种基于主动学习的开放集图像识别方法及系统技术方案

本发明专利技术涉及机器学习开放集图像识别技术领域。现有方法对未标记数据的评估和伪标记信息的利用不足，难以学习到类别区分度较高的特征表示；本发明专利技术提供一种基于主动学习的开放集图像识别方法及系统，根据给定图像数据集使用Word2Vec生成已见类别的语义表示；训练特征提取模型，并将图像特征的匹配得分，与自适应选择的阈值进行比较，区分开放集样本和已见类样本；通过主动学习策略迭代地将高置信度已见类样本添加到标记数据集中，直到开放集样本都被识别出来；为每个未标记数据进行类别预测。本发明专利技术充分利用了未标记数据的伪标记信息，减少开放集样本对分类模型的影响并扩充标记数据集，提升了开放集图像识别的准确率。提升了开放集图像识别的准确率。提升了开放集图像识别的准确率。

【技术实现步骤摘要】
一种基于主动学习的开放集图像识别方法及系统


[0001]本专利技术涉及机器学习开放集图像识别
，尤其涉及一种基于主动学习的开放集图像识别方法及系统。

技术介绍

[0002]图像分类问题是计算机视觉领域最基本的问题，具有广阔的应用场景。在实际生活中，例如，交通管理领域中通过对拍摄的车辆图片进行分类，实现更好的城市道路规划；电子商务领域中通过对客户浏览的商品图案进行分类，更精准的向客户进行商品推荐；农业领域中通过对采集的昆虫图片进行分类，指导农民及时发现害虫并进行防治。图像分类的目标是将不同的图像划分到不同的类别，实现最小的分类误差。近年来，基于深度学习的图像分类技术往往通过大量标记图像数据学习分类模型，对无标记的图像数据进行类别预测，这个过程是封闭的，即标记数据和未标记数据中的图像属于相同类别。然而，现实应用场景是开放的，在未标记数据中通常会出现与标记数据类别不同的图像，标记数据和未标记数据之间的类别空间不同，导致模型对未标记样本的预测性能降低。开放集图像识别任务要求分类器不仅要准确地对已见类数据进行分类，还要有效地处理新类数据。
[0003]已有的开放集图像识别方法主要有样本重加权和开放集检测评分。样本重加权方法的思想是为开放集图像分配较低的权重，降低其对模型训练的影响。样本重加权方法中涉及基于元学习的无标记数据重加权机制以及基于距离的无标记数据重加权机制。开放集检测评分的目的是设计一个评分机制，为每个未标记的图像数据计算一个开放集评分，根据分数和预定义的阈值检测开放集图像。在开放集图像识别领域，基于模型预测集成的开放集实例检测评分机制和基于度量的开放集检测评分机制未考虑未标记样本的信息，仅从有限的标记数据中学习，无法有效提升开放集图像的识别性能。基于噪声标签优化的方法、基于一对多分类器的方法以及基于图像特征和类别标签匹配得分的方法提出考虑挖掘未标记样本的信息提升模型表达能力，但是这些方法对未标记数据的评估和伪标记信息的利用不足，难以学习到类别区分度较高的特征表示，导致开放集识别准确率较低，影响图像分类的精度。

技术实现思路

[0004]为解决现有技术的不足，本专利技术提出一种基于主动学习的开放集图像识别方法及系统。通过引入已见类别的语义知识，构建语义知识和图像特征的映射关系。利用阈值选择策略区分开放集样本和已见类样本，之后通过主动学习模型迭代地识别高置信度开放集样本和已见类样本，并将高置信度的已见类样本及其计算得到的伪标签添加到标记数据集中，减少开放集样本对分类模型的影响并充分利用未标记数据扩充标记数据集。
[0005]本专利技术的目的是通过下述技术方案实现的：
[0006]一种基于主动学习的开放集图像识别方法，包括如下步骤：
[0007]S1：给定标记图像数据集和未标记数据集利用语
言模型Word2Vec生成已见类图像对应的类别语义表示
[0008]S2：引入图像旋转预测框架RotNet，对给定图像数据集中的图像分别旋转0
°
、90
°
、180
°
和270
°
，进行自监督表示增强学习，训练图像特征提取模型，构造自监督损失L
sef
；
[0009]S3：利用图像特征提取模型对所有图像进行特征表示，融入类别语义知识，将图像特征和类别语义知识映射到公共空间进行相似度计算，利用余弦相似度，计算图像特征和类别语义匹配得分，构造匹配损失L
ma
；
[0010]S4：通过Otsu算法自适应选择预定义的阈值，将匹配得分与预定义的阈值进行比较，匹配得分低于阈值的未标记图像认为是开放集图像，匹配得分高于阈值的未标记图像认为是已见类图像；
[0011]S5：采用主动学习策略，选择高置信度开放集样本和高置信度已见类样本，top
‑
k得分最高的样本是高置信度样本，将高置信度已见类样本及其计算得到的伪标签添加到标记数据中进行训练，以此形成循环，直到开放集样本都被识别出来，同时实现标记数据集的扩充；
[0012]S6：为每个未标记数据进行类别预测，构造分类损失L
ce
。
[0013]进一步，步骤S1包括：给定标记样本集和一个未标记样本集其中和分别表示有标记和无标记的图像，表示有标记样本的真实标签，标记样本集中包含K个目标类别，即为每个类别定义一个语义表示为每个类别定义一个语义表示表示类别语义特征。
[0014]进一步，步骤S2包括：引入图像旋转预测框架RotNet，对所有标记数据和未标记数据进行自监督表示增强学习，将每张图像分别旋转0
°
、90
°
、180
°
和270
°
生成4个对应图像，并预测类别概率，对于图像特征x
i
，旋转之后的特征x
i,j
＝x
i
*(j
‑
1)*90
°
，其中j＝1,2,3,4，旋转后的预测概率q
i,j
：
[0015]q
i,j
＝h(f(x
i,j
)),
[0016]其中h(
·
)表示1个线性层和1个softmax函数，训练过程的自监督损失函数为：
[0017][0018]进一步，步骤S3包括：将图像特征和类别语义特征映射到公共空间实现视觉特征和语义特征的对齐，对于语义特征，利用Word2Vec得到已见类语义表示，对于图像x和它的标签y，首先提取图像x的特征z＝f(x)，接着抽取标签y对应的语义表示a，然后将z和a映射到一个公共空间进行相似度计算，利用余弦相似度，得到样本x和标签y的匹配得分：
[0019]s(x,y)＝s(z,a)＝cos(f(x),a),s(x,y)通过计算图像和类别语义相似度的大小来反映y是否是x的正确类别标签，其中类别语义相似度大的被认为是正确的类别标签；
[0020]随机选择除真实标签和最难区分标签之外的标签下面是模型训练的损失函数，标记数据的损失函数如下：
[0021][0022]其中，和分别表示最难区分的标签和随机选择的标签，
[0023][0024][0025]对于每一个未标记数据假设其预测概率为其伪标签未标记数据的损失函数如下：
[0026][0027]其中，
[0028]由此构造匹配损失L
ma
：
[0029][0030]进一步，步骤S4包括：阈值通过Otsu算法自适应的选择，对于某一批次样本，首先按照s中匹配得分值进行直方图的构造，对得分值进行归一化后进行正向累积求和与水平翻转求和，分别得到w1和w2，接着分别计算每个得分在正向累计求和中和水平翻转求和中的平均值和m1和m2：
[0031][0032][0033]再根据平均值计算方差v：
[0034]v＝w1*w2*(m1‑
m2)2,
[0035]最后最大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于主动学习的开放集图像识别方法，其特征在于，该方法包括如下步骤：S1：给定标记图像数据集和未标记数据集利用语言模型Word2Vec生成已见类图像对应的类别语义表示S2：引入图像旋转预测框架RotNet，对给定图像数据集中的图像分别旋转0
°
、90
°
、180
°
和270
°
，进行自监督表示增强学习，训练图像特征提取模型，构造自监督损失L
sef
；S3：利用图像特征提取模型对所有图像进行特征表示，融入类别语义知识，将图像特征和类别语义知识映射到公共空间进行相似度计算，利用余弦相似度，计算图像特征和类别语义匹配得分，构造匹配损失L
ma
；S4：通过Otsu算法自适应选择预定义的阈值，将匹配得分与预定义的阈值进行比较，匹配得分低于阈值的未标记图像认为是开放集图像，匹配得分高于阈值的未标记图像认为是已见类图像；S5：采用主动学习策略，选择高置信度开放集样本和高置信度已见类样本，top
‑
k得分最高的样本是高置信度样本，将高置信度已见类样本及其计算得到的伪标签添加到标记数据中进行训练，以此形成循环，直到开放集样本都被识别出来，同时实现标记数据集的扩充；S6：为每个未标记数据进行类别预测，构造分类损失L
ce
。2.根据权利要求1所述的一种基于主动学习的开放集图像识别方法，其特征在于，所述步骤S1包括：给定标记样本集和一个未标记样本集其中和分别表示有标记和无标记的图像，表示有标记样本的真实标签，标记样本集中包含K个目标类别，即为每个类别定义一个语义表示为每个类别定义一个语义表示表示类别语义特征。3.根据权利要求1所述的一种基于主动学习的开放集图像识别方法，其特征在于，所述步骤S2包括：引入图像旋转预测框架RotNet，对所有标记数据和未标记数据进行自监督表示增强学习，将每张图像分别旋转0
°
、90
°
、180
°
和270
°
生成4个对应图像，并预测类别概率，对于图像特征x
i
，旋转之后的特征x
i,j
＝x
i
*(j
‑
1)*90
°
，其中j＝1,2,3,4，旋转后的预测概率q
i,j
：q
i,j
＝h(f(x
i,j
)),其中h(
·
)表示1个线性层和1个softmax函数，训练过程的自监督损失函数为：4.根据权利要求1所述的一种基于主动学习的开放集图像识别方法，其特征在于，所述步骤S3包括：将图像特征和类别语义特征映射到公共空间实现视觉特征和语义特征的对齐，对于语义特征，利用Word2Vec得到已见类语义表示，对于图像x和它的标签y，首先提取图像x的特征z＝f(x)，接着抽取标签y对应的语义表示a，然后将z和a映射到一个公共空间进行相似度计算，利用余弦相似度，得到样本x和标签y的匹配得分：
s(x,y)＝s(z,a)＝cos(f(x),a),s(x,y)通过计算图像和类别语义相似度的大小来反映y是否是x的正确类别标签，其中类别语义相似度大的被认为是正确的类别标签；随机选择除真实标签和最难区分标签之外的标签下面是模型训练的损失函数，标记数据的损失函数如下：其中，和分别表示最难区分的标签和随机选择的标签，分...

【专利技术属性】
技术研发人员：梁吉业，王慧敏，王智强，郭婷，
申请(专利权)人：山西大学，
类型：发明
国别省市：