基于低维对比自适应的小样本开放集图像识别方法技术

本发明专利技术公开了基于低维对比自适应的小样本开放集图像识别方法。本发明专利技术方法首先对开放图像数据集采样得到支持集和查询集，输入到视觉特征提取模块，获得对应的特征向量集；接着，利用低维对比嵌入模块将特征向量集转换为低维密集特征向量集；再构建任务自适应校正模块，支持特征向量集通过低维密集支持特征向量集进行校正重构，得到支持原型向量集；最后，将低维密集特征向量集、支持原型向量集和查询特征向量集输入度量分类模块得到查询集中样本类别。本发明专利技术方法利用低维对比嵌入模块动态地挖掘未知类样本表征模式，提升了未知类的识别精度，同时通过任务自适应校正模块减少未知类别中相似视觉特征的干扰，提高了已知类别的分类准确率。类准确率。类准确率。

【技术实现步骤摘要】
基于低维对比自适应的小样本开放集图像识别方法


[0001]本专利技术属于计算机视觉
，尤其是小样本开放集场景下的图像识别领域，涉及一种基于低维对比自适应的小样本开放集图像识别方法。

技术介绍

[0002]开放集图像识别是对普通图像识别任务的一个扩展，旨在正确分类训练集中定义的已知类别图像并识别未知类别的图像。近年来，以深度卷积网络为基础深度学习模型在数据样本丰富场景下的开放集图像识别任务中取得优异的性能。然而，传统方法无法直接应用于稀有动物识别等数据样本相对匮乏的场景，在训练数据不足情况下学习得到的模型可能过拟合，导致新数据样本上的泛化能力偏弱。为此，从人类认知新事物的角度，研究人员提出小样本学习理论，并探讨解决小样本开放集图像识别问题的方法。小样本开放集图像识别旨在通过少量具有类别标记的支持集样本识别未标记的查询集样本，其中支持集样本的类别为已知，这些开放集中的类别可能在训练集中未出现且查询集样本可以是任意的未知类别，即支持集和查询集对应的类别标记空间不一致。小样本开放集图像识别模型需要区分已知类别的查询集样本并识别未知类别的查询集样本，可应用于稀缺药物发现(drug discovery)、军事目标识别等数据相对匮乏的开放场景。例如，在药物发现领域中相同分子结构的药物样本少，且存在未知的新型结构药物，已有方法不能同时解决该任务中的数据稀缺且类别开放问题，不利于专业人员准确决策。
[0003]现有的小样本开放集识别研究工作大多从常规的小样本和开放集识别问题发展而来，并采用度量学习的框架。为模拟真实的应用场景，这些方法均按照元学习范式训练模型，训练阶段将训练集按照“任务”(task或episode)为单位进行划分。不同“任务”中的数据集均包含各自的支持集和查询集，查询集包含已知的支持集类别和其他的未知类别。每次迭代优化时，支持集作为“任务”中已标注的样本集合，模型需要利用少量支持样本正确分类查询集中已知类样本并识别未知类样本，进而根据查询集样本的分类损失进行优化。一般典型的方法将支持集和查询集输入到特征嵌入网络中得到对应的嵌入向量，随后将嵌入向量输入到度量模块进行相似度比较并分类。对于未知类别的查询样本，模型通常预先设定一个阈值，若查询样本对应的最大已知类得分小于此阈值，则将该查询样本视为未知类别。
[0004]上述的小样本开放集识别方法主要存在以下不足：(1)已知类别会随着不同“任务”的支持集而发生变化，且类间相似程度不一致，采用固定的阈值无法自适应地动态划分不同“任务”中的已知和未知类别决策边界；(2)查询集中的样本可以来自任意的未知类别，其具体分布无法估计，导致模型难以从少量的支持样本中挖掘有效的未知类表征信息；(3)查询集可能存在与已知类别具有相同视觉特征的未知类别，容易对已知类别的分类造成进一步的干扰。综上所述，为了缓解现有方法无法动态划分决策边界和合理表征未知类别而造成的识别不准确问题，迫切需要一种不需要固定阈值，且能根据支持集中的少量已知类别样本挖掘出未知类表征信息，并减少相似视觉特征干扰的方法。

技术实现思路

[0005]本专利技术的目的就是针对现有技术的不足，提供一种基于低维对比自适应的小样本开放集图像识别方法。本专利技术方法设计低维对比嵌入模块，动态地根据已知类挖掘未知类的低维密集表征，解决已知类别变化造成的决策边界划分困难问题；利用任务自适应校正模块更新原始的已知类特征，解决未知类中相似视觉特征的干扰问题，最终准确区分已知类别并识别出未知类别。
[0006]本专利技术方法首先获取由已知类别标注样本和部分未知类别样本组成的开放图像数据集，然后进行如下操作：
[0007]步骤(1)对开放图像数据集进行采样，获得支持集和包含部分未知类别样本的查询集，将两者输入到视觉特征提取模块，输出支持特征向量集和查询特征向量集；
[0008]步骤(2)构建低维对比嵌入模块，输入为支持特征向量集和查询特征向量集，输出为低维密集支持特征向量集和低维密集查询特征向量集；
[0009]步骤(3)构建任务自适应校正模块，输入为支持特征向量集和低维密集支持特征向量集，输出为支持原型向量集；
[0010]步骤(4)构建度量分类模块，输入低维密集支持特征向量集、低维密集查询特征向量集、支持原型向量集和查询特征向量集，输出为查询集中样本的预测类别标记；
[0011]步骤(5)利用随机梯度下降算法优化由低维对比嵌入模块、任务自适应校正模块和度量分类模块组成的小样本开放集图像识别模型，对新的支持集和查询集通过步骤(1)～(4)得到查询集中图像样本类别。
[0012]进一步，步骤(1)具体是：
[0013](1
‑
1)将开放图像数据集中所有图像缩放至相同大小，对缩放后的图像数据集以随机方式不放回采样，得到已知类标记集以及支持集和查询集，C表示支持集中的样本类别总数；支持集上标s表示支持(support)，N
s
表示支持集中的图像样本个数且N
s
＝C
×
K，K表示支持集中每个类别的样本数，表示第i个支持图像样本和对应的类别标记；查询集上标q表示查询(query)，N
q
表示查询集中的图像样本个数，表示第j个查询图像样本和对应的类别标记，U表示未知类标记集，说明查询集中存在来自未知类别的样本；表示实数域，H表示图像高度，W表示图像宽度，3表示RGB通道数量；
[0014](1
‑
2)构建由深度卷积网络和一个全连接层组成的视觉特征提取模块，其中，深度卷积网络是在大规模图像数据集ImageNet上预训练好的18层残差网络ResNet
‑
18(Residual Network
‑
18)，全连接层的输出维度为d；
[0015](1
‑
3)将支持集和查询集输入到视觉特征提取模块得到支持特征向量集和查询特征向量集其中表示第i个支持特征向量，表示第j个查询特征向量，d表示单个特征向量的维度。
[0016]再进一步，步骤(2)具体是：
[0017](2
‑
1)构建低维对比嵌入模块，低维对比嵌入模块由低维投影单元、重构误差辅助损失和监督对比辅助损失组成；低维投影单元将样本投影到二分类低维空间，重构误差辅助损失尽可能保留样本关键的视觉特征；监督对比辅助损失增加已知类样本和未知类样本在低维空间的距离，并减少已知类间样本低维特征的距离，挖掘更合理的未知类视觉特征；
[0018](2
‑
2)将支持特征向量集和查询特征向量输入到低维投影单元，得到低维密集支持特征向量集和低维密集查询特征向量集第i个低维密集支持特征向量第j个低维密集查询特征向量d
′
表示投影后低维向量的维度且d
′
＜＜d，表示低维投影参数矩阵，T表示矩阵转置操作；
[0019](2
‑
3)根据每个低维密集支持向量和低维密集支持查询向量计算低维密集特征重构辅助损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于低维对比自适应的小样本开放集图像识别方法，其特征在于，首先获取由已知类别标记的样本和部分未知类别样本组成的开放图像数据集，然后进行如下操作：步骤(1)对开放图像数据集进行采样，获得支持集和包含部分未知类别样本的查询集，将两者输入到视觉特征提取模块，输出支持特征向量集和查询特征向量集；步骤(2)构建低维对比嵌入模块，输入为支持特征向量集和查询特征向量集，输出为低维密集支持特征向量集和低维密集查询特征向量集；步骤(3)构建任务自适应校正模块，输入为支持特征向量集和低维密集支持特征向量集，输出为支持原型向量集；步骤(4)构建度量分类模块，输入低维密集支持特征向量集、低维密集查询特征向量集、支持原型向量集和查询特征向量集，输出为查询集中样本的预测类别标记；步骤(5)利用随机梯度下降算法优化由低维对比嵌入模块、任务自适应校正模块和度量分类模块组成的小样本开放集图像识别模型，对新的支持集和查询集通过步骤(1)～(4)得到查询集中图像样本类别。2.如权利要求1所述的基于低维对比自适应的小样本开放集图像识别方法，其特征在于，步骤(1)具体是：(1
‑
1)将开放图像数据集中所有图像缩放至相同大小，对缩放后的图像数据集以随机方式不放回采样，得到已知类标记集以及支持集和查询集，C表示支持集中的样本类别总数；支持集上标s表示支持，N
s
表示支持集中的图像样本个数且N
s
＝C
×
K，K表示支持集中每个类别的样本数，表示第i个支持图像样本和对应的类别标记；查询集上标q表示查询，N
q
表示查询集中的图像样本个数，表示第j个查询图像样本和对应的类别标记，表示未知类标记集，说明查询集中存在来自未知类别的样本；表示实数域，H表示图像高度，W表示图像宽度，3表示RGB通道数量；(1
‑
2)构建由深度卷积网络和一个全连接层组成的视觉特征提取模块，其中，深度卷积网络是在大规模图像数据集ImageNet上预训练好的18层残差网络ResNet
‑
18，全连接层的输出维度为d；(1
‑
3)将支持集和查询集输入到视觉特征提取模块得到支持特征向量集和查询特征向量集其中表示第i个支持特征向量，表示第j个查询特征向量，d表示单个特征向量的维度。3.如权利要求2所述的基于低维对比自适应的小样本开放集图像识别方法，其特征在于，步骤(2)具体是：(2
‑
1)构建低维对比嵌入模块，低维对比嵌入模块由低维投影单元、重构误差辅助损失和监督对比辅助损失组成；低维投影单元将样本投影到二分类低维空间，重构误差辅助损失尽可能保留样本关键的视觉特征；监督对比辅助损失增加已知类样本和未知类样本在低
维空间的距离，并减少已知类间样本低维特征的距离，挖掘更合理的未知类视觉特征；(2
‑
2)将支持特征向量集和查询特征向量输入到低维投影单元，得到低维密集支持特征向量集和低维密集查询特征向量集第i个低维密集支持特征向量第j个低维密集查询特征向量d
′
表示投影后低维向量的维度且d
′
＜＜d，表示低维投影参数矩阵，T表示矩阵转置操作；(2
‑
3)根据每个低维密集支持向量和低维密集支持查询向量计算低维密集特征重构辅助损失loss1，以尽可能地保留原始高维空间的关键视觉特征，表示向量的L2范式的平方，λ表示正则化项的比例因子超参数，用于抑制过拟合，λ＞0；(2
‑
4)根据低维密集向量和对应样本的查询集类标记计算监督对比辅助损失loss2，exp(
·
)表示自然常数e为底的指数函数，cos(
·
,
·
)表示余弦相似度函数，τ表示相似度缩放因子超参数，τ＞0，和分别表示对应类标记为已知类和未知类的查询样本。4.如权利要求3所述的基于低维对比自适应的小样本开放集图像识别方法，其特征在于，步骤(3)具体是：(3
‑
1)构建任务自适应校正模块，任务自适应校正模块利用类间向量间的相关性构造类间关系向量集，自适应地调整已知类的特征表示，使不同已知类特征更具区分性，同时通过低维密集支持特征向量集对类特征进行校正重构，去除掉未知类的无关信息，减小未知类中相似视觉特征对已知类别造成的干扰；(3
‑
2)根据支持特征向量得到出初始的支持原型向量集类别为c的支持原...

【专利技术属性】
技术研发人员：李平，陈家俊，王然，徐向华，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：