【技术实现步骤摘要】
基于嵌入增强和自适应的小样本图像增量分类方法及装置
[0001]本专利技术涉及自动识别
,尤其涉及一种基于嵌入增强和自适应的小样本图像增量分类方法及装置。
技术介绍
[0002]得益于大量标记数据集的可用性,深度学习技术在许多计算机视觉任务中取得了显著的成功。而手动标记数据是一个昂贵且耗时的过程,并且图像种类繁多,几乎不可能一次性完整标注所有可能的图像类型,因此,当前大多数分类算法的开发大都处在一个封闭、静态的环境下,针对一种或几种特定类别而开发的。但实际场景通常是动态、开放和非平稳的,随着新类别样本的不断出现,分类算法需要大量新类标注数据和旧数据对模型进行再训练,造成成本高。同时,新类别的数据量往往比较少,数据的稀缺性会导致模型严重过拟合,不利于增量学习的进行。目前图像分类领域相关的主要研究方案有:
[0003]方案1)增量学习:旨在能够处理现实世界中连续出现的足够量的新增数据,在学习新知识的同时,保留甚至整合、优化旧知识。大部分研究方法通过存储有限的旧类样本或基于损失学习以从旧类中获得知识,以防止忘记以前的 ...
【技术保护点】
【技术特征摘要】
1.一种基于嵌入增强和自适应的小样本图像增量分类方法,其特征在于,包括以下步骤:获取图像增量分类系统,所述图像增量分类系统用于对待分类图像进行增量分类任务;获取待分类图像,并将所述待分类图像上传至所述图像增量分类系统进行识别;在所述图像增量分类系统识别失败时,从所述待分类图像中获取该类别少量图像作为训练样本,并将所述训练样本通过特征预训练模块计算得到目标原型,并通过混合关系映射模块对所述目标原型和/或原始原型进行自适应调整,以更新所述图像增量分类系统中所有原型,以通过调整后的所述图像增量分类系统实现对未识别类别的待分类图像的分类识别;在所述图像增量分类系统识别成功时,根据所述待分类图像通过特征预训练模块、混合关系映射模块和NCM分类器进行分类识别,并输出分类结果。2.如权利要求1所述的方法,其特征在于,所述获取图像增量分类系统,包括:根据数据集及任务特点选择嵌入表示模型,并结合自监督学习和注意力机制形成特征预训练模块,基于图像分类标注结果对所述特征预训练模块进行预训练;获取所述特征预训练模块的输出结果;基于所述特征预训练模块的输出结果,完成图像增量分类系统的训练。3.如权利要求2所述的方法,其特征在于,所述获取特征预训练模块的输出结果可以包括:特征预训练模块的输出结果未达到预期精度,调整特征预训练模块超参数,并进一步对特征预训练模块进行预训练;特征预训练模块的输出结果达到预期精度,冻结特征预训练模块参数,并通过伪增量情节选择模块选取伪增量情节,对混合关系映射模块和NCM分类器进行训练。4.如权利要求3所述的方法,其特征在于,所述伪增量情节选择模块,包括:伪基类,所述伪基类包括:在每次迭代中利用来自基础数据集生成N
‑
way K
‑
shot形式的支持集S
b
,相应的查询集Q
b
是从N个类别中采样形成的,每个类别包含E个查询样本,其中,N、E为正整数,E>N,所述查询集与所述支持集中的样本不同,可以用(S
b
,Q
b
)来表示;伪增量类,所述伪增量类包括:将所述伪基类的每个样本旋转270度,可以用(S
i
,Q
i
)来表示。5.如权利要求3所述的方法,其特征在于,所述混合关系映射模块,包括:根据伪增量情节,使用特征预训练模块F来提取伪基类和伪增量类的特征表示,对于支持集特征表示我们使用均值向量为每个类计算一个原型向量作为分类器初始权重,其中,c表示类别,所述伪基类和所述伪增量类总共2N个类别,s
j
为S
b
∪S
i
中的一个样本,为s
j
的特征嵌入。我们将伪基类和伪增量类的原型表示和查询集嵌入表示分别合并在一起,得到所有类别的原型表示集合和查询集嵌入表示集合,分别用M
c
和X
q
表示;原型自我映射(PSP),所述PSP通过对原始原型表示与新的原型表示建立全局依赖关系,对所有原型进行自适应调整;其中,PSP的输入采用(Query,Key,Value)的三元组形式,
Query,Key和Value共享相同的输入源M
c
,PSP可以表述为:Query=M
...
【专利技术属性】
技术研发人员:宋美娜,鄂海红,张如如,何佳雯,王莉菲,袁立飞,
申请(专利权)人:北京邮电大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。