一种基于虚拟特征生成与重放的类增量图像分类方法技术

本发明专利技术公开了一种基于虚拟特征生成与重放的类增量图像分类方法，目的是解决现有图像分类方法分类准确度有待提高的问题。先构建由文本提示构建模块、文本特征提取模块、图像特征提取模块、虚拟特征生成模块、虚拟特征重放模块和主任务模块组成的基于虚拟特征生成与重放的类增量图像分类系统。构建训练集、验证集和测试集。采用训练集对图像分类系统进行训练，得到训练后的图像分类系统。使用验证集对训练后的图像分类系统进行验证，将含有最好的文本提示的权重参数赋值到图像分类系统，得到性能最优的训练后的图像分类系统；最后采用性能最优的训练后的图像分类系统对图像进行分类，得到图像的类别。采用本发明专利技术能防止灾难性遗忘，提升准确度。

【技术实现步骤摘要】

本专利技术涉及类增量图像分类领域，具体涉及一种提高类增量图像分类准确度的方法。

技术介绍

1、随着互联网和大数据技术的飞速发展，机器学习算法在许多领域都得到了广泛应用。然而，传统的机器学习算法往往需要大量的标注数据来进行训练，这在某些场景下是不现实的。例如，在一些需要实时更新的场景，如股票市场分析、网络安全检测等，传统的机器学习算法需要定期重新训练，以适应新的数据分布，这无疑增加了计算成本和时间成本。为了解决这一问题，类增量图像分类(class-incremental image classification)应运而生。类增量图像分类旨在获取新数据后，仅对新数据涉及的类别进行分类，而无需对原有数据进行重新训练。这种方式大大减少了计算量和时间成本，提高了模型的实时更新能力。

2、类增量图像分类遇到了一个重大挑战：学习新类别的过程往往会覆盖以前获得的知识，从而导致灾难性遗忘。常见的类增量图像分类方法大致可分为三大类：基于正则化的方法、基于架构的方法和基于重放的方法。基于正则化的方法对模型更新期间使用正则化项来防止关键参数的漂移，从而保留先前的知识。本文档来自技高网...

【技术保护点】

1.一种基于虚拟特征生成与重放的类增量图像分类方法，其特征在于包括以下步骤：

2.如权利要求1所述的一种基于虚拟特征生成与重放的类增量图像分类方法，其特征在于所述文本特征提取模块的参数采用CLIP在Transformer架构进行预训练的参数；Transformer架构中的编码器和解码器都由多个相同的层堆叠而成，为6层；每一层包含两个子层：一个是多头自注意力模块，采用自注意力机制允许模型在处理一个序列的某个元素时，同时关注序列中的其他元素，捕捉它们之间的依赖关系；另一个是全连接层，多头自注意力模块和全连接层之间通过残差连接。

3.如权利要求1所述的一种基于虚拟特征生...

【技术特征摘要】

1.一种基于虚拟特征生成与重放的类增量图像分类方法，其特征在于包括以下步骤：

2.如权利要求1所述的一种基于虚拟特征生成与重放的类增量图像分类方法，其特征在于所述文本特征提取模块的参数采用clip在transformer架构进行预训练的参数；transformer架构中的编码器和解码器都由多个相同的层堆叠而成，为6层；每一层包含两个子层：一个是多头自注意力模块，采用自注意力机制允许模型在处理一个序列的某个元素时，同时关注序列中的其他元素，捕捉它们之间的依赖关系；另一个是全连接层，多头自注意力模块和全连接层之间通过残差连接。

3.如权利要求1所述的一种基于虚拟特征生成与重放的类增量图像分类方法，其特征在于所述图像特征提取模块采用的resnet网络通过堆叠一系列的残差模块构建而成，残差模块由卷积层，归一化层组成；根据网络深度的不同，图像特征提取模块采用4亿个图像--文本对训练后的resnet50或resnet101网络。

4.如权利要求1所述的一种基于虚拟特征生成与重放的类增量图像分类方法，其特征在于所述图像特征提取模块采用的vit网络将图像分割成一系列的小块，然后将这些小块视为序列数据，通过transformer模型进行处理；根据具体应用，图像特征提取模块采用4亿个图像--文本对训练后的vit-b/32或vit-b/16或vit-l/14中的任意一种网络。

5.如权利要求1所...

【专利技术属性】
技术研发人员：陈微，寻天赐，何玉麟，郑伟巍，朱久远，周雯涓，王浩天，颜玉松，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：