基于提示自蒸馏的部分测试时间自适应的图像识别方法技术

技术编号:41091465 阅读:27 留言:0更新日期:2024-04-25 13:51
本申请涉及一种基于提示自蒸馏的部分测试时间自适应的图像识别方法。所述方法包括:利用测试图像集对视觉语言模型进行测试自适应训练,在测试过程中对单个测试图像进行图像增强,对多个增强视图的预测概率进行聚合,得到聚合预测概率;对测试图像集进行部分测试时间自适应计算得到原始测试图像的预测概率;将聚合预测概率和原始测试图像的预测概率进行前馈预测聚合,将前馈预测聚合概率和所有增强方法的预测的均值进行对齐,得初始测试时间提示;对初始测试时间提示进行虚拟批次更新,根据每个批次测试图像的测试时间提示进行模型测试,得到测试好的视觉语言模型。采用本方法能够提高图像识别准确率。

【技术实现步骤摘要】

本申请涉及图像识别,特别是涉及一种基于提示自蒸馏的部分测试时间自适应的图像识别方法


技术介绍

1、在现有的图像识别领域,特别主流的人脸识别领域中,主要通过图像识别模型进行识别,图像识别模型都是基于深度神经网络模型进行训练得到,深度学习模型训练的好坏对识别准确度的影响至关重要。而在整个深度神经网络模型训练过程中,用于训练和测试的数据集又是重中之重,会对深度神经网络模型的最终算法性能产生决定性影响。然而,当训练数据和测试数据之间存在分布偏移时,即使在简单的图像识别任务中,模型的性能也无法得到保证。

2、目前,人们意识到测试时的适应性可以更有效地解决这种不可避免的分布偏移问题,因此出现了当前的测试时间自适应(tta)方法,例如一些tta方法依赖于基于批次的数据流处理,通过改进批次归一化的统计适应、分摊式上下文学习器和熵最小化等方法。然而,在大多数应用中,以批次为单位处理测试数据的方式是不现实的,因为测试样本通常是单独处理的,利用自适应(tta)方法在深度神经网络模型训练时,训练得到的深度神经网络模型,在图像识别中准确度低,无法满足不同应用场合的需求本文档来自技高网...

【技术保护点】

1.一种基于提示自蒸馏的部分测试时间自适应的图像识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,对所述多个增强视图的预测概率进行聚合,得到聚合预测概率,包括:

3.根据权利要求2所述的方法,其特征在于,对所述测试图像集进行部分测试时间自适应,将所述测试图像集的标签空间作为视觉语言模型的标签空间的子集来计算得到原始测试图像的预测概率,包括:

4.根据权利要求3所述的方法,其特征在于,将所述聚合预测概率和原始测试图像的预测概率进行前馈预测聚合,得到前馈预测聚合概率,包括:

5.根据权利要求1所述的方法,其特征在于...

【技术特征摘要】

1.一种基于提示自蒸馏的部分测试时间自适应的图像识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,对所述多个增强视图的预测概率进行聚合,得到聚合预测概率,包括:

3.根据权利要求2所述的方法,其特征在于,对所述测试图像集进行部分测试时间自适应,将所述测试图像集的标签空间作为视觉语言模型的标签空间的子集来计算得到原始测试图像的预测概率,包括:

4.根据权利要求3所述的方法,其特征在于,将所述聚合预测概率和原始测试图像的预测概率进行前馈预测聚合,得到前馈预测聚合概率,包括:

5.根据权利要求1所述的方法,其特征在于,将所述前馈预测聚合概率和所有...

【专利技术属性】
技术研发人员:于天元宣启楠白亮汤俊郭延明阮逸润
申请(专利权)人:中国人民解放军国防科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1