当前位置: 首页 > 专利查询>深圳大学专利>正文

针对长尾噪声的模型训练方法、装置、设备和介质制造方法及图纸

技术编号:45072313 阅读:13 留言:0更新日期:2025-04-25 18:14
本发明专利技术涉及计算机视觉技术领域,特别涉及针对长尾噪声的模型训练方法、装置、设备和介质,方法包括将输入图像、文本提示词和观测标签输入预训练的视觉语言模型中,视觉语言模型的图像编码器中设置有微调模块;在视觉语言模型中得到文本特征、图像特征及对各个类别的原始输出值,并得到文本预测标签;确定监督启停状态和目标损失函数,并基于目标损失函数对微调模块进行更新,以得到完成训练的视觉语言模型。本申请通过评估文本预测标签和观察标签之间的差异确定是否需要文本图像对齐先验辅助监督,通过校准学习到的特征和观测标签之间的偏差,进而提高了头部类和尾部类样本在高噪声场景下的分类准确率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,尤其涉及的是针对长尾噪声的模型训练方法、装置、设备和介质


技术介绍

1、计算机视觉领域通常基于大规模公共数据集进行模型训练,然而,在现实世界中,数据集往往存在类别不平衡的问题,呈现长尾分布的特征,即头部类包含大多数样本,而尾部类则样本不足;数据集还存在图像错误标记的问题,称为噪声标签,创建具有正确标记类别的平衡数据集则成本昂贵。因此,通常还是需要在同时具有长尾分布和标签噪声的数据集上进行模型训练。为了解决这些问题,引入了长尾噪声标签学习方式。

2、然而,现有的长尾噪声标签学习方式忽略了数据中不同噪声率对模型训练的影响,在高噪声环境中,长尾噪声标签学习的方式会出现不足,因为噪声标签会破坏样本的可靠性,并模糊噪声样本和尾类样本之间的区别,导致头部类和尾部类样本在高噪声场景下的分类准确率较低。

3、因此,现有技术存在缺陷,有待改进与发展。


技术实现思路

1、本申请提供了针对长尾噪声的模型训练方法、装置、设备和介质,以解决相关技术中头部类和尾部类样本在高噪声场景下的本文档来自技高网...

【技术保护点】

1.一种针对长尾噪声的模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的针对长尾噪声的模型训练方法,其特征在于,基于所述文本预测标签和所述观测标签确定监督启停状态,包括:

3.根据权利要求2所述的针对长尾噪声的模型训练方法,其特征在于,根据所述比对结果确定监督启停状态,包括:

4.根据权利要求3所述的针对长尾噪声的模型训练方法,其特征在于,基于所述监督启停状态和所述原始输出值确定目标损失函数,包括:

5.根据权利要求4所述的针对长尾噪声的模型训练方法,其特征在于,基于所述第一损失函数和所述第二损失函数得到目标损失函数,包括:...

【技术特征摘要】

1.一种针对长尾噪声的模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的针对长尾噪声的模型训练方法,其特征在于,基于所述文本预测标签和所述观测标签确定监督启停状态,包括:

3.根据权利要求2所述的针对长尾噪声的模型训练方法,其特征在于,根据所述比对结果确定监督启停状态,包括:

4.根据权利要求3所述的针对长尾噪声的模型训练方法,其特征在于,基于所述监督启停状态和所述原始输出值确定目标损失函数,包括:

5.根据权利要求4所述的针对长尾噪声的模型训练方法,其特征在于,基于所述第一损失函数和所述第二损失函数得到目标损失函数,包括:

6.根据权利要求3所述的针对长尾噪声的模型训练方法,其特征在于,基于所述监督启停...

【专利技术属性】
技术研发人员:李梦柯凌海权黄惠
申请(专利权)人:深圳大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1