图像分类方法、电子设备及计算机可读存储介质技术

本申请实施例提供了一种图像分类方法、电子设备及计算机可读存储介质，涉及人工智能技术领域。该方法包括：将第一样本图像输入预训练视觉语言模型进行文本生成，得到第一样本图像文本描述；为第一样本图像文本描述增加问题引导语，然后输入第一初始大语言模型进行类别预测，得到第一样本预测图像类别；基于真实图像类别和第一样本预测图像类别对初始大语言模型进行微调，得到第一目标大语言模型；将第一目标图像输入预训练视觉语言模型进行文本生成，得到第一目标图像文本描述；为第一目标图像文本描述增加问题引导语，然后输入第一目标大语言模型进行类别预测，得到第一目标预测图像类别。本申请提高了图像分类准确性。

【技术实现步骤摘要】

本申请涉及人工智能，尤其涉及一种图像分类方法、电子设备及计算机可读存储介质。

技术介绍

1、在计算机视觉的各种应用中，常常要面对训练域和测试域之间的分布差异(也称域偏移)带来的挑战。例如，自动驾驶汽车需要能够处理在训练阶段没有出现的恶劣天气条件，这对模型的泛化能力有很大的要求。为了缓解域偏移，跨域学习旨在提取源域和目标域之间的域不变知识。

2、目前，一些在大规模视觉语言模型方面的工作表明，通过从大量配对的图像-文本样本中学习，图像分类性能有了显著提升。然而，基于大规模视觉语言模型来学习域不变特征仍然面临着巨大的域偏移挑战，导致跨域性能不佳。另一方面，大语言模型在基于文本的任务中具有强大的零样本泛化能力。然而，由于模态和任务结构之间固有的差异，大语言模型的在文本上的成功并不能够直接延伸到纯视觉和视觉-语言任务。

3、综上，目前相关技术的图像分类的准确性较差。

技术实现思路

1、本申请实施例的主要目的在于提出图像分类方法、电子设备及计算机可读存储介质，提高了图像分类的准确性。

本文档来自技高网...

【技术保护点】

1.一种图像分类方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述问题引导语包括信息提供模板和类别问题模板；

3.根据权利要求1所述的方法，其特征在于，所述第一样本图像文本描述包括第一样本图像标签，所述预训练视觉语言模型包括图像标签模型；

4.根据权利要求3所述的方法，其特征在于，所述第一样本图像文本描述还包括第一样本图像属性，所述预训练视觉语言模型包括图像属性模型；

5.根据权利要求4所述的方法，其特征在于，所述第一样本图像文本描述还包括第一样本图像字幕，所述预训练视觉语言模型包括图像字幕模型；

...

【技术特征摘要】

1.一种图像分类方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述问题引导语包括信息提供模板和类别问题模板；

3.根据权利要求1所述的方法，其特征在于，所述第一样本图像文本描述包括第一样本图像标签，所述预训练视觉语言模型包括图像标签模型；

4.根据权利要求3所述的方法，其特征在于，所述第一样本图像文本描述还包括第一样本图像属性，所述预训练视觉语言模型包括图像属性模型；

5.根据权利要求4所述的方法，其特征在于，所述第一样本图像文本描述还包括第一样本图像字幕，所述预训练视觉语言模型包括图像字幕模型；

6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述真实图像类别和所述第一样本预测图像类别对所述初始大语言模型进行微调，得到第一目标大语...

【专利技术属性】
技术研发人员：张宇，陈澍豪，
申请(专利权)人：南方科技大学，
类型：发明
国别省市：