【技术实现步骤摘要】
本申请涉及人工智能，更具体地，涉及一种分类模型训练方法、分类方法、装置及电子设备。
技术介绍
1、目前，在内容审核(如，图像审核)应用场景下，所涉及的分类任务多、标签数多且业务场景复杂，对于运营时效性要求高。若直接使用单模型进行分类，则分类效果难以应对复杂多变的应用场景，故而存在分类结果不够准确的问题。
技术实现思路
1、有鉴于此，本申请实施例提出了一种分类模型训练方法、分类方法、装置及电子设备，可以有效提升训练后的分类模型的准确性。
2、第一方面，本申请实施例提供了一种分类模型训练方法，该方法包括：获取训练数据，所述训练数据包括多张样本图像，所述样本图像在多个维度中至少一个维度下具有样本类别标签；利用分类模型中的图像特征提取网络对所述样本图像进行特征提取，得到样本图像特征；利用分类模型中的提示生成网络基于所述样本图像特征，生成与多个提示文本分别对应的样本提示特征；利用分类模型中的文本特征提取网络基于所述多个提示文本分别对应的参考提示特征和所述多个提示文本分别对应的样本提示特征，生成所述多个提示文本在所述多个维度中每个维度下的样本融合特征；基于所述多个提示文本在所述多个维度中每个维度下的所述样本融合特征、所述样本图像特征以及所述样本图像在至少一个维度下的样本类别标签，确定第一模型损失；基于所述第一模型损失调整所述分类模型的模型参数以及所述多个提示文本，调整后的提示文本用于从多个角度描述图像中的对象。
3、第二方面，本申请实施例提供了一种图像分类方法，该方法包
4、第三方面，本申请实施例提供了一种分类模型训练装置，该装置包括数据获取模块、第一图像特征提取模块、第一提示特征生成模块、第一融合特征生成模块、损失确定模块以及模型训练模块。数据获取模块用于获取训练数据，所述训练数据包括多张样本图像，所述样本图像在多个维度中至少一个维度下具有样本类别标签；第一图像特征提取模块，用于利用分类模型中的图像特征提取网络对所述样本图像进行特征提取，得到样本图像特征；第一提示特征生成模块，用于利用分类模型中的提示生成网络基于所述样本图像特征，生成与多个提示文本分别对应的样本提示特征；第一融合特征生成模块，用于利用分类模型中的文本特征提取网络基于所述多个提示文本分别对应的参考提示特征和所述多个提示文本分别对应的样本提示特征，生成所述多个提示文本在所述多个维度中每个维度下的样本融合特征；损失确定模块，用于基于所述多个提示文本在所述多个维度中每个维度下的所述样本融合特征、所述样本图像特征以及所述样本图像在至少一个维度下的样本类别标签，确定第一模型损失；模型训练模块，用于基于所述第一模型损失调整所述分类模型的模型参数以及所述多个提示文本，调整后的提示文本用于从多个角度描述图像中的对象。
5、在一种可实施方式中，第一融合特征生成模块包括融合子模块以及特征提取子模块，融合子模块用于将每个所述提示文本的参考提示特征与所述提示文本对应的样本提示特征进行融合，得到各所述提示文本对应的样本融合提示特征；特征提取子模块，用于利用分类模型的文本特征提取网络对各所述提示文本对应的样本融合提示特征进行特征提取，得到各提示文本在所述多个维度中每个维度下的样本融合特征。
6、在一种可实施方式中，损失确定模块，还用于基于相同维度下多个提示文本各自对应的样本融合特征中每两个样本融合特征之间的相似度，确定特征互斥损失；模型训练模块，还用于基于所述特征互斥损失调整所述提示文本。
7、在一种可实施方式中，损失确定模块还用于计算相同维度下多个提示文本各自对应的样本融合特征中每两个样本融合特征之间的相似度；对所述相似度进行求和，得到特征互斥损失。
8、在一种可实施方式中，损失确定模块包括相似度计算子模块、类别确定子模块以及损失确定子模块。相似度计算子模块用于计算各所述提示文本在每个维度下的样本融合特征与所述样本图像特征之间的特征相似度；类别确定子模块，用于基于同一维度下各提示文本对应的样本融合特征与所述样本图像特征之间的特征相似度，确定样本图像在每个维度下的预测类别；损失确定子模块，用于基于所述样本图像在至少一个维度下的样本类别标签以及样本图像在每个维度下的预测类别，确定第一模型损失。
9、在一种可实施方式中，损失计算子模块，还用于基于样本图像在至少一个维度下的类别标签以及样本图像在每个维度下的预测类别进行交叉熵损失计算，得到第一模型损失。
10、在一种可实施方式下，模型训练模块还用于基于所述第一模型损失调整所述提示生成网络的模型参数以及提示文本。
11、在一种可实施方式中，所述装置还包括：图文对获取模块、对比学习处理模块以及网络更新模块。图文对获取模块，用于获取多个图像文本对，所述图像文本对包括图像样本和文本样本；对比学习处理模块，用于将所述多个文本样本输入至文本特征提取网络，并将所述多个图像样本输入至图像特征提取网络，进行对比学习处理，得到属于同一图像文本对的图像样本和文本样本之间的相似度，以及属于不同图像文本对的图像样本和文本样本之间的相似度；网络更新模块，用于基于属于同一图像文本对的图像样本和文本样本之间的相似度，以及属于不同图像样本对的图像样本和文本样本之间的相似度获得第二模型损失；基于所述第二模型损失更新所述文本特征提取网络和所述图像特征提取网络，直至达到预训练结束条件。
12、第四方面，本申请实施例提供了一种图像分类装置，该装置包括图像获取模块、第二图像特征提取模块、第二提示特征生成模块、第二融合特征生成模块以及类别确定模块。图像获取模块，用于获取待处理图像；第二图像特征提取模块，用于利用分类模型中的图像特征提取网络对待处理图像进行特征提取，得到目标图像特征；第二提示特征生成模块，用于利用分类模型中的提示生成网络基于所述目标图像特征生成与多个提示文本分别对应的目标提示特征，所述多个提示文本用于从多个角度描述所述待处理图像中的对象；第二融合特征生成模块，用于利用分类模型中的文本特征提取网络基于多个提示文本分别对应的参考提示特征和多个提示文本分别对应的目标提示特征，生成所述多个提示文本在所述多个维度中每个维度下的目标融合特征；类别确定模块，用于类别确定模块，用于基于目标图像特征和所述多个提示文本在所述多个维度中每个维度下的目标融合特征，确定待处理图像在每个维度下的类别。
13、在一种可实施方式中，类别确定模块还本文档来自技高网...
【技术保护点】
1.一种分类模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述利用分类模型的文本特征提取网络基于所述多个提示文本分别对应的参考提示特征和所述多个提示文本分别对应的样本提示特征，生成所述多个提示文本在所述多个维度中每个维度下的样本融合特征，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，基于相同维度下多个提示文本各自对应的样本融合特征中每两个样本融合特征之间的相似度，确定特征互斥损失，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述多个提示文本在所述多个维度中每个维度下的所述样本融合特征、所述样本图像特征以及所述样本图像在至少一个维度下的样本类别标签，确定第一模型损失，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述样本图像在至少一个维度下的样本类别标签以及样本图像在每个维度下的预测类别，确定第一模型损失，包括：
7.根据权利要求1所述的方法，其特征在于，基于所述第一模型损失调整所述分
8.根据权利要求1所述的方法，其特征在于，所述利用分类模型的图像特征提取网络对所述样本图像进行特征提取得到样本图像特征之前，所述方法还包括：
9.一种图像分类方法，其特征在于，所述方法包括：
10.根据权利要求9所述的方法，其特征在于，基于各提示文本在所述多个维度中每个维度下的目标融合特征，确定待处理图像在每个维度下的类别，包括：
11.根据权利要求9所述的方法，其特征在于，所述针对每个维度，基于所述目标图像特征和各提示文本在该维度下的融合特征，确定该维度下各提示文本的类别预测结果，包括：
12.一种分类模型训练装置，其特征在于，所述装置包括：
13.一种图像分类装置，其特征在于，所述装置包括：
14.一种电子设备，其特征在于，包括：
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-8或9-11中任意一项所述的方法。
16.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-8或9-11中任意一项所述方法的步骤。
...【技术特征摘要】
1.一种分类模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述利用分类模型的文本特征提取网络基于所述多个提示文本分别对应的参考提示特征和所述多个提示文本分别对应的样本提示特征，生成所述多个提示文本在所述多个维度中每个维度下的样本融合特征，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，基于相同维度下多个提示文本各自对应的样本融合特征中每两个样本融合特征之间的相似度，确定特征互斥损失，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述多个提示文本在所述多个维度中每个维度下的所述样本融合特征、所述样本图像特征以及所述样本图像在至少一个维度下的样本类别标签，确定第一模型损失，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述样本图像在至少一个维度下的样本类别标签以及样本图像在每个维度下的预测类别，确定第一模型损失，包括：
7.根据权利要求1所述的方法，其特征在于，基于所述第一模型损失调整所述分类模型的模型参数以及提示文本，包括：
8...
【专利技术属性】
技术研发人员：杜俊珑，鄢科，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。