评分模型训练、对图文对评分的方法、装置、设备和介质制造方法及图纸

本公开实施例提供一种评分模型训练、对图文对评分的方法、装置、设备和介质，该方法包括：获取包括第一语言的第一图像描述及第一图像描述对应的样本图像和第二语言的第二图像描述的样本图文对和其标签数据；利用第一图像描述，通过第一语言编码器，得到第一文本表征；利用第二图像描述，通过第二语言编码器，得到第二文本表征；利用样本图像，通过图像编码器，得到样本图像表征；利用第一文本表征、第二文本表征和样本图像表征，通过多模态融合网络，得到第一多模态表征；利用第一多模态表征，通过打分网络，得到预测分数；利用预测分数和标签数据之间的差异，调整包括上述结构的评分模型，以训练得到可对图文对进行质量评估的评分模型。

【技术实现步骤摘要】

本公开涉及计算机，尤其涉及一种评分模型训练、对图文对评分的方法、装置、设备和介质。

技术介绍

1、在图像生成领域，可以利用图像描述(也可以称为文本提示即prompt)，通过基于内容生成技术的图像生成模型，生成该图像描述对应的图像。上述过程中，图像生成模型的图像生成能力越强，所生成图像的质量越好。

2、在训练该图像生成模型的过程中，所利用的图文对的质量好坏，对提升图像生成模型的图像生成能力至关重要。相应的，为了提高图像生成模型的图像生成能力，可以利用质量好的图文对训练图像生成模型。那么，如何提供一种可以评估图文对的质量的方法成为亟待解决的问题。

技术实现思路

1、本公开一个或多个实施例提供了一种评分模型训练、对图文对评分的方法、装置、设备和介质，以实现训练得到可以对图文对的质量进行评估的评分模型，进而实现对图文对的质量的评估。

2、根据第一方面，提供一种评分模型训练方法，所述评分模型包括：第一语言编码器、图像编码器、第二语言编码器、多模态融合网络和打分网络，所述方法包括：

3本文档来自技高网...

【技术保护点】

1.一种评分模型训练方法，所述评分模型包括：第一语言编码器、图像编码器、第二语言编码器、多模态融合网络和打分网络，所述方法包括：

2.如权利要求1所述的方法，所述获取样本图文对，包括：

3.如权利要求1所述的方法，所述获取样本图文对，包括：

4.如权利要求1所述的方法，其中，所述得到第一多模态表征，包括：

5.如权利要求1所述的方法，其中，所述打分网络包括：至少一个打分子网络，所述至少一个打分子网络包括：对应第一图文对质量维度的第一打分子网络；所述样本图像包括在所述第一图文对质量维度下的样本图像，所述标签数据包括，在所述第一图文对质量维度下...

【技术特征摘要】

1.一种评分模型训练方法，所述评分模型包括：第一语言编码器、图像编码器、第二语言编码器、多模态融合网络和打分网络，所述方法包括：

2.如权利要求1所述的方法，所述获取样本图文对，包括：

3.如权利要求1所述的方法，所述获取样本图文对，包括：

4.如权利要求1所述的方法，其中，所述得到第一多模态表征，包括：

5.如权利要求1所述的方法，其中，所述打分网络包括：至少一个打分子网络，所述至少一个打分子网络包括：对应第一图文对质量维度的第一打分子网络；所述样本图像包括在所述第一图文对质量维度下的样本图像，所述标签数据包括，在所述第一图文对质量维度下的样本图像对应的标签值；

6.一种对图文对评分的方法，包括：

7.如权利要求6所述的方法，所述获取待评分的目标图文对，包括：

8.如权利要求6所述的方法，所述获取待评分的目标图文对，包括：

9.如权利要求...

【专利技术属性】
技术研发人员：吴捷，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：