评价方法技术

本公开提供一种评价方法

【技术实现步骤摘要】
评价方法、装置及设备


[0001]本公开涉及人工智能领域，尤其涉及评价方法
、
装置及设备
。

技术介绍

[0002]现如今，生成模型已广泛应用于多个领域，诸如在线教育领域
、
游戏领域
、
智能家居领域等多种领域都会采用生成模型生成用户所需的文本
、
图片等多媒体信息
。
在生成模型的训练场景或者不同生成模型的比对场景等多种场景下都需要对生成模型输出的信息进行评价
。
然而，相关技术中大多需要借助全人工对模型的输出信息进行评价，所需成本较高，评价效果不佳
。

技术实现思路

[0003]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种评价方法
、
装置及设备
。
[0004]根据本公开的一方面，提供了一种评价方法，包括：获取目标生成模型针对提示信息所生成的输出信息；将所述目标生成模型对应的提示信息以及输出信息输入至目标评价模型；其中，所述目标评价模型包括多个评价子模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种评价方法，包括：获取目标生成模型针对提示信息所生成的输出信息；将所述目标生成模型对应的提示信息以及输出信息输入至目标评价模型；其中，所述目标评价模型包括多个评价子模型以及与所述多个评价子模型分别相连的综合子模型；基于所述提示信息，通过所述多个评价子模型分别对所述目标生成模型的输出信息进行评价，以得到所述目标生成模型的输出信息对应的多个评价结果；通过所述综合子模型对所述目标生成模型的输出信息对应的多个评价结果进行综合处理，以得到所述目标生成模型的输出信息对应的模型评价结果
。2.
如权利要求1所述的评价方法，其中，所述目标评价模型是按照如下步骤训练得到的：获取第一训练样本集；其中，所述第一训练样本集包含有第一提示样本
、
预设生成模型基于所述第一提示样本生成的第一输出样本以及所述第一输出样本对应的预标注的人工评价标签；利用所述第一训练样本集对初始评价模型进行训练，以得到基础评价模型；基于所述基础评价模型得到目标评价模型
。3.
如权利要求2所述的评价方法，其中，所述基于所述基础评价模型得到目标评价模型的步骤，包括：获取目标输出信息对应的用户评价结果；其中，所述目标输出信息是目标平台上发布的生成模型针对用户输入的提示信息所生成并展示给用户的信息；基于所述目标输出信息及所述目标输出信息对应的用户评价结果，得到第二训练样本集；其中，所述目标输出信息用于作为所述第二训练样本集的第二输出样本，所述目标输出信息对应的提示信息用于作为所述第二训练样本集的第二提示样本，所述用户评价结果用于确定所述第二输出样本对应的评价标签；利用所述第二训练样本集对所述基础评价模型进行训练，以得到目标评价模型
。4.
如权利要求3所述的评价方法，其中，所述目标平台上发布的生成模型是基于如下步骤得到的：获取第三训练样本集；所述第三训练样本集包含有第三提示样本以及所述第三提示样本对应的第三输出样本；利用所述第三训练样本集对初始生成模型进行训练，以得到多个不同版本的生成模型；从所述多个不同版本的生成模型中选取用于发布至目标平台的生成模型
。5.
如权利要求4所述的评价方法，其中，所述获取第三训练样本集的步骤，包括：获取原始样本集；所述原始样本集包含有原始提示样本以及所述原始提示样本对应的原始输出样本；基于所述原始提示样本，采用所述基础评价模型对所述原始输出样本进行评价，得到所述原始输出样本对应的模型评价结果；基于所述原始输出样本对应的模型评价结果，对所述原始样本集中的样本进行筛选，以得到第三训练样本集；所述第三训练样本集中的第三输出样本对应的模型评价结果优于所述原始样本集中未选入所述第三训练样本集的其它原始输出样本对应的模型评价结果
。
6.
如权利要求4所述的评价方法，其中，所述从所述多个不同版本的生成模型中选取用于发布至目标平台的生成模型的步骤，包括：获取所述多个不同版本的生成模型针对预设的目标提示样本生成的输出信息；基于所述目标提示样本，采用所述基础评价模型对所述不同版本的生成模型各自对应的输出信息进行评价，以得到所述多个不同版本的生成模型各自对应的模型评价结果；基于所述多个不同版本的生成模型各自对应的模型评价结果，从所述多个不同版本的生成模型中选取用于发布至目标平台的生成模型；其中，选取的生成模型对应的模型评价结果优于未被选取的生成模型
。7.
如权利要求3所述的评价方法，其中，所述基于所述目标输出信息及所述目标输出信息对应的用户评价结果，得到第二训练样本集的步骤，包括：通过所述基础评价模型对所述目标输出信息进行评价，得到所述目标输出信息对应的模型评价结果；基于所述目标输出信息对应的模型评价结果和所述目标输出信息对应的用户评价结果，得到第二训练样本集
。8.
如权利要求7所述...

【专利技术属性】
技术研发人员：陈斌涛，张军涛，吕本伟，杨涛，
申请(专利权)人：北京新唐思创教育科技有限公司，
类型：发明
国别省市：