测评数据集生成方法及装置制造方法及图纸

本公开提供了测评数据集生成方法及装置，方案为：基于第一模型、采集的至少一个第一测评数据确定第一测评数据对应的至少一个目标数据；第一模型用于生成测评数据集，测评数据集用于进行模型测评，目标数据为第一测评数据的改写数据，目标数据与第一测评数据的相似度大于第一阈值；确定目标数据的有效性得分，有效性得分与目标数据的模型测评效果呈正比；基于至少一个第一测评数据、至少一个目标数据、有效性得分训练第一模型，使训练后的第一模型对第一测评数据改写后得到有效性得分大于第二阈值的目标数据；基于训练后的第一模型确定测评数据集。本公开的人力成本低、测评效果好。

【技术实现步骤摘要】

本公开涉及深度学习领域，尤其涉及模型处理，可应用在对模型进行训练、微调。

技术介绍

1、生成式大模型是一种基于大规模语料库的生成式模型，它能够以端到端的形式对自然语言进行生成、理解和推理，已经广泛应用于文本创作、聊天机器人、机器翻译、文本摘要等领域。随着大模型应用范围更加广泛，其发展也带来了一些挑战，如大模型输出数据是否具备隐私安全、伦理道德等安全问题。其中，为了解决大模型的安全问题，通常需要对大模型进行测评以测试模型输出的安全性。可选地，在测评大模型时通常需要针对大模型构建测评数据集。目前，如何针对大模型构建测评数据集是亟需解决的技术问题。

技术实现思路

1、本公开提供了一种测评数据集生成方法、装置、电子设备以及存储介质。

2、根据本公开的第一方面，提供了一种测评数据集生成装置，包括：

3、基于第一模型以及采集到的至少一个第一测评数据确定所述第一测评数据对应的至少一个目标数据；其中，所述第一模型用于生成测评数据集，所述测评数据集用于进行模型测评，所述目标数据为所述第一测评数据的改写数本文档来自技高网...

【技术保护点】

1.一种测评数据集生成方法，包括：

2.如权利要求1所述的方法，其中，所述基于第一模型以及采集到的至少一个第一测评数据确定所述第一测评数据对应的至少一个目标数据，包括：

3.如权利要求1所述的方法，其中，所述确定所述目标数据的有效性得分，包括：

4.如权利要求1所述的方法，其中，所述基于至少一个第一测评数据、至少一个目标数据、有效性得分训练所述第一模型，包括：

5.如权利要求4所述的方法，其中，所述损失函数包括：

6.一种测评数据集生成装置，包括：

7.如权利要求6所述的装置，其中，所述第一确定模块，还用于：

...

【技术特征摘要】

1.一种测评数据集生成方法，包括：

2.如权利要求1所述的方法，其中，所述基于第一模型以及采集到的至少一个第一测评数据确定所述第一测评数据对应的至少一个目标数据，包括：

3.如权利要求1所述的方法，其中，所述确定所述目标数据的有效性得分，包括：

4.如权利要求1所述的方法，其中，所述基于至少一个第一测评数据、至少一个目标数据、有效性得分训练所述第一模型，包括：

5.如权利要求4所述的方法，其中，所述损失函数包括：

6.一种测评数据集生成装置，包括：

7.如权利要求6所述的装置，其中...

【专利技术属性】
技术研发人员：龙泉，凌子涵，高磊，杨武力，姜辉，包沉浮，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：