模型安全性的测试方法、相关装置及存储介质制造方法及图纸

技术编号:42443822 阅读:32 留言:0更新日期:2024-08-16 16:51
本申请实施例涉及人工智能领域,提供一种模型安全性的测试方法、相关装置及存储介质,模型安全性的测试方法包括:确定待测大模型的应用领域;利用预设对抗模型根据应用领域生成用于对待测大模型进行安全性测试的对抗问题集,对抗问题集包括至少一个基于文本对抗生成的预设问题;将对抗问题集输入待测大模型;将获取的待测大模型基于对抗问题集在预设时长内输出的目标集输入到评估模型;获取评估模型基于目标集输出的评估结果;在评估结果满足预设条件的情况下,利用预设对抗模型基于评估结果迭代更新向待测大模型输入的对抗问题集,至评估结果不满足预设条件。本申请实施例能够显著提高模型漏洞的检出率,为用户带来了更好的体验。

【技术实现步骤摘要】

本申请实施例涉及人工智能领域,更具体地涉及一种模型安全性的测试方法、相关装置及存储介质


技术介绍

1、现有技术主要依靠人工生成问题作为测试用例对待测模型进行测试。

2、然而,由于人工生成问题效率低成本高,生成测试用例较少,导致对模型安全检测时检测出的漏洞较少,模型安全检测的漏洞检出率较低。


技术实现思路

1、本申请实施例提供一种模型安全性的测试方法、相关装置及存储介质,可以提高模型安全检测的漏洞检出率较低。

2、第一方面,本申请实施例提供一种模型安全性的测试方法,该方法包括:

3、确定待测大模型的应用领域;

4、利用预设对抗模型根据所述应用领域生成用于对所述待测大模型进行安全性测试的对抗问题集,所述对抗问题集包括至少一个基于文本对抗生成的预设问题;

5、将所述对抗问题集输入所述待测大模型;

6、将获取的所述待测大模型基于所述对抗问题集在预设时长内输出的目标集输入到评估模型,其中,所述目标集包括至少一个问题回答组,所述问题回答组包括问题和本文档来自技高网...

【技术保护点】

1.一种模型安全性的测试方法,其特征在于,所述模型安全性的测试方法包括:

2.根据权利要求1所述的模型安全性的测试方法,其特征在于,所述模型安全性的测试方法还包括:

3.根据权利要求1所述的模型安全性的测试方法,其特征在于,所述利用预设对抗模型根据所述应用领域生成用于对所述待测大模型进行安全性测试的对抗问题集,包括:

4.根据权利要求3所述的模型安全性的测试方法,其特征在于,所述预设条件根据模型迭代次数和/或所述评估结果不满足所述预设条件确定。

5.根据权利要求1所述的模型安全性的测试方法,其特征在于,所述模型安全性的测试方法,包括:...

【技术特征摘要】

1.一种模型安全性的测试方法,其特征在于,所述模型安全性的测试方法包括:

2.根据权利要求1所述的模型安全性的测试方法,其特征在于,所述模型安全性的测试方法还包括:

3.根据权利要求1所述的模型安全性的测试方法,其特征在于,所述利用预设对抗模型根据所述应用领域生成用于对所述待测大模型进行安全性测试的对抗问题集,包括:

4.根据权利要求3所述的模型安全性的测试方法,其特征在于,所述预设条件根据模型迭代次数和/或所述评估结果不满足所述预设条件确定。

5.根据权利要求1所述的模型安全性的测试方法,其特征在于,所述模型安全性的测试方法,包括:

6.根据权利要求1所述的模型安全性的测试方法,其特征在于,所述模型安全性的测试方法,包括:

7.根据权利要求6所述的大模型优化方法,其特征在于,所述获取预设数据量的anthropi c数据,...

【专利技术属性】
技术研发人员:请求不公布姓名
申请(专利权)人:北京瑞莱智慧科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1