一种大模型的风险测评方法、装置及设备制造方法及图纸

技术编号:43351205 阅读:23 留言:0更新日期:2024-11-19 17:39
本说明书实施例公开了一种大模型的风险测评方法、装置及设备,该方法包括:获取用于对目标大模型进行风险测评的测试集,测试集中包括测试数据、测试数据对应的辅助测试结果和辅助测试结果对应的标签信息,测试数据包括一种或多种不同模态的数据,辅助测试结果是将测试数据分别输入到一个或多个不同的辅助测评模型中后得到的每个辅助测评模型输出的测试数据对应的辅助测试结果;将测试数据输入到目标大模型中,得到测试数据对应的测试结果;从获取的辅助测试结果中查找与测试结果相匹配的目标辅助测试结果,并基于目标辅助测试结果对应的标签信息,确定测试结果对应的标签信息,基于测试结果对应的标签信息,确定目标大模型的风险测评结果。

【技术实现步骤摘要】

本文件涉及计算机,尤其涉及一种大模型的风险测评方法、装置及设备


技术介绍

1、随着人们对自己的隐私数据越来越重视,为了保护用户隐私、保证数据的安全性,很多业务中会通过相应的模型来提供相关服务,当前,大模型处于高速发展阶段,极大推动了人工智能的进步,同时,大模型也带来了全新的安全问题,比如大模型幻觉、大模型输出不符合人类价值观的数据和大模型被恶意应用等。为了更好的评估大模型的安全能力,各种大模型安全测评框架也应运而生。为了判断大模型输出内容是否有风险,各种大模型安全测评框架往往依赖人工标注的方式来审核输出内容,而这样也增加了测评的成本,也限制了测评的规模化扩展。为此,本说明书实施例提供一种更优的针对大模型输出内容的风险评估方案。


技术实现思路

1、本说明书实施例的目的是提供一种更优的针对大模型输出内容的风险评估方案。

2、为了实现上述技术方案,本说明书实施例是这样实现的:

3、本说明书实施例提供的一种大模型的风险测评方法,所述方法包括:获取用于对目标大模型进行风险测评的测试集,所述测试本文档来自技高网...

【技术保护点】

1.一种大模型的风险测评方法,所述方法包括:

2.根据权利要求1所述的方法,所述方法还包括:

3.根据权利要求2所述的方法,所述确定每个辅助测试结果对应的标签信息,包括:

4.根据权利要求1所述的方法,获取用于对目标大模型进行风险测评的测试集中的测试数据,包括:

5.根据权利要求1所述的方法,所述从得到的辅助测试结果中查找与所述测试结果相匹配的目标辅助测试结果,包括:

6.根据权利要求5所述的方法,所述确定所述测试结果与得到的辅助测试结果中每个辅助测试结果之间的相似度,包括:

7.根据权利要求1所述的方法,所述从得到...

【技术特征摘要】

1.一种大模型的风险测评方法,所述方法包括:

2.根据权利要求1所述的方法,所述方法还包括:

3.根据权利要求2所述的方法,所述确定每个辅助测试结果对应的标签信息,包括:

4.根据权利要求1所述的方法,获取用于对目标大模型进行风险测评的测试集中的测试数据,包括:

5.根据权利要求1所述的方法,所述从得到的辅助测试结果中查找与所述测试结果相匹配的目标辅助测试结果,包括:

<...

【专利技术属性】
技术研发人员:李红程崔世文洪丹
申请(专利权)人:支付宝杭州信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1