System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 大模型测试方法、装置、电子设备及存储介质制造方法及图纸_技高网

大模型测试方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41219520 阅读:9 留言:0更新日期:2024-05-09 23:40
本公开提供了大模型测试方法、装置、电子设备及存储介质,涉及大模型、自然语言处理以及深度学习等人工智能领域。其中的方法可包括:确定本次测试的测试任务以及待测试大模型,测试任务的数量为M,M为正整数,每个测试任务中分别包括至少两个问题,待测试大模型的数量为N,N为大于一的正整数;针对各测试任务,分别执行以下处理:遍历该测试任务中的问题,针对每次遍历到的问题,分别将其作为待处理问题,并将待处理问题发送给各待测试大模型,得到各待测试大模型生成的响应信息,分别确定出各响应信息对应的评分,将各响应信息及对应的评分作为待处理问题对应的测试结果并进行展示。应用本公开所述方案,可提升测试效率和测试效果等。

【技术实现步骤摘要】

本公开涉及人工智能,特别涉及大模型、自然语言处理以及深度学习等领域的大模型测试方法、装置、电子设备及存储介质


技术介绍

1、大模型是指使用大量文本数据训练得到的深度学习模型,可以生成自然语言文本或理解自然语言文本的含义等。


技术实现思路

1、本公开提供了大模型测试方法、装置、电子设备及存储介质。

2、一种大模型测试方法,包括:

3、确定本次测试的测试任务以及待测试大模型,所述测试任务的数量为m,m为正整数,每个测试任务中分别包括至少两个问题,所述待测试大模型的数量为n,n为大于一的正整数;

4、针对各测试任务,分别执行以下处理:遍历所述测试任务中的问题,其中,针对每次遍历到的问题,分别将其作为待处理问题,并将所述待处理问题发送给各待测试大模型,得到各待测试大模型生成的响应信息,分别确定出各响应信息对应的评分,将各响应信息及对应的评分作为所述待处理问题对应的测试结果并进行展示。

5、一种大模型测试装置,包括:信息确定模块以及模型测试模块;

6、所述信息确定模块,用于确定本次测试的测试任务以及待测试大模型,所述测试任务的数量为m,m为正整数,每个测试任务中分别包括至少两个问题,所述待测试大模型的数量为n,n为大于一的正整数;

7、所述模型测试模块,用于针对各测试任务,分别执行以下处理:遍历所述测试任务中的问题,其中,针对每次遍历到的问题,分别将其作为待处理问题,并将所述待处理问题发送给各待测试大模型,得到各待测试大模型生成的响应信息,分别确定出各响应信息对应的评分,将各响应信息及对应的评分作为所述待处理问题对应的测试结果并进行展示。

8、一种电子设备,包括:

9、至少一个处理器;以及

10、与所述至少一个处理器通信连接的存储器;其中,

11、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如以上所述的方法。

12、一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行如以上所述的方法。

13、一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现如以上所述的方法。

14、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种大模型测试方法,包括:

2.根据权利要求1所述的方法,其中,

3.根据权利要求1或2所述的方法,还包括:

4.根据权利要求1或2所述的方法,其中,

5.根据权利要求1或2所述的方法,其中,

6.根据权利要求5所述的方法,其中,

7.根据权利要求3所述的方法,还包括:

8.根据权利要求7所述的方法,还包括:

9.根据权利要求8所述的方法,还包括:

10.根据权利要求9所述的方法,还包括:

11.一种大模型测试装置,包括:信息确定模块以及模型测试模块;

12.根据权利要求11所述的装置,其中,

13.根据权利要求11或12所述的装置,其中,

14.根据权利要求11或12所述的装置,其中,

15.根据权利要求11或12所述的装置,其中,

16.根据权利要求15所述的装置,其中,

17.根据权利要求13所述的装置,其中,

18.根据权利要求17所述的装置,其中,

19.根据权利要求18所述的装置,其中,

20.根据权利要求19所述的装置,其中,

21.一种电子设备,包括:

22.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行权利要求1-10中任一项所述的方法。

23.一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现权利要求1-10中任一项所述的方法。

...

【技术特征摘要】

1.一种大模型测试方法,包括:

2.根据权利要求1所述的方法,其中,

3.根据权利要求1或2所述的方法,还包括:

4.根据权利要求1或2所述的方法,其中,

5.根据权利要求1或2所述的方法,其中,

6.根据权利要求5所述的方法,其中,

7.根据权利要求3所述的方法,还包括:

8.根据权利要求7所述的方法,还包括:

9.根据权利要求8所述的方法,还包括:

10.根据权利要求9所述的方法,还包括:

11.一种大模型测试装置,包括:信息确定模块以及模型测试模块;

12.根据权利要求11所述的装置,其中,

13.根据权利要求11或12所述的装置,其中,

【专利技术属性】
技术研发人员:张红艳刘召杨翌晨
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1