一种语言模型的测试方法、装置、电子设备及存储介质制造方法及图纸

技术编号:42302136 阅读:9 留言:0更新日期:2024-08-14 15:50
本申请涉及测试技术领域,公开了一种语言模型的测试方法、装置、电子设备及存储介质,方法包括:将同一测试文本输入待测试语言模型和标准模型,以得到第一答复数据和第二答复数据;将第一答复数据输入标准模型,以使标准模型输出第一答复数据对应的准确率;根据第一答复数据和第二答复数据,确定出第一答复数据对应的可读性;根据可读性和准确率,确定出待测试语言模型的测试结果。本申请不仅考量了答复数据的准确率,还结合答复数据的可读性,确定出待测试语言模型的测试结果,以提高测试结果的准确性。

【技术实现步骤摘要】

本申请涉及测试,具体涉及一种语言模型的测试方法、装置、电子设备及存储介质


技术介绍

1、目前语言模型测试仅针对其输出结果的准确率进行测试,通常是将测试问题输入待测试语言模型中,根据待测试语言模型输出的答复数据进行人工评判,或者将其与预设标准答复数据进行比对,以确定出待测试语言模型的准确度。

2、其中,人工评判十分主观,评判标准因人而异,致使评判结果不客观。另外,仅将待测试语言模型输出的答复数据与预设标准答复数据进行机械比对,在词句结构不同,但语义表达近似相同的情况下,就容易出现准确度误判的情况。


技术实现思路

1、鉴于上述问题,本申请提供了一种语言模型的测试方法、装置、电子设备及存储介质,用于改良语言模型的测试方式,以提高其测试结果的准确性。

2、根据本申请一个方面,提供了一种语言模型的测试方法,所述测试方法包括:将同一测试文本输入待测试语言模型和标准模型,以得到第一答复数据和第二答复数据;将所述第一答复数据输入所述标准模型,以使所述标准模型输出所述第一答复数据对应的准确率;根据所述本文档来自技高网...

【技术保护点】

1.一种语言模型的测试方法,其特征在于,所述测试方法包括:

2.根据权利要求1所述的测试方法,其特征在于,所述根据所述第一答复数据和所述第二答复数据,确定出所述第一答复数据对应的可读性,进一步包括:

3.根据权利要求2所述的测试方法,其特征在于,所述将所述第一答复数据和所述第二答复数据进行多种类型的相似度计算,得到所述第一答复数据对应的多种类型的相似度,进一步包括:

4.根据权利要求2所述的测试方法,其特征在于,所述多种类型的相似度还包括文本整体相似度;所述将所述第一答复数据和所述第二答复数据进行多种类型的相似度计算,得到所述第一答复数据对应的多种类型...

【技术特征摘要】

1.一种语言模型的测试方法,其特征在于,所述测试方法包括:

2.根据权利要求1所述的测试方法,其特征在于,所述根据所述第一答复数据和所述第二答复数据,确定出所述第一答复数据对应的可读性,进一步包括:

3.根据权利要求2所述的测试方法,其特征在于,所述将所述第一答复数据和所述第二答复数据进行多种类型的相似度计算,得到所述第一答复数据对应的多种类型的相似度,进一步包括:

4.根据权利要求2所述的测试方法,其特征在于,所述多种类型的相似度还包括文本整体相似度;所述将所述第一答复数据和所述第二答复数据进行多种类型的相似度计算,得到所述第一答复数据对应的多种类型的相似度,进一步包括:

5.根据权利要求2所述的测试方法,其特征在于,所述多种类型的相似度还包括模型评...

【专利技术属性】
技术研发人员:周琦森付虹升钟远健
申请(专利权)人:重庆赛力斯凤凰智创科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1