用于确定模型性能的方法和装置、设备、介质和产品制造方法及图纸

公开了用于确定模型性能的方法和装置、设备、介质和产品。该方法包括通过向第一语言模型输入与用户数据问答历史数据的至少部分相对应的多个第一答案来获取第一语言模型输出的多个第一问题，并且获取包括多个第二问题和对应的多个第二答案的多个问答对。该方法还包括通过向第二语言模型输入多个第一问题和多个第二问题来获取第二语言模型输出的多个答案，用户能够使用第二语言模型。该方法还包括确定第二语言模型输出的多个答案与多个预定答案之间的匹配度，该多个预定答案包括多个第一答案以及多个第二答案。该方法还包括基于所确定的匹配度来确定第二语言模型的性能。如此，能够利用用例模型的输出对被评测模型进行评估，多维度地确定模型性能。

【技术实现步骤摘要】

本公开的实施例总体上涉及计算机领域，并且具体地涉及用于确定模型性能的方法和装置、设备、介质和产品。

技术介绍

1、语言模型，尤其是近年来兴起的大语言模型（llm），已经发展成为一项具有影响力并且被广泛引用的技术。其核心作用之一，在于极大地简化了以往复杂且繁琐的知识获取过程，为信息的快速检索、理解和应用等开辟了新路径。

2、在语言模型的技术赋能下，用户能够跨越以往高筑的知识壁垒，实现与那些难以上手的专业工具相当的功能，从而降低准入门槛和学习成本。语言模型的应用不仅扩大数据的流转范围还提高了处理效率，进而增加企业在数字转型和数字驱动上落地的可能性。

技术实现思路

1、本公开的实施例提供一种用于确定模型性能的方案。

2、在本公开的第一方面，提供了一种用于确定模型性能的方法，该方法包括通过向第一语言模型输入与用户数据问答历史数据的至少部分相对应的多个第一答案，来获取第一语言模型输出的多个第一问题。该方法还包括获取多个问答对，该多个问答对包括多个第二问题和对应的多个第二答案。该方法还包括通过向第本文档来自技高网...

【技术保护点】

1.一种用于确定模型性能的方法，包括：

2.根据权利要求1所述的方法，其中：

3.根据权利要求2所述的方法，还包括：

4. 根据权利要求3所述的方法，其中所述用户数据问答历史数据与所述用户的业务线相关联，所述方法还包括：

5.根据权利要求1所述的方法，还包括：

6.根据权利要求5所述的方法，其中确定所述匹配度还包括：

7.根据权利要求1所述的方法，还包括：

8.根据权利要求1所述的方法，还包括：

9.一种用于确定模型性能的装置，包括：

10. 一种电子设备，包括：

11...

【技术特征摘要】

1.一种用于确定模型性能的方法，包括：

2.根据权利要求1所述的方法，其中：

3.根据权利要求2所述的方法，还包括：

4. 根据权利要求3所述的方法，其中所述用户数据问答历史数据与所述用户的业务线相关联，所述方法还包括：

5.根据权利要求1所述的方法，还包括：

6.根据权利要求5所述的方法，其中确定所述匹配度还包括：

7.根据权利要求1所述的方法，还包括：

【专利技术属性】
技术研发人员：陶健，熊家炜，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人