模型评估方法、装置、电子设备和存储介质制造方法及图纸

技术编号:40255546 阅读:18 留言:0更新日期:2024-02-02 22:48
本公开提供了模型评估方法、装置、电子设备和存储介质,涉及计算机技术领域,尤其涉及机器学习、模型评估等技术领域。具体实现方案为:获取第一问题和答案;该答案包括待评估模型对该第一问题的应答内容;确定该答案对应的事实知识;将第一问题、答案、以及事实知识输入第一模型,通过第一模型采用事实知识对该答案进行评估、并基于评估结果生成对待评估模型的评估结果。本公开能够提高模型评估的准确性。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及机器学习、模型评估等。


技术介绍

1、机器学习模型在自然语言处理、计算机视觉、语音识别等领域取得巨大的成果。随着机器学习模型的广泛应用,模型评估也成为一项关键技术,模型评估是指判断模型的生成或判断结果是否正确。


技术实现思路

1、本公开提供了模型评估方法、装置、电子设备和存储介质

2、根据本公开的一方面,提供了一种模型评估方法,包括:

3、获取第一问题和答案;该答案包括待评估模型对该第一问题的应答内容;

4、确定该答案对应的事实知识;

5、将第一问题、答案、以及事实知识输入第一模型,通过第一模型采用事实知识对该答案进行评估、并基于评估结果生成对待评估模型的评估结果。

6、根据本公开的另一方面,提供了一种模型评估装置,包括:

7、获取模块,用于获取第一问题和答案;该答案包括待评估模型对该第一问题的应答内容;

8、确定模块,用于确定该答案对应的事实知识;

9、输入模块,用于将第一问题、答案、本文档来自技高网...

【技术保护点】

1.一种模型评估方法,包括:

2.根据权利要求1所述的方法,其中,所述确定所述答案对应的事实知识包括:

3.根据权利要求2所述的方法,其中,所述确定所述答案对应的第二问题包括:

4.根据权利要求2或3所述的方法,其中,所述利用所述第二问题,确定所述答案对应的事实知识包括:

5.根据权利要求4所述的方法,其中,所述知识库包括弹性搜索ES数据库;

6.根据权利要求4所述的方法,其中,所述知识库包括搜索引擎;

7.根据权利要求1-6中任一所述的方法,其中,所述通过所述第一模型采用所述事实知识对所述答案进行评估,包括:...

【技术特征摘要】

1.一种模型评估方法,包括:

2.根据权利要求1所述的方法,其中,所述确定所述答案对应的事实知识包括:

3.根据权利要求2所述的方法,其中,所述确定所述答案对应的第二问题包括:

4.根据权利要求2或3所述的方法,其中,所述利用所述第二问题,确定所述答案对应的事实知识包括:

5.根据权利要求4所述的方法,其中,所述知识库包括弹性搜索es数据库;

6.根据权利要求4所述的方法,其中,所述知识库包括搜索引擎;

7.根据权利要求1-6中任一所述的方法,其中,所述通过所述第一模型采用所述事实知识对所述答案进行评估,包括:

8.根据权利要求7所述的方法,所述通过所述第一模型采用所述事实知识对所述答案进行评估,还包括:

9.根据权利要求1-8中任一所述的方法,还包括,将第一指令输入所述第一模型;

10.根据权利要求1-9中任一所述的方法,其中,所述问题包括事实类问题。

11.一种模型评估装置,包括:

12.根据权利要求11所述的装置,其中,所述确定模块包括:<...

【专利技术属性】
技术研发人员:田孟王建华杨霖冯知凡冯欣伟姜文斌崔骁鹏
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1