【技术实现步骤摘要】
本公开涉及计算机,尤其涉及机器学习、模型评估等。
技术介绍
1、机器学习模型在自然语言处理、计算机视觉、语音识别等领域取得巨大的成果。随着机器学习模型的广泛应用,模型评估也成为一项关键技术,模型评估是指判断模型的生成或判断结果是否正确。
技术实现思路
1、本公开提供了模型评估方法、装置、电子设备和存储介质。
2、根据本公开的一方面,提供了一种模型评估方法,包括:
3、获取第一问题和答案;该答案包括待评估模型对该第一问题的应答内容;
4、确定该答案对应的事实知识;
5、将第一问题、答案、以及事实知识输入第一模型,通过第一模型采用事实知识对该答案进行评估、并基于评估结果生成对待评估模型的评估结果。
6、根据本公开的另一方面,提供了一种模型评估装置,包括:
7、获取模块,用于获取第一问题和答案;该答案包括待评估模型对该第一问题的应答内容;
8、确定模块,用于确定该答案对应的事实知识;
9、输入模块,用
...【技术保护点】
1.一种模型评估方法,包括:
2.根据权利要求1所述的方法,其中,所述确定所述答案对应的事实知识包括:
3.根据权利要求2所述的方法,其中,所述确定所述答案对应的第二问题包括:
4.根据权利要求2或3所述的方法,其中,所述利用所述第二问题,确定所述答案对应的事实知识包括:
5.根据权利要求4所述的方法,其中,所述知识库包括弹性搜索ES数据库;
6.根据权利要求4所述的方法,其中,所述知识库包括搜索引擎;
7.根据权利要求1-6中任一所述的方法,其中,所述通过所述第一模型采用所述事实知识对所述答案进
...【技术特征摘要】
1.一种模型评估方法,包括:
2.根据权利要求1所述的方法,其中,所述确定所述答案对应的事实知识包括:
3.根据权利要求2所述的方法,其中,所述确定所述答案对应的第二问题包括:
4.根据权利要求2或3所述的方法,其中,所述利用所述第二问题,确定所述答案对应的事实知识包括:
5.根据权利要求4所述的方法,其中,所述知识库包括弹性搜索es数据库;
6.根据权利要求4所述的方法,其中,所述知识库包括搜索引擎;
7.根据权利要求1-6中任一所述的方法,其中,所述通过所述第一模型采用所述事实知识对所述答案进行评估,包括:
8.根据权利要求7所述的方法,所述通过所述第一模型采用所述事实知识对所述答案进行评估,还包括:
9.根据权利要求1-8中任一所述的方法,还包括,将第一指令输入所述第一模型;
10.根据权利要求1-9中任一所述的方法,其中,所述问题包括事实类问题。
11.一种模型评估装置,包括:
12.根据权利要求11所述的装置,其中,所述确定模块包括:<...
【专利技术属性】
技术研发人员:田孟,王建华,杨霖,冯知凡,冯欣伟,姜文斌,崔骁鹏,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。