知识库的评估方法、装置及电子设备制造方法及图纸

本公开提供了知识库的评估方法、装置及电子设备，涉及人工智能技术领域，尤其涉及深度学习、自然语言处理、大数据、智能搜索等技术领域。具体实现方案为：获取评估数据集合；评估数据集合包括，参考问题；根据参考问题查询设置有第一自然语言模型的知识库，获取参考问题对应的第一相关文本集合以及答案；根据第一相关文本集合、答案以及第二自然语言模型，确定第二相关文本集合以及推论问题集合；根据第二相关文本集合，和/或，推论问题集合，确定知识库在评估指标上的数值；根据评估指标以及评估指标上的数值，确定知识库的评估结果；其中，第一相关文本集合和答案能够体现知识库中的知识以及第一自然语言模型中隐式存储的知识；而第二相关文本集合和推论问题集合能够体现第二自然语言模型中隐式存储的知识，结合两类知识对知识库进行评估处理，能够结合知识库外的知识对知识库的知识进行评估处理，且能够对知识库中第一自然语言模型隐式存储的知识进行评估处理，提高知识库的评估准确率。

【技术实现步骤摘要】

本公开涉及人工智能，尤其涉及深度学习、自然语言处理、大数据、智能搜索等，尤其涉及一种知识库的评估方法、装置及电子设备。

技术介绍

1、随着人工智能技术的不断进步，大模型技术飞速发展，为了避免大模型生成没有现实依据的答案，大模型知识库，即设置有自然语言模型的知识库，应运而生。

2、目前，大模型知识库的评估方法主要为，采用大模型知识库中的自然语言模型生成问题；基于问题以及大模型知识库中的文本知识，确定答案；结合问题、大模型知识库中的文本知识以及答案，确定大模型知识库的评估结果。上述方案中，问题、文本知识以及答案，均由自然语言模型确定得到，且自然语言模型中隐式存储的知识未做评估，导致评估准确率差。

技术实现思路

1、本公开提供了一种知识库的评估方法、装置及电子设备。

2、根据本公开的一方面，提供了一种知识库的评估方法，所述方法包括：获取评估数据集合；所述评估数据集合包括，参考问题；根据所述参考问题查询设置有第一自然语言模型的知识库，获取所述参考问题对应的第一相关文本集合以及答案；根据所述第一本文档来自技高网...

【技术保护点】

1.一种知识库的评估方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述根据所述第一相关文本集合、所述答案以及第二自然语言模型，确定第二相关文本集合以及推论问题集合，包括：

3.根据权利要求1或2所述的方法，其中，所述评估指标包括答案置信度指标以及答案相关性指标；

4.根据权利要求3所述的方法，其中，所述根据所述第二相关文本集合以及所述答案，确定所述知识库在答案置信度指标上的数值，包括：

5.根据权利要求3所述的方法，其中，根据所述推论问题集合以及所述参考问题，确定所述知识库在答案相关性指标上的数值，包括：p>

6.根据权...

【技术特征摘要】

1.一种知识库的评估方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述根据所述第一相关文本集合、所述答案以及第二自然语言模型，确定第二相关文本集合以及推论问题集合，包括：

3.根据权利要求1或2所述的方法，其中，所述评估指标包括答案置信度指标以及答案相关性指标；

4.根据权利要求3所述的方法，其中，所述根据所述第二相关文本集合以及所述答案，确定所述知识库在答案置信度指标上的数值，包括：

5.根据权利要求3所述的方法，其中，根据所述推论问题集合以及所述参考问题，确定所述知识库在答案相关性指标上的数值，包括：

6.根据权利要求1所述的方法，其中，所述评估数据集合还包括所述参考问题对应的事实文本集合；所述评估指标还包括文本召回率指标；所述事实文本集合中的事实文本，为包含真实内容的文本；

7.根据权利要求6所述的方法，其中，所述根据所述参考问题对应的第一相关文本集合，以及所述参考问题对应的事实文本集合，确定所述知识库在所述文本召回率指标上的数值，包括：

8.根据权利要求1所述的方法，其中，所述评估指标还包括文本相关性指标；所述方法还包括：

9.根据权利要求8所述的方法，其中，所述根据所述参考问题以及所述参考问题对应的第一相关文本集合，确定所述知识库在所述文本相关性指标上的数值，包括：

10.根据权利要求1所述的方法，其中，所述根据所述参考问题查询设置有第一自然语言模型的知识库，获取所述参考问题对应的第一相关文本集合以及答案，包括：

11.一...

【专利技术属性】
技术研发人员：杨文涛，赵历，罗航，施星靓，
申请(专利权)人：昆仑芯北京科技有限公司，
类型：发明
国别省市：