一种基于大语言模型的领域知识库自动构建方法和装置制造方法及图纸

本发明专利技术公开一种基于大语言模型的领域知识库自动构建方法和装置,涉及人工智能技术领域；包括步骤1：根据领域收集基本数据，根据基本数据分别构成实体集、问题规则集以及QA问答对微调数据集；步骤2：基于提示学习的方法，对大语言模型进行微调，步骤3：构建知识库，包括：步骤31：对实体集和问题规则集进行组合，生成领域问题，同时接受外部的领域问题输入，步骤32：利用自动问答模型，生成对应的答案，步骤33：利用QA匹配模型将领域问题对应的答案进行自动校验，步骤34：判断领域问题对应的答案中是否存在新增的实体，若存在则通过实体抽取模型对答案中新增实体进行自动挖掘，更新实体集；步骤4：循环执行步骤3，得到自动构建的知识库。库。库。

【技术实现步骤摘要】
一种基于大语言模型的领域知识库自动构建方法和装置


[0001]本专利技术公开一种方法和装置,涉及人工智能
，具体地说是一种基于大语言模型的领域知识库自动构建方法和装置。

技术介绍

[0002]在人工智能领域中，知识库是重要的基础设施，它可以为机器人、虚拟助手、搜索引擎等提供强大的信息检索和推理能力。知识库可以整合分散的知识资源，提高知识利用的效率，降低信息查找和分析的成本。同时，它具有可重用性、可扩展性和灵活性等优势。知识库还能够为组织提供丰富的知识资产，从而帮助其创新和发展。
[0003]目前，知识库的构建主要依赖于人工标注和手动维护，需要人工编写、整理并维护知识库中的内容，这一过程需要耗费大量时间和人力成本。同时，由于人工编写的内容可能存在不完整、不准确等问题，这也可能导致知识库的质量下降；新增知识库内容成本较高，导致知识更新滞后；现有的人工构建的方法成本较高且效率低下。

技术实现思路

[0004]本专利技术针对现有技术的问题，提供一种基于大语言模型的领域知识库自动构建方法和装置，通过收集领域基本数据，使用大语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大语言模型的领域知识库自动构建方法，其特征是包括如下步骤：步骤1：根据领域收集基本数据，所述基本数据包括实体、常见问题形式和问答对话数据，根据基本数据分别构成实体集、问题规则集以及QA问答对微调数据集；步骤2：基于提示学习的方法，利用实体集、问题规则集以及QA问答对微调数据集对大语言模型进行微调，分别获得实体抽取模型、自动问答模型和QA匹配模型；步骤3：构建知识库，包括：步骤31：对实体集和问题规则集进行组合，生成领域问题，同时接受外部的领域问题输入，步骤32：利用自动问答模型，对领域问题进行推理，生成对应的答案，步骤33：利用QA匹配模型将领域问题对应的答案进行自动校验，步骤34：判断领域问题对应的答案中是否存在新增的实体，若存在则通过实体抽取模型对答案中新增实体进行自动挖掘，更新实体集；步骤4：循环执行步骤3，直到实体集为空或者达到设定的停止条件，得到自动构建的知识库。2.根据权利要求1所述的一种基于大语言模型的领域知识库自动构建方法，其特征是步骤1中根据领域收集基本数据，对基本数据进行清洗和去重的预处理。3.根据权利要求1所述的一种基于大语言模型的领域知识库自动构建方法，其特征是步骤2中基于提示学习的方法，利用收集的基本数据对GPT3大语言模型进行微调，分别获得实体抽取模型、自动问答模型和QA匹配模型。4.根据权利要求1所述的一种基于大语言模型的领域知识库自动构建方法，其特征是步骤1中根据医学领域收集基本数据，对基本数据进行清洗和去重的预处理，预处理后基本数据中实体包括疾病、药物和症状，常见问题形式包括问答形式，问答对话数据包括医患问答对话数据，根据基本数据分别构成实体集、问题规则集以及QA问答对微调数据集；步骤2：基于提示学习的方法，利用实体集、问题规则集以及QA问答对微调数据集对GPT3大语言模型进行微调，分别获得实体抽取模型、自动问答模型和QA匹配模型；步骤3：构建医学知识库，包括：步骤31：对实体集和问题规则集进行组合，生成领域问题，同时接受外部的领域问题输入，步骤32：利用自动问答模型，对医学领域问题进行推理，生成对应的答案，步骤33：利用QA匹配模型将医学领域问题对应的答案进行自动校验，步骤34：判断医学领域问题对应的答案中是否存在新增的实体，若存在则通过实体抽取模型对答案中新增实体进行自动挖掘，更新实体集；步骤4：循环执行步骤3，直到实体集为空或者达到设定的停止条件，得到自动构建的医学知识库。5.一种基于大语言模型的领域知识库自动构建装置，其特征是包括数据收集模块、大语言模型微调模块和知识库构建模块，知识...

【专利技术属性】
技术研发人员：张其来，岳爱珍，张铮，黄登蓉，常冰心，张连超，魏子重，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：