【技术实现步骤摘要】
本专利技术属于知识图谱，尤其涉及一种大语言模型增强的问答生成方法。
技术介绍
1、医学问答(q&a)涉及利用来自领域特定的医学知识库(如文档、表格和知识图谱)的知识来回答患者的查询。自知识图谱(kg)被引入以来，它已经成为医学知识存储和表示的主要形式，促使了对知识图谱问答(kgqa)的广泛研究。大多数kgqa研究依赖于kg的结构信息进行推理和回答。然而，尽管知识图谱以结构化的方式表示知识，但在语义解释和文本生成能力方面存在限制。
2、大型语言模型(llm)在自然语言处理(nlp)任务(如文本问答和数据推理)中展现出了令人印象深刻的性能。llm的出现和进步为智能医疗系统的发展带来了新的突破。然而，llm内在的限制和知识老化可能导致不正确的输出和误导性的输出(即“幻觉”)，从而使直接在医疗问答中部署成为问题。为了解决这个问题，现有的研究广泛调查和评估实施微调指南、评估模型性能和开发相关数据集等方面。
3、医学llm主要集中在对外部医学知识库进行微调，以使llm学习医学知识。med-palm提供了一个用于评估llm临床知识的基准，并通过在医学数据集上使用指导提示进行微调，对flan-palm进行了改进，显著优于先前的模型。med-palm2将palm2与医学领域的微调和新颖的提示策略相结合，特别是"集成细化"，通过迭代细化答案和解释来提高性能。chatdoctor基于llama进行微调，利用提示来检索相关知识和可靠来源，为llm提供更准确的对患者咨询的回答。bentsao基于llama-7b进行开发，使
4、知识图谱问答(kgqa)是利用知识图谱中的事实来回答输入的问题的任务。先前的方法可以分为不同的类别：神经语义解析、信息检索和可微分的基于知识图谱的方法。所有这些方法都需要额外的带标注数据集来进行模型训练。最近，将llm作为端到端的文本生成基础模型与kg相结合的kellms在kgqa方面引起了相当大的关注。与先前的方法相比，kellms能够生成更具逻辑连贯性、可读性和全面性的答案。然而，kellms面临着llm内在幻觉和知识图谱中知识不完整性的挑战。
5、最近的研究表明，kg和llm的结合在问答中表现出有竞争力的性能。kellms利用了kg的结构化知识和llm的语义理解和上下文建模能力。这种整合产生了协同增强效果，使得基于“kg+llm”范式构建医疗问答框架成为可能。
6、目前，针对kellm，有两种主要方法：(1)kg增强的llm预训练，以及(2)kg增强的llm推理。前者包括针对kg中的三元组进行明确或组合的基于文本的预训练目标，或添加额外的知识适应层；而后者则在推理阶段将三元组注入llm，以促进通过知识整合增强的全面推理。
7、最近的工作集中在kellm上，它们从kg中检索信息作为llm的提示。这些方法仅需要访问llm的api或部分信息，并且需要较少的计算资源。因此，它们可以与各种类型的kg灵活集成。kaping和mindmap从kg中检索与问题相关的事实，将其传达给llm，并指导其在这些事实上进行推理。knowledgpt利用思维程序(pot)以代码格式生成kg的搜索语言，并设计多个提示来增强llm与kg之间的交互。tog采用特定的约束搜索算法，引导llm沿着kg上的推理路径逐步思考。
8、然而，这些工作有两个共同的缺点：(1)它们完全依赖llm进行整个推理过程，可能导致整个知识库的潜在泄漏或未经授权访问，从而限制了llm(特别是封闭资源)在敏感医疗数据中的使用；(2)当llm在以大量三元组形式存储的kg上进行推理时，kg中微妙的结构关系可能会变得模糊，导致llm内部出现混乱和幻觉的传播。
技术实现思路
1、有鉴于此，为了解决上述问题，本申请提出了一种基于knowledgesubgraphsenhancedllms的医疗问答框架，由两个模块组成。知识检索(kr)模块具有保密性，并且在不在线传输数据的情况下运行。kr的主要任务是实体链接以及知识子图的构建和合并，生成与问题相关且经过精炼的医疗知识库。推理和回答(ra)模块有助于将知识传递给llm进行推理和答案生成。与现有方法相比，本申请有效地减轻了数据泄漏的风险。它还在检索精度、答案完整性和减少虚假事实方面超过了现有先进方法的性能。
2、为实现上述目的，本专利技术公开的一种大语言模型增强的问答生成方法，包括以下步骤：
3、提取问题文本q中的信息，包括医疗实体和疾病事件；
4、采用基于掩码的连续预训练策略来捕捉实体的语义，并为实体链接和子图构建任务提供知识嵌入；
5、通过匹配规则将基于字符和基于语义的匹配相结合；
6、采用多跳邻域探索方法结合语义相关性评估来为每个链接实体构建知识子图；
7、应用两个合并准则将多个知识子图合并，从而创建问答证据图；
8、对来自不同子图的三元组进行文本化和分组的过程；然后，将这些分组的三元组输入到大语言模型中，引导大语言模型在推理过程中关注与两个链接实体之间的关系以及任何共享节点相关的路径。
9、进一步地，信息包括两种类型：医疗实体和疾病事件，医疗实体集合ε＝{e1,e2,…,em}是问题中提到的医疗名词或属性，用实体表示；疾病事件集合表示与疾病相关的动作、行为或情况，由动词短语和名词短语来描述。
10、更进一步地，所述基于掩码的连续预训练策略包括：
11、将每个三元组{eh,r,et}转换为一个标记序列，如下所示：
12、x＝[cls]eh[sep]r[sep]et[eos].
13、eh是头实体的标记，r是关系的标记，et是尾实体的标记，cls是句子开头的标识符，sep是两个句子间的分隔符，eos是句子结束标识符；
14、用[mask]替换对应于头实体或尾实体的标记，得到修改后的输入标记序列：
15、x＝[cls][mask][sep]r[sep]et[eos],
16、x＝[cls]eh[sep]r[sep][mask][eos].
17、为了训练和更新模型参数，将预训练的bert模型调整为预测掩码实体，使用交叉熵作为损失函数：
18、
19、其中n是掩码标记的数量，yi是真实标签的独热编码向量，pi是第i个标记的预测概率分布向量。
20、更进一步地，所述通过匹配规则将基于字符和本文档来自技高网...
【技术保护点】
1.一种大语言模型增强的问答生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的大语言模型增强的问答生成方法，其特征在于，信息包括两种类型：医疗实体和疾病事件，医疗实体集合是问题中提到的医疗名词或属性，用实体表示；疾病事件集合表示与疾病相关的动作、行为或情况，由动词短语和名词短语来描述。
3.根据权利要求2所述的大语言模型增强的问答生成方法，其特征在于，所述基于掩码的连续预训练策略包括：
4.根据权利要求3所述的大语言模型增强的问答生成方法，其特征在于，所述通过匹配规则将基于字符和基于语义的匹配相结合，包括：
5.根据权利要求4所述的大语言模型增强的问答生成方法，其特征在于，在构建子图时，选择L中的每个链接实体作为初始节点；然后，使用广度优先搜索算法来探索知识图谱；对于初始节点e0∈L，预定义遍历知识图谱所需的跳数k；然后，使用广度优先搜索算法逐步将实体和关系添加到子图中。
6.根据权利要求5所述的大语言模型增强的问答生成方法，其特征在于，为了防止将无关的知识引入到子图中，在将每个实体添加到子图之前计算语义匹配
7.根据权利要求6所述的大语言模型增强的问答生成方法，其特征在于，一旦为每个链接实体构建了子图，将这些子图合并，创建多个问答证据图
8.根据权利要求7所述的大语言模型增强的问答生成方法，其特征在于，给定一个问题文本q和时，通过提示模板引导LLM在上进行推理，并基于q生成答案，所述提示模板包括六个基本组成部分：任务描述；输入和输出的解释；推理过程；输入输出格式；额外要求；例子。
...【技术特征摘要】
1.一种大语言模型增强的问答生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的大语言模型增强的问答生成方法，其特征在于，信息包括两种类型：医疗实体和疾病事件，医疗实体集合是问题中提到的医疗名词或属性，用实体表示；疾病事件集合表示与疾病相关的动作、行为或情况，由动词短语和名词短语来描述。
3.根据权利要求2所述的大语言模型增强的问答生成方法，其特征在于，所述基于掩码的连续预训练策略包括：
4.根据权利要求3所述的大语言模型增强的问答生成方法，其特征在于，所述通过匹配规则将基于字符和基于语义的匹配相结合，包括：
5.根据权利要求4所述的大语言模型增强的问答生成方法，其特征在于，在构建子图时，选择l中的每个链接实体作为初始节点；然后，使用广度优先搜索算法来探索知识图谱；对于初始节点e0∈l，预定义遍历知识图谱所需的跳数k；然后，使用广度优先搜...
【专利技术属性】
技术研发人员：成清，沈靖轲，曾泽凡，黄一川，黄金才，黄魁华，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。