基于状态空间模型的医疗长文本问答方法及系统技术方案

技术编号:42897311 阅读:17 留言:0更新日期:2024-09-30 15:14
本发明专利技术属于医疗问答技术领域,提供了一种基于状态空间模型的医疗长文本问答方法及系统,包括构建基于状态空间模型的医疗问答模型;将训练数据输入医疗问答模型中,对多文档知识进行编码,获得多文档知识的表示,结合医疗相关问题,对多文档知识的表示进行选择,获得输出答案,并使用蒸馏学习优化输出答案;定义损失函数,优化模型的参数,得到训练好的医疗问答模型;利用训练好的医疗问答模型进行医疗问答。本发明专利技术利用状态空间模型将长文本知识编码成词级别的向量,能够应对超长文本输入,采用基于蒸馏的学习策略,来优化答案的生成,提升模型对于长文本的理解能力,防止模型在输入长度过长时性能下降剧烈。

【技术实现步骤摘要】

本公开涉及医疗问答,具体涉及了一种基于状态空间模型的医疗长文本问答方法及系统


技术介绍

1、已有的医疗问答工作分为两类:直接问答与基于检索的问答。在直接问答类工作中,模型往往直接记住医疗知识,当问题输入到模型中时,模型依靠自身记忆的医疗知识给出回复。然而,当医疗知识更新时,该类方法往往需要重新训练模型,更新成本较大。在基于检索的问答系统中,模型基于检索得到的医疗知识进行回复。在该类工作中,模型不需要记住最新的医疗知识,只需要学习一定的医学常识,并根据检索的知识生成答案即可。目前基于检索的医疗问答系统往往占据主流。

2、然而,该类系统往往假定需要的知识一定在检索结果中,同时要求需要外部知识的长度小于模型能够输入的长度,该类假设的存在限制了模型的应用。由于该类假设要求需要的知识一定在检索结果中,而检索系统的性能又无法满足,一般而言会使用检索得到的前5或前10个文档作为外部知识,而使用多个文档作为外部知识则容易超出模型的输入长度范围。另一方面,即使只使用一个文档作为外部知识,当该文档过长时,例如较长的医疗文献或论文等,依然无法输入模型。因此,该类模本文档来自技高网...

【技术保护点】

1.基于状态空间模型的医疗长文本问答方法,其特征在于,包括以下步骤:

2.如权利要求1中所述的基于状态空间模型的医疗长文本问答方法,其特征在于,训练数据通过两种方式进行构造,一种是基于已有的问答数据,另一种是基于已有的文档。

3.如权利要求2中所述的基于状态空间模型的医疗长文本问答方法,其特征在于,已有的问答数据包括相关文档、问题及答案;

4.如权利要求1中所述的基于状态空间模型的医疗长文本问答方法,其特征在于,多文档知识为给定文档和检索得到的文档的混合文档。

5.如权利要求1中所述的基于状态空间模型的医疗长文本问答方法,其特征在于,多文档...

【技术特征摘要】

1.基于状态空间模型的医疗长文本问答方法,其特征在于,包括以下步骤:

2.如权利要求1中所述的基于状态空间模型的医疗长文本问答方法,其特征在于,训练数据通过两种方式进行构造,一种是基于已有的问答数据,另一种是基于已有的文档。

3.如权利要求2中所述的基于状态空间模型的医疗长文本问答方法,其特征在于,已有的问答数据包括相关文档、问题及答案;

4.如权利要求1中所述的基于状态空间模型的医疗长文本问答方法,其特征在于,多文档知识为给定文档和检索得到的文档的混合文档。

5.如权利要求1中所述的基于状态空间模型的医疗长文本问答方法,其特征在于,多文档知识为目标文档和检索得到的文档的混合文档。

6.如权...

【专利技术属性】
技术研发人员:付振美
申请(专利权)人:山东第一医科大学附属省立医院山东省立医院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1