【技术实现步骤摘要】
本专利技术涉及人工智能、自然语言处理，具体地说是一种基于重排序器的医疗问题摘要生成方法和装置。
技术介绍
1、随着当前互联网的快速发展，医疗行业积极与互联网接轨，涌现了一大批既能方便患者又能减轻医生压力的网络应用。其中，在线医疗问答社区发展非常迅速。患者可以在网络社区中发布自己的医疗相关问题，由医生在方便的时间，在线解疑答惑。这种模式，大大减少了患者向医生直接进行咨询的环节，避免了传统就医环节中前往医院、挂号、排队的流程，降低了医疗咨询的门槛，也提高了医生的工作效率。然而，随着在线提问的用户数量的增加，提出问题的患者数量远远高于解答问题的医生数量，问题的增加速度远远大于解答的速度。这导致在线医疗问答的患者体验迅速下降。针对于此，许多研究人员基于自然语言处理技术提出了各式各样的医疗自动问答系统。这些医疗自动问答系统大多是基于文本匹配技术实现的，即为患者问题在已有的问答数据库中选择匹配的答案，并将其推荐给患者；这样既能快速满足患者需求，又能减少医生的工作量。然而，患者提出的医疗健康问题通常包含许多无用的外围信息，例如一些日常用语或者患者病史；而且，患者通常缺乏医学专业知识，他们描述的医疗问题中可能会包含一些与医生用词不同的非专业词汇。这些原因导致基于文本匹配技术的医疗自动问答系统很难为患者在数据库中匹配出此类问题的正确答案，严重限制了医疗自动问答系统的发展。在这种情况下，医疗自动问答系统迫切需要一种能将冗长的患者医疗问题摘要为简洁精炼且易于检索匹配的常见问题的技术，即医疗问题摘要生成技术。
2、近年来，许多序列到序列的预
技术实现思路
1、针对现在医疗问题摘要生成方法存在的不足，本专利技术的技术任务是提供基于重排序器的医疗问题摘要生成方法和装置；解决如何使用自然语言处理技术，将冗长的患者医疗问题提炼为简洁明了的问题摘要，以方便医疗问答系统进行检索和匹配；弥补现有医疗问答系统不能回答冗长问题的缺陷，提高医疗问答系统的处理能力。该方法和装置提出了一种基于重排序器的医疗问题摘要生成模型架构，该架构主要由序列到序列模型、候选摘要生成模块和重排序器组成。其中，序列到序列模型负责对输入的医疗问题进行编码和解码；候选摘要生成模块负责为医疗问题生成候选摘要；重排序器负责对候选摘要进行质量评估并进行重排序。
2、本专利技术的技术任务是按以下方式实现的，一种基于重排序器的医疗问题摘要生成方法，该方法包括如下步骤：
3、步骤s1，构建医疗问题摘要生成数据集：首先需要获得由用户在医疗问答社区提出的医疗问题和专家撰写的参考摘要以构成医疗问题摘要生成数据集，然后将其切分成训练数据集、验证数据集和测试数据集；
4、步骤s2，构建并训练医疗问题摘要生成模型，主要操作包括：构建序列到序列模型、构建交叉熵损失函数、优化序列到序列模型训练、为医疗问题生成候选摘要；
5、步骤s3，构建并训练重排序器模型，主要操作包括：构建重排序器模型、构建排序损失函数、优化重排序器模型训练；
6、步骤s4，使用医疗问题摘要生成模型和重排序器模型进行推理，主要操作包括：为医疗问题生成候选摘要、对医疗问题及其候选摘要进行编码、计算文本语义相似度并进行重排序、通过置信度门控机制选择最终摘要。
7、作为优选，所述构建并训练医疗问题摘要生成模型具体如下：
8、构建并训练医疗问题摘要生成模型，主要操作包括：构建序列到序列模型、构建交叉熵损失函数、优化序列到序列模型训练、为医疗问题生成候选摘要。
9、所述构建序列到序列模型，具体为：首先构建序列到序列模型的结构，随后加载预训练好的序列到序列模型权重及其参数配置文件。
10、所述构建交叉熵损失函数，具体为：对于构建的序列到序列模型，其标准训练框架是极大似然估计；对于加载的训练数据集中的一个具体训练样本{chq,faq}，其中chq代表医疗问题，记为q，faq代表参考摘要，记为s；极大似然估计等效于最小化参考摘要s中的l个词元(token){s1,···,sj,...,sl}的负对数似然加和，即优化以下的交叉熵损失函数：
11、
12、其中，s*指的是模型当前生成的词元(token)；s＜j指的是由一个提前定义好的起始词元s0以及当前词元sj之前的词元构成的词元表，即{s0,s1,…,sj-1}；
13、ptrue代表标准的极大似然估计框架中的一个独热编码(one-hot)分布；θ指的是f的参数，是由f的参数引起的概率分布；f是一个模型函数，给定一个医疗问题q，医疗问题摘要任务的目标就是学习一个函数f去生成医疗问题q的摘要s*，具体公式如下：
14、s*←f(q)
15、所述优化序列到序列模型训练，具体为：使用adam作为优化算法，adam优化器的学习率设置为1e-5，在加载的训练数据集上使用构建的交叉熵损失函数对构建的序列到序列模型进行优化训练。
16、所述为医疗问题生成候选摘要，具体为：将训练好的序列到序列模型记为g(·)；对于加载的训练数据集中的一个特定的样本{chq,faq}，其中chq代表医疗问题，记为q，faq代表参考摘要，记为s；使用g(·)可以为q生成一个概率分布d，具体公式如下：
17、d＝g(q)
18、用波束搜索解码算法来生成给定医疗问题q的一组候选摘要
19、
20、其中beamsearch(·)指的是波束搜索算法，n代表候选摘要的数量；使用rouge评分中的rouge-l f1指标计算候选摘要集合中的候选摘要ci和参考摘要s之间的评分，评分后的候选摘要集合表示为：
21、
22、其中，是根据它们的得分按降序排序的；带有得分的样本被用作构建的重排序器模型优化的监督信号；需要注意的是，这些得分只用于训练过程，而不用于推理过程，因为推理时不能使用标签，即参考摘要s。
23、更优地，所述构建并训练重排序器模型具体如下：构建并训练重排序器模型，主要操作包括：构建重排序器模型、构建排序损失函数、优化重排序器模型训练。
24、所述构建重排序器模型，本文档来自技高网...
【技术保护点】
1.一种基于重排序器的医疗问题摘要生成方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的基于重排序器的医疗问题摘要生成方法，其特征在于，所述步骤S1构建医疗问题摘要生成数据集、步骤S2构建并训练医疗问题摘要生成模型，分别如下：
3.根据权利要求2所述的基于重排序器的医疗问题摘要生成方法，其特征在于，所述步骤S202构建交叉熵损失函数，具体如下：
4.根据权利要求1所述的基于重排序器的医疗问题摘要生成方法，其特征在于，所述步骤S3构建并训练重排序器模型，具体如下：
5.根据权利要求4所述的基于重排序器的医疗问题摘要生成方法，其特征在于，所述步骤S302构建排序损失函数，具体如下：
6.根据权利要求1所述的基于重排序器的医疗问题摘要生成方法，其特征在于，所述步骤S4使用医疗问题摘要生成模型和重排序器模型进行推理，具体如下：
7.根据权利要求6所述的基于重排序器的医疗问题摘要生成方法，其特征在于，所述步骤S403计算文本语义相似度并进行重排序，具体如下：
8.根据权利要求6所述的基于重排序
9.一种基于重排序器的医疗问题摘要生成装置，实现权利要求1-8所描述的基于重排序器的医疗问题摘要生成方法，其特征在于，该装置包括：
10.一种电子设备，其特征在于，电子设备包括存储介质以及处理器；存储介质存储有多条指令，所述指令由处理器加载，执行权利要求1-8中所述的基于重排序器的医疗问题摘要生成方法的步骤；处理器，用于执行存储介质中的指令。
...【技术特征摘要】
1.一种基于重排序器的医疗问题摘要生成方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的基于重排序器的医疗问题摘要生成方法，其特征在于，所述步骤s1构建医疗问题摘要生成数据集、步骤s2构建并训练医疗问题摘要生成模型，分别如下：
3.根据权利要求2所述的基于重排序器的医疗问题摘要生成方法，其特征在于，所述步骤s202构建交叉熵损失函数，具体如下：
4.根据权利要求1所述的基于重排序器的医疗问题摘要生成方法，其特征在于，所述步骤s3构建并训练重排序器模型，具体如下：
5.根据权利要求4所述的基于重排序器的医疗问题摘要生成方法，其特征在于，所述步骤s302构建排序损失函数，具体如下：
6.根据权利要求1所述的基于重排序器的医疗问题摘要生成方法，其特征在于...
【专利技术属性】
技术研发人员：鹿文鹏，魏斯博，冯军，郝文晖，谢忠伟，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。