一种基于预训练模型的癌症问答交互方法技术

本发明专利技术涉及一种基于预训练模型的癌症问答交互方法，其中，包括：步骤1：收集并整理癌症和诱因数据，训练关于癌症的联合意图识别和实体槽位填充的BERT模型；步骤2：设置ERNIE模型参数，进行ERNIE模型训练；步骤3：收集癌症医疗数据，并对数据进行预处理，使用Transformer

【技术实现步骤摘要】
一种基于预训练模型的癌症问答交互方法


[0001]本专利技术专利涉及医疗智能问答领域，尤其涉及一种基于预训|练模型的癌症问答交互方法。

技术介绍

[0002]近些年在
″
互联网+
″
的浪潮下，智能问诊技术蓬勃发展，患者或者家属可以在与医生沟通之前，通过手机或PC端进入医院智能问诊模块中，输入患者的基本信息、症状、既往病史、过敏史等信息，系统将初步形成诊断报告，以减少医生与患者的沟通时间，大大提升医患沟通效率，同时在患者的日常维护中，智能问诊也能够帮助患者看病和解决一些疑惑，从而达到心理安抚和辅助治疗的目的。从长远来看，也能拿帮助帮助患者记录和管理病情情况，从而给医生提供更全面的信息，帮助患者更好的治疗。
[0004]预训|练语言模型(PTM)的发展将智能问诊领域的研究提升到了一个新的阶段，无需人工标签，可以从海量的语料中可以学习到通用的语言表示，并显著提升下游任务的表征。大型语料库上的预训|练模型已经可以学习通用的语言表征，这对于下游的NLP相关任务是非常有帮助的，可以避免大量从零开始训|练新模型。而随着算力的发展、深层模型出现以及训|练技能的不断提高，PTM体系结构已然从浅层发展到了深层，对于下游的任务也很难再从零开始进行训|练。

技术实现思路

[0005]本专利技术的目的在于提供一种基于预训练模型的癌症问答交互方法，用于解决癌症患者和医生之间沟通效率和患者长期维护难的问题。
[0006]本专利技术一种基于预训|练模型的癌症问答交互方法，其中，包括：步骤1：收集并整理癌症和诱因数据，设置BERT模型参数，训练关于癌症的联合意图识别和实体槽位填充的BERT模型；步骤2：对步骤1收集并整理癌症和诱因数据进行分型，对于同实体和意图的问句作为相似度为1数据，对没有关系的数据，定义相似度为0；设置 ERNIE模型参数，进行ERNIE模型训|练，保存最好的ERNIE模型和训练后的ERNIE模型，对比在测试集上效果好的ERNIE模型作为进行癌症文本相似度计算的ERNIE模型；步骤3：收集癌症医疗数据，并对数据进行预处理，使用Transformer
‑
XL预训|练模型进行微调训l 练，得到癌症的自然语言生成Transformer
‑
XL模型；步骤4：输入想要咨询的问题，然后将文本输入到训练好的BERT模型，进行癌症意图识别和实体槽位填充，以计算出获得的实体和意图置信度，当置信度大于一第一阈值，在数据库中获得答案并输出；当置信度小于等于该第一阈值，则从网上搜索答案，然后将句子和用户的问题进行匹配，使用训|练好的文本相似度计算的ERNIE模型，计算出每一条的相似度，将相似度最高的置信度与第二阈值进行比较，如果大于该第二阈值，则获取对应网站的答案并输出；如果置信度小于等于该第二阈值，则使用癌症的自然语言生成Transformer
‑
XL模型进行回答。
[0007]根据本专利技术所述的基于预训练模型的癌症问答交互方法的一实施例，其中，癌症
和诱因数据包括：癌症的意图和实体槽位，意图包括：买药、治疗方式、饮食注意事项以及疾病发病原因，实体槽位包括常见癌症类型；设置BERT模型参数包括：最大长度为50，批量大小为128，Adam用于优化，初始学习率为5e
‑
5，Dropout为0.1，最大训练次数epoch为20。
[0008]根据本专利技术所述的基于预训练模型的癌症问答交互方法的一实施例，其中，步骤2的设置ERNIE模型参数包括：批量大小为128，文本最大长度：128，最大训|练次数epoch：10，初始学习率5e
‑
5。
[0009]根据本专利技术所述的基于预训练模型的癌症问答交互方法的一实施例，其中，癌症医疗数据包括：癌症相关的文章、病历、报告、药物、问诊以及医疗开源数据集，癌症医疗数据的格式为{
″
prompt
″
：..，
″
text
″
：...}的json文件。
[0010]根据本专利技术所述的基于预训练模型的癌症问答交互方法的一实施例，其中，数据进行预处理包括：数据清洗，包括：全角与半角的转化、文本中大写数字转化为小写数字、文本中大写字母转化为小写字母、文本中的表情符号去除、去除文本中所有的字符、中文文本分词、繁体中文与简体中文转换、中文文本停用词过滤以及敏感词去除。
[0011]根据本专利技术所述的基于预训练模型的癌症问答交互方法的一实施例，其中，步骤3的使用Transformer
‑
XL预训|练模型进行微调训l练的训练参数为：批量大小为16，文本最大长度：512，最大训l练次数epoch： 40，初始学习率1e
‑
5。
[0012]根据本专利技术所述的基于预训练模型的癌症问答交互方法的一实施例，其中，第一阈值为0.8。
[0013]根据本专利技术所述的基于预训练模型的癌症问答交互方法的一实施例，其中，第二阈值为0.9。
[0014]根据本专利技术所述的基于预训练模型的癌症问答交互方法的一实施例，其中，在进行回答后，继续咨询用户是否愿意建立患者档案，如果不愿意则咨询结束或者咨询下一个问题，如果愿意，则咨询用户的：年龄、体重、性别、过敏情况、相关病史、家族病史、患病时间以及所使用的药物信息。
[0015]本专利技术可以解决癌症患者在日常生活中遇到问题不能解决的困境；记录患者日常问题形成档案，解决数据碎片化从而帮助医生更好制定治疗方案；也可以作为患者就诊前的预问诊，从而提升就诊效率。
附图说明
[0016]图1癌症问答交互方法流程图；
[0017]图2右侧未意图识别示意和左侧为实体槽位填充模型数据。
具体实施方式
[0018]为使本专利技术的目的、内容、和优点更加清楚，下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。
[0019]本专利技术使用中文医疗对话训|练预训|练语言模型，所使用的数据来自于开源数据，总对话数180万，其中本专利技术使用的癌症问答数据来自于开源数据集(Chinese medical dialogue data)和其他开源医疗对话数据集中整理所得。使用上面开源数据，本专利技术开发一种结合预训练模型和癌症问答数据的癌症问答系统，本专利技术的重点是作为一种预问诊和
患者关怀的手段，能够有效提升癌症患者和医生之间的沟通效率，同时对患者进行日常心理维护和疑问解答，在医疗系统中也可以帮助患者建立长期的病例存档，从而达到提升癌症患者的生存期，降低医疗资源消耗的目的。
[0020]基于自然语言处理中的深度学习算法，本专利技术提出一种基于预训练模型的癌症问答系统和方法。本专利技术流程图如图1所示，其中重点包括四部分；第一部分是基于预训练模型的意图识别和实体槽位填充；第二部分是基于预训练模型的文本相似度计算；第三部分是基于预训|练模型的问答生成；第四部分是为患者建档。
[0021]自然语言理解(NLU)对于面向目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于预训练模型的癌症问答交互方法，其特征在于，包括：步骤1：收集并整理癌症和诱因数据，设置BERT模型参数，训|练关于癌症的联合意图识别和实体槽位填充的BERT模型；步骤2：对步骤1收集并整理癌症和诱因数据进行分型，对于同实体和意图的问句作为相似度为1数据，对没有关系的数据，定义相似度为0；设置ERNIE模型参数，进行ERNIE模型训练，保存最好的ERNIE模型和训练后的ERNIE模型，对比在测试集上效果好的ERNIE模型作为进行癌症文本相似度计算的ERNIE模型；步骤3：收集癌症医疗数据，并对数据进行预处理，使用Transformer
‑
XL预训练模型进行微调训练，得到癌症的自然语言生成Transformer
‑
XL模型；步骤4：输入想要咨询的问题，然后将文本输入到训练好的BERT模型，进行癌症意图识别和实体槽位填充，以计算出获得的实体和意图置信度，当置信度大于一第一阈值，在数据库中获得答案并输出；当置信度小于等于该第一阈值，则从网上搜索答案，然后将句子和用户的问题进行匹配，使用训练好的文本相似度计算的ERNIE模型，计算出每一条的相似度，将相似度最高的置信度与第二阈值进行比较，如果大于该第二阈值，则获取对应网站的答案并输出；如果置信度小于等于该第二阈值，则使用癌症的自然语言生成Transformer
‑
XL模型进行回答。2.如权利要求1所述的基于预训练模型的癌症问答交互方法，其特征在于，癌症和诱因数据包括：癌症的意图和实体槽位，意图包括：买药、治疗方式、饮食注意事项以及疾病发病原因，实体槽位包括常见癌症类型；设置BERT模型参数包括：最大长度为50，批量大小为128，Adam用于优化，初始学习率为5e
‑
5，Dropout为0.1，最大训练次数epoch为20。3.如权...

【专利技术属性】
技术研发人员：童云飞，张超仁，邓天然，
申请(专利权)人：上海仰和华健人工智能科技有限公司，
类型：发明
国别省市：