文本重写方法及装置、电子设备、存储介质制造方法及图纸

本申请实施例提供了一种文本重写方法和装置、电子设备，属于医疗技术领域，通过预训练的文本重写模型对当前文本进行第一预测处理以确定当前文本分词被重写为目标文本分词的概率，以及通过文本重写模型对当前文本分词进行第二预测处理以确定直接输出当前文本分词为目标文本分词的概率，以及通过文本重写模型对当前文本分词进行第三预测处理以确定对于第一生成预测概率和第二生成预测概率的分布选择，能够提升文本重写模型对于当前文本的理解准确度，从而能够根据第一生成预测概率、第二生成预测概率和生成权重参数确定当前文本的输出概率分布，以便于根据输出概率分布进行重写处理而得到目标文本，以便于给出更加准确的回复内容。的回复内容。的回复内容。

【技术实现步骤摘要】
文本重写方法及装置、电子设备、存储介质


[0001]本申请涉及医疗
，尤其涉及一种文本重写方法及装置、电子设备、存储介质。

技术介绍

[0002]人们在日常生活中可以通过问答逐步的接收、传递信息，对话式问答模型就是令机器仿照人类的方式，根据材料和多轮问答信息回答当前问题，这在医疗领域中应用的越来越广泛，在数字化医疗时代，为了提升医务效率，很多医院都逐步设置了对话问答机，患者可以通过与医院内的对话问答机进行询问对话，以了解更多医务情况，比如患者可以问“肿瘤科在什么位置”，这时对话问答机可以回答“在三楼第一单元”。但是，人们在对话中，习惯于用一些代词代替前面对话中已经提到过的名字或者事情，或者直接省略掉对话中的一些内容，例如，患者首先问“肿瘤科的预约时间为每天的什么时候”，对话问答机回答“9点至17点”，然后患者再次问道“预约时间包括周末吗”，显然后一句的问话包含了省略词，客观而言，使用指代词或者省略词对人们来说，是非常方便又容易理解的，但是对于对话模型而言，指代词和省略词的存在使得语句内容可能存在指代不清和语句内容缺失，机器将很难从历史问答信息中准确的理解问题中的代词具体表示什么，也很难理解对话中缺失的内容具体是什么，造成对问题的理解能力会大打折扣，从而可能给出不准确的回复内容。因此，针对对话模型如何提升对于问题的理解准确度，成为了亟待解决的技术问题。

技术实现思路

[0003]本申请实施例的主要目的在于提出一种文本重写方法及装置、电子设备、存储介质，旨在提升对话模型对于问题的理解准确度。
>[0004]为实现上述目的，本申请实施例的第一方面提出了一种文本重写方法，所述方法包括：
[0005]将当前文本输入到预训练的文本重写模型，其中，所述当前文本包括至少一个当前文本分词；
[0006]基于所述文本重写模型对所述当前文本进行第一预测处理，得到各个所述当前文本分词分别对应的第一生成预测概率，其中，所述第一生成预测概率表征所述文本重写模型将所述当前文本分词重写为目标文本分词进行输出的概率；
[0007]基于所述文本重写模型对所述当前文本进行第二预测处理，得到各个所述当前文本分词分别对应的第二生成预测概率，其中，所述第二生成预测概率表征所述文本重写模型将所述当前文本分词作为目标文本分词进行输出的概率；
[0008]基于所述文本重写模型对所述当前文本进行第三预测处理，得到各个所述当前文本分词分别对应的生成权重参数，其中，所述生成权重参数表征所述文本重写模型对于所述第一生成预测概率和所述第二生成预测概率的分布选择；
[0009]根据所有所述第一生成预测概率、所有所述第二生成预测概率和所有所述生成权
重参数，确定所述当前文本的输出概率分布；
[0010]基于所述文本重写模型，根据所述当前文本的输出概率分布对所述当前文本进行重写处理，得到目标文本。
[0011]在一些实施例，所述基于所述文本重写模型对所述当前文本进行第一预测处理，得到各个所述当前文本分词分别对应的第一生成预测概率，包括：
[0012]对于所述当前文本中的任意一个所述当前文本分词，基于所述文本重写模型对所述当前文本分词依次进行编码处理和解码处理，计算得到所述当前文本分词对应的第一生成预测概率。
[0013]在一些实施例，所述基于所述文本重写模型对所述当前文本进行第二预测处理，得到各个所述当前文本分词分别对应的第二生成预测概率，包括：
[0014]对于所述当前文本中的任意一个所述当前文本分词，基于所述文本重写模型对所述当前文本分词进行隐向量编码，计算得到携带所述当前文本分词的语义信息的目标隐向量；
[0015]基于所述文本重写模型，根据所述目标隐向量以及输入到所述文本重写模型中的预设目标文本，计算得到交叉注意力分数；
[0016]基于所述文本重写模型，根据所述交叉注意力分数计算得到所述当前文本分词对应的第二生成预测概率。
[0017]在一些实施例，所述文本重写模型配置编码器和解码器，所述基于所述文本重写模型对所述当前文本进行第三预测处理，得到各个所述当前文本分词分别对应的生成权重参数，包括：
[0018]基于所述编码器对所述当前文本进行编码，得到编码文本；
[0019]基于所述解码器对所述编码文本、第一概率分布向量和第二概率分布向量进行拼接处理，得到权重向量，其中，所述第一概率分布向量包括所有所述当前文本分词分别对应的第一生成预测概率，所述第二概率分布向量包括所有所述当前文本分词分别对应的第二生成预测概率；
[0020]基于预设转换函数对所述权重向量进行转换计算，得到各个所述当前文本分词分别对应的生成权重参数。
[0021]在一些实施例，所述基于所述文本重写模型，根据所述目标隐向量以及输入到所述文本重写模型中的预设目标文本，计算得到交叉注意力分数，包括：
[0022]从所述预设目标文本中查找得到预设当前分词，提取所述预设目标文本中位于所述预设当前分词之前的预确定的所有预设历史分词，其中，所述预设当前分词与所述当前文本分词对应；
[0023]基于所述文本重写模型，根据所述目标隐向量和所有所述预设历史分词，计算得到交叉注意力分数。
[0024]在一些实施例，所述编码文本包括至少一个编码文本分词，所述基于所述解码器对所述编码文本、第一概率分布向量和第二概率分布向量进行拼接处理，得到权重向量之前，还包括：
[0025]对所述编码文本中的任意一个或多个所述编码文本分词进行随机替换。
[0026]在一些实施例，所述将当前文本输入到预训练的文本重写模型之前，还包括：
[0027]将历史目标文本和文本提示信息输入到所述文本重写模型，其中，所述文本提示信息用于描述所述历史目标文本的内容；
[0028]以所述历史目标文本作为标签，基于所述文本提示信息对所述文本重写模型进行训练，得到预训练的所述文本重写模型。
[0029]为实现上述目的，本申请实施例的第二方面提出了一种文本重写装置，所述装置包括：
[0030]文本输入模块，用于将当前文本输入到预训练的文本重写模型，其中，所述当前文本包括至少一个当前文本分词；
[0031]第一预测处理模块，用于基于所述文本重写模型对所述当前文本进行第一预测处理，得到各个所述当前文本分词分别对应的第一生成预测概率，其中，所述第一生成预测概率表征所述文本重写模型将所述当前文本分词重写为目标文本分词进行输出的概率；
[0032]第二预测处理模块，用于基于所述文本重写模型对所述当前文本进行第二预测处理，得到各个所述当前文本分词分别对应的第二生成预测概率，其中，所述第二生成预测概率表征所述文本重写模型将所述当前文本分词作为目标文本分词进行输出的概率；
[0033]第三预测处理模块，用于基于所述文本重写模型对所述当前文本进行第三预测处理，得到各个所述当前文本分词分别对应的生成权重参数，其中，所述生成权重参数表征所述文本重写模型对于所述第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本重写方法，其特征在于，包括：将当前文本输入到预训练的文本重写模型，其中，所述当前文本包括至少一个当前文本分词；基于所述文本重写模型对所述当前文本进行第一预测处理，得到各个所述当前文本分词分别对应的第一生成预测概率，其中，所述第一生成预测概率表征所述文本重写模型将所述当前文本分词重写为目标文本分词进行输出的概率；基于所述文本重写模型对所述当前文本进行第二预测处理，得到各个所述当前文本分词分别对应的第二生成预测概率，其中，所述第二生成预测概率表征所述文本重写模型将所述当前文本分词作为目标文本分词进行输出的概率；基于所述文本重写模型对所述当前文本进行第三预测处理，得到各个所述当前文本分词分别对应的生成权重参数，其中，所述生成权重参数表征所述文本重写模型对于所述第一生成预测概率和所述第二生成预测概率的分布选择；根据所有所述第一生成预测概率、所有所述第二生成预测概率和所有所述生成权重参数，确定所述当前文本的输出概率分布；基于所述文本重写模型，根据所述当前文本的输出概率分布对所述当前文本进行重写处理，得到目标文本。2.根据权利要求1所述的文本重写方法，其特征在于，所述基于所述文本重写模型对所述当前文本进行第一预测处理，得到各个所述当前文本分词分别对应的第一生成预测概率，包括：对于所述当前文本中的任意一个所述当前文本分词，基于所述文本重写模型对所述当前文本分词依次进行编码处理和解码处理，计算得到所述当前文本分词对应的第一生成预测概率。3.根据权利要求1所述的文本重写方法，其特征在于，所述基于所述文本重写模型对所述当前文本进行第二预测处理，得到各个所述当前文本分词分别对应的第二生成预测概率，包括：对于所述当前文本中的任意一个所述当前文本分词，基于所述文本重写模型对所述当前文本分词进行隐向量编码，计算得到携带所述当前文本分词的语义信息的目标隐向量；基于所述文本重写模型，根据所述目标隐向量以及输入到所述文本重写模型中的预设目标文本，计算得到交叉注意力分数；基于所述文本重写模型，根据所述交叉注意力分数计算得到所述当前文本分词对应的第二生成预测概率。4.根据权利要求1所述的文本重写方法，其特征在于，所述文本重写模型配置编码器和解码器，所述基于所述文本重写模型对所述当前文本进行第三预测处理，得到各个所述当前文本分词分别对应的生成权重参数，包括：基于所述编码器对所述当前文本进行编码，得到编码文本；基于所述解码器对所述编码文本、第一概率分布向量和第二概率分布向量进行拼接处理，得到权重向量，其中，所述第一概率分布向量包括所有所述当前文本分词分别对应的第一生成预测概率，所述第二概率分布向量包括所有所述当前文本分词分别对应的第二生成预测概率；
基于预设转换函数对所述权重向量进行转换计算，得到各个所述当前文本分词分别对应的生成权重参数。5.根据权利要...

【专利技术属性】
技术研发人员：李志韬，王健宗，程宁，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：