长文本生成方法、装置、终端及存储介质制造方法及图纸

技术编号:28839231 阅读:14 留言:0更新日期:2021-06-11 23:37
本发明专利技术公开了一种长文本生成方法、装置、终端及存储介质,其中方法包括:获取输入数据,输入数据包括多个属性以及每个属性对应的值;基于输入数据构建预设数量个计划子文本,每个计划子文本均包括所有属性;计算每个属性在每个计划子文本的概率,并根据概率筛选出符合预设要求的目标属性,并将目标属性作为计划子文本的最终输出属性;根据输入数据和每个计划子文本的最终输出属性生成与计划子文本对应的多个输出子文本,每个子文本包括最终输出属性对应的值,多个输出子文本构成一个长文本。通过上述方式,本发明专利技术能够将一个长文本的生成任务分为多个子任务分别执行,每个子任务表达不同的属性,使得最终得到的长文本语句连贯、重复内容少。

【技术实现步骤摘要】
长文本生成方法、装置、终端及存储介质
本申请涉及人工智能
,特别是涉及一种长文本生成方法、装置、终端及存储介质。
技术介绍
市场很多行业需要大量的行情文章、促销信息、导购文章、新产品上市等文本描述,例如汽车行业,据统计,汽车经销商1天发布促销行情文章超5000篇,行业经销商、生产厂商、内容编辑者迫切希望能将数据量进一步扩大。目前,随着AI技术的快速发展,自然语言处理技术近年来也不断突破,对话系统在工业界广泛应用,如智能客服,语音助手等,但是,NLP技术在具体的生成较长的复杂句子时(如在生成满足一定条件的广告文案时),仍然存在句子与句子之间语义不连贯,以及文本重复生成的问题。
技术实现思路
本申请提供一种长文本生成方法、装置、终端及存储介质,以解决现有的NLP技术生成的长文本语句不够连贯、文本重复的技术问题。为解决上述技术问题,本申请采用的一个技术方案是:提供一种长文本生成方法,包括:获取输入数据,输入数据包括多个属性以及每个属性对应的值;基于输入数据构建预设数量个计划子文本,每个计划子文本均包括所有属性;计算每个属性在每个计划子文本的概率,并根据概率筛选出符合预设要求的目标属性,并将目标属性作为计划子文本的最终输出属性;根据输入数据和每个计划子文本的最终输出属性生成与计划子文本对应的多个输出子文本,每个子文本包括最终输出属性对应的值,多个输出子文本构成一个长文本。作为本申请的进一步改进,基于输入数据构建预设数量个计划子文本,每个计划子文本均包括所有属性,包括:对输入数据进行编码操作,并结合预设的第一神经网络模型计算得到第一隐变量分布,并从第一隐变量分布中随机采样得到第一隐变量;根据输入数据、第一隐变量计算得到概率分布最大的一组计划子文本。作为本申请的进一步改进,计算每个属性在每个计划子文本的概率,并根据概率筛选出符合预设要求的目标属性,并将目标属性作为计划子文本的最终输出属性,包括:计算每个属性在每个计划子文本中的概率;分别判断计划子文本中是否存在概率大于预设阈值的目标属性;若存在,则将目标属性作为计划子文本的最终输出属性;若不存在,则将概率最大的属性作为最终输出属性。作为本申请的进一步改进,根据输入数据和每个计划子文本的最终输出属性生成与计划子文本对应的多个输出子文本,每个子文本包括最终输出属性对应的值,多个输出子文本构成一个长文本,包括:利用预设的第一解码端进行文本解码操作,得到第一解码端的隐状态;根据第一解码端的隐状态、输入数据、第一隐变量、计划子文本的最终输出属性和预设的第二神经网络模型计算得到第二隐变量分布;从第二隐变量分布中随机采样得到第二隐变量;根据输入数据、第一隐变量、计划子文本的最终输出属性和第二隐变量计算得到概率分布最大的一组输出子文本的表现形式,表现形式用于反映输出子文本之间的关系;通过预设的第二解码端基于输出子文本的表现形式、输入数据、第一隐变量、计划子文本的最终输出属性、第二隐变量生成多个输出子文本,多个输出子文本组合构成一个长文本。作为本申请的进一步改进,第一神经网络模型预先训练,并在训练过程中使用预先设置的第一损失函数反向传播更新第一神经网络模型,第一损失函数为::其中,logP(y|x)为第一损失函数值,是指在根据x,y学习出分布并采样ZP的情况下,y=argmaxyP(y|g,x,zp)表示最终的输出结果,P(y|x,zP)是在输入x和从分布采样出的zP来代表隐藏层数据的情况下预测到y的概率,DKL是散度计算,是计算qθ′(zP|x,y)分布与pθ(zp|x)分布的差异,pθ(zp|x)是预先获取的输入数据x编码后的真实分布,qθ′(zP|x,y)是指第一神经网络模型学习到的分布。作为本申请的进一步改进,第二神经网络模型预先训练,并在训练过程中使用预先设置的第二损失函数反向传播更新第二神经网络模型,第二损失函数为:其中,logP(st|s<t,g,x,zp)是第二损失函数值,是指在条件下学习到的分布采样到的情况下,是在g,zp,x和小于时间步t的s(st-1,st-2…)的情况下,st出现的概率,DKL是散度计算,计算分布与分布的差异,是预先获取的结合了g,x,zp的隐变量真实分布,是第二神经网络模型学习到的分布。作为本申请的进一步改进,第一神经网络模型和第二神经网络模型为循环神经网络、多层感知机中的一种。为解决上述技术问题,本申请采用的另一个技术方案是:提供一种长文本生成装置,包括:获取模块,用于获取输入数据,输入数据包括多个属性以及每个属性对应的值;计划模块,用于基于输入数据构建预设数量个计划子文本,每个计划子文本均包括所有属性;属性确定模块,用余光计算每个属性在每个计划子文本的概率,并根据概率筛选出符合预设要求的目标属性,并将目标属性作为计划子文本的最终输出属性;生成模块,用于根据输入数据和每个计划子文本的最终输出属性生成与计划子文本对应的多个输出子文本,每个子文本包括最终输出属性对应的值,多个输出子文本构成一个长文本。为解决上述技术问题,本申请采用的再一个技术方案是:提供一种终端,终端包括处理器、与处理器耦接的存储器,存储器中存储有程序指令,程序指令被处理器执行时,使得处理器执行如上述中任一项权利要求的长文本生成方法的步骤。为解决上述技术问题,本申请采用的再一个技术方案是:提供一种存储介质,存储有能够实现如上述中任一项的长文本生成方法的程序文件。本申请的有益效果是:本申请的长文本生成方法通过将一个长文本的生成任务分为多个子文本生成任务,且使得每个子文本任务所表达的核心属性不同,再通过逐个执行每个子文本任务,从而得到每个子文本任务对应的输出子文本,再通过组合输出子文本即可得到一个长文本,完成长文本的生成过程,其采用的计划子文本的方式,实现了对人的表达方式的模拟,为每个计划子文本设定需要表达的核心属性,从而使得最终生成的多个输出子文本各有侧重点,进而使得最终组合得到的长文本的句与句之间更为连贯,在很大程度上避免重复出现相同的文本描述。附图说明图1是本专利技术第一实施例的长文本生成方法的流程示意图;图2是本专利技术第二实施例的长文本生成方法的流程示意图;图3是本专利技术第三实施例的长文本生成方法的流程示意图;图4是本专利技术第四实施例的长文本生成方法的流程示意图;图5是本专利技术实施例的长文本生成装置的功能模块示意图;图6是本专利技术实施例的终端的结构示意图;图7是本专利技术实施例的存储介质的结构示意图。具体实施方式下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技本文档来自技高网...

【技术保护点】
1.一种长文本生成方法,其特征在于,包括:/n获取输入数据,所述输入数据包括多个属性以及每个属性对应的值;/n基于所述输入数据构建预设数量个计划子文本,每个所述计划子文本均包括所有属性;/n计算每个所述属性在每个所述计划子文本的概率,并根据所述概率筛选出符合预设要求的目标属性,并将所述目标属性作为所述计划子文本的最终输出属性;/n根据所述输入数据和每个所述计划子文本的最终输出属性生成与所述计划子文本对应的多个输出子文本,每个所述子文本包括所述最终输出属性对应的值,所述多个输出子文本构成一个长文本。/n

【技术特征摘要】
1.一种长文本生成方法,其特征在于,包括:
获取输入数据,所述输入数据包括多个属性以及每个属性对应的值;
基于所述输入数据构建预设数量个计划子文本,每个所述计划子文本均包括所有属性;
计算每个所述属性在每个所述计划子文本的概率,并根据所述概率筛选出符合预设要求的目标属性,并将所述目标属性作为所述计划子文本的最终输出属性;
根据所述输入数据和每个所述计划子文本的最终输出属性生成与所述计划子文本对应的多个输出子文本,每个所述子文本包括所述最终输出属性对应的值,所述多个输出子文本构成一个长文本。


2.根据权利要求1所述的方法,其特征在于,所述基于所述输入数据构建预设数量个计划子文本,每个所述计划子文本均包括所有属性,包括:
对所述输入数据进行编码操作,并结合预设的第一神经网络模型计算得到第一隐变量分布,并从所述第一隐变量分布中随机采样得到第一隐变量;
根据所述输入数据、所述第一隐变量计算得到概率分布最大的一组所述计划子文本。


3.根据权利要求2所述的方法,其特征在于,所述计算每个所述属性在每个所述计划子文本的概率,并根据所述概率筛选出符合预设要求的目标属性,并将所述目标属性作为所述计划子文本的最终输出属性,包括:
计算每个属性在每个所述计划子文本中的概率;
分别判断所述计划子文本中是否存在所述概率大于预设阈值的目标属性;
若存在,则将所述目标属性作为所述计划子文本的最终输出属性;
若不存在,则将所述概率最大的属性作为所述最终输出属性。


4.根据权利要求2所述的方法,其特征在于,所述根据所述输入数据和每个所述计划子文本的最终输出属性生成与所述计划子文本对应的多个输出子文本,每个所述子文本包括所述最终输出属性对应的值,所述多个输出子文本构成一个长文本,包括:
利用预设的第一解码端进行文本解码操作,得到第一解码端的隐状态;
根据所述第一解码端的隐状态、所述输入数据、所述第一隐变量、所述计划子文本的最终输出属性和预设的第二神经网络模型计算得到第二隐变量分布;
从所述第二隐变量分布中随机采样得到第二隐变量;
根据所述输入数据、所述第一隐变量、所述计划子文本的最终输出属性和所述第二隐变量计算得到概率分布最大的一组输出子文本的表现形式,所述表现形式用于反映所述输出子文本之间的关系;
通过预设的第二解码端基于所述输出子文本的表现形式、所述输入数据、所述第一隐变量、所述计划子文本的最终输出属性、所述第二隐变量生成所述多个输出子文本,所述多个输出子文本组合构成一个长文本。


5.根据权利要求4所...

【专利技术属性】
技术研发人员:孙思
申请(专利权)人:平安国际智慧城市科技股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1