数据处理方法、摘要展示方法、装置、设备及存储介质制造方法及图纸

技术编号:33137325 阅读:15 留言:0更新日期:2022-04-22 13:45
本申请实施例提供一种数据处理方法、摘要展示方法、装置、设备及存储介质。该方法包括:获取待处理文本数据,待处理文本数据包括多个句子;将多个句子输入目标摘要生成模型,确定多个句子中的至少一个主题句;根据至少一个主题句获得待处理文本数据的摘要;其中,目标摘要生成模型的输入为训练文本数据中多个样本句子,以及多个样本句子分别对应的上下文句子段,目标摘要生成模型的输出为训练文本数据对应的至少一个主题句。根据本申请实施例,能够基于具有整合上下文信息能力的目标摘要生成模型,生成包括上下文信息的摘要,提高摘要的生成质量。生成质量。生成质量。

【技术实现步骤摘要】
数据处理方法、摘要展示方法、装置、设备及存储介质


[0001]本申请涉及自然语言处理
,尤其涉及一种数据处理方法、摘要展示方法、装置、设备及存储介质。

技术介绍

[0002]随着信息技术的发展,人们能够接触到海量的文本数据,例如对话、新闻、博客、报告、论文、微博等等。为了从大量的文本数据中获取重要的信息,可以通过生成摘要的方式从文本数据中提取重要的内容。
[0003]目前,传统的摘要生成模型生成的摘要质量较低,在一些场景下并不适用,例如在文本数据包括大量的省略句和疑问句的情况下,由于传统的摘要生成模型的识别能力低,生成的摘要往往没有实际意义。

技术实现思路

[0004]本申请实施例提供了一种数据处理方法、摘要展示方法、装置、设备及存储介质,能够生成包括上下文信息的摘要,提高摘要的生成质量。
[0005]第一方面,本申请实施例提供了一种数据处理方法,该方法包括:
[0006]获取待处理文本数据,待处理文本数据包括多个句子;
[0007]将多个句子输入目标摘要生成模型,确定多个句子中的至少一个主本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,包括:获取待处理文本数据,所述待处理文本数据包括多个句子;将所述多个句子输入目标摘要生成模型,确定所述多个句子中的至少一个主题句;根据所述至少一个主题句获得所述待处理文本数据的摘要;其中,所述目标摘要生成模型的输入为训练文本数据中多个样本句子,以及所述多个样本句子分别对应的上下文句子段,所述目标摘要生成模型的输出为所述训练文本数据对应的至少一个主题句。2.根据权利要求1所述的方法,其中,所述根据所述至少一个主题句获得所述待处理文本数据的摘要,包括:从所述至少一个主题句中确定每个主题句分别对应的上下文句子段;根据所述每个主题句分别对应的上下文句子段获得所述待处理文本数据的摘要。3.根据权利要求1或2所述的方法,其中,所述将所述多个句子输入目标摘要生成模型,确定所述多个句子中的至少一个主题句,包括:通过所述目标摘要生成模型,提取所述多个句子各自对应的第一特征向量;根据所述第一特征向量,从所述多个句子中选择至少一个句子作为主题句。4.根据权利要求3所述的方法,其中,所述根据所述第一特征向量,从所述多个句子中选择至少一个句子作为主题句,包括:根据所述第一特征向量和所述目标摘要生成模型的关系权重,计算所述多个句子中任意两个句子的第一特征向量之间的第一相关性系数;根据所述第一相关性系数,从所述多个句子中选择至少一个句子作为主题句。5.根据权利要求4所述的方法,其中,所述根据所述第一特征向量和所述目标摘要生成模型的关系权重,计算所述多个句子中任意两个句子的第一特征向量之间的第一相关性系数,包括:根据所述第一特征向量和所述关系权重,计算所述多个句子中任意两个句子的第一特征向量之间的第二相关性系数;根据所述第二相关性系数和预设距离系数,计算所述第一相关性系数,所述预设距离系数表示所述任意两个句子在所述待处理文本数据中位置之间的距离程度。6.根据权利要求4或5所述的方法,其中,所述根据所述第一相关性系数,从所述多个句子中选择至少一个句子作为主题句,包括:根据所述第一相关性系数,计算每个句子的第一特征向量的主题系数,所述主题系数是所述每个句子的第一特征向量对应的第一相关性系数之和;将满足预设系数条件的主题系数对应的句子确定为主题句。7.根据权利要求4或5所述的方法,其中,所述根据所述第一相关性系数,从所述多个句子中选择至少一个句子作为主题句,包括:根据所述第一相关性系数与最大边界相关算法,在所述多个句子中选择至少一个句子作为主题句。8.根据权利要求1所述的方法,其中,所述目标摘要生成模型包括上下文句子关系预测子模型;在所述将所述多个句子输入目标摘要生成模型,确定所述多个句子中的至少一个主题
句之前,所述方法还包括:根据所述多个样本句子分别对应的上下文句子段,确定所述多个样本句子中每个样本句子对应的正样本和负样本;所述正样本为在上下文句子段中的句子,所述负样本为不在上下文句子段中的句子;将所述每个样本句子输入所述上下文句子关系预测子模型,得到每个样本句子的特征向量;根据所述每个样本句子的特征向量、所述正样本的特征向量、所述负样本的特征向量训练所述上下文句子关系预测子模型,直至满足第一预设训练停止条件,得到所述目标摘要生成模型。9.根据权利要求8所述的方法,其中,所述第一预设训练停止条件包括上下文关系损失值小于或等于第一预设停止阈值;其中,所述上下文关系损失值是将所述每个样本句子的特征向量、所述每个正样本的特征向...

【专利技术属性】
技术研发人员:邹易澄康杨杨孙常龙赵露君林君
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1