System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,尤其涉及一种文本摘要的生成方法、装置、设备及存储介质。
技术介绍
1、文本摘要技术在信息处理和知识传递中扮演着重要角色。现有文本摘要技术大都是将摘要抽取任务当作序列标注任务来进行的,即从长文本中选择合适的语句加入短文本的集合,并将短文本的集合作为摘要抽取的结果。
2、然而,在面对不同客户的某些特定领域文本时,使用现有的文本摘要技术抽取出的文本摘要的正确性较低。
技术实现思路
1、为了解决上述问题,本申请提出一种文本摘要的生成方法、装置、设备及存储介质,能够处理不同用户的特定领域的文本,同时增强文本摘要模型输出的文本摘要的正确性和准确性。
2、根据本申请实施例的第一方面,提供了一种文本摘要的生成方法,包括:
3、获取文本数据,所述文本数据包括特定领域的文本数据;
4、将所述文本数据的数据特征与知识数据的知识特征进行融合,得到融合特征,所述知识数据由所述特定领域的数据构建得到;所述知识特征至少包括所述知识数据中的关键词和/或短语的特征;
5、基于所述融合特征,提取所述文本数据的文本摘要。
6、可选的,将所述文本数据的数据特征与知识数据的知识特征进行融合,得到融合特征,以及基于所述融合特征提取所述文本数据的文本摘要,包括:
7、将所述文本数据输入预先训练的文本摘要模型中,得到所述文本数据的文本摘要;
8、其中,所述文本摘要模型包括所述知识数据;所述文本摘要模型将所述文本数据
9、可选的,所述文本摘要模型包括文本编码模块、知识嵌入模块、特征融合模块和专家模型;
10、其中,所述文本编码模块用于提取所述文本数据的数据特征;
11、所述知识嵌入模块包括所述知识数据,用于提取所述知识数据的知识特征;
12、所述特征融合模块,用于将所述数据特征和所述知识特征进行融合,得到融合特征;
13、所述专家模型至少包括所述特定领域的专家模型,用于基于所述融合特征,提取所述文本数据的文本摘要。
14、可选的,将所述数据特征和所述知识特征进行融合,得到融合特征,具体包括:
15、对所述数据特征和所述知识特征进行相关性计算并基于特征相关性进行特征融合,得到融合特征。
16、可选的,所述专家模型是包括多个不同领域的专家模型的混合专家模型,所述不同领域的专家模型至少包括所述特定领域的专家模型。
17、可选的,所述混合专家模型包括门控器,所述门控器用于从所述多个不同领域的专家模型中,筛选出与所述特定领域相关的专家模型;
18、与所述特定领域相关的专家模型联合基于所述融合特征,提取所述文本数据的文本摘要。
19、可选的,对所述文本摘要模型的训练过程包括:
20、对所述知识嵌入模块进行所述知识数据的特征提取训练,以及,对所述专家模型进行文本摘要提取训练;
21、基于训练后的所述知识嵌入模块和所述专家模型,对所述文本摘要模型进行所述特定领域的文本数据的文本摘要提取训练。
22、可选的,所述专家模型是包括多个不同领域的专家模型的混合专家模型,所述不同领域的专家模型至少包括所述特定领域的专家模型;所述混合专家模型包括门控器,所述门控器用于从所述多个不同领域的专家模型中,筛选出与所述特定领域相关的专家模型;
23、所述基于训练后的所述知识嵌入模块和所述专家模型,对所述文本摘要模型进行所述特定领域的文本数据的文本摘要提取训练,包括:
24、将所述特定领域的文本样本输入所述文本编码模块,得到所述混合专家模型输出的文本摘要提取结果;
25、根据所述文本摘要提取结果以及所述文本样本对应的文本摘要标签,计算损失函数;
26、基于所述损失函数,对所述文本编码模块、所述特征融合模块和所述门控器中的至少一个进行参数优化。
27、根据本申请实施例的第二方面,提供了一种文本摘要的生成装置,包括:
28、获取模块,用于获取文本数据,所述文本数据包括特定领域的文本数据;
29、生成模块,用于将所述文本数据的数据特征与知识数据的知识特征进行融合,得到融合特征,所述知识数据由所述特定领域的数据构建得到;所述知识特征至少包括所述知识数据中的关键词和/或短语的特征;基于所述融合特征,提取所述文本数据的文本摘要。
30、本申请第三方面提供了一种电子设备,包括:
31、存储器和处理器;
32、所述存储器与所述处理器连接,用于存储程序;
33、所述处理器,通过运行所述存储器中的程序,实现上述的文本摘要的生成方法。
34、本申请第四方面提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时,实现上述的文本摘要的生成方法。
35、上述申请中的一个实施例具有如下优点或有益效果:
36、本申请提出的文本摘要的生成方法在对特定领域的文本数据提取文本摘要时,将文本数据的数据特征,与特定领域的知识数据的知识特征进行融合,得到融合特征,然后再基于融合特征提取文本数据的文本摘要。该文本摘要提取过程不止应用了文本数据本身的数据特征,还结合了文本数据所属领域的知识特征,从而能够更加准确的识别文本数据中的主要信息,从而能够更加准确地提取文本数据的摘要。
本文档来自技高网...【技术保护点】
1.一种文本摘要的生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,将所述文本数据的数据特征与知识数据的知识特征进行融合,得到融合特征,以及基于所述融合特征提取所述文本数据的文本摘要,包括:
3.根据权利要求2所述的方法,其特征在于,所述文本摘要模型包括文本编码模块、知识嵌入模块、特征融合模块和专家模型;
4.根据权利要求1或3所述的方法,其特征在于,将所述数据特征和所述知识特征进行融合,得到融合特征,具体包括:
5.根据权利要求3所述的方法,其特征在于,所述专家模型是包括多个不同领域的专家模型的混合专家模型,所述不同领域的专家模型至少包括所述特定领域的专家模型。
6.根据权利要求5所述的方法,其特征在于,所述混合专家模型包括门控器,所述门控器用于从所述多个不同领域的专家模型中,筛选出与所述特定领域相关的专家模型;
7.根据权利要求6所述的方法,其特征在于,对所述文本摘要模型的训练过程包括:
8.根据权利要求7所述的方法,其特征在于,所述专家模型是包括多个不同领域的专家模型的
9.一种文本摘要的生成装置,其特征在于,包括:
10.一种电子设备,其特征在于,包括:
11.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时,实现如权利要求1至8任意一项文本摘要的生成方法。
...【技术特征摘要】
1.一种文本摘要的生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,将所述文本数据的数据特征与知识数据的知识特征进行融合,得到融合特征,以及基于所述融合特征提取所述文本数据的文本摘要,包括:
3.根据权利要求2所述的方法,其特征在于,所述文本摘要模型包括文本编码模块、知识嵌入模块、特征融合模块和专家模型;
4.根据权利要求1或3所述的方法,其特征在于,将所述数据特征和所述知识特征进行融合,得到融合特征,具体包括:
5.根据权利要求3所述的方法,其特征在于,所述专家模型是包括多个不同领域的专家模型的混合专家模型,所述不同领域的专家模型至少包括所述特定领域的专家模型。
6.根据权利要求5所述的方法,其特征在于,所述混合专家模型包括门控...
【专利技术属性】
技术研发人员:陈非凡,冯庭好,张东旭,
申请(专利权)人:科大讯飞股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。