一种自动生成文本摘要的方法和系统技术方案

本申请提供了一种自动生成文本摘要的方法和系统。所述方法包括：获取文本数据；利用抽取式的方式，从所述文本数据中抽取至少一个关键句；利用生成式的方式，对所述至少一个关键句进行处理，得到文本摘要。本申请可以使用快速思考模型或BERT模型对长文本进行句向量的提炼，并使用TextRank算法抽取其中的关键句，可以将文本数据缩短并丢弃文本数据中无用的信息，降低了编码‑解码模型和注意力模型进行文本摘要的难度，提高了生成文本摘要时的性能和效果。另外，通过引入预设词表，可以在快速思考模型、编码‑解码模型和注意力模型处理文本数据时，解决了未登录词导致的句子语义不清楚的问题。

【技术实现步骤摘要】
一种自动生成文本摘要的方法和系统
本申请涉及数据处理领域，特别涉及一种自动生成文本摘要的方法和系统。
技术介绍
在线服务场景下，通常需要对一段文本数据进行概括，例如，生成新闻标题、摘要，或者提取对话文本中的重要信息。若进行人工概括，将耗时耗力。而对于长文本来说，采用传统的seq2seq方法，又会造成难以处理或者耗时严重的情况。因此，需要提供一种自动生成文本摘要的方法和系统。
技术实现思路
本申请实施例之一提供一种自动生成文本摘要的方法。所述方法包括：获取文本数据；利用抽取式的方式，从所述文本数据中抽取至少一个关键句；利用生成式的方式，对所述至少一个关键句进行处理，得到文本摘要。本申请实施例之一提供一种自动生成文本摘要的系统。所述系统包括：第一获取模块，用于获取文本数据；抽取模块，用于利用抽取式的方式，从所述文本数据中抽取至少一个关键句；生成模块，用于利用生成式的方式，对所述至少一个关键句进行处理，得到文本摘要。本申请实施例之一提供一种自动生成文本摘要的装置。所述装置包括处理器以及存储器；所述存储器用于本文档来自技高网...

【技术保护点】
1.一种自动生成文本摘要的方法，其特征在于，所述方法包括：/n获取文本数据；/n利用抽取式的方式，从所述文本数据中抽取至少一个关键句；/n利用生成式的方式，对所述至少一个关键句进行处理，得到文本摘要。/n

【技术特征摘要】
1.一种自动生成文本摘要的方法，其特征在于，所述方法包括：
获取文本数据；
利用抽取式的方式，从所述文本数据中抽取至少一个关键句；
利用生成式的方式，对所述至少一个关键句进行处理，得到文本摘要。


2.根据权利要求1所述的方法，其特征在于，所述利用抽取式的方式，从所述文本数据中抽取至少一个关键句包括：
使用文本嵌入模型处理所述文本数据，得到至少一个句向量；以及
基于所述至少一个句向量，抽取得到所述至少一个关键句。


3.根据权利要求2所述的方法，其特征在于，所述文本嵌入模型包括快速思考模型或BERT模型；
所述基于所述至少一个句向量，抽取得到所述至少一个关键句，包括：
通过文本排名算法处理所述至少一个句向量，抽取得到至少一个关键句向量；基于至少一个关键句向量获取至少一个关键句。


4.根据权利要求1所述的方法，其特征在于，所述利用生成式的方式，对所述至少一个关键句进行处理，得到文本摘要包括：
使用编码-解码模型和注意力模型对所述关键句进行处理，得到所述文本摘要。


5.根据权利要求1所述的方法，其特征在于，所述文本数据是经过未登录词分解后的文本数据；所述未登录词为不存在于预设词表内的词。


6.根据权利要求5所述的方法，其特征在于，所述未登录词分解包括：
基于所述预设词表确定所述文本数据中的未登录词；
对任一未登录词：
拆分成至少两个字符；
对非末尾字符进行标记，以指示该字符与其后的字符关联。


7.根据权利要求5所述的方法，其特征在于，所述预设词表基于训练语料，利用BPE算法生成。


8.一种自动生成文本摘要的系统，其特征在于，所述系统包括：
第一获取模块，用于获取文本数据；
抽取模块，用于利用抽取式的方式，从所述文本数据中抽取至少一个关键句；
生成模块，用于利用生成式的方式，对所述至少一个关键句进行处理，得到文本摘要。


9.一种自动生成文本摘要的装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，其特征在于，当所述指令被所述处理器执行时，所述装置实现如权利要求1～7中任一项所述的自动生成文本摘要的方法对应的操作。


10.一种自动生成工单描述的方法，其特征在于，所述方法包括：
获取用户与客服的对话数据；
基于所述对话数据，通过...

【专利技术属性】
技术研发人员：陈坦访，潘慧，王伟玮，李奘，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11