文本摘要生成方法及系统技术方案

本公开提供一种文本摘要生成方法及系统，包括获取目标文本信息的字节长度，若所述字节长度超过预设字节阈值，则对所述目标文本信息进行筛选确定所述目标文本信息对应的筛选摘要；将所述筛选摘要拆分为多个句子，并将多个句子进行向量化表示，确定多个句子之间的相似度，并将所述多个句子作为节点，所述多个句子之间的相似度作为连接边，构建所述筛选摘要对应的摘要图；通过预设的摘要生成模型提取所述摘要图中节点的局部语义特征、全局语义特征，以及节点中各个词语在节点中的位置信息，并根据注意力机制分别为所述局部语义特征、所述全局语义特征以及所述位置信息分配对应的权重系数，生成所述目标文本信息对应的文本摘要。生成所述目标文本信息对应的文本摘要。生成所述目标文本信息对应的文本摘要。

【技术实现步骤摘要】
文本摘要生成方法及系统


[0001]本公开涉及文本摘要提取技术，尤其涉及一种文本摘要生成方法及系统。

技术介绍

[0002]如今，在人们的生活节奏不断变快， 互联网技术高速快速发展的情况下，文本数据量也高速地增长着，大量的文本数据涌现导致人类和计算机都难以快速地获取并处理文本中的主要信息。因此，如何通过数学理论以及技术手段快速且有效地从海量的文本信息中提炼出核心内容，并将核心内容提炼成高质量的摘要，已经成为一个亟待解决的问题。
[0003]CN201610232659.9，基于编码
‑
解码深度神经网络的文本摘要生成系统及方法，包括互联网文本获取模块，用于获取互联网上的文本信息；数据预处理模块，用于对所述文本信息进行预处理；摘要模型训练模块，用于对进行预处理后的文本信息抽取定量文本信息根据编码
‑
解码深度神经网络模型进行训练，得到摘要训练模型；摘要生成模块，用于根据所述编码解码深度神经网络模型对预处理后的文本信息作于出入，输出预设长度的摘要信息。
[0004]具体来说，基于编码器
‑
解码器架构的抽取式技术由于受限于架构的感受野，除部分重量级模型外，大部分模型只能对输入文本中的少量的句子进行编码以及解码，因此神经模型能捕获的语义信息较为有限。而且，由于基于编码器
‑
解码器架构的抽取式技术通常依赖于序列式的输入形式，因此这些技术容易忽视对于定位关键内容十分关键的文本的结构信息。
[0005]CN202210433352.0，抽取式文本摘要生成方法、装置、计算机设备及存储介质，包括将训练语料中的每个句子进行句子编号，将编号后的每个句子进行分词处理，得到分词结果，根据分词结果分别计算每个句子的词级信息熵和短语级信息熵，对句子进行特征提取，根据提取到的句子特征向量得到句子级信息熵，根据词级信息熵、短语级信息熵以及句子级信息熵，计算得到句子的贡献度，基于贡献度选取目标训练句子，根据目标训练句子对预构建的神经网络进行训练，得到文本摘要生成模型，将目标文本输入文本摘要生成模型，输出文本摘要。
[0006]总的来说，抽取式技术由于采用的是原文内的文本单元，因此产生的在单元内部的语义连贯性有一定的保证，但是，该类技术产生的摘要往往不够简洁，过粗的粒度会导致摘要结果中存在冗余文本，文本单元之间连贯性上也无法得到很好的保证。

技术实现思路

[0007]本公开实施例提供一种文本摘要生成方法及系统，旨在解决现有技术中部分问题，也即如上所述的技术缺陷。
[0008]本公开实施例的第一方面，提供一种文本摘要生成方法，包括：获取目标文本信息的字节长度，若所述字节长度超过预设字节阈值，则对所述目
标文本信息进行筛选确定所述目标文本信息对应的筛选摘要，其中，所述筛选摘要是通过提取所述目标文本信息中与目标摘要强关联的文本内容得到的；将所述筛选摘要拆分为多个句子，并将多个句子进行向量化表示，确定多个句子之间的相似度，并将所述多个句子作为节点，所述多个句子之间的相似度作为连接边，构建所述筛选摘要对应的摘要图；通过预设的摘要生成模型提取所述摘要图中节点的局部语义特征、全局语义特征，以及节点中各个词语在节点中的位置信息，并根据注意力机制分别为所述局部语义特征、所述全局语义特征以及所述位置信息分配对应的权重系数，生成所述目标文本信息对应的文本摘要，其中，所述摘要生成模型基于多个神经网络组合而成，用于提取文本信息中的文本摘要。
[0009]在一种可选的实施方式中，所述对所述目标文本信息进行筛选确定所述目标文本信息对应的筛选摘要包括：若目标文本信息的字节长度超过预设字节阈值，则确定所述目标文本信息的句子数量，并基于所述句子数量对所述目标文本信息进行分段处理，构建分段文本集；根据所述分段文本集通过关键句抽取算法抽取所述分段文本集的关键句，并结合贪心选择算法构建候选摘要集；获取所述候选摘要集的主题特征和语义特征，并根据所述主题特征和所述语义特征，确定所述候选摘要集和所述目标文本信息的匹配度，根据所述匹配度对所述候选摘要集进行排序，生成筛选摘要。
[0010]在一种可选的实施方式中，所述确定所述候选摘要集和所述目标文本信息的匹配度如下公式所示：
[0011]其中，表示所述候选摘要集A和所述目标文本信息X的匹配度，、分别表示主题特征集合对应的第一权重值，以及语义特征集合对应的第二权重值，sim()表示相似度函数，、分别表示目标文本信息的主题特征集合和语义特征集合，、分别表示候选摘要集的主题特征集合以及语义特征集合，表示第一权重值和第二权重值的平均值。
[0012]在一种可选的实施方式中，所述通过预设的摘要生成模型提取所述摘要图中节点中各个词语在节点中的位置信息包括：对所述摘要图的节点中所包含的词语进行词性标注，并且根据所述摘要生成模型中预设的位置编码模块，确定单个句子中每个词语的第一位置信息；根据所述摘要图中各个节点在摘要图中的图位置信息，通过依存句法分析方法来分析各个节点中词语的位置依存关系；基于预先提取的所述筛选摘要的关键词集合，以及所述摘要图中节点中各个词语与关键词的空间位置关系，分别为所述第一位置信息和所述位置依存关系分配对应的位置系数，确定所述摘要图中节点中各个词语在节点中的位置信息。
[0013]在一种可选的实施方式中，所述通过预设的摘要生成模型提取所述摘要图中节点的全局语义特征包括：将所述摘要图的节点中所包含的词语映射为所述摘要生成模型中预设词典的词典序号，并根据所述词典序号将所述词语映射为词向量；对所述词向量进行卷积和池化操作后，确定第一语义特征；对所述词向量进行前向编码和反向编码后，进行长度压缩，确定第二语义特征；将所述第一语义特征和所述第二语义特征进行拼接后，确定所述摘要图中节点的全局语义特征。
[0014]本公开实施例的第二方面，提供一种文本摘要生成系统，包括：第一单元，用于获取目标文本信息的字节长度，若所述字节长度超过预设字节阈值，则对所述目标文本信息进行筛选确定所述目标文本信息对应的筛选摘要，其中，所述筛选摘要是通过提取所述目标文本信息中与目标摘要强关联的文本内容得到的；第二单元，用于将所述筛选摘要拆分为多个句子，并将多个句子进行向量化表示，确定多个句子之间的相似度，并将所述多个句子作为节点，所述多个句子之间的相似度作为连接边，构建所述筛选摘要对应的摘要图；第三单元，用于通过预设的摘要生成模型提取所述摘要图中节点的局部语义特征、全局语义特征，以及节点中各个词语在节点中的位置信息，并根据注意力机制分别为所述局部语义特征、所述全局语义特征以及所述位置信息分配对应的权重系数，生成所述目标文本信息对应的文本摘要，其中，所述摘要生成模型基于多个神经网络组合而成，用于提取文本信息中的文本摘要。
[0015]在一种可选的实施方式中，所述第一单元还用于：若目标文本信息的字节长度超过预设字节阈值，则确定所述目标文本信息的句子数量，并基于所述句子数量对所述目标文本信息进行分段处理，构建分段文本集；根据所述分段文本集通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本摘要生成方法，其特征在于，包括：获取目标文本信息的字节长度，若所述字节长度超过预设字节阈值，则对所述目标文本信息进行筛选确定所述目标文本信息对应的筛选摘要，其中，所述筛选摘要是通过提取所述目标文本信息中与目标摘要强关联的文本内容得到的；将所述筛选摘要拆分为多个句子，并将多个句子进行向量化表示，确定多个句子之间的相似度，并将所述多个句子作为节点，所述多个句子之间的相似度作为连接边，构建所述筛选摘要对应的摘要图；通过预设的摘要生成模型提取所述摘要图中节点的局部语义特征、全局语义特征，以及节点中各个词语在节点中的位置信息，并根据注意力机制分别为所述局部语义特征、所述全局语义特征以及所述位置信息分配对应的权重系数，生成所述目标文本信息对应的文本摘要，其中，所述摘要生成模型基于多个神经网络组合而成，用于提取文本信息中的文本摘要。2.根据权利要求1所述的方法，其特征在于，所述对所述目标文本信息进行筛选确定所述目标文本信息对应的筛选摘要包括：若目标文本信息的字节长度超过预设字节阈值，则确定所述目标文本信息的句子数量，并基于所述句子数量对所述目标文本信息进行分段处理，构建分段文本集；根据所述分段文本集通过关键句抽取算法抽取所述分段文本集的关键句，并结合贪心选择算法构建候选摘要集；获取所述候选摘要集的主题特征和语义特征，并根据所述主题特征和所述语义特征，确定所述候选摘要集和所述目标文本信息的匹配度，根据所述匹配度对所述候选摘要集进行排序，生成筛选摘要。3.根据权利要求2所述的方法，其特征在于，所述确定所述候选摘要集和所述目标文本信息的匹配度如下公式所示：；其中，表示所述候选摘要集A和所述目标文本信息X的匹配度，、分别表示主题特征集合对应的第一权重值，以及语义特征集合对应的第二权重值，sim()表示相似度函数，、分别表示目标文本信息的主题特征集合和语义特征集合，、分别表示候选摘要集的主题特征集合以及语义特征集合，表示第一权重值和第二权重值的平均值。4.根据权利要求1所述的方法，其特征在于，所述通过预设的摘要生成模型提取所述摘要图中节点中各个词语在节点中的位置信息包括：对所述摘要图的节点中所包含的词语进行词性标注，并且根据所述摘要生成模型中预设的位置编码模块，确定单个句子中每个词语的第一位置信息；根据所述摘要图中各个节点在摘要图中的图位置信息，通过依存句法分析方法来分析各个节点中词语的位置依存关系；基于预先提取的所述筛选摘要的关键词集合，以及所述摘要图中节点中各个词语与关键词的空间位置关系，分别为所述第一位置信息和所述位置依存关系分配对应的位置系
数，确定所述摘要图中节点中各个词语在节点中的位置信息。5.根据权利要求1所述的方法，其特征在于，所述通过预设的摘要生成模型提取所述摘要图中节点的全局语义特征包括：将所述摘要图的节点中所包含的词语映射为所述摘要生成模型中预设词典的词典序号，并根据所述词典序号将所述词语映射为词向量；对所述词向量进行卷积和池化操作后，确定第一语义特征；对所述词向量进行前向编码和反向编码后，进行长度压缩，确定第二语义特征；将所述第一语义特征和所述第二语义特...

【专利技术属性】
技术研发人员：李志杰，郭晋，姜波清，于瑞清，刀国羚，
申请(专利权)人：乐麦信息技术杭州有限公司，
类型：发明
国别省市：