一种结合集束搜索间隔最大化约束的文本摘要生成方法技术

本发明专利技术创新性地提出了结合集束搜索间隔最大化约束的文本摘要生成方法，缓解了模型在训练和应用中地不一致性，使得模型的训练尽量贴近于实际的应用场景，从而使得模型输出的文本摘要更接近于技术人员想要的摘要。具体是在模型训练过程中，加入了新的约束函数来与基础的交叉熵共同组成新的优化目标，通过这一约束函数来从深层改变模型的优化方向。

【技术实现步骤摘要】
一种结合集束搜索间隔最大化约束的文本摘要生成方法
本专利技术涉及自然语言处理
，更具体地，涉及一种结合集束搜索间隔最大化约束的文本摘要生成方法。
技术介绍
文本摘要技术是自然语言处理领域有长远研究历史和广泛应用的一项热门技术。文本摘要技术指的是让机器模型抽取出文本的主旨以概括其内容，最后输出对应的文本摘要，比如根据新闻内容生成新闻标题等。传统的文本摘要技术主要分为抽取式的(Extractive)摘要技术和生成式的(Abstractive)摘要技术。抽取式的摘要技术是指模型在原文当中选择性地抽出词汇来拼接作为摘要的技术，因此摘要当中的词汇大多是来自于原文的。抽取式的摘要技术本质上是利用了机器学习当中的分类模型来选择词汇，通过分类模型来判断原文中的某个词是否应该放入摘要当中。生成式的摘要技术则与上述不同，生成式的摘要技术要求模型先理解消化输入的文本，然后根据模型的记忆来输出文本的摘要，输出的摘要与原文可能没有共同的词汇。显然生成式的文本摘要需要模型具有良好的文本概括能力来处理原文，还需要模型在概括文本之后自动地生成合情合理的摘要。由于抽取式的摘要技术依赖于成熟有效的分类算法，所以是本文档来自技高网...

【技术保护点】
1.一种结合集束搜索间隔最大化约束的文本摘要生成方法，其特征在于：包括以下步骤：S1.构建循环神经网络模型；S2.向循环神经网络模型输入一批训练数据；S3.设循环神经网络模型输出了前k个词，即{y0,y1,…,yk‑1}；接下来输出的目标是yk，则针对词汇表V＝{v0,v1,…,v|v|‑1}，循环神经网络模型针对某一个词vg计算得到输出概率pk(vg)；S4.以目标词组ykyk+1的概率高于其他词组为目标，通过最大间隔化的优化函数对yk进行求解；令候选词汇组为

【技术特征摘要】
1.一种结合集束搜索间隔最大化约束的文本摘要生成方法，其特征在于：包括以下步骤：S1.构建循环神经网络模型；S2.向循环神经网络模型输入一批训练数据；S3.设循环神经网络模型输出了前k个词，即{y0,y1,…,yk-1}；接下来输出的目标是yk，则针对词汇表V＝{v0,v1,…,v|v|-1}，循环神经网络模型针对某一个词vg计算得到输出概率pk(vg)；S4.以目标词组ykyk+1的概率高于其他词组为目标，通过最大间隔化的优化函数对yk进行求解；令候选词汇组为优化函数表示为：Lossmm＝max(0,γ+logp(ri)-logp(ykyk+1))其中γ是为超参；计算交叉熵函数其中L为摘要y的文本长度，p(yk)为生成yk的概...

【专利技术属性】
技术研发人员：叶梓，潘嵘，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44