用于输出信息的方法和装置制造方法及图纸

技术编号:24888850 阅读:21 留言:0更新日期:2020-07-14 18:16
本公开的实施例公开了用于输出信息的方法和装置。该方法的一具体实施方式包括:获取待提取摘要的文档;将文档进行切句,得到句子列表;对于句子列表中的每个句子,提取该句子的特征;将句子列表中各句子的特征输入预先训练的滑动transformer模型,得到各句子是否为摘要句的预测结果;对于预测结果中因为滑动导致的重复预测的每个句子,按照投票方式确定该句子是否为摘要句;将确定出的摘要句作为模型摘要句输出。该实施方式能够将深度学习与规则相结合来抽取摘要抽取,提取了摘要的可靠性和准确性,具有一定的灵活性和普适性。

【技术实现步骤摘要】
用于输出信息的方法和装置
本公开的实施例涉及计算机
,具体涉及用于输出信息的方法和装置。
技术介绍
随着互联网的发展,自动摘要抽取在各个领域中的应用越来越多,一个良好的自动摘要抽取系统可以帮助审计人员降低文档审阅的人工处理量,提高整体审计效率。文本自动摘要按照抽取方法划分,可以分为抽取式摘要和生成式摘要。抽取式摘要方法通过抽取文档中的句子生成摘要,首先对文档中句子进行二分类,然后选取分为摘要的若干个句子组成摘要,或者根据每个句子的分数进行排序获取摘要。生成式摘要方法不是单纯地利用原文档中的单词或短语组成摘要,而是从原文档中获取主要思想后以不同的表达方式将其表达出来。目前生成式摘要的结果由于存在语句不通顺等问题,效果较差。现有抽取式摘要方法常见的有基于统计学的方法、基于图排序方法、基于机器学习/深度学习方法。基于统计学的方法根据文本形式上的规律判断摘要,基于图排序的方法将句子集合中的每个句子当作图的一个定点,集合之间的关系对应边,最后通过图排序的算法计算各个顶点(句子)最后的得分,生成文本摘要。基于机器学习/深度学习的方法通本文档来自技高网...

【技术保护点】
1.一种用于输出信息的方法,包括:/n获取待提取摘要的文档;/n将所述文档进行切句,得到句子列表;/n对于所述句子列表中的每个句子,提取该句子的特征;/n将所述句子列表中各句子的特征输入预先训练的滑动transformer模型,得到各句子是否为摘要句的预测结果;/n对于所述预测结果中因为滑动导致的重复预测的每个句子,按照投票方式确定该句子是否为摘要句;/n将确定出的摘要句作为模型摘要句输出。/n

【技术特征摘要】
1.一种用于输出信息的方法,包括:
获取待提取摘要的文档;
将所述文档进行切句,得到句子列表;
对于所述句子列表中的每个句子,提取该句子的特征;
将所述句子列表中各句子的特征输入预先训练的滑动transformer模型,得到各句子是否为摘要句的预测结果;
对于所述预测结果中因为滑动导致的重复预测的每个句子,按照投票方式确定该句子是否为摘要句;
将确定出的摘要句作为模型摘要句输出。


2.根据权利要求1所述的方法,其中,所述方法还包括:
若所述文档包括表格,则将表格进行切分,得到表格列表;
对于所述表格列表中的每个表格,基于获取的摘要模板、该表格的段落分类类别和该表格上一段的文本内容信息,匹配该表格对应的模板名;
将模板名匹配成功的表格进行单元格key值匹配和value值匹配;
将key值匹配和value值匹配成功的单元格内容填充到所述摘要模板中,得到模板摘要句;
输出所述模板摘要句。


3.根据权利要求1或2所述的方法,其中,所述将确定出的摘要句作为模型摘要句输出,包括:
将所述滑动transformer模型计算出的句子属于摘要句的概率按照由大到小的顺序选择至少一个句子,使得所选择的句子的总长度不超过规定的摘要长度;
将所选择的句子作为模型摘要句输出。


4.根据权利要求1或2所述的方法,其中,所述特征包括以下至少一项:
句向量特征、统计特征、文档特征。


5.根据权利要求1或2所述的方法,其中,所述方法还包括:
将样本文档的原文按照句子顺序划分为若干固定长度的窗口;
按照固定的滑动步长基于每一个窗口的句子构造样本集,其中,每个样本包括一个窗口的句子和用于表征该窗口的各句子是否是摘要句的标签;
从所述样本集中选取样本,以及执行以下训练步骤:将选取的样本的一个窗口的句子输入初始滑动transformer模型,得到各句子属于摘要句的概率;将各句子属于摘要句的概率与各句子是否是摘要句的标签进行分析,确定损失值;将所述损失值与目标值进行比较;根据比较结果确定初始滑动transformer模型是否训练完成;响应于确定出所述初始滑动transformer模型训练完成,将所述初始滑动transformer模型确定为滑动transformer模型;
响应于确定出初始滑动transformer模型未训练完成,调整初始滑动transformer模型中的相关参数,以及从所述样本集中重新选取样本,使用调整后的初始滑动transformer模型作为初始滑动transformer模型,继续执行上述训练步骤。


6.根据权利要求5所述的方法,其中,按照预定的比例对摘要句的标签损失值进行加权。


7.根据权利要求2所述的方法,其中,所述将模板名匹配成功的表格进行单元格key值匹配,包括:
计算包括key值的候选单元格;
将所述候选单元格内容和key值的相似词典进行匹配,如果匹配到则直接返回匹配成功的结果。


8.根据权利要求7所述的方法,其中,所述将模板名匹配成功的表格进行单元格key值匹配,还包括:
计算所述候选单元格的内容和所述摘要模板中key值的相似度;
将相似度大于预定相似度阈值的候选单元格的内容当作key值返回。


9.根据权利要求2所述的方法,其中,所述将模板名匹配成功的表格进行单元格value值匹配,包括:
查找匹配当前key值的单元格的下一列和下一行单元格内容,去除和当前key值相同的单元格。


10.根据权利要求2所述的方法,其中,所述将模板名匹配成功的表格进行单元格value值匹配,包括:
通过value值的规则,匹配下一列和下一行单元格,符合所述规则的单元格内容则为需要填空的value值。


11.根据权利要求2所述的方法,其中,所述将模板名匹配成功的表格进行单元格value值匹配,包括:
如果匹配到的摘要模板产生多条结果,则根据上一次的匹配方向继续生成下一条摘要,直到匹配到不符合value值的规则的单元格为止。


12.一种用于输出信息的装置,包括:
获取单元,被配置成获取待提取摘要的文档;
切句单元,被配置成将所述文档进行切句,得到句子列表;
特征提取单元,被配置成对于所述句子列表中的每个句子,提取该句子的特...

【专利技术属性】
技术研发人员:张真张亦鹏刘明浩郭江亮
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1