一种基于BERT语义增强的因果关系抽取方法技术

本发明专利技术公开了一种基于BERT语义增强的因果关系抽取方法。所述因果关系抽取方法包括：因果关系候选词库、BERT预训练、因果关系抽取。该方法是一种快速提取文本中存在的因果关系的信息抽取技术，核心任务是在LeakGAN对抗神经网络模型的架构下建立基本模型和增强模型进行对抗学习获得高区分度的特征，分析评论文本中存在的因果关系，实现语义增强下的深层次抽取。该方法基于对抗神经网络的对抗性学习更有区分度的特征，提高因果关系抽取的准确度，可应用于事件预测、问答系统以及情景生成等方面。面。面。

【技术实现步骤摘要】
一种基于BERT语义增强的因果关系抽取方法


[0001]本专利技术涉及因果关系抽取领域，尤其涉及一种基于BERT语义增强的因果关系抽取方法。

技术介绍

[0002]近年来，因果关系抽取技术在自然语言处理任务的各个方面都已经产生影响，得到了广泛的应用。由于不同领域其因果关系模式的独特性和多样性、评论文本语义结构的复杂性、表达方式的多样性等因素，不可避免的增加了不同领域评论文本因果关系抽取的难度。
[0003]在事件预测、问答系统以及情景生成等方面，因果关系抽取技术有很高的应用价值。同时，由于评论文本信息冗余量大，需要用机器学习手段快速提取出有价值的信息，因此因果关系抽取是一项重要的任务。评论文本具有复杂专有名词、价值密度低、信息零碎等特点，使得文本存在语义模糊问题，导致因果关系抽取的准确率低，使得因果关系抽取同样也是一项具有挑战性的任务。
[0004]针对现有因果关系抽取上存在语义模糊问题导致特征学习困难的缺陷，提出一种基于BERT语义增强的因果关系抽取方法。

技术实现思路

[0005]本专利技术的目的在于提供一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BERT语义增强的因果关系抽取方法，包括因果关系候选词库、BERT预训练、因果关系抽取，其特征在于，通过因果关系候选词库学习各领域的专有名词，在BERT预训练中学习专有名词的特征，并将预训练后的词向量输入到Bi
‑
LSTM网络中提取文本特征，同时为了学习更多特征进行了多特征融合；然后，通过对抗神经网络进一步提取特征；最后，通过CRF进行序列化输出，实现因果关系的抽取。2.根据权利要求1所述的因果关系候选词库，其特征在于，使用了因果关系先验知识与语义数据相结合的方法，从各领域评论文本中提取因果关系候选词，在BERT预训练的过程中，将提取的候选词选择匹配度最高的3个候选词传入BERT，更好的学习句子中复杂的专有名词。3.根据权利要求1所述的BERT预训练，其特征在于，BERT预训练时，将每个实体前后用特殊标识#表示出来，一句话中随机选择15％的词汇用于预测，80％情况下采用一个特殊符号[MASK]替换，10％情况下采用一个任意词替换，剩余10％情况下保持原词汇不变预测一个词汇时，使模型更多地依赖于上下文信息去预测词汇，并且赋予了模型一定的纠错能力。4.根据权利要求1所述的因果关...

【专利技术属性】
技术研发人员：朱广丽，孙争艳，魏苏波，张顺香，许鑫，吴厚月，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：