一种基于BERT语言模型与深度局部特征的关系抽取方法技术

本发明专利技术公开了一种基于BERT语言模型与深度局部特征的关系抽取方法，涉及人工智能中自然语言识别处理领域。首先，使用BERT语言模型作为编码器，使同一个单词能在不同的句子上下文中表示不同的语义，以便下游网络能更精确地提取出文本特征。其次，利用一个由多头自注意力和多层卷积神经网络组成的下游网络对BERT编码进行深度局部特征抽取。多头的自注意力可以更充分理解上下文信息，多层卷积神经网络能够获取从简单到复杂的深层局部特征，构建出更加丰富和层次化的句子局部特征表示。最终，设计出基于门控机制的特征向量融合层，通过设计更新门和重置门来衡量不同特征向量的贡献度，生成精准的分类向量。

【技术实现步骤摘要】

本专利技术涉及自然语言识别处理领域中的关系抽取，具体是一种基于bert语言模型与深度局部特征的关系抽取方法，可广泛应用于各个领域的关系抽取。

技术介绍

1、随着人工神经网络模型的广泛使用，文本关系抽取任务取得了巨大的进步，但是技术的进步也带来了一些新的问题，新的挑战。首先，模型的规模越来越大，研究者们倾向于使用大模型来进行关系抽取的研究，相对于cnn、rnn之类的方法，预训练模型的参数非常庞大，少则几亿，多则十几亿，训练的时间会很长，这给实际的部署和应用会造成困难。其次，是数据集的问题，制造一个合适某项任务的数据集的代价十分高昂，需要大量的人力和时间，对于关系抽取任务的数据集来说，少则数千条数据，多则数十万条数据，其中难免会出现部分标注的错误、数据的分布的不均匀等问题，这些问题毫无疑问会影响模型的表现。

2、虽然关系抽取的任务准确度有了非常显著的提升，但当准确率提升到一定程度时，研究者们倾向于使用外部工具，如有条件的研究者们会使用更加适合的大规模语料重新训练自己的模型，使用依赖解析器等。而且在样本单词较多，关系较为复杂的情况下，模型的准确率仍然本文档来自技高网...

【技术保护点】

1.一种基于BERT语言模型与深度局部特征的关系抽取方法，其特征在于包括以下步骤：

【技术特征摘要】

1.一种基于bert语言模型与深度局部特征...

【专利技术属性】
技术研发人员：朱新华，董萌，彭琦，提平，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：