一种基于BERT与注意力机制的军事装备关系抽取方法技术

本发明专利技术公开了一种基于BERT与注意力机制的军事装备关系抽取方法。通过采用实体、关系联合抽取的方式完成军事新闻中装备目标关系信息抽取。第一步，构建BERT层，进行文本特征信息提取。第二步，分成实体抽取和关系抽取两个分支。实体抽取在BERT网络上加入全连接层和条件随机场进行标签序列预测与优化。关系抽取分支在BERT网络输出的基础上嵌入关系起始实体和结束实体的标签特征以及起始和结束标志特征，再通过GRU和注意力层挖掘实体间关系，最后通过全连接层预测关系。第三步，训练时将实体抽取和关系抽取分支的损失值相加，通过同一个优化器进行优化。实验结果表明，本发明专利技术有在中文文本关系抽取上是有效的。文文本关系抽取上是有效的。文文本关系抽取上是有效的。

A military equipment relationship extraction method based on Bert and attention mechanism

【技术实现步骤摘要】
一种基于BERT与注意力机制的军事装备关系抽取方法


[0001]本专利技术涉及文本关系抽取
，尤其涉及一种基于BERT与注意力机制的军事装备关系抽取方法。

技术介绍

[0002]随着信息技术及网络水平飞速发展，信息量呈现爆炸性增长的状态，如何从海量信息中提取出重要信息，应用于信息服务中成为当今的研究热点。文本信息处理包含实体抽取、关系抽取、事件抽取、机器阅读理解等方向。其中，关系抽取建立实体间的关系，进而将文本信息转变为结构化数据，为下游应用如中文信息内容检索、知识图谱构建等提供数据支撑。
[0003]关系抽取主要包括有监督的实体关系抽取方法、半监督的实体关系抽取方法、无监督的实体关系抽取方法。无监督的实体关系抽取方法包括实体聚类和关系类型词选择两部分，但存在特征提取不准、聚类结果不合理、关系结果准确率较低等问题。半监督的实体关系抽取方法，例如Bootstrapping，该方法从包含关系种子的文本中总结实体关系序列模式，然后以此去发现更多的关系种子实例。但存在迭代过程中混入噪声，造成语义漂移的问题。有监督的实体关系抽取方法主要思想是在已标注的数据上面训练机器学习模型，对测试数据进行关系识别。有监督的实体关系抽取方法分为基于规则的关系抽取方法，基于特征的关系抽取方法。基于规则的关系抽取方法根据语料和领域通过总结归纳规则或模板，通过模板匹配进行实体关系抽取。此类方法在依赖于命名实体识别系统与距离计算等，容易增加额外的传播错误与耗时。基于特征的关系抽取方法主要利用机器学习方法，如RNN(Recurrent Neural Network，循环神经网络)、 CNN(Convolutional Neural Networks，卷积神经网络)和LSTM(Long Short
‑
Term Memory，长短期记忆人工神经网络)等，自动提取文本特征，不需要构建复杂的特征，但都无法充分利用文本信息的局部特征与全局特征。

技术实现思路

[0004]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于 BERT与注意力机制的军事装备关系抽取方法，它能有效地提高中文文本关系抽取准确率。
[0005]为了解决上述技术问题，本专利技术公开了一种基于BERT与注意力机制的军事装备关系抽取方法，步骤如下：
[0006]步骤1，对文本语料进行实体标注和关系标注，获得标注数据；
[0007]步骤2，对标注数据进行预处理，生成文本关系抽取模型训练集和测试集；
[0008]步骤3，构建文本关系抽取模型；
[0009]步骤4，进行文本关系抽取模型训练，获得训练后的文本关系抽取模型；
[0010]步骤5，将测试集数据输入训练后的文本关系抽取模型，获得关系抽取结果。
[0011]进一步的，步骤1中，所述标注数据包括三部分，第一部分为文本预料的原文，第二部分为实体标注数据，第三部分为关系标注数据；
[0012]步骤2中对标注数据进行预处理包括：实体标注数据表示为{实体起始位置，实体结束位置，实体标签}的形式，再转换为BMES实体标注体系；；将关系标注数据转化为{第一实体，第二实体，关系，第一实体起始位置，第一实体结束位置，第一实体标签，第二实体起始位置，第二实体结束位置，第二实体标签}的形式；
[0013]步骤2中生成文本关系抽取模型训练集和测试集按照7：3的比例分别切分实体标注数据和关系标注数据。
[0014]进一步的，步骤3中，所述文本关系抽取模型包括BERT(BidirectionalEncoderRepresentationsfromTransformers)层、实体抽取分支和关系抽取分支，所述BERT层，用于对输入文本进行深度特征提取，获得输入文本特征；BERT本质上通过海量数据进行自监督学习，为单词/字学习一个好的特征表示。在后续的下游任务中，可以直接使用BERT的特征表示作为任务的词嵌入特征。根据下游任务需求进行微调后即可得到效果良好的模型。
[0015]所述实体抽取分支，用于将输入文本特征映射到实体标签，获得实体标签序列向量，然后对实体标签序列向量进行预测，获得实体类别；
[0016]所述关系抽取分支，通过对BERT输出和实体识别输出的组合特征进行分类预测，获得两个实体间的关系类别。
[0017]构建实体和关系联合抽取模型，相比先进行实体抽取、再进行关系抽取的管道式信息抽取方式，硬件资源开销更小，速度更快。同时增强子任务之间的联系，减少子任务间的错误传递累积，提高关系抽取的效果。
[0018]进一步的，步骤3中所述实体抽取分支依次包括全连接层和条件随机场层，所述全连接层用于将输入文本特征映射到实体标签，获得实体标签序列向量，记为h1,h2,...,h
n
，n为模型输入最大长度；所述条件随机场(ConditionalRandomFields,CRF)层用于对实体标签序列向量进行优化和预测，获得实体类别；相比于传统的隐马尔可夫模型(HiddenMarkovModel，HMM)，CRF是状态序列的马尔可夫链(MarkovChain)。CRF可以用于不同的预测问题，在机器学习领域里CRF一般用作处理标注问题。标签序列y的概率P(y|s)计算为：
[0019][0020]这里，s表示输入的句子，m表示标签序列y中标签的个数，标签序列y中的标签包括l1,l2,...,l
m
；y
′
表示任意的标签序列，包括标签；i表示标签序列y和y
’
的标签索引，1≤i≤m；表示标签序列y对应的权值向量，表示标签序列y对应的偏移量，表示标签序列y
’
对应的权值向量，表示标签序列y
’
对应的偏移量；然后通过一阶Viterbi算法寻找最佳标签序列，获得实体类别。
[0021]进一步的，步骤3中所述关系抽取分支依次包括特征组合层、双向GRU(GatedRecurrentUnit，门控循环单元)层、注意力层和Softmax分类器，所述特征组合层用于对输入文本特征和实体类别进行组合，获得关系抽取输入特征，记为E
r
；
[0022]所述双向GRU层，用于获得抽象特征；
[0023]所述注意力层，用于模拟人在阅读信息时注意力机制，重点关注类似关键字这种局部特征具有重要影响力重要的语义信息，记输出特征为A；
[0024]所述Softmax分类器，用于将注意力层输出特征A映射到实体关系类别，获得各类
别的概率R＝[r1,...,r
N
]，N为关系类别数。
[0025]进一步的，步骤3包括：
[0026]步骤3
‑
1：将训练集中的训练文本转为字向量特征，并嵌入位置信息，获得BERT 输入特征，记为E
i
；位置嵌入方式如下：
[0027][0028][0029]其中，2c表示输入序列的偶数位，2c+1表示输入序列的奇数位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BERT与注意力机制的军事装备关系抽取方法，其特征在于，包括如下步骤：步骤1，对文本语料进行实体标注和关系标注，获得标注数据；步骤2，对标注数据进行预处理，生成文本关系抽取模型训练集和测试集；步骤3，构建文本关系抽取模型；步骤4，进行文本关系抽取模型训练，获得训练后的文本关系抽取模型；步骤5，将测试集数据输入训练后的文本关系抽取模型，获得关系抽取结果。2.根据权利要求1所述的一种基于BERT与注意力机制的军事装备关系抽取方法，其特征在于，步骤1中，所述标注数据包括三部分，第一部分为文本预料的原文，第二部分为实体标注数据，第三部分为关系标注数据；步骤2中对标注数据进行预处理包括：实体标注数据表示为{实体起始位置，实体结束位置，实体标签}的形式，再转换为BMES实体标注体系；将关系标注数据转化为{第一实体，第二实体，关系，第一实体起始位置，第一实体结束位置，第一实体标签，第二实体起始位置，第二实体结束位置，第二实体标签}的形式；步骤2中生成文本关系抽取模型训练集和测试集按照7：3的比例分别切分实体标注数据和关系标注数据切分。3.根据权利要求2所述的一种基于BERT与注意力机制的军事装备关系抽取方法，其特征在于，步骤3中，所述文本关系抽取模型包括BERT层、实体抽取分支和关系抽取分支；所述BERT层，用于对输入文本进行深度特征提取，获得输入文本特征；所述实体抽取分支，用于将输入文本特征映射到实体标签，获得实体标签序列向量，然后对实体标签序列向量进行预测，获得实体类别；所述关系抽取分支，通过对BERT输出和实体识别输出的组合特征进行分类预测，获得两个实体间的关系类别。4.根据权利要求3所述的一种基于BERT与注意力机制的军事装备关系抽取方法，其特征在于，步骤3中所述实体抽取分支依次包括全连接层和条件随机场层，所述全连接层用于将输入文本特征映射到实体标签，获得实体标签序列向量，记为h1,h2,...,h
n
，n为模型输入最大长度；所述条件随机场层用于对实体标签序列向量进行优化和预测，获得实体类别；标签序列y的概率P(y|s)计算为：这里，s表示输入的句子，m表示标签序列y中标签的个数，标签序列y中的标签包括l1,l2,...,l
m
；y
′
表示任意的标签序列；i表示标签序列y和y
’
的标签索引，1≤i≤m；表示标签序列y对应的权值向量，表示标签序列y对应的偏移量，表示标签序列y
’
对应的权值向量，表示标签序列y
’
对应的偏移量；然后通过一阶Viterbi算法寻找最佳标签序列，获得实体类别。5.根据权利要求4所述的一种基于BERT与注意力机制的军事装备关系抽取方法，其特征在于，步骤3中所述关系抽取分支依次包括特征组合层、双向GRU层、注意力层和Softmax分类器，所述特征组合层用于对输入文本特征和实体类别进行组合，获得关系抽取输入特征，记为E
r
；
所述双向GRU层，用于获得抽象特征；所述注意力层，用于模拟人在阅读信息时注意力机制，重点关注局部特征，记注意力层输出特征为A；所述Softmax分类器，用于将注意力层输出特征A映射到实体关系类别，获得各类别的概率...

【专利技术属性】
技术研发人员：王鑫鹏，阮国庆，李晓冬，吴蔚，徐建，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：