一种基于多个词嵌入和多头自注意力机制的关系抽取方法技术

本发明专利技术公开了一种基于多个词嵌入和多头自注意力机制的关系抽取方法，包括以下步骤：S1、获取第一句子向量，将第一句子向量依次输入双向长短记忆网络层和注意力层，得到第一特征向量；S2、获取第二句子向量，将第二句子向量依次输入多窗口卷积层、多头自注意力层和最大池化层，得到第二特征向量；S3、将第一特征向量和第二特征向量均输入门控特征融合层，得到融合结果；S4、将融合结果输入Softmax层，得到关系预测结果，完成关系抽取。本发明专利技术使用字符嵌入的方式，不构建外部知识库也能有效地从字符层面和词组层面挖掘句子信息来充分表达句子语义，并且避免分词错误带来的影响、缓解一词多义难题。多义难题。多义难题。

【技术实现步骤摘要】
一种基于多个词嵌入和多头自注意力机制的关系抽取方法


[0001]本专利技术属于信息提取
，具体涉及一种基于多个词嵌入和多头自注意力机制的关系抽取方法。

技术介绍

[0002]在文旅领域中进行关系抽取任务有助于评判旅游消费趋势，评估行业发展现状等。但当前文旅领域数据集缺乏，关系抽取研究很少，因此迫切需要建立高效的文旅关系抽取模型。根据输入粒度可以将关系抽取任务分为两种。一种是基于字符输入，将句子用字符嵌入来表示，缺点就是不能充分利用词级信息；另一种是基于词输入，该方法往往会因为分词错误问题，使得抽取任务精度受到影响。一词多义问题也是中文关系抽取中普遍存在的问题之一。现有的方法大都基于字符输入，然后使用外部知识库将词信息集成到使用字符输入的模型中，但构建外部知识库耗费大量的人力和时间，且效率比较低。因此，如何避免分词错误带来的影响，缓解一词多义难题以及高效充分利用句子的语义信息是当前中文关系抽取的研究热点。

技术实现思路

[0003]针对现有技术中的上述不足，本专利技术提供的一种基于多个词嵌入和多头自注意力机制的关系抽取方法解决了现有的关系抽取方法通过构建外部知识库耗费大量的人力和时间，且效率比较低的问题。
[0004]为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于多个词嵌入和多头自注意力机制的关系抽取方法，包括以下步骤：
[0005]S1、获取第一句子向量，将第一句子向量依次输入双向长短记忆网络层和注意力层，得到第一特征向量；
[0006]S2、获取第二句子向量，将第二句子向量依次输入多窗口卷积层、多头自注意力层和最大池化层，得到第二特征向量；
[0007]S3、将第一特征向量和第二特征向量均输入门控特征融合层，得到融合结果；
[0008]S4、将融合结果输入Softmax层，得到关系预测结果，完成关系抽取。
[0009]进一步地：所述S1中，第一句子向量包括若干个字符嵌入，每个字符嵌入均由字符向量和位置向量组成；
[0010]其中，字符向量从文旅领域语料下训练好的FastText获得，位置向量用于表示字符和两个实体间相对距离。
[0011]上述进一步方案的有益效果为：本专利技术使用字符嵌入的序列作为句子向量表示句子，避免了分词错误。
[0012]进一步地：所述S1中，第一特征向量用于表示字符特征，得到第一特征向量的方法具体为：
[0013]通过双向长短记忆网络层和注意力层计算第一句子向量中的每个字符嵌入，根据
字符嵌入的计算结果生成第一特征向量，其中，第i个字符嵌入的计算结果y
i
的表达式具体为：
[0014][0015]ρ
i
＝softmax(W
T
tanh(bls
i
))
[0016][0017]式中，W
bls
为线性映射矩阵，W
T
为随机向量W的转置，bls
i
为lsm的单元数，ρ
i
为bls
i
的注意力概率值，为ρ
i
的转置，softmax(
·
)为归一化指数函数，tanh(
·
)为双曲正切函数，v
i
为第i个字符嵌入，且i＝1,...,，l为句子的长度，为lstm的前向传播方法，为lstm的反向传播方法，为前向传播方法下的前一个隐藏状态向量，为lstm的反向传播方法下的前一个隐藏状态向量，为拼接操作。
[0018]进一步地：所述S2包括以下分步骤：
[0019]S21、获取第二句子向量，所述第二句子向量由文旅领域语料下训练好的Glove和FastText获得；
[0020]S22、将第二句子向量输入至多窗口卷积层，得到词向量序列；
[0021]S23、将词向量序列转换为输入序列，并将其输入至多头自注意力层，得到句子向量空间表示；
[0022]S24、将句子向量空间表示输入至最大池化层，得到第二特征向量。
[0023]上述进一步方案的有益效果为：本专利技术使用多个训练嵌入模型来增强字的含义和字之间的关系，考虑到卷积神经网络擅长提取局部特征的特点，选择使用多个不同卷积核大小的多窗口卷积层来获得不同的词组级信息，进而增强词的含义和词之间的关系，缓解一词多义难题。
[0024]进一步地：所述S22中，多窗口卷积层包括t个不同大小的卷积核，所述词向量序列其中，为第t
i
个卷积核生成的词向量，其表达式具体为：
[0025][0026]式中，S
m:n
为第二句子向量中m到n的向量序列，第t
i
个卷积核的大小为n
‑
m+1，为第t
i
个卷积核的参数矩阵，为第t
i
个卷积核的偏置项，p为卷积核的padding值，f
G
为Glove对应的激活函数，f
F
为FastText对应的激活函数。
[0027]进一步地：所述S23中，得到句子向量空间表示A的表达式具体为：
[0028][0029][0030][0031][0032]式中，X为输入序列，和均为线性变换矩阵，为查询矩阵，为值矩阵，为键矩阵，和的维度均为R
l
×
(2t/h)
，R为维度空间，t为滤波器数量，i
h
为head的序数，d为键矩阵的维度，l为固定语句序列长度。
[0033]上述进一步方案的有益效果为：多头自注意力机制能够在考虑上下文的情况下捕捉词的含义，因此进一步缓解了一词多义难题。
[0034]进一步地：所述S24具体为：
[0035]将句子向量空间表示输入至最大池化层，通过最大池化层选择最显著的特征组成特征表示，得到第二特征向量，所述第二特征向量用于表示词组特征。
[0036]进一步地：所述S3包括以下分步骤：
[0037]S31、将第一特征向量和第二特征向量均输入门控特征融合层，得到门控张量；
[0038]S32、将门控张量与第一特征向量和第二特征向量相乘，得到融合结果。
[0039]进一步地：所述S31中，门控张量O
gate
的表达式具体为：
[0040]O
gate
＝(W
gate
[Y；U]+
gate
)
[0041]式中，W
gate
为学习参数，b
gate
为可学习张量，Y为第一特征向量，U为第二特征向量；
[0042]所述S32中，融合结果O的表达式具体为：
[0043]O＝O
gate
⊙
Y+(1
‑
gate
)
⊙
U
[0044]式中，
⊙
为逐元素乘法符号。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多个词嵌入和多头自注意力机制的关系抽取方法，其特征在于，包括以下步骤：S1、获取第一句子向量，将第一句子向量依次输入双向长短记忆网络层和注意力层，得到第一特征向量；S2、获取第二句子向量，将第二句子向量依次输入多窗口卷积层、多头自注意力层和最大池化层，得到第二特征向量；S3、将第一特征向量和第二特征向量均输入门控特征融合层，得到融合结果；S4、将融合结果输入Softmax层，得到关系预测结果，完成关系抽取。2.根据权利要求1所述的基于多个词嵌入和多头自注意力机制的关系抽取方法，其特征在于，所述S1中，第一句子向量包括若干个字符嵌入，每个字符嵌入均由字符向量和位置向量组成；其中，字符向量从文旅领域语料下训练好的FastText获得，位置向量用于表示字符和两个实体间相对距离。3.根据权利要求2所述的基于多个词嵌入和多头自注意力机制的关系抽取方法，其特征在于，所述S1中，第一特征向量用于表示字符特征，得到第一特征向量的方法具体为：通过双向长短记忆网络层和注意力层计算第一句子向量中的每个字符嵌入，根据字符嵌入的计算结果生成第一特征向量，其中，第i个字符嵌入的计算结果yi的表达式具体为：ρ
i
＝softmax(W
T
tanh(bls
i
))式中，W
bls
为线性映射矩阵，W
T
为随机向量W的转置，bls
i
为lsm的单元数，ρ
i
为bls
i
的注意力概率值，为ρ
i
的转置，softmax(
·
)为归一化指数函数，tanh(
·
)为双曲正切函数，v
i
为第i个字符嵌入，且i＝1,...,l，l为句子的长度，为lstm的前向传播方法，为lstm的反向传播方法，为前向传播方法下的前一个隐藏状态向量，为lstm的反向传播方法下的前一个隐藏状态向量，为拼接操作。4.根据权利要求1所述的基于多个词嵌入和多头自注意力机制的关系抽取方法，其特征在于，所述S2包括以下分步骤：S21、获取第二句子向量，所述第二句子向量由文旅领域语料下训练好的Glove和FastText获得；S22、将第二句子向量输入至多窗口卷积层，得到词向量序列；S23、将词向量序列转换为输入序列，并将其输入至多头自注意力层，得到句子向量空间表示；S24、将句子向量空间表示输入至最大池化层，得到第二特征向量。5.根据权利要求4所述的基于多个词嵌入和多头自注意力机制的关系抽取方法，其特征在于，所述S22中，多窗口卷积层包括t个不同大小的卷积核，所述词向量序列其中，为第t
i
个卷积核生成的词向量，其表达...

【专利技术属性】
技术研发人员：秦智，刘恩洋，杜自豪，张仕斌，昌燕，胡贵强，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：