本发明专利技术涉及人工智能技术，揭露了一种多种注意力机制的实体识别方法，包括：构建实体识别模型架构；将语义向量输入至实体识别模型架构中，得到第一特征向量；将语义向量输入至卷积神经网络层中，输出第二特征向量，将第二特征向量输入至门控机制层，得到第三特征向量；将语义向量输入至注意力机制层，得到注意力权重向量；将第一特征向量、第三特征向量及注意力权重向量进行融合，得到融合特征向量；计算融合特征向量的特征概率，利用特征概率对实体语句进行识别。此外，本发明专利技术还涉及区块链技术，实体语句可存储于区块链的节点。本发明专利技术还提出一种多种注意力机制的实体识别装置、设备以及介质。本发明专利技术可以提高实体识别的效率。本发明专利技术可以提高实体识别的效率。本发明专利技术可以提高实体识别的效率。
【技术实现步骤摘要】
多种注意力机制的实体识别方法、装置、设备及存储介质
[0001]本专利技术涉及人工智能
，尤其涉及一种多种注意力机制的实体识别方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]在自然语言处理中，命名实体识别一直占据很重要的一部分，命名实体识别(Named Entity Recognition,NER)是一种识别文本中实体的位置以及类别的任务，对于规则性的数据，采用模板正则处理方法，对于非规则的数据，需要采用模型进行识别。
[0003]现有的命名实体识别方法多为建立统计学习模型或者深度学习模型并进行模型的训练，最后得到命名实体识别的结果。实际应用生产中，进行命名实体识别时实时性要求高，硬件的开销大，仅考虑识别结果的准确性，可能导致对实体识别的硬件要求过低，从而对进行实体识别的效率较低。
技术实现思路
[0004]本专利技术提供一种多种注意力机制的实体识别方法、装置及计算机可读存储介质，其主要目的在于解决进行实体识别的效率较低的问题。
[0005]为实现上述目的，本专利技术提供的一种多种注意力机制的实体识别方法，包括：
[0006]利用预设的双向长短期记忆网络层、预设的卷积神经网络层、预设的门控机制层及预设的注意力机制层构建实体识别模型架构；
[0007]获取预设的实体语句，将所述实体语句进行向量转换，得到语义向量；
[0008]将所述语义向量输入至所述实体识别模型架构中双向长短期记忆网络层进行特征提取，得到第一特征向量；
[0009]将所述语义向量输入至所述实体识别模型架构中卷积神经网络层进行特征提取，输出第二特征向量，将所述第二特征向量输入至所述实体识别模型架构中门控机制层，得到第三特征向量；
[0010]将所述语义向量输入至所述实体识别模型架构中注意力机制层，得到注意力权重向量；
[0011]将所述第一特征向量、所述第三特征向量及所述注意力权重向量进行融合，得到融合特征向量；
[0012]利用预设的激活函数计算所述融合特征向量的特征概率，利用所述特征概率对所述实体语句进行识别。
[0013]可选地，所述利用预设的双向长短期记忆网络层、预设的卷积神经网络层、预设的门控机制层及预设的注意力机制层构建实体识别模型架构，包括：
[0014]将所述双向长短期记忆网络层、所述卷积神经网络及所述注意力机制层作为第一层次；
[0015]将所述卷积神经网络层与所述门控机制层进行相连，得到第二层次；
[0016]根据所述第一层次及所述第二层次构建所述实体识别模型架构。
[0017]可选地，所述将所述语义向量输入至所述实体识别模型架构中双向长短期记忆网络层进行特征提取，得到第一特征向量，包括：
[0018]按照正序的规则将所述语义向量输入至所述双向长短期记忆网络层中，得到正序特征向量；
[0019]按照逆序的规则将所述语义向量输入至所述双向长短期记忆网络层中，得到逆序特征向量；
[0020]将所述正序特征向量及所述逆序特征向量进行融合，得到所述第一特征向量。
[0021]可选地，所述将所述第二特征向量输入至所述实体识别模型架构中门控机制层，得到第三特征向量，包括：
[0022]利用如下的公式根据所述第二特征向量计算所述门控机制层的输出特征向量：
[0023][0024]其中，h1(x)为第1层的输出特征向量，X为所述第二特征向量，W为所述门控机制层中的卷积核，V为所述门控机制层中的卷积核，b为所述门控机制层学习的参数，c为所述门控机制层学习的参数；
[0025]将所述输出特征向量作为所述第三特征向量。
[0026]可选地，所述将所述语义向量输入至所述实体识别模型架构中注意力机制层，得到注意力权重向量，包括：
[0027]将所述语义向量划分为询问向量、匹配向量及价值向量；
[0028]利用如下的注意力公式根据所述询问向量、所述匹配向量及所述价值向量计算所述注意力机制层输出的注意力权重：
[0029]Attention(Q，K，V)＝Q(K
T
V)
[0030]其中，Attention(Q，K，V)表示所述注意力权重，Q表示所述询问向量，K表示所述匹配向量，T表示转置符号，V表示所述价值向量；
[0031]汇集所述注意力权重为所述注意力权重向量。
[0032]可选地，所述将所述第一特征向量、所述第三特征向量及所述注意力权重进行融合，得到融合特征向量，包括：
[0033]统计所述第一特征向量、所述第三特征向量及所述注意力权重向量的向量长度；
[0034]确定所述向量长度中的最大值为目标长度；
[0035]利用预设参数将所有的向量长度延长至所述目标长度；
[0036]将长度延长后的所有向量进行列维度合并，得到所述融合特征向量。
[0037]可选地，所述利用所述特征概率对所述实体语句进行识别，包括：
[0038]选取最大的特征概率作为所述实体语句对应的分类标签；
[0039]根据所述分类标签对所述实体语句进行识别。
[0040]为了解决上述问题，本专利技术还提供一种多种注意力机制的实体识别装置，所述装置包括：
[0041]实体识别模型构建模块，用于利用预设的双向长短期记忆网络层、预设的卷积神经网络层、预设的门控机制层及预设的注意力机制层构建实体识别模型架构；
[0042]向量转换模块，用于获取预设的实体语句，将所述实体语句进行向量转换，得到语
义向量；
[0043]第一特征向量提取模块，用于将所述语义向量输入至所述实体识别模型架构中双向长短期记忆网络层进行特征提取，得到第一特征向量；
[0044]第二特征向量提取模块，用于将所述语义向量输入至所述实体识别模型架构中卷积神经网络层进行特征提取，输出第二特征向量，将所述第二特征向量输入至所述实体识别模型架构中门控机制层，得到第三特征向量；
[0045]注意力权重向量输出模块，用于将所述语义向量输入至所述实体识别模型架构中注意力机制层，得到注意力权重向量；
[0046]特征向量融合模块，用于将所述第一特征向量、所述第三特征向量及所述注意力权重向量进行融合，得到融合特征向量；
[0047]实体语句识别模块，用于利用预设的激活函数计算所述融合特征向量的特征概率，利用所述特征概率对所述实体语句进行识别。
[0048]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0049]至少一个处理器；以及，
[0050]与所述至少一个处理器通信连接的存储器；其中，
[0051]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的多种注意力机制的实体识别方法。
[0052]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多种注意力机制的实体识别方法，其特征在于，所述方法包括：利用预设的双向长短期记忆网络层、预设的卷积神经网络层、预设的门控机制层及预设的注意力机制层构建实体识别模型架构；获取预设的实体语句，将所述实体语句进行向量转换，得到语义向量；将所述语义向量输入至所述实体识别模型架构中双向长短期记忆网络层进行特征提取，得到第一特征向量；将所述语义向量输入至所述实体识别模型架构中卷积神经网络层进行特征提取，输出第二特征向量，将所述第二特征向量输入至所述实体识别模型架构中门控机制层，得到第三特征向量；将所述语义向量输入至所述实体识别模型架构中注意力机制层，得到注意力权重向量；将所述第一特征向量、所述第三特征向量及所述注意力权重向量进行融合，得到融合特征向量；利用预设的激活函数计算所述融合特征向量的特征概率，利用所述特征概率对所述实体语句进行识别。2.如权利要求1所述的多种注意力机制的实体识别方法，其特征在于，所述利用预设的双向长短期记忆网络层、预设的卷积神经网络层、预设的门控机制层及预设的注意力机制层构建实体识别模型架构，包括：将所述双向长短期记忆网络层、所述卷积神经网络及所述注意力机制层作为第一层次；将所述卷积神经网络层与所述门控机制层进行相连，得到第二层次；根据所述第一层次及所述第二层次构建所述实体识别模型架构。3.如权利要求1所述的多种注意力机制的实体识别方法，其特征在于，所述将所述语义向量输入至所述实体识别模型架构中双向长短期记忆网络层进行特征提取，得到第一特征向量，包括：按照正序的规则将所述语义向量输入至所述双向长短期记忆网络层中，得到正序特征向量；按照逆序的规则将所述语义向量输入至所述双向长短期记忆网络层中，得到逆序特征向量；将所述正序特征向量及所述逆序特征向量进行融合，得到所述第一特征向量。4.如权利要求1所述的多种注意力机制的实体识别方法，其特征在于，所述将所述第二特征向量输入至所述实体识别模型架构中门控机制层，得到第三特征向量，包括：利用如下的公式根据所述第二特征向量计算所述门控机制层的输出特征向量：其中，h
l
(x)为第l层的输出特征向量，X为所述第二特征向量，W为所述门控机制层中的卷积核，V为所述门控机制层中的卷积核，b为所述门控机制层学习的参数，c为所述门控机制层学习的参数；将所述输出特征向量作为所述第三特征向量。
5.如权利要求1所述的多种注意力机制的实体识别方法，其特征在于，所述将所述语义向量输入至所述实体识别模型架构中注意力机制层，得到注意力权重向量，包括：将所述语义向量划分为询问向量、匹配向量及价值向量；利用如下的注意力公式根据所述询问向量、所述匹配向量及所述价值向量计...
【专利技术属性】
技术研发人员：邹倩霞，徐亮，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。