一种面向博弈的命名实体识别方法及装置制造方法及图纸

本申请公开了一种面向博弈的命名实体识别方法及装置，包括预先采用如下步骤训练网络模型：获取标注语料，并通过预训练的BERT语言模型获得相应的词向量；基于获得的词向量提取上下文特征；将提取的上下文特征输入到多头注意力机制模块，以为提取的上下文特征设置注意力权重；利用CRF模块对多头注意力机制模块的输出进行解码，以获得预测标注序列；对所述预测标注序列中的各个实体进行提取分类；对待识别语料，将所述待识别语料输入训练好的网络模型，以通过所述网络模型，以完成命名实体识别。本申请的方法能够提高信息处理和分析的效率和准确性，对于情报领域的信息处理和决策具有重要意义。重要意义。重要意义。

【技术实现步骤摘要】
一种面向博弈的命名实体识别方法及装置


[0001]本申请涉及人工智能
，尤其涉及一种面向博弈的命名实体识别方法及装置。

技术介绍

[0002]科技情报是指通过收集、分析和利用科技信息来支持决策的过程。随着科技的不断发展和应用，科技情报的重要性也越来越突出，在解决经济、社会和国际问题中发挥着关键作用。在当今世界，科技情报已经成为国家和企业竞争的重要手段。随着科技的发展，科技情报的形式也在不断变化。首先，人工智能技术的应用已经成为科技情报的重要领域。人工智能技术可以通过机器学习等技术对大量数据进行分析，从而发现隐藏在数据中的规律和趋势。这些规律和趋势可以为企业和国家制定决策提供重要参考。其次，大数据、云计算等新技术也为科技情报带来了新的可能性。大数据技术可以对大量数据进行分析，从而发现隐藏在数据中的规律和趋势。云计算技术则可以提供高效的数据存储和处理能力，从而支持科技情报的实时分析和决策。在AI和大数据时代，科技情报工作未来面临需求、模式、方式和视角的变化，做好开源科技情报工作具有战略必要性。
[0003]命名标识是指为实体命名并进行标识的过程，命名标识已经成为信息管理和交流的重要手段。随着信息技术的发展，命名标识的形式也在不断变化。首先，区块链技术已经成为命名标识的重要领域。区块链技术可以通过去中心化的方式对数据进行存储和管理，从而保证数据的安全性和可信度。在命名标识方面，区块链技术可以为实体提供唯一的标识，并保证标识的不可篡改性。其次，人工智能技术的应用也为命名标识带来了新的可能性。例如利用知识图谱进行自动化命名、智能标识等。基于机器学习的命名标识方法对实体进行识别和标识，能够提高标识的准确性和效率。
[0004]知识图谱，又称知识库，是一种节点表示实体，边表示关系的特殊的网络结构。知识图谱能有效的表示数据资源，高效地查找复杂关联信息。知识图谱的基本原始是实体，实体抽取不仅直接影响到各实体间的关系抽取，而且对知识图谱的质量也有很大的影响。因此，对命名实体实现更高的识别结果非常重要。有许多方法可以用于命名实体识别，如基于字典和规则、统计识别、深度学习方法。基于规则和字典的原始实施部分依赖于术语和具体的规则，构建时间较长。基于统计的方法包括了支持向量机模型、隐马尔可夫型模型和条件随机场模型等，这些方法较少依赖于专业术语，但通常对训练的时间复杂度更高，以及标准化计算而带来的庞大开销。而基于深度学习的命名实体识别技术使激活函数能够在不需要特殊的特性工程的情况下，利用非线性映射来实现对海量数据的精确提取，可以极大提升实体识别和标识的效果。
[0005]现有技术中主流的模型通过对输入的句子进行双向编码再添加CRF来对编码结果进行限制，降低无意义的标记信息，提高命名实体识别的准确度。然而该模型也存在一些问题：
[0006]主流的模型无法表征一词多义，因为它们主要注重词、字符或是词与词之间的特
征提取，而忽略了词上下文的语境或语义，这样提取出来的只是一种不包含上下文语境信息的静态词向量,因而导致其实体识别能力下降。
[0007]主流的模型输出的数据具有较长时间和较短时间的记忆且权重分配不同，因此容易引起长序列的语义稀释问题。

技术实现思路

[0008]本申请实施例提供一种面向博弈的命名实体识别方法及装置，用以解决现有的方法存在无法表征一词多义和长序列的语义稀释问题，通过增强属性提高该词在句子中的权重，使得模型的注意力更多地聚焦于对象实体，从而削弱其他非相关词，缓解长序列的语义稀释问题。
[0009]本申请实施例提供一种面向博弈的命名实体识别方法，包括预先采用如下步骤训练网络模型：
[0010]获取标注语料，并通过预训练的BERT语言模型获得相应的词向量；
[0011]基于获得的词向量提取上下文特征；
[0012]将提取的上下文特征输入到多头注意力机制模块，以为提取的上下文特征设置注意力权重；
[0013]利用CRF模块对多头注意力机制模块的输出进行解码，以获得预测标注序列；
[0014]对所述预测标注序列中的各个实体进行提取分类；
[0015]对待识别语料，将所述待识别语料输入训练好的网络模型，以通过所述网络模型，以完成命名实体识别。
[0016]可选的，通过预训练的BERT语言模型获得相应的词向量包括：
[0017]预先采用自注意力机制对所述BERT语言模型进行训练，其中所述自注意力机制满足：
[0018][0019]其中，d
k
表示输入向量维度，Q、K、V代表输入字向量矩阵；
[0020]所述自注意力机制采用多头注意力机制模式，满足：
[0021]MultiHead(Q,K,V)＝Concat(head1,head1,
…
,head
n
)W
[0022]在所述多头注意力机制模式中加入有跳跃网络层和归一化层。
[0023]可选的，基于获得的词向量提取上下文特征是通过BiLSTM模块完成的，其中所述BiLSTM模块配置有BiLSTM网络，所述BiLSTM网络包括前向LSTM和后向LSTM，用以分别计算前向特征信息和后向特征信息以结合前向特征信息和后向特征信息获得最终的隐藏状态H。
[0024]可选的，将提取的上下文特征输入到多头注意力机制模块，以为提取的上下文特征设置注意力权重包括：
[0025]将关键向量K、值向量V和查询向量Q分别进行线性映射：
[0026][0027][0028][0029]采用点积的方式计算关键向量K和查询向量Q的相似度，并通过Softmax归一化，以及，采用缩放因子来抑制关键向量K和查询向量Q的内积过大；
[0030]计算权重值V：
[0031][0032]将关键向量K、值向量V和查询向量Q投影到低维空间，将循环指定次数的低维输出拼接，以完成注意力权重设置。
[0033]可选的，利用CRF模块对多头注意力机制模块的输出进行解码包括：
[0034]对于完成注意力权重设置的输入序列和预测的标注的标签序列的得分函数由转移概率和状态概率之和确定，满足：
[0035][0036]其中，X为输入序列，Y为标签序列，A代表转移分数矩阵，A
i,j
代表标签i转移为标签j的概率，P
i,j
表示第i个词被标记为j的概率，在给定序列X的情况下，预测序列Y产生的概率满足：
[0037][0038]其中，y
i
代表真实标签；
[0039]基于预测序列Y产生的概率，取对数，以获得预测序列的似然函数：
[0040][0041]基于预测序列的似然函数，采用维特比算法进行解码，以获得序列标注结果，满足：
[0042]Y
*
＝argmax(score(X,y
i
))
[0043]其中，Y
*
表示序列标注结果。
[0044]本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向博弈的命名实体识别方法，其特征在于，包括预先采用如下步骤训练网络模型：获取标注语料，并通过预训练的BERT语言模型获得相应的词向量；基于获得的词向量提取上下文特征；将提取的上下文特征输入到多头注意力机制模块，以为提取的上下文特征设置注意力权重；利用CRF模块对多头注意力机制模块的输出进行解码，以获得预测标注序列；对所述预测标注序列中的各个实体进行提取分类；对待识别语料，将所述待识别语料输入训练好的网络模型，以通过所述网络模型，以完成命名实体识别。2.如权利要求1所述的面向博弈的命名实体识别方法，其特征在于，通过预训练的BERT语言模型获得相应的词向量包括：预先采用自注意力机制对所述BERT语言模型进行训练，其中所述自注意力机制满足：其中，d
k
表示输入向量维度，Q、K、V代表输入字向量矩阵；所述自注意力机制采用多头注意力机制模式，满足：MultiHead(Q,K,V)＝Concat(head1,head1,
…
,head
n
)W在所述多头注意力机制模式中加入有跳跃网络层和归一化层。3.如权利要求2所述的面向博弈的命名实体识别方法，其特征在于，基于获得的词向量提取上下文特征是通过BiLSTM模块完成的，其中所述BiLSTM模块配置有BiLSTM网络，所述BiLSTM网络包括前向LSTM和后向LSTM，用以分别计算前向特征信息和后向特征信息以结合前向特征信息和后向特征信息获得最终的隐藏状态H。4.如权利要求3所述的面向博弈的命名实体识别方法，其特征在于，将提取的上下文特征输入到多头注意力机制模块，以为提取的上下文特征设置注意力权重包括：将关键向量K、值向量V和查询向量Q分别进行线性映射：K＝K*W
jK

【专利技术属性】
技术研发人员：董琦，徐慧慧，王常衡，尚晓舟，杨焱煜，贾袁骏，
申请(专利权)人：中国电子科技集团有限公司电子科学研究院，
类型：发明
国别省市：