基于多级残差卷积与注意力机制的中文命名实体识别方法技术

基于多级残差卷积与注意力机制的中文命名实体识别方法，属于自然语言处理领域。该方法采用联合注意力机制的多级残差卷积网络。针对传统循环神经网络处理序列信息时模型效率低下的问题，本发明专利技术引入多级残差卷积，以获得不同范围内的局部上下文信息，并充分利用硬件的计算能力，显著提高模型效率。此外，循环神经网络由于梯度消失和梯度爆炸问题，无法有效地获取全局上下文信息，极大地影响网络的性能。本发明专利技术在网络中引入注意力机制，通过构建每个字符与句子之间的关系，计算出每个字符的重要性权重，从而学习全局信息。最终本发明专利技术利用条件随机场对字符标签的转移概率进行计算以获得合理的预测结果，进一步提高了命名实体识别模型的鲁棒性。模型的鲁棒性。模型的鲁棒性。

【技术实现步骤摘要】
基于多级残差卷积与注意力机制的中文命名实体识别方法


[0001]本专利技术属于自然语言处理领域，特别涉及一种基于多级残差卷积与注意力机制的中文命名实体识别方法。

技术介绍

[0002]命名实体识别一直是自然语言处理研究的重点，其主要目标是从文本中识别人名、地名、组织机构名等实体。作为NLP(Natural Language Processing，自然语言处理)中一项基本任务，命名实体识别对自动问答、关系抽取等任务有着重要作用。目前，中文命名实体识别主要分为基于词语和基于字符的两类方法。由于实体大多以词语的形式出现，所以基于词语的方法可以充分利用词语信息进行实体识别，但是词语需由句子经过分词获得，而分词工具的表现参差不齐，很难获得理想的分词效果。相较而言，基于字符的命名实体识别方法以单个字符为单位，不存在分词错误的情况。因此，本专利技术采用基于字符的方法，针对其效率低下和难以获取上下文信息的问题，提出独特的多级残差卷积和注意力方法来有效提高中文命名实体识别效果。
[0003]目前，基于字符的命名实体识别方法主要使用循环神经网络及其变体，例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多级残差卷积与注意力机制的中文命名实体识别方法，其特征在于，步骤如下：步骤一、扩充训练集：对现有的数据进行增强，获得最终的训练集S
i
表示训练集中第i个句子，N为句子数；步骤二、生成多模态向量：对每个句子c
j
表示句子中第j个字符，M是句子中字符数，模型在不同的字符向量查找表中找到c
j
对应的向量表示在第k个向量查找表中c
j
对应的向量；将c
j
在所有向量查找表中对应的向量拼接，作为该字符最终的向量表示，记为步骤三、获取局部上下文信息：使用卷积神经网络对每个句子S
i
的原始特征图做卷积，并对卷积后的结果做最大池化，得到带有局部上下文信息的特征图步骤四、获取融合的局部上下文信息：多级残差卷积网络使用残差连接将原始特征图与卷积池化后的带有局部上下文信息的特征图进行融合，将融合后的特征图作为下一层卷积网络的输入特征；将每一层卷积网络的输出特征图按列维度进行拼接，将拼接结果作为多级残差卷积网络的最终输出特征图；步骤五：获取全局上下文信息：首先将步骤四中拼接后的特征图通过按列维度求平均的方式转化为一个句子向量e
se
，将e
se
与随机初始化的权重矩阵W
Query
相乘，计算出句子的查询向量e
sq
；其次将拼接后的特征图分别与随机初始化的权重矩阵W
Key
与W
Value
相乘，计算出键特征图和值特征图k
p
和v
p
分别表示第p个字符的键向量和值向量，M为字符数；然后通过计算每个字符的键向量与句子的查询向量之间的关系，得到每个字符对句子的重要程度s
q
表示第q个字符对句子的重要程度，M为字符数；再使用softmax函数对e
score
归一化，计算出每个字符的重要性权重向量w
i
是第i个字符的重要性权重，M为字符数；最终将e
weight
与字符的值特征图e
cv
相乘，得到带有全局上下文信息的特征图；步骤六、特征图维度映射：使用全连接层将步骤五中输出的特征图映射为维度与字符标签类别数相同的特征图；步骤七、条件随机场输出预测序列：使用维特比算法解码出文本序列对应的正确概率最大的标签序列。2.根据权利要求1所述的基于多级残差卷积与注意力机制的中文命名实体识别方法，其特征在于，...

【专利技术属性】
技术研发人员：孔军，张磊鑫，蒋敏，
申请(专利权)人：江南大学，
类型：发明
国别省市：