一种基于混合格自注意力网络的命名实体识别方法和装置制造方法及图纸

本发明专利技术公开了一种基于混合格自注意力网络的命名实体识别方法，包括：S1，将字词对表示的句子特征向量编码为一个维度固定的矩阵，得到混合格结构的字词向量表示；构造自注意力网络以捕获该向量中词向量对字向量的影响，增强每个字向量的特征表示；在BERT的Embedding层融合词特征，通过微调学习过程，学习得到更好的字向量表示；依据BiLSTM

【技术实现步骤摘要】
一种基于混合格自注意力网络的命名实体识别方法和装置


[0001]本专利技术涉及人工智能中自然语言处理
，具体而言涉及一种基于混合格自注意力网络的命名实体识别方法和装置。

技术介绍

[0002]命名实体识别(NER)也叫实体抽取，最早是在MUC
‑
6会议上提出，它是信息抽取技术中从文本抽取实体的技术。早期的实体识别采用基于规则和基于统计等方法，由于这些传统方法过于依赖人工的设计，且识别的覆盖率小、识别精度低，早已经被深度学习方法取代。在基于深度学习的方法中，实体识别模型分为基于字的模型(character
‑
based)和基于词的模型(word
‑
based)，英文等其他一些语言通常采用基于字的模型，因为每个单词都有明确的含义；汉语中字的含义是模糊的，而词的含义是具体的，所以中文NER方法中采用基于词的模型。为了更好的表示中文中每个字向量，后来有学者提出了基于表示学习的方法，它是一种将人类语言信息转换为机器能识别的特征的学习方式，能够提升机器学习中语义表达的准确性。<br/>[0003]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合格自注意力网络的命名实体识别方法，其特征在于，所述命名实体识别方法包括以下步骤：S1，在词典中查找输入句子中由连续个字组成的词，通过位置交替映射合并成一个单独的多维向量，采用混合字词格编码的方式将字词对表示的句子特征向量编码为一个维度固定的矩阵，得到相应的混合格结构的字词向量表示；S2，基于步骤S1中生成的混合格结构的字词向量，构造相应的自注意力网络以捕获该向量中词向量对字向量的影响，以此来增强每个字向量的特征表示；S3，在BERT的Embedding层融合词特征，通过微调学习过程，学习得到更好的字向量表示；依据BiLSTM
‑
CRF网络实现实体识别中的实体序列标注任务和解码过程，通过该网络完成对融合后字特征的建模，构建完成基于混合格自注意力网络的实体识别模型；S4，在数据集上对基于混合格自注意力网络的实体识别模型进行训练。2.根据权利要求1所述的基于混合格自注意力网络的命名实体识别方法，其特征在于，步骤S1中，采用混合字词格编码的方式将字词对表示的句子特征向量编码为一个维度固定的矩阵，得到相应的混合格结构的字词向量表示的过程包括以下步骤：S11，给定一个句子s
c
＝{c1,c2,
…
,c
n
}，通过加载预训练的BERT权重，得到句子s
c
的字特征向量表示其中c
i
表示s
c
中的第i个字，n表示s的字数长度，e
B
表示BERT预训练字向量的查找表；S12，给定一个中文词典L，构造Trie字典树，遍历该树的节点，得到每个字所匹配到的词汇；S13，将所有匹配到的词汇按照BMES标记分组，即对于字符c
i
，词集B(c
i
)由以它开头的匹配词组成，集合M(c
i
)由c
i
为其内部字的匹配词组成，集合E(c
i
)由以c
i
结尾的匹配词组成，集合S(c
i
)由c
i
的单字符词组成；句子s
c
中每个字c
i
的词集w
i
表示为：w
i
＝{e
w
(B(c
i
)),e
w
(M(c
i
)),e
w
(E(c
i
)),e
w
(S(c
i
))}；其中e
w
表示预训练的词向量查找表；S14，设置两层可学习的非线性全连接层将w
i
的维度升至和字向量一致，BERT在微调的时候，对这两层权重进行学习，使预训练的词特征向量映射到BERT的语义特征空间；处理后的词特征向量表示如下：其中W1∈(d
c
×
d
c
),W2∈(d
c
×
d
w
)是可学习的权重矩阵，b1和b2是对应的偏置，d
c
表示BERT字向量的维度，d
w
表示预训练词向量的维度；S15，将转换后的词特征向量v
iw
作为特征融合模型的输入，按照字和词集的对应关系，将每个字
‑
词对特征表示为：S16，将字
‑
词对的特征表示如下：其中表示向量拼接符。3.根据权利要求2所述的基于混合格自注意力网络的命名实体识别方法，其特征在于，
步骤S2中，基于步骤S1中生成的混合格结构的字词向量，构造相应的自注意力网络以捕获该向量中词向量对字向量的影响，以此来增强每个字向量的特征表示的过程包括以下步骤：S21，设计Mixed
‑
lattice自注意力网络来捕获字词特征间的关联，自注意力网络将混合字词编码向量V
ME
和词位置屏蔽矩阵M作为增强网络的输入，通过该自注意力网络对全局的词向量和字向量的建模，使模型学习到词和字间的词义相关性权重，Q、K、V矩阵的计算如下：[Q,K,V]＝[W
q
V
ME
,W
k
V
ME
,W
v
V
ME
]；其中是可学习的权重矩阵，且d
e
＝d
c
+d
w
；Q、K、V矩阵分别为查询项矩阵、查询项对应的键项矩阵和待加权平均的值项矩阵；d
e
表示mixed
‑
lattice向量的维度、d
c
表示字向量的维度、d
w...

【专利技术属性】
技术研发人员：王立松，何宗锋，刘绍翰，刘亮，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：