一种基于指针网络的命名实体联合识别方法及系统技术方案

本发明专利技术公开了一种基于指针网络的命名实体联合识别方法及系统，该方法将文本分词后的字符整数索引和位置索引的向量和输入BERT模型得到融合上下文的向量和，将所述融合上下文的向量和输入序列解码模型和指针解码模型进行联合训练，得到实体概率分布、实体起点概率分布和实体终点概率分布；所述联合训练为：训练所述序列解码模型使其稳定后，联合训练所述序列解码模型和所述指针解码模型使其稳定，最后训练所述指针解码模型使其稳定；最后进行联合解码得到实体标签；本发明专利技术提出了基于BERT的CRF和指针网络的联合模型，通过多任务交替训练的策略得CRF和指针网络都得到充分训练，有效地降低NER任务中实体边界识别错误率，提高模型的泛化能力。模型的泛化能力。模型的泛化能力。

【技术实现步骤摘要】
一种基于指针网络的命名实体联合识别方法及系统


[0001]本专利技术涉及一种命名实体识别方法及系统，尤其是基于指针网络的命名实体联合识别方法及系统。

技术介绍

[0002]中文命名实体识别(NER)是自然语言处理(NLP)中一项非常基础的任务，是信息提取、问答系统、句法分析、机器翻译等众多NLP任务中的重要基础工具。NER任务的准确度，决定了下游任务的效果。NER效果的评判标准主要看实体的边界是否划分正确，实体的类型是否正确标注；实体边界错误是最为常见的错误类型之一，若能降低该类错误的出现频率，可以有效提升NER模型的指标。但现有技术中用指针网络(SPAN)代替条件随机场(CRF)，虽然提升了边界识别准确度，但损失了CRF在序列标注的优势，从而影响了整句识别的正确率。

技术实现思路

[0003]专利技术目的：本专利技术的目的是提供一种识别准确率高的命名实体联合识别方法，本专利技术第二目的是提供一种识别准确率高的命名实体联合识别系统。
[0004]技术方案：本专利技术所述的基于指针网络的命名实体联合识别方法，包括如下步骤：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于指针网络的命名实体联合识别方法，其特征在于，包括如下步骤：(1)对文本进行分词，获取分词后字符的整数索引和字符的位置索引；(2)将所述整数索引和位置索引的向量和输入BERT模型得到融合上下文的向量和；(3)将所述融合上下文的向量和输入序列解码模型和指针解码模型进行联合训练，得到实体概率分布、实体起点概率分布和实体终点概率分布；所述联合训练为：训练所述序列解码模型使其稳定后，联合训练所述序列解码模型和所述指针解码模型使其稳定，最后训练所述指针解码模型使其稳定；(4)对所述实体概率分布、实体起点概率分布和实体终点概率分布进行联合解码得到实体标签。2.根据权利要求1所述的基于指针网络的命名实体联合识别方法，其特征在于，步骤(3)中所述联合训练中，计算序列解码模型的路径损失，计算实体起点概率分布、实体终点概率分布与文本标签的交叉熵损失，通过反向传播算法更新所述序列解码模型和指针解码模型的参数。3.根据权利要求2所述的基于指针网络的命名实体联合识别方法，其特征在于，步骤(3)中所述联合训练的损失函数为：其中，为超参数，l
span
为实体起点概率分布、实体终点概率分布与文本标签的交叉熵损失，l
crf
为序列解码模型的路径得分的相反数。4.根据权利要求3所述的基于指针网络的命名实体联合识别方法，其特征在于，步骤(3)中所述联合训练为：令训练序列解码模型，所述序列解码模型收敛后，令联合训练所述序列解码模型和所述指针解码模型，收敛后，令训练指针解码模型。5.根据权利要求2所述的基于指针网络的命名实体联合识别方法，其特征在于，所述实体起点概率分布、实体终点概率分布与文本标签的交叉熵损失为：其中下标c表示所属的实体类别，k为实体类别数量，y
c
为文本标签的one
‑
hot向量，p
start
为实体起点概率分布，p

【专利技术属性】
技术研发人员：王汗青，胡官荣，汪荆琪，周莹，李耀东，
申请(专利权)人：南京中新赛克科技有限责任公司，
类型：发明
国别省市：