一种基于预训练编码特征分层加工的细粒度命名实体识别方法技术

本发明专利技术公开一种基于预训练编码特征分层加工的细粒度命名实体识别方法，涉及自然语言处理技术领域，本发明专利技术利用预训练模型ALBERT得到中文预训练编码向量，然后进一步层次化地提取前述预训练特征中的有用的双向的上下文特征，并对这些特征进行融合。继而利用监督学习技术和条件随机场CRF进行最优解求解的优势，来准确优化目标函数，从而自动学习模型参数，以提升模型在待识别数据集上的识别效果。实验表明，采用本发明专利技术实施例，可以有效解决细粒度命名实体识别的问题，并且达到较好的识别效果。

【技术实现步骤摘要】
一种基于预训练编码特征分层加工的细粒度命名实体识别方法
本专利技术涉及自然语言处理
，具体来说涉及命名实体识别
，更具体地，涉及一种基于预训练编码特征分层加工的细粒度命名实体识别方法。
技术介绍
BERT是一种基于Transformers编码器的大规模预训练语言模型。近年来，BERT在很多下游任务上都展现出了强大的实力。命名实体识别(NamedEntityRecognition,简称NER)，是自然语言处理中的一项基础任务，应用范围非常广泛。传统机器学习的命名实体识别的方法，该方法将命名实体识别任务形式化序列标注任务，通过预测每个字或者词的标签，联合预测实体边界和实体类型，具有严重依赖于词典库、无法识别实体嵌套情况、无法表征字或者词的多义性、不具有迁移性等缺点。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供本专利技术针对目前技术发展的需求和不足之处，提供一种基于预训练编码特征分层加工的细粒度命名实体识别方法。该方法包括以下内容：获取训练数据，所述训练数据包括文本文档来自技高网...

【技术保护点】
1.一种基于预训练编码特征分层加工的细粒度命名实体识别方法，其特征在于，该方法包括以下内容：/n获取训练数据，所述训练数据包括文本、标注出所述文本的命名实体名称以及对应的实体类型，所述实体类型包括细粒度命名实体，将原始数据集分成训练集、验证集和测试集；/n构建BERT_3BiLSTM_CRF模型，BERT_3BiLSTM_CRF模型包括预训练编码层、特征加工层、结果解码层，利用预训练模型进行预编码，获得待识别文本的初始向量表示，将初始向量输入由3个双向长短记忆网络层次化地提取上下文特征和序列特征，最后使用CRF模型来计算命名实体的最可能类别。/n根据所述的BERT_3BiLSTM_CRF模型，...

【技术特征摘要】
1.一种基于预训练编码特征分层加工的细粒度命名实体识别方法，其特征在于，该方法包括以下内容：
获取训练数据，所述训练数据包括文本、标注出所述文本的命名实体名称以及对应的实体类型，所述实体类型包括细粒度命名实体，将原始数据集分成训练集、验证集和测试集；
构建BERT_3BiLSTM_CRF模型，BERT_3BiLSTM_CRF模型包括预训练编码层、特征加工层、结果解码层，利用预训练模型进行预编码，获得待识别文本的初始向量表示，将初始向量输入由3个双向长短记忆网络层次化地提取上下文特征和序列特征，最后使用CRF模型来计算命名实体的最可能类别。
根据所述的BERT_3BiLSTM_CRF模型，识别输入语料中的细粒度命名实体。


2.根据权利要求1所述的一种基于预训练编码特征分层加工的细粒度命名实体识别方法，其特征在于，预训练编码层是根据语料情况来选择不同模型，如中文语料可以选择RoBERTa-zh-Large或ALBERT。


3.根据权利要求1所述的一种基于预训练编码特征分层加工的细粒度命名实体识别方法，其特征在于，所述的特征加工层是由3个双向长短记忆(BiLSTM)网络组成的，每个BiLSTM网络都包括两个方向相反的LSTM网络，在每个BiLSTM网络中，两个...

【专利技术属性】
技术研发人员：郝文宁，靳大尉，陈刚，郝建东，郑志明，邱望洁，吴发国，袁波，
申请(专利权)人：中国人民解放军陆军工程大学，北京航空航天大学，
类型：发明
国别省市：江苏;32