地理命名实体识别模型训练方法及地理命名实体识别方法技术

本申请公开了地理命名实体识别模型训练方法及地理命名实体识别方法，涉及信息抽取技术领域，地理命名实体识别模型训练方法包括：获取第一网络文本数据，并根据第一网络文本数据对初始地理命名实体语义模型进行增量预训练，得到第一地理命名实体语义模型；对第一网络文本数据进行标注，并根据标注结果构建地理命名实体识别数据集；根据第一地理命名实体语义模型组建初始地理命名实体识别模型，并利用地理命名实体识别数据集对初始地理命名实体识别模型进行微调，得到目标地理命名实体识别模型。本方法使用深度学习迁移的方式，使得地理命名实体识别模型不用再单独训练，而是在原来地理命名实体语义模型的基础上进行增量预训练，大大节省了时间。大大节省了时间。大大节省了时间。

【技术实现步骤摘要】
地理命名实体识别模型训练方法及地理命名实体识别方法


[0001]本申请涉及信息抽取
，尤其涉及地理命名实体识别模型训练方法及地理命名实体识别方法。

技术介绍

[0002]命名实体识别(Named Entity Recognition，NER)是一种在自然语言处理领域广泛应用的技术,它旨在从文本中识别并提取出命名实体，并将其分类到预定义的实体类别中，其中，命名实体通常是指具有特定名称或标识符的实体，如人名、地名、组织机构名、日期、时间、货币等。
[0003]泛在网络文本数据是指从互联网上收集的文本数据，目前这种数据的命名实体识别方法通常有基于地理命名实体数据库的地理命名实体识别方法、基于机器学习的地理命名实体识别方法以及基于深度神经网络的地理命名实体识别方法,但基于地理命名实体数据库的地理命名实体识别方法的前提是有一个完备的地理命名实体数据库，且该方法会忽略一些未出现在地理命名实体数据库中的地理命名实体信息；基于机器学习的地理命名实体识别方法则需要大量的标注数据，标注数据的获取和处理需要花费大量的人力和时间，且此类方法对于特征提取的质量非常敏感，如果提取的特征不足或者不合理，会影响任务的准确率；基于深度神经网络的地理命名实体识别方法同样需要大量标记数据。

技术实现思路

[0004]本申请提供的地理命名实体识别模型训练方法及地理命名实体识别方法，旨在识别泛在社交媒体数据上的地理命名实体，并在识别过程中解决这类数据存在的多样性、数据量大和噪声性问题。
[0005]为实现上述目的，本申请采用以下技术方案：
[0006]本申请的一种地理命名实体识别模型训练方法，包括以下步骤：
[0007]获取第一网络文本数据，并根据所述第一网络文本数据对初始地理命名实体语义模型进行增量预训练，得到第一地理命名实体语义模型；
[0008]对所述第一网络文本数据进行标注，并根据标注结果构建地理命名实体识别数据集；
[0009]根据所述第一地理命名实体语义模型组建初始地理命名实体识别模型，并利用所述地理命名实体识别数据集对所述初始地理命名实体识别模型进行微调，得到目标地理命名实体识别模型。
[0010]作为优选，所述初始地理命名实体语义模型包括基于多头自注意力机制的语义特征提取模块和混淆词校正模块，其中，所述基于多头自注意力机制的语义特征提取模块包括多头自注意力层、残差网络和全连接前馈神经网络，并以Leaky ReLU为激活函数，所述混淆词校正模块以BERT预训练语言模型中的掩码语言模型为基础，设置基于混淆词替换的全词动态掩码策略。
[0011]作为优选，所述残差网络由若干残差单元组成，单个残差单元表示为：
[0012]self
‑
attention
l
＝self
‑
attention
l
‑1+F(self
‑
attention
l
‑1)
[0013]其中，self
‑
attention
l
和self
‑
attention
l
‑1分别表示多头自注意力第l层和第l
‑
1层的输出，F表示多头自注意力的处理函数。
[0014]作为优选，所述全连接前馈神经网络连接在所述多头自注意层的输出后，所述基于多头自注意力机制的语义特征提取模块还包括对每一层的输出进行层归一化。
[0015]作为优选，所述基于混淆词替换的全词动态掩码策略由动态掩码策略、全词掩码策略和基于混淆词替换的掩码策略组成，其中，所述动态掩码策略为将每个模型输入以N种不同的方式被掩码，所述全词掩码策略为屏蔽完整的地理命名实体，所述基于混淆词替换的掩码策略为采用混淆词替换分词标记。
[0016]作为优选，所述对所述第一网络文本数据进行标注，并根据标注结果构建地理命名实体识别数据集，包括：
[0017]将所述第一网络文本数据中每个地理命名实体的开始字符标记为B
‑
Entity、中间字符标记为I
‑
Entity，所述第一网络文本数据中的其余字符则标记为O，得到第一地理命名实体数据集；
[0018]采集中文细粒度命名实体识别数据集，并根据所述第一网络文本数据的标注方法对所述中文细粒度命名实体识别数据集进行标注，得到第二地理命名实体数据集；
[0019]将所述第一地理命名实体数据集与所述第二地理命名实体数据集融合，得到地理命名实体识别数据集。
[0020]作为优选，所述根据所述第一地理命名实体语义模型组建初始地理命名实体识别模型，包括：
[0021]在所述第一地理命名实体语义模型后添加任务式的神经网络结构组成初始地理命名实体识别模型，其中，所述第一地理命名实体语义模型为所述初始地理命名实体识别模型的编码器，所述任务式的神经网络结构为所述初始地理命名实体识别模型的解码器。
[0022]一种地理命名实体识别方法，包括以下步骤：
[0023]获取第二网络文本数据,并对所述第二网络文本数据进行清洗得到目标网络文本数据；
[0024]将所述目标网络文本数据输入地理命名实体识别模型中进行训练，得到所述初始网络文本数据对应的地理命名实体识别结果，所述地理命名实体识别模型是根据上述的目标地理命名实体识别模型训练方法训练得到的。
[0025]一种地理命名实体识别模型训练装置，包括：
[0026]增量模块，用于获取第一网络文本数据，并根据所述第一网络文本数据对初始地理命名实体语义模型进行增量预训练，得到第一地理命名实体语义模型；
[0027]标注模块，用于对所述第一网络文本数据进行标注，并根据标注结果构建地理命名实体识别数据集；
[0028]构建模块，用于根据所述第一地理命名实体语义模型组建初始地理命名实体识别模型，并利用所述地理命名实体识别数据集对所述初始地理命名实体识别模型进行微调，得到目标地理命名实体识别模型。
[0029]一种地理命名实体识别装置，包括：
[0030]获取模块，用于获取第二网络文本数据,并对所述第二网络文本数据进行清洗得到目标网络文本数据；
[0031]识别模块，用于将所述目标网络文本数据输入地理命名实体识别模型中进行训练，得到所述初始网络文本数据对应的地理命名实体识别结果，所述地理命名实体识别模型是根据上述的目标地理命名实体识别模型训练装置得到的。
[0032]本专利技术具有如下有益效果：
[0033]本申请相较于其他传统的地理命名实体的识别提取方法，处理非结构化文本、长文本、多标签分类等复杂文本结构的能力更强，特别适用于社交媒体数据的识别提取，且使用深度学习迁移的方式，使得地理命名实体识别模型不用再单独训练，而是在原来地理命名实体语义模型的基础上进行增量预训练即可，大大节省了时间，且能够快速适应各种不同的数据环境。
附图说明
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种地理命名实体识别模型训练方法，其特征在于，包括以下步骤:获取第一网络文本数据，并根据所述第一网络文本数据对初始地理命名实体语义模型进行增量预训练，得到第一地理命名实体语义模型；对所述第一网络文本数据进行标注，并根据标注结果构建地理命名实体识别数据集；根据所述第一地理命名实体语义模型组建初始地理命名实体识别模型，并利用所述地理命名实体识别数据集对所述初始地理命名实体识别模型进行微调，得到目标地理命名实体识别模型。2.根据权利要求1所述的一种地理命名实体识别模型训练方法，其特征在于，所述初始地理命名实体语义模型包括基于多头自注意力机制的语义特征提取模块和混淆词校正模块，其中，所述基于多头自注意力机制的语义特征提取模块包括多头自注意力层、残差网络和全连接前馈神经网络，并以Leaky ReLU为激活函数，所述混淆词校正模块以BERT预训练语言模型中的掩码语言模型为基础，设置基于混淆词替换的全词动态掩码策略。3.根据权利要求2所述的一种地理命名实体识别模型训练方法，其特征在于，所述残差网络由若干残差单元组成，单个残差单元表示为：self
‑
attention
l
＝self
‑
attention
l
‑1+F(self
‑
attention
l
‑1)其中，self
‑
attention
l
和self
‑
attention
l
‑1分别表示多头自注意力第l层和第l
‑
1层的输出，F表示多头自注意力的处理函数。4.根据权利要求2所述的一种地理命名实体识别模型训练方法，其特征在于，所述全连接前馈神经网络连接在所述多头自注意层的输出后，所述基于多头自注意力机制的语义特征提取模块还包括对每一层的输出进行层归一化。5.根据权利要求2所述的一种地理命名实体识别模型训练方法，其特征在于，所述基于混淆词替换的全词动态掩码策略由动态掩码策略、全词掩码策略和基于混淆词替换的掩码策略组成，其中，所述动态掩码策略为将每个模型输入以N种不同的方式被掩码，所述全词掩码策略为屏蔽完整的地理命名实体，所述基于混淆词替换的掩码策略为采用混淆词替换分词标记。6.根据权利要求1所述的一种地理命名实体识别模型训练...

【专利技术属性】
技术研发人员：徐流畅，夏天舒，张程锟，张嘉俊，姚俊伟，
申请(专利权)人：信雅达科技股份有限公司，
类型：发明
国别省市：