一种融合词性与双向时间卷积网络的中文命名实体识别方法技术

本发明专利技术涉及一种融合词性与双向时间卷积网络的中文命名实体识别方法，属于计算机领域。该方法将中文文本序列的实体标注信息与词性标注信息作为输入数据，使用中文预训练语言模型产生对应的词向量，并将实体词向量与词性词向量进行融合得到包含词性特征的输入词向量。融合后使用双向时间卷积网络提取文本前向特征与后向特征，最后结合条件随机场模型输出全局最优序列。实验中对时间卷积网络的三个参数：空洞因子、卷积层数和卷积核数进行参数实验并分析其影响原因。该模型与其他模型相比，能有效提高中文命名时实体识别的准确性。能有效提高中文命名时实体识别的准确性。能有效提高中文命名时实体识别的准确性。

【技术实现步骤摘要】
一种融合词性与双向时间卷积网络的中文命名实体识别方法


[0001]本专利技术属于计算机领域，涉及一种融合词性与双向时间卷积网络的中文命名实体识别方法。

技术介绍

[0002]命名实体识别(Named entity recognition,NER)技术旨在从给定的文本中检测命名实体并将其划分为预定义的实体类别，例如人名、地名、时间、机构名或专有名词等。命名实体识别经常作为其他自然语言处理任务的上游基础任务，广泛应用于关系抽取、事件抽取、知识图谱、机器翻译、问答系统等领域，比如在知识图谱的构建中，需要先进行所需信息实体的识别和抽取。
[0003]目前主流的中文命名时实体识别方法主要包括基于规则的词性标注方法、基于统计机器学习的词性标注方法与基于深度学习的词性标注方法。
[0004]命名实体识别首次提出是作为信息提取的一项子任务，在信息理解会议(Message Understanding Conference)中被提出，从此之后便成为了人工智能领域的重要研究内容。传统的命名实体识别通过人工设定规则和字典来实现，但由于规则的编制十分依赖具体的场景，导致该方法存在可移植性较差、难以覆盖多数语言场景等问题。基于统计机器学习的方法迅速发展，如最大熵模型、隐马尔可夫模型、条件随机场模型等，其主要思想是人工预先标注完善的真实语料，针对输入的文本序列中各个不同的字输出不同的标签，即作为序列标注问题来解决。
[0005]命名实体识别任务中，中文数据集相对于英文数据集来说还存在一些固有困难：词语之间没有明显间隔符、词与词之间没有大写标识、单个字的应用场景更加多样化，其中，尤其是词语之间没有明显的间隔符最难以处理，即识别命名实体的边界问题。因此提出一种高效且准确的中文命名时实体识别方法具有重要意义。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于提供一种融合词性与双向时间卷积网络的中文命名实体识别方法。
[0007]为达到上述目的，本专利技术提供如下技术方案：
[0008]一种融合词性与双向时间卷积网络的中文命名实体识别方法，该方法为：
[0009]S1：将中文文本序列的实体标注信息与词性标注信息作为输入数据，使用中文预训练语言模型产生对应的词向量；
[0010]S2：将实体词向量与词性词向量进行融合，得到包含词性特征的输入词向量；
[0011]S3：融合后使用主模型双向时间卷积网络提取文本前向特征与后向特征；
[0012]S4：结合条件随机场模型输出全局最优序列。
[0013]可选的，所述S1中，使用中文预训练语言模型产生对应的词向量具体为：首先使用XLNet生成词库，再将输入序列通过词库进行向量化操作，然后使用XLNet中文预训练语言
模型，实现从双向获取文本特征。
[0014]可选的，对于所述词库的生成，首先将XLNet预训练语言模型中的所有词语进行遍历，生成vocab词库文件，并将文本词语与vocab词库文件进行索引对应，以生成预训练模型的输入向量，对于词库中不存在的词，使用<unk>代替。
[0015]可选的，在所述主模型选择方面，选用时间卷积网络作为主模型；时间卷积网络包含扩张卷积、因果卷积和残差链接；扩张卷积使有效窗口的大小随着层数呈指数型增长；残差链接构建了一个残差块来代替一层的卷积一个残差块包含两层的卷积和非线性映射，在每层中还加入WeightNorm和Dropout来正则化网络，解决模型中存在的梯度消失、梯度爆炸问题。
[0016]可选的，所述双向时间卷积网络具体为：对前向文本序列与后向文本序列分别提取语义特征，得到双向特征向量之后再将其进行线性变换后进行信息融合，得到对整个文本序列的全满的信息表达，并在此基础上进行中文命名时实体识别任务；
[0017]时间卷积网络中存在的可变参数为：空洞因子、卷积核大小和卷积层数进行参数实验，以获取其中的最佳参数组合。
[0018]可选的，对于从经过多层时序模块计算后得到的前向特征向量与后向特征向量，使用线性变换方式将前向与后向特征向量进行线性变换，在特征向量的第三个维度进行特征融合。
[0019]可选的，得到所述前向特征向量与后向特征向量后，使用条件随机场模型对双向时间卷积网络产生的结果进行解码，得到全局最优的实体标注序列。
[0020]本专利技术的有益效果在于：
[0021](1)引入XLNet中文预训练模型，其排序语言模型可以使得词向量生成时可以充分考虑双向文本信息，得到特征更完整的词向量。
[0022](2)将词性信息融入到得到的词向量之中，得到包含词性特征的文本词向量，有助于模型获取到更完整、更丰富的特征信息。
[0023](3)引入时间卷积网络，其扩张卷积可以使有效窗口的大小随着层数呈指数型增长。这样卷积网络用比较少的层，就可以获得很大的感受野；其残差链接构建了一个残差块来代替一层的卷积一个残差块包含两层的卷积和非线性映射，在每层中还加入了WeightNorm和Dropout来正则化网络，可以有效解决模型中存在的梯度消失、梯度爆炸问题。
[0024](4)建立了双向时间卷积网络，使得模型可以从前向和后向提取文本语义特征。
[0025]本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0026]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：
[0027]图1为本专利技术提出的融合词性与双向时间卷积网络的中文命名实体识别方法的结
构层次示意图；
[0028]图2为本专利技术中时间卷积网络的结构示意图；
[0029]图3为本专利技术中时间卷积网络中的扩张卷积示意图。
具体实施方式
[0030]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0031]其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利技术的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0032]本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合词性与双向时间卷积网络的中文命名实体识别方法，其特征在于：该方法为：S1：将中文文本序列的实体标注信息与词性标注信息作为输入数据，使用中文预训练语言模型产生对应的词向量；S2：将实体词向量与词性词向量进行融合，得到包含词性特征的输入词向量；S3：融合后使用主模型双向时间卷积网络提取文本前向特征与后向特征；S4：结合条件随机场模型输出全局最优序列。2.根据权利要求1所述的一种融合词性与双向时间卷积网络的中文命名实体识别方法，其特征在于：所述S1中，使用中文预训练语言模型产生对应的词向量具体为：首先使用XLNet生成词库，再将输入序列通过词库进行向量化操作，然后使用XLNet中文预训练语言模型，实现从双向获取文本特征。3.根据权利要求2所述的一种融合词性与双向时间卷积网络的中文命名实体识别方法，其特征在于：对于所述词库的生成，首先将XLNet预训练语言模型中的所有词语进行遍历，生成vocab词库文件，并将文本词语与vocab词库文件进行索引对应，以生成预训练模型的输入向量，对于词库中不存在的词，使用<unk>代替。4.根据权利要求3所述的一种融合词性与双向时间卷积网络的中文命名实体识别方法，其特征在于：在所述主模型选择方面，选用时间卷积网络作为主模型；时间卷积网络包...

【专利技术属性】
技术研发人员：张鹏，周志强，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：