一种基于卷积门控和实体边界预测的实体抽取方法及系统技术方案

本发明专利技术提供了一种基于卷积门控和实体边界预测的实体抽取方法及系统，属于信息提取技术领域，方法由基于卷积门控和实体边界预测的实体抽取系统执行，方法包括如下步骤：S1.获取每个字的语义信息和句法特征，并生成词向量矩阵；S2.基于词向量矩阵，提取全局语义信息特征；S3.基于全局语义信息特征，提取关键字特征；S4.基于词向量矩阵，获取包含全局语义信息以及头尾实体信息的矩阵；步骤S5.将关键字特征和矩阵进行拼接后提取全局最优标签序列，完成实体抽取。本发明专利技术通过卷积门控提取关键字特征，可以提高实体识别效果；通过实体边界预测获取包含全局语义信息以及头尾实体信息的矩阵，可以有效提高实体识别准确率。可以有效提高实体识别准确率。可以有效提高实体识别准确率。

【技术实现步骤摘要】
一种基于卷积门控和实体边界预测的实体抽取方法及系统


[0001]本专利技术涉及信息提取
，尤其是涉及一种基于卷积门控和实体边界预测的实体抽取方法。

技术介绍

[0002]命名实体识别是自然语言处理的基础任务之一，它是指从一段非结构化文本中提取出有意义的实体，在关系抽取，知识图谱等任务中起着重要的作用，已经成为自然语言处理中知识工程领域的热门研究之一。早期的命名实体识别采用的是基于规则和词典的方法，Rau等人设计一种采用人工制定的启发式规则，从文本中有目的的抽取公司的名称。该方法不仅需要耗费大量的人力成本，而且可扩展性比较差，无法在其他领域扩展。随后基于统计机器学习的实体抽取方法，主要的学习模型有条件随机场模型、隐马尔可夫模型，最大熵模型等。虽然基于统计机器学习的实体抽取方法可以有效的利用文本来提取特征，但是统计机器学习模型需要依赖大规模的语料库且模型的泛化能力不强。近几年，基于深度学习的实体抽取方法取得了不错的效果，例如卷积神经网络、循环神经网络等为代表的端到端的学习模型具有较强的泛化能力与迁移能力。由于非结构化的文本数据跨度大，需要高度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积门控和实体边界预测的实体抽取方法，其特征在于，包括如下步骤：步骤S1.基于给定的句子，通过编码器获取每个字的语义信息和句法特征，并生成词向量及由所述词向量组成的词向量矩阵；步骤S2.基于所述词向量矩阵，通过双向长短时记忆网络提取全局语义信息特征；步骤S3.基于所述全局语义信息特征，通过卷积门控提取关键字特征，以控制所述双向长短时记忆网络的全局输出；步骤S4.基于所述词向量矩阵，通过实体边界预测获取当前句子中实体的首尾边界，得到向量：头实体和尾实体；并将所述全局语义信息特征、头实体和尾实体，分别与三个可训练参数矩阵相乘再相加，得到一个包含全局语义信息以及头尾实体信息的矩阵；步骤S5.将步骤S3提取的所述关键字特征和步骤S4得到的所述矩阵，进行拼接后作为条件随机场的输入，通过所述条件随机场进行序列解码，学习序列之间的依赖关系并提取全局最优标签序列，作为条件随机场的最终输出序列，完成实体抽取。2.根据权利要求1所述的基于卷积门控和实体边界预测的实体抽取方法，其特征在于，在步骤S2中，所述双向长短时记忆网络包括记忆单元和由遗忘门、输入门和输出门组成的门控结构，其公式如下：；；；；；；其中，表示遗忘门；表示输入门；表示输出门；U代表是可调参数，W代表权重，b代表偏置；为sigmoid激活函数；tanh为双曲正切激活函数。3.根据权利要求2所述的基于卷积门控和实体边界预测的实体抽取方法，其特征在于，所述全局语义信息特征包含有句子依赖关系。4.根据权利要求1所述的基于卷积门控和实体边界预测的实体抽取方法，其特征在于，在步骤S3中，所述通过卷积门控提取关键字特征的具体过程为：分别使用三个卷积核不同的卷积神经网络对所述全局语义信息特征进行卷积。5.根据权利要求4所述的基于卷积门控和实体边界预测的实体抽取方法，其特征在于，进行卷积后，对每次卷积的结果进行拼接之后再将其输入进线性层进行维度转换，再通过自注意力层进一步关注全局语义信息，最后通过门控机制实现关键信息筛选。6.根据权利要求5所述的基于卷积门控和实体边界预测的实体抽取方法，其特征在于，所述通过自注意力层进一步关注全局语义信息的具体过程为：对所述维度转换的结果分别乘以三个可训练的参数矩阵，生成查询矩阵Q、关键字矩阵K和值矩阵V；利用所述查询矩阵Q与所述关键字矩阵K转置相乘得到相似度矩阵，所述相似度矩阵表示每个词的词向量与各个词向量的相似度；
对所述相似度矩阵中的每个元...

【专利技术属性】
技术研发人员：王婷，杨川，梁佳莹，向东，马洪江，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：