中文命名实体识别方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:22295637 阅读:58 留言:0更新日期:2019-10-15 04:46
本申请涉及一种中文命名实体识别方法,包括:获取待识别语句,将所述待识别语句输入预设神经网络的嵌入层,输出所述待识别语句的输出字向量;将所述输出字向量分别同步输入预设的双向长短期记忆网络和预设的空洞卷积网络得到输出矩阵;将所述输出矩阵输入预设的分段长短期记忆网络,得到多个预测序列;采用条件随机场算法从所述预测序列中选取最优序列,根据所述最优序列获取识别出的实体。本申请通过同步采用双向长短期记忆网络和预设的空洞卷积网络进行特征变换,可以有效提取特征,无需赖于实体词典,提高识别效率。

Chinese Named Entity Recognition Method, Device, Computer Equipment and Storage Media

【技术实现步骤摘要】
中文命名实体识别方法、装置、计算机设备和存储介质
本申请涉及信息处理领域,特别是涉及一种中文命名实体识别方法、装置、计算机设备和存储介质。
技术介绍
命名实体识别(NamedEntityRecognition,简称NER),又称作“专名识别”,是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。命名实体识别作为自然语言处理任务中的基础任务,它的效果会直接影响实体链接、机器翻译、关系抽取等任务。由于中文没有天然的分割符来分割每个单词,因此基于字的中文命名实体识别相比于基于词的方法是一个更好的选择。常用的命名实体识别方法有BiLSTM(Bi-directionalLongShort-TermMemory,双向长短期记忆)结合CRF(Conditionalrandomfields,条件随机场)等方法,通过训练,识别出每个字的标签,然后将相同类型的标签结合组成一个实体,这种方法依赖于较大的实体词典,然而,当添加较大的实体词典时,识别效率较低。
技术实现思路
本申请的目的在于提供一种中文命名实体识别方法、装置、计算机设备和可读存储介质,可以无需依赖实体字典,有效提高识别效率。本申请的目的通过如下技术方案实现:一种中文命名实体识别方法,所述方法包括:获取待识别语句,将所述待识别语句输入预设神经网络的嵌入层,输出所述待识别语句的输出字向量;将所述输出字向量分别同步输入预设的双向长短期记忆网络和预设的空洞卷积网络得到输出矩阵;将所述输出矩阵输入预设的分段长短期记忆网络,得到多个预测序列;采用条件随机场算法从所述预测序列中选取最优序列,根据所述最优序列获取识别出的实体。在一个实施例中,所述预设神经网络的嵌入层包括word2vec工具、分词器和Bichar特征。在一个实施例中,所述将所述待识别语句输入预设神经网络的嵌入层,输出所述待识别语句的输出字向量的步骤,包括:采用word2vec工具获取所述待识别语句的word2vec字向量;采用所述分词器对所述待识别语句进行分词得到分词向量;根据所述Bichar特征获取所述待识别语句的Bichar向量;将所述word2vec字向量、所述分词向量和所述Bichar向量组合得到所述输出字向量。在一个实施例中,所述word2vec工具包括固定的word2vec和微调的word2vec。在一个实施例中,所述采用word2vec工具获取所述待识别语句的word2vec字向量的步骤,包括:采用固定的word2vec获取所述待识别语句的第一字向量;采用微调的word2vec获取所述待识别语句的第二字向量;将所述第一字向量和所述第二字向量利用加权平均的方法结合得到所述word2vec字向量。在一个实施例中,所述将所述输出字向量分别同步输入预设的双向长短期记忆网络和预设的空洞卷积网络得到输出矩阵的步骤,包括:将所述输出字向量输入预设的长短期记忆网络进行特征变换得到第一输出序列;同步将所述输出字向量输入预设的空洞卷积网络进行特征变换得到第二输出序列;根据所述第一输出序列和所述第二输出序列计算所述输出矩阵。在一个实施例中,所述根据所述第一输出序列和所述第二输出序列计算所述输出矩阵的步骤,包括:采用如下公式计算所述输出矩阵:duali=αi*hi+(1-αi)*di式中:WdT和b是固定参数;αi表示第i个字的权重;hi表示所述第一输出序列;di表示所述第二输出序列。一种中文命名实体识别装置,所述装置包括:嵌入模块,用于获取待识别语句,将所述待识别语句输入预设神经网络的嵌入层,输出所述待识别语句的输出字向量;双通道模块,用于将所述输出字向量分别同步输入预设的双向长短期记忆网络和预设的空洞卷积网络得到输出矩阵;分段模块,用于将所述输出矩阵输入预设的分段长短期记忆网络,得到多个预测序列;识别模块,用于采用条件随机场算法从所述预测序列中选取最优序列,根据所述最优序列获取识别出的实体。一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一实施例所述的步骤。一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所述的步骤。本申请提供的中文命名实体识别方法,其获取待识别语句,将所述待识别语句输入预设神经网络的嵌入层,输出所述待识别语句的输出字向量;将所述输出字向量分别同步输入预设的双向长短期记忆网络和预设的空洞卷积网络得到输出矩阵;将所述输出矩阵输入预设的分段长短期记忆网络,得到多个预测序列;采用条件随机场算法从所述预测序列中选取最优序列,根据所述最优序列获取识别出的实体。同步采用双向长短期记忆网络和预设的空洞卷积网络进行特征变换,可以有效提取特征,无需赖于实体词典,提高识别效率。附图说明图1为一个实施例中中文命名实体识别方法的应用环境图;图2为一个实施例中中文命名实体识别系统结构示意图;图3为一个实施例中中文命名实体识别方法的流程示意图;图4为一个示例中标注数据示意图;图5为另一个实施例中中文命名实体识别装置的结构框图;图6为一个实施例中计算机设备的内部结构图。具体实施方式下面详细描述本专利技术的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本专利技术,而不能解释为对本专利技术的限制。本
技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。本
技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。本申请提供的中文命名实体识别方法,可以应用于如图1所示的应用环境中。具体的,服务器获取待识别语句,将所述待识别语句输入预设神经网络的嵌入层,输出所述待识别语句的输出字向量;服务器将所述输出字向量分别同步输入预设的双向长短期记忆网络和预设的空洞卷积网络得到输出矩阵;服务器将所述输出矩阵输入预设的分段长短期记忆网络,得到多个预测序列;服务器采用条件随机场算法从所述预测序列中选取最优序列,根据所述最优序列获取识别出的实体。本
技术人员可以理解,这里所使用的“服务器”可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一个实施例中,本申请的中文命名实体识别方法,可以采用一种定制的中文命名实体识别系统形式在图1所示的服务器上实现,如图2所示,该中文命名实体识别系统包括embedding(嵌入)层、dualchannel(双通道)层、分段LSTM(SegmentLongShort-termMemory,分段长短期记忆)层和CRF(conditionalrandomfield,条件随机场)层,各层功能本文档来自技高网
...

【技术保护点】
1.一种中文命名实体识别方法,其特征在于,所述方法包括:获取待识别语句,将所述待识别语句输入预设神经网络的嵌入层,输出所述待识别语句的输出字向量;将所述输出字向量分别同步输入预设的双向长短期记忆网络和预设的空洞卷积网络得到输出矩阵;将所述输出矩阵输入预设的分段长短期记忆网络,得到多个预测序列;采用条件随机场算法从所述预测序列中选取最优序列,根据所述最优序列获取识别出的实体。

【技术特征摘要】
1.一种中文命名实体识别方法,其特征在于,所述方法包括:获取待识别语句,将所述待识别语句输入预设神经网络的嵌入层,输出所述待识别语句的输出字向量;将所述输出字向量分别同步输入预设的双向长短期记忆网络和预设的空洞卷积网络得到输出矩阵;将所述输出矩阵输入预设的分段长短期记忆网络,得到多个预测序列;采用条件随机场算法从所述预测序列中选取最优序列,根据所述最优序列获取识别出的实体。2.根据权利要求1所述的方法,其特征在于,所述预设神经网络的嵌入层包括word2vec工具、分词器和Bichar特征。3.根据权利要求2所述的方法,其特征在于,所述将所述待识别语句输入预设神经网络的嵌入层,输出所述待识别语句的输出字向量的步骤,包括:采用word2vec工具获取所述待识别语句的word2vec字向量;采用所述分词器对所述待识别语句进行分词得到分词向量;根据所述Bichar特征获取所述待识别语句的Bichar向量;将所述word2vec字向量、所述分词向量和所述Bichar向量组合得到所述输出字向量。4.根据权利要求3所述的方法,其特征在于,所述word2vec工具包括固定的word2vec和微调的word2vec。5.根据权利要求4所述的方法,其特征在于,所述采用word2vec工具获取所述待识别语句的word2vec字向量的步骤,包括:采用固定的word2vec获取所述待识别语句的第一字向量;采用微调的word2vec获取所述待识别语句的第二字向量;将所述第一字向量和所述第二字向量利用加权平均的方法结合得到所述word2vec字向量。6.根...

【专利技术属性】
技术研发人员:傅湘玲刘少辉吴及周学思
申请(专利权)人:北京邮电大学清华大学
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1