一种语句中命名实体的识别方法及装置制造方法及图纸

本发明专利技术的实施例公开了一种语句中命名实体的识别方法及装置，在获取到目标语句的字符向量和词向量后，将每一字符对应的字符向量和每一单词对应的词向量输入到预先训练的识别模型中，由识别模型输出每一单词对应的表示单词属性的标签，在根据每一单词对应的标签输出目标语句中的属于命名实体的单词。识别模型通过注意力函数字向量和词向量进行加权结合，各单词相对于整个语句其它单词为命名实体的权重，提取出对命名实体识别的有用信息，弱化语句中不属于命名实体的单词对模型训练过程的影响，不仅提高了训练的识别模型识别命名实体的准确率，也加快了模型训练过程的收敛速度，缩短了训练时间。

【技术实现步骤摘要】
一种语句中命名实体的识别方法及装置
本专利技术涉及机器学习和语句处理
，尤其是涉及一种语句中命名实体的识别方法及装置。
技术介绍
命名实体识别(NER)是自然语言处理中一些复杂任务(例如信息抽取、问答系统、机器翻译)的基础工作，指从一段自然语言文本中找出命名性指称项，并标注其位置和类型。现有技术是通过基于传统机器学习的方法，利用大规模语料来学习出标注模型，从而对句子的各个位置进行标注。常用的应用到NER任务的模型主要包括生成式模型隐马尔科夫(HMM)、判别式模型条件随机场(CRF)等。目前常用的方法是通过人工定义一些二值特征函数，挖掘命名实体内部以及上下文的构成特点。对于句子中的给定位置，提取的特征是一个位置，即上下文位置。并且不同的特征模板之间可以进行组合来形成一个新的特征模板。然后，对句子进行各个位置提取特征时，将这些特征输入CRF，它的目标函数不仅考虑输入的状态特征函数，而且还包含了标签转移特征函数。在已知模型时，给输入序列求预测输出序列即求使目标函数最大化的最优序列，是一个动态规划问题，使用维特比算法进行解码。然而，传统的本文档来自技高网...

【技术保护点】
1.一种语句中命名实体的识别方法，其特征在于，包括：/n对欲进行命名实体识别的目标语句，获取根据所述目标语句得到的每一字符对应的字符向量和从所述目标语句中划分的每一单词对应的词向量；/n将每一字符对应的字符向量和每一单词对应的词向量输入到预先训练的识别模型中，由所述识别模型输出每一单词对应的表示单词属性的标签；/n根据每一单词对应的标签输出所述目标语句中的属于命名实体的单词；/n其中，所述识别模型根据输入的所述目标语句的字符向量和词向量，通过注意力函数生成每一单词对应的语句特征向量，由每一单词对应的语句特征向量确定每一单词对应的标签；单词属性包括人名词、地名词和机构名词。/n

【技术特征摘要】
1.一种语句中命名实体的识别方法，其特征在于，包括：
对欲进行命名实体识别的目标语句，获取根据所述目标语句得到的每一字符对应的字符向量和从所述目标语句中划分的每一单词对应的词向量；
将每一字符对应的字符向量和每一单词对应的词向量输入到预先训练的识别模型中，由所述识别模型输出每一单词对应的表示单词属性的标签；
根据每一单词对应的标签输出所述目标语句中的属于命名实体的单词；
其中，所述识别模型根据输入的所述目标语句的字符向量和词向量，通过注意力函数生成每一单词对应的语句特征向量，由每一单词对应的语句特征向量确定每一单词对应的标签；单词属性包括人名词、地名词和机构名词。


2.根据权利要求1所述的语句中命名实体的识别方法，其特征在于，对所述识别模型的训练包括：
获取若干样本语句，对每一样本语句，预先划分出所述样本语句中的单词，获取所述样本语句中每一字符对应的字符向量和每一单词对应的词向量，并对划分出的每一单词添加表示单词属性的标签，将所述样本语句中每一字符对应的字符向量和每一单词对应的词向量作为循环神经网络的输入参数，将所述样本语句的每一单词对应的标签作为期望输出，对所述循环神经网络进行训练，得到所述识别模型；
其中，在对所述循环神经网络进行训练的过程中，所述循环神经网络根据输入的字符向量和词向量，通过注意力函数生成每一单词对应的语句特征向量，由每一单词对应的语句特征向量确定每一单词对应的标签。


3.根据权利要2所述的语句中命名实体的识别方法，其特征在于，所述在对所述循环神经网络进行训练的过程中，所述循环神经网络根据输入的字符向量和词向量，通过注意力函数生成每一单词对应的语句特征向量，由每一单词对应的语句特征向量确定每一单词对应的标签，包括：
在对所述循环神经网络进行训练的过程中，所述循环神经网络通过公式Zt＝σ[w3*tanh(w1*Xt+w2*mt)]和X′t＝Zt*Xt+(1-Zt)*mt计算每一单词对应的语句特征向量；
由每一单词对应的语句特征向量，通过条件随机场确定所述单词的单词属性为每一预设标签的概率，将所述单词的单词属性为每一预设标签的概率作为所述识别模型的输出；
其中，所述循环神经网络为双向长短时记忆网络，w1、w2和w3为所述注意力函数的参数值，y＝σ(x)为sigmoid函数，对于任一单词，Xt为t时刻输入到所述循环神经网络的所述单词的词向量，mt为t时刻输入到所述循环神经网络的所述单词的字符向量，Zt为所述单词对应的权重，X′t为所述单词对应的语句特征向量。


4.根据权利要2所述的语句中命名实体的识别方法，其特征在于，所述对每一样本语句，预先划分出所述样本语句中的单词，获取所述样本语句中每一字符对应的字符向量和每一单词对应的词向量，并对划分出的每一单词添加表示单词属性的标签，将所述样本语句中每一字符对应的字符向量和每一单词对应的词向量作为循环神经网络的输入参数，将所述样本语句的每一单词对应的标签作为期望输出，对所述循环神经网络进行训练，包括：
对每一样本语句，将所述样本语句输入到预先训练的分字模型中，得到所述样本语句中每一字符对应字符向量，将所述样本语句输入到预先训练的分词模型中，得到所述样本语句中每一单词对...

【专利技术属性】
技术研发人员：曹秀亭，
申请(专利权)人：普天信息技术有限公司，
类型：发明
国别省市：北京;11