命名实体识别方法和装置制造方法及图纸

公开了一种命名实体识别方法和装置。以命名实体识别任务作为主任务，以句子分类任务作为辅助任务，按照多任务学习的方式，对识别模型进行训练。识别模型具有命名实体识别任务和句子分类任务共用的共享层和分别用于命名实体识别任务和句子分类任务的任务特定层。将文本输入到经过训练的识别模型，得到相应的命名实体识别结果。由此，能够针对低资源语言NER方便有效进行模型训练，从而实现更好的NER效果。从而实现更好的NER效果。从而实现更好的NER效果。

【技术实现步骤摘要】
命名实体识别方法和装置


[0001]本公开涉及命名实体识别方案，特别涉及对产品标题的分词设置类别标签的实体识别方案

技术介绍

[0002]在例如电子商务领域中，卖家会对其销售的商品设置诸如产品标题(title)之类的宣传语句。产品标题是卖方对在售产品的简要说明，例如
“……
柔性硅胶壳
……”
，其中包含了与其商品相关的很多信息，例如“柔性”表示其样式/属性，“硅胶”表示其材料，“壳”则表示其是什么产品。可以通过命名实体识别(NER，Named Entity Recognition)系统来从产品标题中提取信息，从而为该商品设置相应的类别标签。
[0003]NER系统的目标是识别输入文本中标记(token)的跨度(span)，并将它们分类为预定义的类别。输入文本可以是句子。预定义的类别典型地有“人名”、“地名”、“机构名”等。对于电子商务等特定领域，输入文本可以是产品标题，预定义的类别可以是“产品名称”、“品牌”、“消费群”等。这取决于目标命名实体类型的设计。
[0004]目前，使用手动注释的数据来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种命名实体识别方法，包括：以命名实体识别任务作为主任务，以句子分类任务作为辅助任务，按照多任务学习的方式，对识别模型进行训练，所述识别模型具有命名实体识别任务和句子分类任务共用的共享层和分别用于命名实体识别任务和句子分类任务的任务特定层；以及将文本输入到经过训练的识别模型，得到相应的命名实体识别结果。2.根据权利要求1所述的命名实体识别方法，其中，所述对识别模型进行训练的步骤包括：使用具有句子分类标签的训练样本对句子分类模型进行预训练，以得到经过预训练的共享层参数，所述句子分类模型包括所述共享层和用于句子分类任务的任务特定层；以及使用具有命名实体识别标签和句子分类标签的训练样本对所述识别模型进行训练。3.根据权利要求2所述的命名实体识别方法，其中，为了训练句子分类模型，使下述多分类交叉熵损失函数最小化：其中，i表示句子索引，N是训练样本的数量，K是目标分类的数量，s
k
是应用softmax函数后的第k个目标分类的标准化预测分值，而t是独热编码的真标签，为了训练命名实体识别模型，使正确标签序列相对于训练集的负对数似然函数最小化：其中，y表示标签序列，p(y
(i)
|H'
(i)
)是基于对应于第i个句子的最终隐藏表示H'
(i)
得到的标签序列y的概率，命名实体识别模型包括所述共享层和用于命名实体识别任务的任务特定层，结合和得到联合损失函数得到联合损失函数其中，λ是平衡参数，在对所述识别模型进行训练的过程中，使联合损失函数最小化。4.根据权利要求1所述的命名实体识别方法，其中，共享层包括下述至少一项：词嵌入层、投影层、BiLSTM层、注意力层，输出最终隐藏表示；并且/或者用于命名实体识别任务的任务特定层包括条件随机场层，条件随机场层基于最终隐藏表示得到命名实体识别结果；并且/或者用于句子分类任务的任务特定层包括池化层和线性层，池化层对最终隐藏表示进行池化处理以得到线性层的输入，线性层输出句子分类结果。5.根据权利要求4所述的命名实体识别方法，其中，
词嵌入层是经过预训练的词嵌入层；并且/或者词嵌入层的输入是对训练样本或所述文本进行分词处理后得到的分词序列；并且/或者词嵌入层将所输入的分词序列中的分词分别表示为对应的词嵌入向量；并且/或者投影层对词嵌入向量进行投影，得到BiLSTM层的对应于分词的输入向量；并且/或者BiLSTM层输出对应于分词的隐藏表示；并且/或者注意力层对隐藏表示施加注意力机制，得到对应于分词的最终隐藏表示；并且/或者池化层对最终隐藏表示进行最大池化，以创建固定尺寸全局向量，作为线性层的输入；并且/或者线性层基于池化层输出的固定尺寸全局向量，获得每个分类的预测分值。6.根据权利要求5所述的命名实体识别方法，其中，注意力层通过下述公式得到最终隐藏表示：H
′
＝concat(head1，...，head
n
)W
O
+H，head
j
＝attention(Q
j
，K
j
，V
j
)，其中，H是隐藏表示，H'是最终隐藏表示，n是自注意力机制中头的个数，j是对应头的序号，1≤j≤n，W
jQ
，W
jK
，W
jV
，W
O
是权重矩阵，concat()是连接函数，attention()是注意力函数。7.根据权利要求6所述的命名实体识别方法，其中，通过下述公式计算注意力函数：7.根据权利要求6所述的命名实体识别方法，其中，通过下述公式计算注意力函数：其中，w是权重向量，d
h
是隐藏表示的维度。8.根据权利要求1所述的命名实体识别方法，其中，所述将文本输入到经过训练的识别模型的步骤包括：对所述文本进行分词处理，得到分词序列；将所述分词序列输入共享层中的词嵌入层。9.根据权利要求1所述的命名实体识别方法，其中，该方法应用于电子商务场景；并且/或者所述文本是产品标题；并且/或者所述命名实体识别结果是产品标题中各分词对应的类别。10.一种命名实体识别方法，包括：提供命名实体识别模型，所述命名实体识别模型是通过以命名实体识别任务作为主任务，以句子分类任务作为辅助任务，按照多任务学习的方式，对命名实体识别模型和句子分类模型进行训练而得到的，其中命名实体识别模型和句子分类模型具有共用的共享层和各自的任务特定层；以及将文本输入到所述命名实体识别模型，得到相应的命名实体识别结果。
11.一种对产品标题的分词设置类别标签的方法，包括：提供类别识别模型，所述类别识别模型是通过以类别识别任务作为主任务，以句子分类任...

【专利技术属性】
技术研发人员：卡纳萨，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：