实体层次信息增强原型表征的小样本命名实体识别方法技术

本发明专利技术公开了一种实体层次信息增强原型表征的小样本命名实体识别方法，属于自然语言处理技术领域。主要包括两个模块：1）边界识别模块：将训练数据输入到边界识别模块，检测实体跨度在句子中的边界；2）实体分类模块：使用同一个编码器训练数据和实体层次的分支描述进行编码，得到分支描述表征和原始原型表征；通过三仿射注意力机制将实体层次的分支描述融入到原始原型表征中，得到层次指导的原型表征；使用层次

【技术实现步骤摘要】
实体层次信息增强原型表征的小样本命名实体识别方法


[0001]本专利技术属于自然语言处理
，尤其涉及一种实体层次信息增强原型表征的小样本命名实体识别方法。

技术介绍

[0002]命名实体识别旨在识别句子中的实体提及并归类到预定义的类，例如人物、组织、地点等。例如，对于给定而句子“A是一个篮球运动员，出生于上海”，命名实体识别的任务是识别出“A”是一个人物类型实体，“上海”是一个地点类型实体。命名实体识别是信息抽取、问答系统、句法分析、机器翻译等下游任务的基础，在自然语言处理技术走向实用化的过程中占有重要地位。
[0003]自从大规模预训练语言模型出现以后,受监督的命名实体识别方法迅速发展。然而，在实际情况中，往往缺乏足够多的标注样本并且新的实体类型层出不穷。人工注释大量的数据需要消耗大量的人力物力。因此，越来越多的工作开始转向小样本命名实体识别的研究。基于度量学习的方法(例如，原型网络)已经在小样本学习领域开展了大量的研究并取得很大的成功。原型网络的核心思想是每个实体类学习一个原型表征，然后通过计算样本与类原型之间的距离，从而对样本实现归类。在命名实体识别任务中，字符级别的原型网络方法是将句子中不同类型的字符计算类原型并对其进行归类，然后提取字符的组合来抽取实体；跨度级别的原型网络方法则是将句子中而实体跨度按实体类别计算原型并进行归类，直接对实体跨度进行归类。越来越多的研究已经从前者向后者转移，这样就绕过了对标签过度依赖的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种实体层次信息增强原型表征的小样本命名实体识别方法，从而开发小样本命名模型的性能，使用文本的层次描述信息增强原始原型的表征，减少单位样本标注成本以及减少人工标注数据量，提高命名实体识别准确度。
[0005]为实现上述目的，本专利技术采用的技术方案如下：
[0006]一种实体层次信息增强原型表征的小样本命名实体识别方法，主要包括边界识别模块和实体分类模块；边界识别模块：将训练数据输入到边界识别模块，检测实体跨度在句子中的边界；实体分类模块：使用同一个编码器训练数据和实体层次的分支描述进行编码，得到分支描述表征和原始原型表征，通过三仿射注意力机制将实体层次的分支描述融入到原始原型表征中，得到层次指导的原型表征，使用层次
‑
示例对比学习方法，拉进与层次原型同类样本之间的距离，拉远与之不同类样本的距离。
[0007]一种实体层次信息增强原型表征的小样本命名实体识别方法，具体步骤如下：
[0008]S1、将训练集进行划分为查询集和支持集，用来训练边界识别模块，得到实体跨度的边界；
[0009]S2、将分支描述、查询集和支持集一同进行编码，获得查询集和支持集中样本的跨
度表征，由支持集的样本的跨度表征计算实体类原型表征，由分支描述得到层次原型表征；
[0010]S3、采用改进的三仿射注意力机制，将分支描述中的实体层次知识融入到原始的原型表征中，得到实体层次指导的原型表征；
[0011]S4、为了减小实体和分支描述之间的表征差异，提出一种层次
‑
示例对比学习算法，将层次原型作为监督信号，从而减少不必要噪声信息；
[0012]S5、计算查询集样本到实体层次指导的原型表征距离，使用交叉熵函数计算损失，与层次
‑
示例对比学习损失联合训练实体识别模块；
[0013]S6、将训练集中的样本计算得到类别中心，使用训练好的边界识别模块抽取测试集中的实体跨度，使用实体识别模块计算实体跨度到类别中心的距离对实体跨度进行分类。
[0014]本专利技术技术方案的进一步改进在于：步骤S1所述的训练边界识别模块，得到实体跨度的边界的过程为：
[0015]所有数据集采用BIOES标注模式，“B”代表实体的开始字符，“I”表示中间字符，“E”表示结尾字符，“S”表示单个实体词，“O”表示非实体词；基于BERT
‑
CRF模型，用序列标注的方法来执行实体跨度的边界检测，在执行过程中不关注实体类型，只提取实体的跨度。
[0016]本专利技术技术方案的进一步改进在于：步骤S2所述的将分支描述、查询集和支持集一同进行编码具体过程如下：
[0017]S2.1、对分支描述手工构建的模板如下：
[0018][CLS][直接子类名称：直接子类描述]，包括[间接子类集合]，[SEP][提示后缀]；
[0019]S2.2、用同一个BERT模型对查询集、支持集和分支描述一同编码，分别得到查询集、支持集和分支描述的嵌入表征；然后将查询集和支持集的嵌入表征分别输入到一个BiLSTM层和Self
‑
Attention层获得各自集合中的实体提及的跨度表征；将支持集中的同类实体样本的跨度表征求平均值得到该类的原型表征；
[0020]S2.3、由上一步骤方式分别得到查询集和支持集中样本的跨度表示和由支持集中的样本按照类别求平均得到原型表征：
[0021][0022]本专利技术技术方案的进一步改进在于：为了使实体表征更好地融入上下文信息，实体表征问题被视为一个跨度标注问题，对于长度为n的句子X＝{w1，w2，...，w
i
，...，w
n
}和一个实体片段b
i
和e
i
分别表示实体片段的开始和结束下标，首先x输入到预训练语言模型PLM中得到向量嵌入表示，{c1，c2，...，c
i
，...，c
n
}＝PLM(X)，然后通过BiLSTM层和Self
‑
Attention层获得跨度的上下文表征：
[0023]{u1，u2，...，u
i
，...，u
n
}＝BiLSTM([c1，c2，...，c
i
，...，c
n
])
[0024][0025]跨度边界表征通过拼接跨度开始和结束位置的嵌入获得：
[0026][0027]将上下文表征和边界表征拼接得到最终的实体跨度表征：
[0028][0029]本专利技术技术方案的进一步改进在于：步骤S3所述得到实体层次指导的原型表征步骤如下：
[0030]S3.1：对于给定张量和通过三仿射变换将其作为输入得到一个标量作为输出，首先应用多层感知机来转换这些张量，然后与常量1进行拼接，最后进行向量乘法输出结果，
[0031][0032]z'＝MLP
b
(z)
[0033]TriAff(x，y，z，W)＝Q
×1x
′×2z
×′2y
′
[0034]其中，表示将tensor与常量1进行拼接，
×
n
表示mode
‑
n tensor向量乘法，MLP表示多层感知机，参数W用标准正太分布来初始化，原型表征P
i
和体系原型表征B
i本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于：主要包括边界识别模块和实体分类模块；边界识别模块：将训练数据输入到边界识别模块，检测实体跨度在句子中的边界；实体分类模块：使用同一个编码器训练数据和实体层次的分支描述进行编码，得到分支描述表征和原始原型表征，通过三仿射注意力机制将实体层次的分支描述融入到原始原型表征中，得到层次指导的原型表征，使用层次
‑
示例对比学习方法，拉进与层次原型同类样本之间的距离，拉远与之不同类样本的距离。2.根据权利要求1所述的一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于具体步骤如下：S1、将训练集进行划分为查询集和支持集，用来训练边界识别模块，得到实体跨度的边界；S2、将分支描述、查询集和支持集一同进行编码，获得查询集和支持集中样本的跨度表征，由支持集的样本的跨度表征计算实体类原型表征，由分支描述得到层次原型表征；S3、采用改进的三仿射注意力机制，将分支描述中的实体层次知识融入到原始的原型表征中，得到实体层次指导的原型表征；S4、为了减小实体和分支描述之间的表征差异，提出一种层次
‑
示例对比学习算法，将层次原型作为监督信号，从而减少不必要噪声信息；S5、计算查询集样本到实体层次指导的原型表征距离，使用交叉熵函数计算损失，与层次
‑
示例对比学习损失联合训练实体识别模块；S6、将训练集中的样本计算得到类别中心，使用训练好的边界识别模块抽取测试集中的实体跨度，使用实体识别模块计算实体跨度到类别中心的距离对实体跨度进行分类。3.根据权利要求2所述的一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于：步骤S1所述的训练边界识别模块，得到实体跨度的边界的过程为：所有数据集采用BIOES标注模式，“B”代表实体的开始字符，“I”表示中间字符，“E”表示结尾字符，“S”表示单个实体词，“O”表示非实体词；基于BERT
‑
CRF模型，用序列标注的方法来执行实体跨度的边界检测，在执行过程中不关注实体类型，只提取实体的跨度。4.根据权利要求2所述的一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于：步骤S2所述的将分支描述、查询集和支持集一同进行编码具体过程如下：S2.1、对分支描述手工构建的模板如下：[CLS][直接子类名称：直接子类描述]，包括[间接子类集合]，[SEP][提示后缀]；S2.2、用同一个BERT模型对查询集、支持集和分支描述一同编码，分别得到查询集、支持集和分支描述的嵌入表征；然后将查询集和支持集的嵌入表征分别输入到一个BiLSTM层和Self
‑
Attention层获得各自集合中的实体提及的跨度表征；将支持集中的同类实体样本的跨度表征求平均值得到该类的原型表征；S2.3、由上一步骤方式分别得到查询集和支持集中样本的跨度表示和由支持集中的样本按照类别求平均得到原型表征：
5.根据权利要求4所述的一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于：为了使实体表征更好地融入上下文信息，实体表征问题被视为一个跨度标注问题，对于长度为n的句子X＝{w1，w2，...，w
i
，...，w
n
}和一个实体片段b
i...

【专利技术属性】
技术研发人员：冯建周，徐甘霖，顾成汉，魏千越，王琴，
申请(专利权)人：燕山大学，
类型：发明
国别省市：