一种基于跨度边界感知的嵌套命名实体识别方法技术

本发明专利技术公开了本发明专利技术涉及信息抽取技术领域，具体涉及一种基于跨度边界感知的嵌套命名实体识别方法

【技术实现步骤摘要】
一种基于跨度边界感知的嵌套命名实体识别方法


[0001]本专利技术涉及信息抽取
，具体涉及一种基于跨度边界感知的嵌套命名实体识别方法
。

技术介绍

[0002]随着文本信息数量的快速增长，命名实体识别已经成为自然语言处理领域中非常重要的任务之一
。
在传统的研究中，命名实体识别通常被建模为序列标注任务，使用序列模型来输出具有最大概率的标签序列，然而，传统的序列标注模型无法处理嵌套结构
。
嵌套命名实体识别作为命名实体识别的一种扩展形式，旨在将由两个或多个相互嵌套的命名实体识别出来
。
因此，嵌套命名实体识别是
NER
的一个更加复杂和具有挑战性的任务
.
[0003]当前的跨度嵌套命名实体识别方法通常采用穷举跨度并采用简单的聚合策略
(
如池化或拼接头尾词元
)
来构建跨度表示
。
然而，由于嵌套实体之间存在词元高度重叠，甚至共享相同头尾词元的现象，导致现有方法生成的嵌套实体表示之间相似度较高，使得分类器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于跨度边界感知的嵌套命名实体识别方法，其特征在于，所述会话推荐方法具体步骤如下：步骤
S10
：构建跨度语义编码器，在预训练语言模型
BERT
的词级特征编码的基础上，引入双仿射机制，构造跨度语义表征矩阵；步骤
S20
：设计语义差分模块，通过设计二阶对角邻域差分算子，将跨度语义表示转化为跨度间语义差异表示；步骤
S30
：设计边界感知模块，构建一层可学习的滑动卷积核，强化跨度间的语义差异，从而感知潜在命名实体的边界；步骤
S40
：构建跨度语义解码器，基于线性解码器对潜在命名实体进行分类
。2.
根据权利要求1所述的基于跨度边界感知的嵌套命名实体识别方法，其特征在于：所述步骤
S10
的具体步骤如下：步骤
S101
，给定句子为
X
＝
{x1，
x2，
...
，
x
l
}
，利用预训练模型
BERT
将词元
x
i
向量化，得到句子的词级特征表示向量
H
；步骤
S102
，设计两个前馈神经网络进行词元映射变换，得到跨度的头词元和尾词元的语义表示向量
(h
s
，
h
e
)
，计算公式如下：
h
s
＝
GELU(HW
s
)h
e
＝
GELU(HW
e
)
其中，表示该实数矩阵的维度分别为
l
和
h
，的上标
h
为隐藏层数；表示该实数矩阵的维度分别为
h
和
h
，均为可训练的参数矩阵，
r
为双仿射特征数；
GELU
为激活函数；步骤
S103
，使用双仿射模型融合跨度头词元和尾词元
(h
s
，
h
e
)
以及对应跨度的宽度表示向量
w
ij
，捕获头尾词元语义表示之间的语义相关性，从而构建跨度表示矩阵其中，表示该实数矩阵的维度分别为
l
，
l
和
d
，
l
为句子的长度，
d
为跨度语义的特征向量维度，对于头词元的位置索引为
i
，尾词元的位置索引为
j
的跨度
S
ij
，对应跨度表示矩阵
M0中的表示向量计算公式如下：其中，
h
s
[i]
的含义是位置索引为
i
的头词元的语义表示向量
、h
e
[j]
的含义是位置索引为
j
的头词元的语义表示向量，
h
e
[j]
T
为位置索引为
j
的头词元的语义表示向量
h
e
[j]
的转置矩阵；为跨度
S
ij
宽度的嵌入，
c
为跨度宽度嵌入数；和和表示该实数矩阵的维度分别为
(2h+c)
和
r
，表示该实数矩阵的维度分别为
h
，
r
和
h
，为可训练的参数矩阵，
r
为双仿射特征数，代表张量的拼接操作，当位于双仿射模型输出的
M0矩阵的非对角线位置时，跨度
S
ij
的表示具有两种形式，即

【专利技术属性】
技术研发人员：甘洋镭，刘峤，骆妲，高万年，蔡宇翔，侯睿，代婷婷，佟飘，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：