【技术实现步骤摘要】
本专利技术涉及提取结构化实体关系，具体涉及多角度构建实体交互特征的细粒度增量式三元组关系抽取方法。
技术介绍
1、从非结构化文本中提取结构化实体关系三元组是自然语言处理领域的一个重要任务，涉及从文本中识别实体和实体对之间的关系分类。该任务在信息抽取、知识图谱构建、问答系统等应用中扮演着关键的角色。传统基于流水线的实体关系抽取方法通常将任务拆分为两个独立的子任务：实体识别和关系分类。这类方法结构简单，流程清晰，但分离式的架构存在级联误差问题，早期步骤中的错误无法被修改，影响后续步骤的预测结果。
2、为了克服传统方法中存在的级联误差问题，近年来，研究人员提出了联合式实体关系抽取方法。该方法将实体识别和关系分类任务联合解码，同时预测实体和关系。现有研究根据联合式方法的提取步骤将这类方法分为两种：
3、1)多阶段(multi-stage)式三元组提取。这类模型利用了不同层次的信息，通过逐步挖掘句子信息对特征进行约束，逐渐逼近真实结果，仍存在误差累积和暴露偏差问题。
4、2)单阶段(one stage)式三元组提取。这类模型对于三元组元素没有抽取顺序的限制，直接预测三元组结果，训练和测试时不存在分布差异，缓解了误差累积和暴露偏差。但存在信息挖掘不充分的问题。该问题的根本原因在于任务细粒度划分时可能忽略了实体和关系之间的关联模式。
技术实现思路
1、本专利技术的目的在于，提出多角度构建实体交互特征的细粒度增量式三元组关系抽取方法fiere，通过该方法提升信息
2、为实现上述目的，本申请提出的多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，包括：
3、使用预训练模型bert获取句子s中每个token ei在上下文中的深层语义特征；
4、双向映射模块fiere将所有token的特征同时向头实体和尾实体特征空间映射，再将头实体特征{h1,h2,…,hl}、尾实体特征{t1,t2,…,tl}按照对应维度拼接得到初始实体间交互矩阵，基于所述初始实体间交互矩阵得到统一特征空间的句子内部所有实体间交互矩阵；
5、构建基于置信度分数的关系标签分类器，使用该分类器对句子内部所有实体间交互矩阵按照不同的关系层次约束进行标签选择，获取关系层次约束下的实体对语义表征，得到不同标签在每个位置的概率，进而获得得分矩阵；
6、通过三维矩阵存储所述关系标签分类器的分类结果，该三维矩阵中使用富信息核标记策略。
7、进一步地，句子s＝{w1,w2,w3,…,wl}中包括数量为l的实体和数量为k的关系r＝{r1,r2,r3,…,rk}；实体关系联合提取的任务目标是识别句子s中所有可能的三元组其中n是句子中包含的三元组的数量，hi和ti分别是几个连续的组成的头实体和尾实体，ri表示实体对在句子中对应的关系。
8、进一步地，使用预训练模型bert获取句子s中每个token ei在上下文中的深层语义特征，具体为：
9、s({e1,e2,...,el})＝bert({x1,x2,...,xl})
10、其中xi是每个token在上下文中的语义表征，对应的是token嵌入和位置嵌入的总和。
11、进一步地，双向映射模块fiere将所有token的特征同时向头实体和尾实体特征空间映射，具体映射方式为：
12、
13、
14、其中φ(·)表示relu激活函数。
15、进一步地，将头实体特征{h1,h2,…,hl}、尾实体特征{t1,t2,…,tl}按照对应维度拼接得到初始实体间交互矩阵的形状为l×l×(h×2)，其中l为句子中token的总数，h为特征的维度，将所述初始实体间交互矩阵输入至特征融合模块，构建统一特征空间的句子内部所有实体间交互矩阵mfinal：
16、mfinal＝φ([ma；mb]·wfinalt+bfinal)
17、其中wfinal和bfinal是可训练的权重和偏置,[；]表示矩阵的拼接操作，φ(·)表示relu激活函数。
18、通过两个角度的特征源构建蕴含信息更丰富的多角度交互矩阵，得到所有实体对组合特征。这些特征在特定关系约束下实体对会组成实体关系三元组。
19、更进一步地，句子内部所有实体间交互矩阵mfinal中包含所有实体对组合(ei,ej)和实体对交互特征f(ei→ej)，实体顺序不可逆。本专利技术构建了基于置信度分数的关系标签分类器其中i,j表示句子中实体索引，i*,j*分别表示句子中头实体、尾实体的索引，rk表示产生该三元组的关系约束。使用该分类器对交互矩阵mfinal按照不同的关系层次约束进行标签选择。
20、由于关系层次难以分割，句子中实体对的约束强于关系层次，是关系约束的显性表示。依据这种关系将分类器重新定义，重构为二重分类模式。基于双向映射模块输出的句子内部所有实体间交互矩阵mfinall×l，分类器首先对所有实体对进行语义分析，构建关系约束器：
21、frel(ei→ej)＝[ei→ej]wrelt+brel
22、[ei→ej]表示实体i到实体j的单向交互特征，对应交互矩阵mfinall×l中[i,j]位置的特征向量；wrel表示可学习关系约束权重矩阵，brel表示可学习关系约束偏置矩阵；
23、通过上式获取关系层次约束下的实体对语义表征(ei,rk,ej)，得到不同标签在每个位置的概率，进而获得得分矩阵，具体定义为：
24、ftag(ei,rk,ej)＝frel(ei→ej)wtagt+btag
25、其中表示可学习的标签分类权重矩阵，dr表示关系表示的特征维度，7为riks标签策略中标签的数量，btag代表可学习的标签分类偏置矩阵。
26、传统分类器利用单步多分类完成挖掘实体对关系的任务，在多种关系中选择实体对的关系。这种定义下的分类函数将关系作为约束条件，将特征约束到不同关系空间，判断实体对特征在关系约束空间下是否会被凸显。这样可以将传统级联式解码转换为单步解码，降低多重分类带来的连接误差。通过关系约束权重矩阵学习实体对特征到不同约束条件下三元组表示的映射函数，提高分类结果准确性和可解释性。
27、更进一步地，对于句子s，为分类结果中所有可能的三元组分配标签，其中构建一个三维矩阵mk×l×l来存储所述关系标签分类器的分类结果，其中k表示数据集中关系数量，l表示句子长度。
28、基于“bie”(begin,inside,end)策略构建三维矩阵；“hb”表示头实体的开始标签，“he”表示头实体的结束标签，“tb”表示尾实体的开始标签，“te”表示尾实体的结束标签。如图1所示，句子中三元组在矩阵m中有九个特殊标签。通过实体边界来标记实体，标记策略中的标签被简化到四种：(1)hb-tb：该标签表示头实体的头部和尾实体的头部连接点；(2)hb-te：该标签本文档来自技高网...
【技术保护点】
1.多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，包括：
2.根据权利要求1所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，句子S＝{w1,w2,w3,…,wL}中包括数量为L的实体和数量为K的关系R＝{r1,r2,r3,...,rK}；句子S中所有可能的三元组其中N是句子中包含的三元组的数量，hi和ti分别是几个连续的组成的头实体和尾实体，ri表示实体对在句子中对应的关系。
3.根据权利要求2所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，使用预训练模型BERT获取句子S中每个token ei在上下文中的深层语义特征，具体为：
4.根据权利要求2所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，双向映射模块FIERE将所有token的特征同时向头实体和尾实体特征空间映射，具体映射方式为：
5.根据权利要求4所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，将头实体特征{h1,h2,…,hL}、尾实体特征{t1,t2,…
6.根据权利要求5所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，句子内部所有实体间交互矩阵Mfinal中包含所有实体对组合(ei,ej)和实体对交互特征f(ei→ej)，实体顺序不可逆；故基于置信度分数的关系标签分类器为其中i,j表示句子中实体索引，i*,j*分别表示句子中头实体、尾实体的索引，rk表示产生该三元组的关系约束。
7.根据权利要求6所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，关系标签分类器对所有实体对进行语义分析，构建关系约束器：
8.根据权利要求2所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，对于句子S，为分类结果中所有可能的三元组分配标签，其中构建一个三维矩阵MK×L×L来存储所述关系标签分类器的分类结果，其中K表示数据集中关系数量，L表示句子长度。
9.根据权利要求8所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，基于“BIE”策略构建三维矩阵；“HB”表示头实体的开始标签，“HE”表示头实体的结束标签，“TB”表示尾实体的开始标签，“TE”表示尾实体的结束标签；句子中三元组在矩阵M中有九个特殊标签；
10.根据权利要求1所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，将关系标签分类器输出的v输入到Softmax函数中建立关系标签分数矩阵：
...【技术特征摘要】
1.多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，包括：
2.根据权利要求1所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，句子s＝{w1,w2,w3,…,wl}中包括数量为l的实体和数量为k的关系r＝{r1,r2,r3,...,rk}；句子s中所有可能的三元组其中n是句子中包含的三元组的数量，hi和ti分别是几个连续的组成的头实体和尾实体，ri表示实体对在句子中对应的关系。
3.根据权利要求2所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，使用预训练模型bert获取句子s中每个token ei在上下文中的深层语义特征，具体为：
4.根据权利要求2所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，双向映射模块fiere将所有token的特征同时向头实体和尾实体特征空间映射，具体映射方式为：
5.根据权利要求4所述多角度构建实体交互特征的细粒度增量式三元组关系抽取方法，其特征在于，将头实体特征{h1,h2,…,hl}、尾实体特征{t1,t2,…,tl}按照对应维度拼接得到初始实体间交互矩阵的形状为l×l×(h×2)，其中l为句子中token的总数，h为特征的维度，将所述初始实体间交互矩阵输入至特征融合模块，构建统一特征空间的句子内部所有实体间交互矩阵mfinal：
6.根据权...
【专利技术属性】
技术研发人员：张强，钟兆前，车超，吴俊贤，李家兴，
申请(专利权)人：大连大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。