【技术实现步骤摘要】
本专利技术属于数据处理，具体涉及一种基于细粒度匹配的零样本关系抽取方法。
技术介绍
1、关系抽取是信息抽取任务的一个重要组成部分，其旨在从海量的非结构化文本中自动地抽取出蕴含的关系事实，并形成结构化的关系三元组。这些结构化的关系事实作为人类知识的宝贵组成部分，能够实现对诸如知识库补全与推理、互联网搜索、自动问答等多种下游任务的有效支持，具有极高的实用价值。
2、随着深度学习技术的引入，许多高效的网络结构与精巧的训练策略被提出并用于关系语义的提取。得益于深度学习强大的特征抽取能力，通过监督学习方法以及大量的标注数据可以导出高性能的关系抽取模型。这种监督分类的范式构建在封闭世界假设以及大数据假设的基础之上，也即要求训练和测试均围绕预先定义好的若干类别展开，同时要求预定义类别具有大量的金标数据来进行训练。然而，真实场景下的模型输入通常会遇见缺少标注数据的新兴关系，因而零样本场景下的关系抽取需求得到了许多从业人员的关注。
3、针对零样本的关系抽取任务，一种主流的深度学习方法是将传统的分类范式转化为输入数据与关系描述之间的文本匹配范式，而基于双塔结构的方法和基于全交互结构的方法又是文本匹配范式下的主流方法。得益于关系描述的预编码特性，双塔结构拥有很优秀的推理耗时表现，但也因此造成了低推理精度的情况。而全交互结构方法虽然拥有高精度的推理表现，但是不可避免的存在较高的推理时延代价。同时深度学习方法也存在很显著的“捷径学习”情况，即相比于学到真正的关系抽取知识而言，神经网络更倾向于只学习文本表层的简单特征来进行推理。p>
技术实现思路
1、为了解决现有的文本匹配范式在零样本关系抽取中存在的上述问题，希望既保留双塔结构的低推理时延，又可以缓解“捷径学习”以及双塔结构预编码特性带来的精度损失，本专利技术提出了一种具有“高精度，低推理时延”的基于细粒度匹配的零样本关系抽取方法，以有效地提升现有方法在面对缺乏标注数据的新兴关系类别的表现。
2、其具体技术方案如下：
3、本专利技术提供了一种基于细粒度匹配的零样本关系抽取方法，其特征在于，包括以下步骤：步骤s1，为所需抽取的零样本关系类别人工设计对应的关系描述，并显式标注出每个关系描述对应的头尾实体类别，再对头尾实体类别进行扩充；步骤s2，将关系描述以及对应的头尾实体类别输入到预先训练过的关系描述编码器中，得到关系描述的头尾实体特征表示，并存储起来；步骤s3，对原始语句中的头尾实体进行实体标记处理后，输入到经过预训练的特征提取网络中，得到原始语句的词元特征表示、句子特征表示以及原始语句中的实体对特征表示；步骤s4，将词元特征表示输入至文本关系特征蒸馏网络，通过梯度反转以及投影方式的方法，结合自注意力机制对原始语句中关系无关的语义内容进行蒸馏，得到原始语句中表示关系内容的句子关系特征表示；步骤s5，将实体对特征表示与蒸馏得到的句子关系特征表示输入至文本匹配模块，分别与关系描述以及头尾实体特征表示进行显式的结构化细粒度匹配，得到原始语句与对应关系描述之间的总相似度。
4、本专利技术提供的一种基于细粒度匹配的零样本关系抽取方法，还可以具有这样的技术特征，其中，在步骤s1中，采用自动化的爬虫方式为头尾实体类别爬取相关词，再人工挑选相关近义词对该头尾实体类别进行扩充。
5、本专利技术提供的一种基于细粒度匹配的零样本关系抽取方法，还可以具有这样的技术特征，其中，关系描述编码器采用sentence-transformer，对于多个头尾实体类别，基于硬模板方式使其句子化。
6、本专利技术提供的一种基于细粒度匹配的零样本关系抽取方法，还可以具有这样的技术特征，其中，在步骤s3中，特征提取网络为bert模型，采用特殊符号对原始语句中的头尾实体进行标记后，基于bert模型获取原始语句中每个词元的特征表示，用特殊符号对应的词元特征表示作为原始语句的句子特征表示，用实体对对应的词元特征表示经最大池化后作为原始语句中实体对特征表示。
7、本专利技术提供的一种基于细粒度匹配的零样本关系抽取方法，还可以具有这样的技术特征，其中，文本关系特征蒸馏网络包括一个可学习的参数模块、一个带有梯度反转层的线性分类器以及投影蒸馏模块，步骤s4包括以下子步骤：步骤s4-1，通过可学习的参数模块对词元特征表示基于自注意力机制进行语义提取；步骤s4-2，将提取出来的语义输入至线性分类器中，利用多分类交叉熵损失作为目标函数，以获取原始语句中与关系无关的语义特征表示；步骤s4-3，采用投影机制，基于步骤s4-2获取的语气特征表示，通过投影蒸馏模块对步骤s3获取的句子特征表示进行蒸馏，以剔除与关系无关的语义特征表示，从而蒸馏出纯净的与关系相关的句子关系特征表示。
8、本专利技术提供的一种基于细粒度匹配的零样本关系抽取方法，还可以具有这样的技术特征，其中，结构化细粒度匹配为：基于双塔结构的思路，利用cos相似度作为度量指标，计算关系描述与原始语句的句子关系特征表示的相似度，计算头尾实体特征表示与原始语句中的实体对特征表示的相似度，之后通过加权计算获取该原始语句与对应关系描述之间的总相似度。
9、专利技术作用与效果
10、根据本专利技术的一种基于细粒度匹配的零样本关系抽取方法，首先人工设计关系描述，并标注对应的头尾实体类别，并且针对关系描述中多实体类别的情况，提出了基于相关词扩充融合模版句子生成方法，不仅丰富了关系描述中的实体类别信息，同时又拉近了句子编码器与孤立实体类别之间的间隔，获得了更好的实体类别表示，提升了匹配精度。其次，提出了基于投影的句子关系表示蒸馏方法，通过带有梯度反转的分类模块以及基于自注意力机制的特征提取方法，利用投影的方法去除原始语句中关系无关的冗余信息，获得原始语句中纯净的关系语义表示，进一步地提升了匹配精度。最后基于双塔结构的思路，利用cos相似度作为度量指标，对关系描述和原始语句进行显式的细粒度结构化匹配，使实体与实体进行匹配，句子与句子匹配，避免双塔结构预编码特性带来的精度损失。
11、综上，本专利技术的关系抽取方法显式地对输入文本和关系描述进行细粒度结构化匹配，极大地提高了双塔结构的匹配精度，能够在保留双塔结构的低推理时延优势的前提下，达到全交互的高精度推理表现。
本文档来自技高网...【技术保护点】
1.一种基于细粒度匹配的零样本关系抽取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于细粒度匹配的零样本关系抽取方法，其特征在于：
3.根据权利要求1所述的基于细粒度匹配的零样本关系抽取方法，其特征在于：
4.根据权利要求1所述的基于细粒度匹配的零样本关系抽取方法，其特征在于：
5.根据权利要求1所述的基于细粒度匹配的零样本关系抽取方法，其特征在于：
6.根据权利要求1所述的基于细粒度匹配的零样本关系抽取方法，其特征在于：
【技术特征摘要】
1.一种基于细粒度匹配的零样本关系抽取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于细粒度匹配的零样本关系抽取方法，其特征在于：
3.根据权利要求1所述的基于细粒度匹配的零样本关系抽取方法，其特征在于：
...【专利技术属性】
技术研发人员：桂韬，张奇，黄萱菁，乔梁，程战战，
申请(专利权)人：复旦大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。