一种参考外部知识的指代消解方法及装置制造方法及图纸

本发明专利技术公开了一种参考外部知识的指代消解方法及装置，该方法首先输入句子训练提及识别模型，该模型标记出句子中的提及；输入指定两个或三个提及的句子拼接上提及对应的知识，训练关系分类模型判断指定提及中是否有共指关系，并标记出存在共指关系的提及。训练好模型后用于指代消解。本发明专利技术方法在参考外部知识进行指代消解的过程中，考虑了句子整体的语义信息。关系分类模型训练过程中，训练模型判断提及间是否存在共指关系，以及训练模型标记出存在共指关系的提及，并且输入有指代三个提及时，这种训练方法使得模型对提及和共指关系的理解更深刻，使模型有更强的指代消解能力。使模型有更强的指代消解能力。使模型有更强的指代消解能力。

【技术实现步骤摘要】
一种参考外部知识的指代消解方法及装置


[0001]本专利技术属于自然语言处理及指代消解技术的
，尤其涉及一种参考外部知识的指代消解方法及装置。

技术介绍

[0002]在语言学中，采用简称或代称来代替已经出现过的某一词语，这种情况称为指代。指代能够避免同一词语反复出现造成语句臃肿和赘述，但也会出现指代不明的问题。将指代同一对象的不同指称划分到一个等价集合的过程称为指代消解。指代消解是NLP领域一项基础性研究，在阅读理解、信息抽取、多轮对话等任务中起到重要作用。
[0003]指代消解主要经历了从规则到神经网络模型的发展过程。Hobbs等人提出一种指代消解算法，采用广度优先算法便利对文本解析生成的句法分析树，并根据手工规则有效匹配实体短语与先行语之间的共指关系。基于规则的指代消解方法通过制定严密的规则约束来达到匹配指代词和先行词的目的，没有很好的扩展性。随着数据规模的扩张，出现了基于统计学算法的指代消解。先行词和指代词之间的共现频率成为研究关系的指标。Dagan等提出了一种在大型语料库中自动收集共现模式统计信息的方法，能够达到消除回指指称和句法歧义的效果。随着机器学习的兴起，出现了基于机器学习的指代消解方法。机器学习方法可以认为是规则加统计方法的结合。McCarthy等人提出指称对模型，将指代消解任务转化为判断先行语与指代词之间是否匹配的分类任务。Luo等人将文本当中所有指称词组用贝尔树结构进行表示，采用“ANY”的特征表示形式来获取指代链特征。Yang等人采用归纳逻辑编程算法构建实体
‑
指称模型，为组织不同的实体知识和指称提供了一种关系式的方法。Iida等人提出一种基于中心理论构建的“tournament”模型，对两个候选先行语进行比较，选择概率大的建立共指关系。近几年，深度学习的发展使得越来越多的神经网络模型用于指定消解。《Improving Coreference Resolution by Learning Entity
‑
Level Distributed Representations》中提出了一种生成 Cluster
‑
Pair 向量的方法，并利用聚类的方式进行指代消解。
[0004]然而指代消解是一项很有挑战的任务，它需要对文本和常识有深刻的理解。例如“我的口袋里装着一个又大又圆的苹果，它快被撑破了。”和“我的口袋里装着一个又大又圆的苹果，它肯定很好吃。”这两句，“它”指代的对象可以是“口袋”也可以是“苹果”。想要实现指代消解必须对句子语义和提及的知识有所了解。《Knowledge
‑
aware Pronoun Coreference Resolution》提出了一种可以参考外部知识的指代消解方法，然而这种方法采用的模型结构提取特征能力弱，参考外部知识时也没有将整体句子语义考虑在内。之后的一些基于大模型以文本生成方式来进行指代消解的方法无法参考外部知识进行指代消解。

技术实现思路

[0005]针对现有技术不足，本专利技术提出了一种参考外部知识的指代消解方法。
[0006]为实现上述目的，本专利技术的技术方案为：
[0007]本专利技术第一方面：一种参考外部知识的指代消解方法，所述方法包括以下步骤：
[0008]（1）生成训练数据：获取目标文本，标记目标文本句子中的提及作为提及识别模型的训练数据；所述训练数据包括提及识别训练数据和关系分类训练数据；
[0009]（2）搭建提及识别模型和关系分类模型；
[0010]（3）利用步骤(1)得到的数据训练提及识别模型和关系分类模型；
[0011]（4）将训练好的模型用于指代消解；即先利用提及识别模型识别出句子中的提及，指定句子中的任意两个提及，从知识库中检索出指定提及的知识，并拼接到句子中后输入至关系分类模型中，所述关系分类模型则预测输入的提及是否有共指关系。
[0012]具体地，所述步骤（1）中标记目标文本句子中的提及作为提及识别模型的训练数据，具体为，指定文本句子中的两个或三个提及，检索出指定提及对应的知识，并标注指定提及间是否存在共指关系和存在共指关系的提及，作为关系分类模型的训练数据。
[0013]具体地，所述步骤（1）中提及识别训练数据用于训练提及识别模型，即对于输入句子，用0表示非提及，1表示提及的开始位置，2表示提及的非开始位置对句子进行标注得到提及识别标签序列。
[0014]具体地，所述训练提及识别模型时，输入句子，训练模型预测每个字符的标签；训练提及识别模型的损失函数为：
[0015][0016]其中Loss_tag为提及识别的损失，i为第i个位置，n为输入句子的长度，为第i个位置模型的预测类型值，为第i个位置的类型标签，s为输入句子的整数索引向量。
[0017]具体地，所述步骤（1）中关系分类训练数据用于训练关系分类模型，关系分类模型以“[CLS]”开始，之后拼接输入句子，之后拼接“[SEP]”，之后拼接指定提及对应的知识，保持长度不超过512；用指定提及码来表示指定提及的信息，将指定的提及信息以012序列的形式表示出来；0表示非指定内容，1表示指定提及的开始位置，2表示指定提及的非开始位置。
[0018]进一步地，所述步骤（4）中所述关系分类模型预测输入的提及是否有共指关系，其所述关系分类模型在训练时不仅要判断指定提及中是否有共指关系，并标记出有共指关系的提及；具体为：
[0019]（6.1）当所述关系分类模型输入中指定两个提及时，若这两个提及指代的是同一对象，关系分类模型应该判断有共指关系，并将这两个提及都进行标记；若这两个提及指代的是不同对象，关系分类模型应该判断无共指关系，则并不标记任何提及；
[0020]（6.2）当所述关系分类模型输入中指定三个提及时，若这三个提及指代的是同一对象，则关系分类模型应该判断有共指关系，并将这三个提及都进行标记；若只有两个指代的是同一对象，则关系分类模型应该判断有共指关系，并将这两个提及进行标记；若三个提及指代的是不同的对象，则关系分类模型应该判断无共指关系，则并不标记任何提及。
[0021]具体地，所述关系分类模型在训练时不仅要判断指定提及中是否有共指关系，并标记出有共指关系的提及，即训练关系分类模型时，指定两个或三个提及，训练模型判断指
定提及中是否存在共指关系，并标记出存在共指关系的提及，其训练关系分类模型的损失函数为：
[0022][0023]其中Loss_ref为关系分类模型的损失，为关系分类的模型预测值，r为关系分类的标签，sk为输入的句子和知识的拼接文本对应的整数索引向量，mids为输入的指定提及码，i为句子的第i个位置，n为句子的长度，为句子第i个位置模型的预测值，为句子第i个位置的标签。
[0024]进一步地，所述训练关系分类模型预测时，若只需要指定两个提及，关系分类模型判断指代的两个提及是否有共指关系。
[0025]具体地，所述步骤（2）中提及识别模型采用在中文语料上预训练过的S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种参考外部知识的指代消解方法，其特征在于，所述方法包括以下步骤：（1）生成训练数据：获取目标文本，标记目标文本句子中的提及作为提及识别模型的训练数据；所述训练数据包括提及识别训练数据和关系分类训练数据；（2）搭建提及识别模型和关系分类模型；（3）利用步骤(1)得到的数据训练提及识别模型和关系分类模型；（4）将训练好的模型用于指代消解；即先利用提及识别模型识别出句子中的提及，指定句子中的任意两个提及，从知识库中检索出指定提及的知识，并拼接到句子中后输入至关系分类模型中，所述关系分类模型则预测输入的提及是否有共指关系。2.根据权利要求1所述的一种参考外部知识的指代消解方法，其特征在于，所述步骤（1）中标记目标文本句子中的提及作为提及识别模型的训练数据，具体为，指定文本句子中的两个或三个提及，检索出指定提及对应的知识，并标注指定提及间是否存在共指关系和存在共指关系的提及，作为关系分类模型的训练数据。3.根据权利要求1所述的一种参考外部知识的指代消解方法，其特征在于，所述步骤（1）中提及识别训练数据用于训练提及识别模型，即对于输入句子，用0表示非提及，1表示提及的开始位置，2表示提及的非开始位置对句子进行标注得到提及识别标签序列。4.根据权利要求3所述的一种参考外部知识的指代消解方法，其特征在于，所述训练提及识别模型时，输入句子，训练模型预测每个字符的标签；训练提及识别模型的损失函数为：，其中Loss_tag为提及识别的损失，i为第i个位置，n为输入句子的长度，为第i个位置模型的预测类型值，为第i个位置的类型标签，s为输入句子的整数索引向量。5.根据权利要求1所述的一种参考外部知识的指代消解方法，其特征在于，所述步骤（1）中关系分类训练数据用于训练关系分类模型，关系分类模型以“[CLS]”开始，之后拼接输入句子，之后拼接“[SEP]”，之后拼接指定提及对应的知识，保持长度不超过512；用指定提及码来表示指定提及的信息，将指定的提及信息以012序列的形式表示出来；0表示非指定内容，1表示指定提及的开始位置，2表示指定提及的非开始位置。6.根据权利要求5所述的一种参考外部知识的指代消解方法，其特征在于，所述步骤（4）中所述关系分类模型预测输入的提及是否有共指关系，其所述关系分类模型在训练时不仅要判断指定提及中是否有共指关系，并标记出有共指关系的提及；具体为：（6.1）当所述关系...

【专利技术属性】
技术研发人员：宋伟，谢冰，朱世强，尹越，袭向明，赵鑫安，王雨菡，
申请(专利权)人：之江实验室，
类型：发明
国别省市：