【技术实现步骤摘要】
一种实现指代消解的方法及装置
本专利技术涉及计算机
，尤其涉及的是一种实现指代消解的方法及装置。
技术介绍
指代是自然语言中常见的语言现象，它对于简化表述，衔接上下文起着重要的作用。例如：小明的妈妈是一名工程师，她也很喜欢料理。句中代词“她”所指代的是“小明的妈妈”。在自然语言理解任务中，只有计算机清楚地了解这种指代的语言结构才能更好地理解语言所表达的具体信息。在语言学中，指代词称为照应语，所指的对象或内容称为先行语。先行语可以在照应语前面，也可以在照应语后面。指代消解，就是确定照应语与先行语之间的相互关系，从而明确照应语指代的是什么对象。相关技术中，指代消解通常采用基于句法分析的指代消解，这种方法利用句法层面知识，以启发式方法解决指代消解，比如RAP(ResolutionofAnaphoraProcedure，过程消解)等。但是这种方法需要人工构建大量的语言学特征，模型的好坏很大程度上取决于对语言学特征的设计，如果对语言学的了解不够，则会影响模型的预测效果。
技术实现思路
...
【技术保护点】
1.一种实现指代消解的方法，包括：/n向语言模型输入句子样本，对所述语言模型进行无监督预训练：随机掩盖所述句子样本的一部分原文，训练所述语言模型通过上下文的信息预测被掩盖的原文部分；其中，所述语言模型是基于神经网络的自然语言处理NLP模型；/n对所述经过无监督预训练的语言模型进行针对指代消解任务的有监督训练：向所述语言模型输入句子样本以及所述句子样本中照应语的信息，训练所述语言模型预测照应语在句子中指代的先行语，为所述语言模型的输出添加指示先行语信息的输出标签；/n向所述经过有监督训练的语言模型输入句子和照应语的信息，利用所述语言模型预测所述照应语在句子中指代的先行语。/n
【技术特征摘要】
1.一种实现指代消解的方法，包括：
向语言模型输入句子样本，对所述语言模型进行无监督预训练：随机掩盖所述句子样本的一部分原文，训练所述语言模型通过上下文的信息预测被掩盖的原文部分；其中，所述语言模型是基于神经网络的自然语言处理NLP模型；
对所述经过无监督预训练的语言模型进行针对指代消解任务的有监督训练：向所述语言模型输入句子样本以及所述句子样本中照应语的信息，训练所述语言模型预测照应语在句子中指代的先行语，为所述语言模型的输出添加指示先行语信息的输出标签；
向所述经过有监督训练的语言模型输入句子和照应语的信息，利用所述语言模型预测所述照应语在句子中指代的先行语。
2.如权利要求1所述的方法，其特征在于：
所述对所述语言模型进行无监督预训练，包括：
采用自编码的方式对所述语言模型进行预训练。
3.如权利要求1所述的方法，其特征在于：
所述训练所述语言模型预测照应语在句子中指代的先行语，包括：
对输入所述语言模型的句子以及照应语的信息进行文本数字化以及位置信息编码，生成输入信息矩阵；
利用所述语言模型对所述输入信息矩阵进行模型运算输出输出信息矩阵，所述输出信息矩阵携带所述照应语在句子中指代的先行语的信息；
其中，所述语言模型是经过无监督预训练的语言模型。
4.如权利要求3所述的方法，其特征在于：
所述利用所述语言模型预测所述照应语在句子中指代的先行语，包括：
对输入所述语言模型的句子以及照应语的信息进行文本数字化以及位置信息编码，生成输入信息矩阵；
利用所述语言模型对所述输入信息矩阵进行模型运算输出输出信息矩阵，所述输出信息矩阵携带所述照应语在句子中指代的先行语的信息；
其中，所述语言模型是经过有监督训练的语言模型。
5.如权利要求3或4所述的方法，其特征在于：
所述对输入所述语言模型的句子以及照应语的信息进行文本数字化以及位置信息编码，生成输入信息矩阵，包括：
将句子中的每一个信息单元的文本信息通过文本数字化转化为字向量或词向量，由所述句子的所有信息单元的字向量或词...
【专利技术属性】
技术研发人员：陈栋，付骁弈，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。