一种基于反事实与路径挖掘的事件溯因推理方法技术

本发明专利技术公开了一种基于反事实与路径挖掘的事件溯因推理方法，包括：采用自注意力机制获得因果效应矩阵，利用图神经网络将其导入事件结点表示；利用注意力机制形成中间隐状态，引导RoBERTa模型抽取观测事件的关键特征h

【技术实现步骤摘要】
一种基于反事实与路径挖掘的事件溯因推理方法


[0001]本专利技术属于自然语言处理领域，尤其涉及一种基于反事实与路径挖掘的事件溯因推理方法。

技术介绍

[0002]自然语言处理领域中有大量监督训练的模型，根据带有标记值的文本对其进行训练，旨在寻找输入文本与结果标签之间的直接联系。这种模型往往是黑盒模型，不具备可解释性。因此，在自然语言理解的基础上进行自然语言推理，显得十分必要，并且长期以来人类认为“溯因”这种行为是人们解读、理解自然语言的核心。本文选择αNLI任务进行溯因推理，以反应模型的推理能力。αNLI溯因推理任务是根据不完全观察情境，选择最合理解释或假设推论。
[0003]针对αNLI任务，Bhagavatula C, Le Bras R, Malaviya C, et al.
ꢀ“
AbductiveCommonsense Reasoning”采用预训练语言模型BERT和GPT进行编码，训练模型的推理能力。Thayaparan M, Valentino M, Freitas A.
ꢀ“
Expla本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于反事实与路径挖掘的事件溯因推理方法，其特征在于，包括如下步骤：S1、输入观察事件文本与假设事件文本，并给定假设事件H；S2、利用RoBERTa预训练语言模型对观察事件文本和假设事件文本进行编码，获得浅层事件特征；S3、利用自注意力机制获得观察事件文本和假设事件文本的注意力得分，并作为观察事件、假设事件之间的因果效应矩阵A*；S4、根据因果效应矩阵A*，利用图神经网络对步骤S2中的浅层事件特征进行编码，获得事件表示；S5、利用注意力机制将假设事件表示和观察事件表示形成中间隐状态Z，指导RoBERTa预训练语言模型对观测事件进一步编码，抽取影响因果效应的关键特征h
att
；S6、利用余弦相似度将观察事件和假设事件投影到外部事件逻辑图上，并利用强化学习算法获得类似观察事件与类似假设事件之间的逻辑链路径集；S7、通过深度神经网络迭代计算逻辑间的概率转移及更新前序事件链表示，获得所有事件链表示S；S8、通过对给定假设表示V
H
与所有事件链表示S进行注意力机制，获得基于外部事件逻辑图的上下文向量q
path
；S9、将关键特征h
att
与上下文向量q
path
相拼接，计算针对假设事件H的合理值得分；S10、迭代选择假设事件H，且每次仅带入一个，选择合理值得分最高的假设作为最有可能发生的合理假设；S11、通过预测损失函数、逻辑链推理损失函数、反事实敏感性损失函数和三元组损失函数四部分联合优化事件溯因推理方法。2.根据权利要求1所述的基于反事实与路径挖掘的事件溯因推理方法，其特征在于，步骤S1中，观察事件包括背景事件和结果事件，假设事件包括假设事件H1和假设事件H2，每次仅给出一个假设事件进行操作。3.根据权利要求1所述的基于反事实与路径挖掘的事件溯因推理方法，其特征在于，步骤S2中，通过Huggingface网站一键式构建RoBERTa预训练语言模型，在事件文本中添加[CLS]作为第一个标记，在RoBERTa预训练语言模型中对该条文本编码后，将[CLS]的表示向量作为该给定事件的浅层特征表示。4.根据权利要求1所述的基于反事实与路径挖掘的事件溯因推理方法，其特征在于，步骤S4中，获得事件表示的具体内容为：将每一个事件的[CLS]表示和因果效应矩阵A*输入到图卷积神经网络中进行编码，获得事件表示，，。5.根据权利要求1所述的基于反事实与路径挖掘的事件溯因推理方法，其特征在于，步骤S5中，抽取影响因果效应的关键特征h
att
的具体步骤如下：S501、V表示步骤S4中获得的事件表示，针对背景事件得到对应的注意力得分的公式如下：其中，表示softmax操作；为背景事件对应的注意力得分；为注意力网络系
数；结果事件和假设事件H1对应的注意力得分同样通过上述公式计算得到，通过对应的注意力得分将各个事件表示融合以得到中间隐状态Z，具体计算公式为：其中，为结果事件对应的注意力得分；为假设事件H1对应的注意力得分；表示融入了事件、和假设事件H1的信息；S502、利用正向注意力机制从中间隐状态Z出发，观察给定事件的浅层事件特征，抽取相关性的因果效应特征，记为；利用反向注意力机制，对取反，进行注意力操作，记为：：；S503、将正向注意力机制的相关内容与反向注意力机制的不相关内容相加，得到影响因果效应的关键特征h
att
：。6.根据权利要求1所述的基于反事实与路径挖掘的事件溯因推理方法，其特征在于，步骤S6中，获得逻辑链路径集的具体步骤为：S601、将外部事件图定义为G，一个事件定义为图上结点N，事件间的因果关系定义为边R；S602、外部事件图的因果效应矩阵记为，其中表示事件i导致事件j，表示事件i不会导致事件j；S603、利用余弦相似度将观察事件和假设事件投影到外部事件逻辑图，具体公式为：其中，表示相似度值最高的外部事件图上结点，即给定事件的投影；S604、背景事件、结果事件、假设事件H分别对应为，表示为；S605、采用单智能体强化学习进行路径搜索，强化学习的整体环境由动作空间Action、状态State、策略网络Policy Network和奖励函数Reward四部分组成，结合DeepPath方法和NLI预测问题对状态State、策略网络Policy Network和奖励函数Reward进行改动，具体内容如下：利用策略网络，智能体在每一个时间步内从动作空间Action中找到一个关系作
为路径，通过选择关系到达下一个结点，该结点具有一个新状态，在时间步t的新状态向量定义为：其中， 为结点的表示，为结点的表示，为时间步t时刻选择关系关联到的结点表示，衡量当前选择结点与目标结点之间的差距；将新状态输入到LSTM中获得t...

【专利技术属性】
技术研发人员：孙圣杰，荣欢，马廷淮，杨毅，蒋永溢，汤子睿，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：