一种基于场景图演化的过程性文本理解方法和系统技术方案

本发明专利技术公开了一种基于场景图演化的过程性文本理解方法和系统。该方法主要包含：图结构编码器充分建模当前场景图中不同实体、状态、位置和常识概念之间的交互信息；上下文编码器充分挖掘当前时刻自然语言中表达的新事件信息；图结构预测器通过图结构编码器提供的场景图信息和上下文编码器提供的新事件信息预测下一时刻的场景图结构；状态推理器基于图结构预测器自回归形式地预测出一系列时刻的场景图结构，通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。本发明专利技术能够有效提升过程性文本理解任务的性能，并且基于图的推理方法能够同步追踪所有实体，显著提升了过程性文本理解系统的效率。显著提升了过程性文本理解系统的效率。显著提升了过程性文本理解系统的效率。

A process text understanding method and system based on scene graph evolution

【技术实现步骤摘要】
一种基于场景图演化的过程性文本理解方法和系统


[0001]本专利技术涉及一种过程性文本理解方法，特别是涉及一种基于场景图演化的过程性文本理解方法和系统，属于自然语言处理


技术介绍

[0002]理解事件是如何影响世界是智能的一个本质问题。过程性文本理解任务，旨在追踪自然语言文本中涉及到的不同实体的状态和位置信息，是评估机器能否理解世界变化智能的一个代表性任务。如图1(a)所示，给定一段描述光合作用的自然语言文本，机器需要追踪其中涉及到的实体“water”随着自然语言描述的进行，他们的状态变化序列“Move,Move”和位置变化序列“root,leaf”。相较于传统的机器阅读理解任务，过程性文本理解面临更大的挑战：机器需要认知建模动态变化的世界并进行推理。
[0003]目前几乎所有的过程性文本理解方法均采用逐实体的建模和推理框架：它们分别地追踪不同的实体，独立地预测每个实体地状态变化序列和位置变化序列。如图1(a)所示，逐实体过程性文本理解方法大多依赖层次神经网络结构。给定一个段落和一个特定的待追踪实体：首先，层次神经网络结构通过一个词级别的编码器获得词级别的句子内交互表示；其次，层次神经网络通过一个句子级别的编码器获得句子级的文档内交互表示；最后，再通过两个不同的追踪器分别追踪实体状态和位置信息。近年来，研究者们的研究热点大多在于利用预训练语言模型或图结构的编码器获得更加精确的文档
‑
实体表示。
[0004]然而，传统的逐实体的过程性文本理解方法忽视了同一个自然语言文本中的不同实体应当存在的互相交互和同一个实体状态序列和位置序列应当存在的互相影响。如图1(b)所示，如果我们知道实体“water”和“minerals”会共同作用产生实体“mixture”，那么实体“water”和“minerals”肯定在同一个位置。类似的，如果我们知道实体“water”相邻的两个时刻处于不同的位置“root”和“leaf”，那么实体“water”在这个时刻的状态肯定是“Move”。同时，一些常识概念也有助于帮助机器理解世界，如果我们知道“root”和“leaf”都是“plant”的一部分，那么我们在预测位置变化序列的时候，会更倾向于在“root”之后预测“leaf”。最后，对输入的自然语言文本，逐实体的过程性文本理解方法缺少对上述几个方面的交互建模，大大降低了过程性文本理解的性能。并且，逐实体的过程性文本理解方法需要对每个单独实体进行分别推理追踪，大大降低了过程性文本理解的效率。

技术实现思路

[0005]为了克服逐实体的过程性文本理解方法缺乏实体间交互建模，状态变化序列及位置变化序列间的互相影响，和逐实体推理追踪的低效率问题，本专利技术提供了一种基于场景图演化的过程性文本理解方法和系统。
[0006]本专利技术采用的技术方案如下：
[0007]一种基于场景图演化的过程性文本理解方法，包括以下步骤：
[0008]利用图结构编码器，通过图注意力网络，充分建模当前场景图中不同实体、状态、
位置和常识概念之间的交互信息，以为场景图的演化提供丰富的当前场景图信息；
[0009]利用上下文编码器，通过Transformer结构的预训练语言模型充分挖掘当前新的自然语言表述中存在的事件，尤其是对需要追踪的实体相关的事件，以为场景图的演化提供精确的新事件信息；
[0010]基于图结构编码器提供的场景图信息和上下文编码器提供的新事件信息，利用图结构预测器预测下一时刻的场景图结构，包括场景图中存在的实体以及每个存在实体与位置、常识概念之间的关系；
[0011]基于图结构预测器自回归形式地预测出一系列时刻的场景图结构，利用状态推理器通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。
[0012]进一步地，利用过程性文本可以表示为一系列不同时刻的场景图和新时刻输入的自然语言描述的特点，分别通过所述图结构编码器和所述上下文编码器建模和捕捉对应信息，获得具有丰富交互信息的场景图信息和事件敏感的上下文信息。
[0013]进一步地，所述图结构预测器基于具有丰富交互信息的场景图信息和事件敏感的上下文信息预测下一时刻的场景图结构，并通过所述状态推理器同步追踪所有实体的状态和位置，有效提升过程性文本理解任务的性能，并显著提升过程性文本理解系统的效率。
[0014]一种采用上述方法的基于场景图演化的过程性文本理解系统，其包括：
[0015]图结构编码器，用于通过图注意力网络，充分建模当前场景图中不同实体、状态、位置和常识概念之间的交互信息，以为场景图的演化提供丰富的当前场景图信息；
[0016]上下文编码器，用于通过Transformer结构的预训练语言模型充分挖掘当前新的自然语言表述中存在的事件，尤其是对需要追踪的实体相关的事件，以为场景图的演化提供精确的新事件信息；
[0017]图结构预测器，用于基于图结构编码器提供的场景图信息和上下文编码器提供的新事件信息，预测下一时刻的场景图结构，包括场景图中存在的实体以及每个存在实体与位置、常识概念之间的关系；
[0018]状态推理器，用于基于图结构预测器自回归形式地预测出一系列时刻的场景图结构，通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。
[0019]与现有技术相比，本专利技术的有益效果是：
[0020]1)通过总结当前场景图信息的图结构编码器和捕获新事件信息的上下文编码器，能够获得具有丰富交互信息的场景图信息和事件敏感的上下文信息。
[0021]2)演化场景图的图结构预测器能够有效提升过程性文本理解任务的性能。
[0022]3)同时追踪所有实体的状态推理器显著提升了过程性文本理解系统的效率。
附图说明
[0023]图1为逐实体的过程性文本理解方法和场景级过程性文本理解方法比较示意图。
[0024]图2为基于场景图演化的过程性文本理解方法示意图。
具体实施方式
[0025]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本专利技术做进一步详细说明。
[0026]本专利技术主要利用过程性文本可以表示为一系列不同时刻的场景图和新时刻输入的自然语言描述的特点，内容包括：(一)总结当前场景图信息的图结构编码器；(二)捕获新事件信息的上下文编码器；(三)演化场景图的图结构预测器；(四)同时追踪所有实体的状态推理器。图结构编码器充分建模了当前场景图中不同实体、状态、位置和常识概念之间的交互信息。上下文编码器充分挖掘了当前时刻自然语言中表达的新事件信息。图结构预测器通过图结构编码器提供的场景图信息和上下文编码器提供的新事件信息预测下一时刻的场景图结构，包括场景图中存在的实体以及每个存在实体与位置、常识概念之间的关系。状态推理器基于图结构预测器自回归形式地预测出一系列时刻的场景图结构，通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。通过上述基于场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于场景图演化的过程性文本理解方法，其特征在于，包括以下步骤：利用图结构编码器，通过图注意力网络，充分建模当前场景图中不同实体、状态、位置和常识概念之间的交互信息，以为场景图的演化提供丰富的当前场景图信息；利用上下文编码器，通过Transformer结构的预训练语言模型充分挖掘当前新的自然语言表述中存在的事件，尤其是对需要追踪的实体相关的事件，以为场景图的演化提供精确的新事件信息；基于图结构编码器提供的场景图信息和上下文编码器提供的新事件信息，利用图结构预测器预测下一时刻的场景图结构，包括场景图中存在的实体以及每个存在实体与位置、常识概念之间的关系；基于图结构预测器自回归形式地预测出一系列时刻的场景图结构，利用状态推理器通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。2.如权利要求1所述的方法，其特征在于：利用过程性文本可以表示为一系列不同时刻的场景图和新时刻输入的自然语言描述的特点，分别通过所述图结构编码器和所述上下文编码器建模和捕捉对应信息，获得具有丰富交互信息的场景图信息和事件敏感的上下文信息。3.如权利要求1所述的方法，其特征在于：所述图结构预测器基于具有丰富交互信息的场景图信息和事件敏感的上下文信息预测下一时刻的场景图结构，并通过所述状态推理器同步追踪所有实体的状态和位置，有效提升过程性文本理解任务的性能，并显著提升过程性文本理解系统的效率。4.根据权利要求1所述的方法，其特征在于，所述图结构编码器采用以下步骤获得场景图：给定时刻t下的一系列图节点特征其中，M为场景图中所有概念的总数，图注意力网络利用自注意力机制计算两两节点之间的注意力得分：其中，为t时刻下节点i和节点j之间的关系向量表示，W1，W2和W3是三个可学习的参数；a表示注意力权重；随后，图注意力网络利用softmax计算方式归一化整个场景图中的注意力得分：其中，是t时刻下节点i的所有临接节点集合；得到整个场景图两两节点之间归一化后的注意力得分之后，通过如下公式更新节点表示：其中，σ表示激活函数；最终，使用最后一次更新中代表整个场景图的[Global]全局节点的向量表示作为时刻t的场景图表示：
其中，总结了当前场景图中不同实体、状态、位置和常识概念之间的交互信息；表示t时刻的场景图；GAT表示图注意力神经网络。5.根据权利要求1所述的方法，其特征在于，所述上下文编码器采用以下步骤挖掘当前新的自然语言表述中存在的事件：给定时刻t+1下的新自然语言文本，加入分隔符[CLS]和[SEP]以对其进...

【专利技术属性】
技术研发人员：孙乐，唐家龙，林鸿宇，陆垚杰，韩先培，郑佳，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：