一种虚拟现实与增强现实场景下结合句法的语义解析系统技术方案

本发明专利技术提出一种虚拟现实与增强现实场景下结合句法的语义解析系统，包括：数据处理模块，用于将数据集进行预处理，划分为训练集和测试集，且每条数据由自然语言语句及其目标逻辑形式组成对；句法分析模块，利用句法分析工具，将所有数据的自然语言语句进行句法分析，得到其句法树；神经网络模块，为Tree2Tree模型，包括编码器端和解码器端，采用注意力机制，在解码时更有效的聚焦于源语句中的有效部分；训练及测试模块，用上述模块得到的数据对神经网络进行训练；用测试集数据对熟练后的模型进行测试；预测模块，将训练好的神经网络模块与句法分析工具进行组合，封装成一个系统，输入一条自然语言语句后，输出其逻辑形式。

【技术实现步骤摘要】
一种虚拟现实与增强现实场景下结合句法的语义解析系统
本专利技术涉及机器人技术、自然语言理解技术、深度学习
，尤其是一种虚拟现实与增强现实场景下句法分析与深度学习结合的自然语言人机交互系统。
技术介绍
语义解析(SemanticParsing)是指直接将自然语言语句转换成计算机可以理解或执行的逻辑形式。由于语义解析是一个序列到序列的问题，现有技术提出了将机器翻译领域的Seq2Seq模型应用到semanticparsing领域中，并且将注意力机制也运用到semanticparsing上。之后，许多研究团队基于这样的模型做出了许多改进。提出了加入用户反馈机制，利用用户的反馈信号来改善模型的输出。但是他们这些模型在编码器中都采用的是序列编码器，随着句子长度的增加，信息的遗忘会变得更严重。
技术实现思路
本技术的目的是将人类的自然语言命令语句直接转换成机器可以理解和执行的逻辑形式语句，从而使人类可以直接用自然语言来操控机器人，提升人机交互体验和准确性。因此，本专利技术提出一种虚拟现实与增强现实场景下结合句法的语义解析系统，包括：数据处理模块，用于将数据集进行预处理，划分为训练集和测试集，且每条数据由自然语言语句及其目标逻辑形式组成对；句法分析模块，利用句法分析工具，将所有数据的自然语言语句进行句法分析，得到其句法树；神经网络模块，采用Tree2Tree模型，包括编码器端和解码器端，编码器端包括序列编码器和结合句法的树编码器，解码器端是一个树形的层次解码器，采用注意力机制，在解码时聚焦于源语句中的有效部分；训练及测试模块，用上述的数据处理模块和句法分析模块得到的数据对神经网络进行训练，数据包括自然语言语句及逻辑形式，以及句法树，通过批处理的梯度下降法以及反向传播方法使模型收敛；用测试集数据对熟练后的模型进行测试，得到测试准确率；预测模块，将训练好的神经网络模块与句法分析工具进行组合，封装成一个系统，输入一条自然语言语句后，输出其逻辑形式，该逻辑形式用于机器人的交互控制、智能问答。进一步的，所述句法分析模块，对于预处理并划分过后的数据集，首先对其进行句法分析处理，得到每一个句子的句法分析树，并且将句法分析树按照乔姆斯基原理(ChomskyTheory)进行二叉化处理，得到二叉句法树(binaryparsingtree)。进一步的，所述所述神经网络模块采用Tree2Tree模型，分为序列编码器(Seq-Encoder)、树编码器(Tree-Encoder)、树解码器(Tree-Decoder)和注意力机制(AttentionMechanism)四个子结构。进一步的，所述所述序列编码器是一个两层的双向LSTM模型，每个时间步都从LSTM单元保存h和c向量；h向量用于解码器中上下文全局注意力机制的计算，并且最后一层的所有h和c向量也用作树编码器的输入。进一步的，所述所述树编码器中采用的是Tree-LSTM单元，根据句法分析树的结构自底向上的进行编码；句法分析树被二值化，将其视为N＝2时N-aryTree-LSTM的特例，在叶子节点处输入向量，根据解析树的结构，树编码器通过Tree-LSTM单元自底向上对其进行编码；将序列编码器部分输出的每个单词相对应的隐向量用作叶节点的输入。进一步的，所述在树编码器和序列编码器对输入语句进行编码后，两个编码器分别获得了h和c向量；将两个编码器的h和c向量连接在一起，然后将新的h和新的c项链作为编码器端的输出，也作为解码器端的输入；将两个编码器的h和c向量拼接在一起，两个h向量为htree和hseq，c向量也由树编码器和序列编码器分别计算得到；拼接后得到新的h向量hconcat和新的c向量作为编码器端的输出，也作为解码器端的输入。进一步的，所述所述的树解码器，根据编码器侧获得的连接向量执行分层解码；将逻辑形式视为树结构，其中树的每一层都被视为解码序列，自顶向下的递归解码，从而得到整个逻辑形式，所述的树解码器使用了三层LSTM单元；所述三层LSTM单元指的是，每次解码时，都对上一次解码得到的h向量进行三次的LSTM单元计算，经过三层的计算后，解码得到当前的元素。进一步的，所述所述的注意力机制是一种有针对性的关注机制，当解码器解码每个符号时，都从编码器部分获得的隐向量中有选择地从中选择一个子集，即对当前任务目标更关键的信息。有益效果：本专利技术技术结合了自然语言处理领域中传统的句法分析技术，在神经网络模型中加入了树编码器。通过对语句进行句法成分分析，在编码器端引入了句法信息，即结合了每一条语句的句法成分分析结果，再与深度学习LSTM模型结合，从而可以实现更高准确率的语义解析技术。引入句法的信息，可以从一定程度上缓和线性编码器对长语句的信息遗忘问题，从而得到包含更准确语义信息的编码向量。采用深度学习模型的方法，可以端到端的对数据进行训练，免去许多传统的特征提取、手写规则等工作。附图说明图1:本专利技术语义解析流程图；图2:本专利技术句法分析树示意图；图3:本专利技术Tree2Tree模型中的编码器；图4:本专利技术Tree2Tree模型中的解码器；图5:本专利技术Tree2Tree模型中的注意力机制。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本专利技术的一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术的保护范围。语义解析任务是实现人机交互的一种高效方法，其目的是将自然语言句子转换为相应的逻辑语义形式。而这些自然语言句子的句法信息可以帮助预测其语义结构。现有的句法解析器，例如StanfordParser和BerkeleyParser，能够高效，准确地生成自然语言句子的句法分析树。因此，本技术提出一种结合句法信息的语义解析器，其主要神经网络模块是Tree2Tree模型。Tree2Tree是一种编码器-解码器模型。编码器端包含一个序列编码器模型和一个利用句法信息的树形编码器。然后，分层的树解码器会递归地生成逻辑形式树，以获得输入语句的逻辑形式。在多个数据集上的实验表明，结合输入语句的句法信息可以提高语义解析的效率和准确性。参见图1，本专利技术的整个语义解析交互系统包括数据处理模块、句法分析模块、神经网络模型模块、训练及测试模块、预测模块。系统处理流程如图1所示，本专利技术的方案是基于深度学习的方法，因此需要数据集(Dataset)来对模型进行训练(Train)。实验所需数据是自然语言语句与其对应的逻辑形式对。本专利技术需要将数据集进行处理，分成训练集和测试集两个部分(Trainset/Testset)。训练集和测试集中的数据，本专利技术都需要对自然语言语句进行句法分析(SyntacticParsing)，得到每条语句的句法成分树结构(SyntaxTrees)。接下来，用自然语言语句及其句法成分树，以及本文档来自技高网...

【技术保护点】
1.一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于，包括：/n数据处理模块，用于将数据集进行预处理，划分为训练集和测试集，且每条数据由自然语言语句及其目标逻辑形式组成对；/n句法分析模块，利用句法分析工具，将所有数据的自然语言语句进行句法分析，得到其句法树；/n神经网络模块，采用Tree2Tree模型，包括编码器端和解码器端，编码器端包括序列编码器和结合句法的树编码器，解码器端是一个树形的层次解码器，采用注意力机制，在解码时聚焦于源语句中的有效部分；/n训练及测试模块，用上述的数据处理模块和句法分析模块得到的数据对神经网络进行训练，数据包括自然语言语句及逻辑形式，以及句法树，通过批处理的梯度下降法以及反向传播方法使模型收敛；用测试集数据对熟练后的模型进行测试，得到测试准确率；/n预测模块，将训练好的神经网络模块与句法分析工具进行组合，封装成一个系统，输入一条自然语言语句后，输出其逻辑形式，该逻辑形式用于机器人的交互控制、智能问答。/n

【技术特征摘要】
1.一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于，包括：
数据处理模块，用于将数据集进行预处理，划分为训练集和测试集，且每条数据由自然语言语句及其目标逻辑形式组成对；
句法分析模块，利用句法分析工具，将所有数据的自然语言语句进行句法分析，得到其句法树；
神经网络模块，采用Tree2Tree模型，包括编码器端和解码器端，编码器端包括序列编码器和结合句法的树编码器，解码器端是一个树形的层次解码器，采用注意力机制，在解码时聚焦于源语句中的有效部分；
训练及测试模块，用上述的数据处理模块和句法分析模块得到的数据对神经网络进行训练，数据包括自然语言语句及逻辑形式，以及句法树，通过批处理的梯度下降法以及反向传播方法使模型收敛；用测试集数据对熟练后的模型进行测试，得到测试准确率；
预测模块，将训练好的神经网络模块与句法分析工具进行组合，封装成一个系统，输入一条自然语言语句后，输出其逻辑形式，该逻辑形式用于机器人的交互控制、智能问答。


2.根据权利要求1所述的一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于：
句法分析模块，对于预处理并划分过后的数据集，首先对其进行句法分析处理，得到每一个句子的句法分析树，并且将句法分析树按照乔姆斯基原理(ChomskyTheory)进行二叉化处理，得到二叉句法树(binaryparsingtree)。


3.根据权利要求1所述的一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于：
所述神经网络模块采用Tree2Tree模型，分为序列编码器(Seq-Encoder)、树编码器(Tree-Encoder)、树解码器(Tree-Decoder)和注意力机制(AttentionMechanism)四个子结构。


4.根据权利要求3所述的一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于：
所述序列编码器是一个两层的双向LSTM模型，每个时间步都从LSTM单...

【专利技术属性】
技术研发人员：廖胜兰，吉建民，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34