用于神经推理系统的可嵌入级连逻辑系统及其推理方法技术方案

本发明专利技术公开了一种用于神经推理系统的可嵌入级连逻辑系统及其推理方法，其中，该系统包括：输入模块，用于将待推理任务转换为逻辑输入符号，作为逻辑分组模块的输入；逻辑分组模块，用于根据预设规则对逻辑输入符号进行分组，将分组后的逻辑输入符号单独进行逻辑运算，并将运算后的结果合并；深度旁路逻辑模块，用于保留第一个逻辑输入符号直接作为输出；利用多个单层逻辑模块级联构成级联逻辑系统，当前级别的输出作为下一级的输入，通过级联逻辑系统对逻辑输入符号进行逻辑运算；输出模块，根据待推理任务的特性选择对应的输出策略，在逻辑运算结果中得到推理结果。该可嵌入级连逻辑系统可以嵌入到神经网络中，使得神经网络具有推理能力。

【技术实现步骤摘要】
用于神经推理系统的可嵌入级连逻辑系统及其推理方法
本专利技术涉及语义推理
，特别涉及一种用于神经推理系统的可嵌入级连逻辑系统及其推理方法。
技术介绍
相关的神经网推理中，一种是单纯基于深度神经网络的解决方案。这一类方案中主要依赖于神经网络本身的强大拟合能力，将语义推理问题建模成一般的分类问题、或排序问题。但该方法，将问题建模成分类、排序问题。不考虑推理本身的复杂性。在简单的推理任务上可以取得良好的效果，但是无法应用于复杂的推理任务，已有研究发现，这一类方法在大量的复杂推理任务上表现极差。另一种是神经网络与符号系统结合的解决方案，这一类方案则依赖于神经网络的识别能力，利用预先训练的神经网络进行语义分析，将分析得到的符号表达用于一般的符号系统进行符号推理。该方案中虽然将逻辑推理的部分通过符号系统得以建模。但是其一方面依赖于使用了额外数据的神经网络系统，引入了更加复杂的监督信息；另一方面，由于神经识别系统无法做到完全准确，因此神经系统的细微错误将导致整个符号系统的完全错误。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种用于神经推理系统的可嵌入级连逻辑系统，该系统可以作为一个泛化的模块应用在当前的诸多神经网络系统中用于解决具体的语义推理问题。本专利技术的另一个目的在于提出一种用于神经推理系统的可嵌入级连逻辑系统及其推理方法。为达到上述目的，本专利技术一方面实施例提出了一种用于神经推理系统的可嵌入级连逻辑系统，包括：输入模块，用于将待推理任务转换为逻辑输入符号，作为所述逻辑分组模块的输入；逻辑分组模块，用于根据预设规则对逻辑输入符号进行分组，将分组后的逻辑输入符号单独进行逻辑运算，并将运算后的结果合并；深度旁路逻辑模块，用于保留第一个逻辑输入符号直接作为输出；单层逻辑模块，用于建模任何两个逻辑输入符号之间的逻辑关系；利用多个单层逻辑模块级联构成级联逻辑系统，当前级别的输出作为下一级的输入，通过所述级联逻辑系统对所述逻辑输入符号进行逻辑运算；输出模块，根据所述待推理任务的特性选择对应的输出策略，在逻辑运算结果中得到推理结果。为达到上述目的，本专利技术另一方面实施例提出了一种用于神经推理系统的可嵌入级连逻辑系统的推理方法，包括：将待推理任务转换为逻辑输入符号；根据预设规则对逻辑输入符号进行分组，将分组后的逻辑输入符号单独进行逻辑运算；在运算中，保留第一个逻辑输入符号直接作为输出，利用所述多个单层逻辑模块级联构成级联逻辑系统，当前级别的输出作为下一级的输入，通过所述级联逻辑系统对所述输入逻辑符号进行逻辑运算，并将逻辑运算后的结果合并；根据所述待推理任务的特性选择对应的输出策略在逻辑运算结果中得到推理结果。本专利技术实施例的用于神经推理系统的可嵌入级连逻辑系统及其推理方法的优势为：从语义层次解决推理问题，相比传统的符号推理问题，语义层次的推理问题与人的思维方式更加接近，不仅具有推理能力，还具有语义分析和识别能力，能够作为一个泛化的模块应用在诸多的神经网络中来解决具体的语义推理问题，比如解决RPM智力测试问题。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的用于神经推理系统的可嵌入级连逻辑系统结构示意图；图2为根据本专利技术一个实施例的用于神经推理系统的可嵌入级连逻辑系统系统框图；图3为根据本专利技术一个实施例的单层逻辑模块示意图；图4为根据本专利技术一个实施例的用于神经推理系统的可嵌入级连逻辑系统的推理方法流程图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的用于神经推理系统的可嵌入级连逻辑系统及其推理方法。首先将参照附图描述根据本专利技术实施例提出的用于神经推理系统的可嵌入级连逻辑系统。图1为根据本专利技术一个实施例的用于神经推理系统的可嵌入级连逻辑系统结构示意图。如图1所示，该用于神经推理系统的可嵌入级连逻辑系统10包括：输入模块100，用于将待推理任务转换为逻辑输入符号，作为逻辑分组模块的输入；逻辑分组模块200，用于根据预设规则对逻辑输入符号进行分组，将分组后的逻辑输入符号单独进行逻辑运算，并将运算后的结果合并；深度旁路逻辑模块300，用于保留第一个逻辑输入符号直接作为输出；单层逻辑模块400，用于建模任何两个逻辑输入符号之间的逻辑关系；利用多个单层逻辑模块400级联构成级联逻辑系统，当前级别的输出作为下一级的输入，通过级联逻辑系统对逻辑输入符号进行逻辑运算；输出模块500，根据待推理任务的特性选择对应的输出策略，在逻辑运算结果中得到推理结果。通过上述模块构建了一个可嵌入级联逻辑系统，作为一种推理模块集成到神经网络中，使得嵌入后的神经网络具有一定的符号推理能力，在神经网络训练过程中，自动选择合适的符号逻辑链，在推理阶段，利用该固定的符号链条进行推理。进一步地，输入模块，具体用于，待推理任务中包括已知条件和多个候选答案，通过卷积神经网络对待推理任务进行特征提取，得到对应的特征图，将特征图转换为逻辑输入符号输入到逻辑分组模块进行分组。结合图2所示，图2可以用于RPM任务的逻辑系统示例。在本专利技术的一个实施例中，待推理任务为图2左边的框图，包括8个已知的图片，以及8张候选图片作为候选答案，通过逻辑推理在8张候选图片中找到与已知的8张图片逻辑关系相同的推理结果。首先，通过卷积神经网络(ConvolutionalNeuralNetworks，CNN)本身的特征抽取能力和抽象能力，抽取具有语义特征的符号表征。如图2所示，通过CNN网络进行特征提取，分别得到了8张已知图片和8张候选图片的特征图。将特征图按照可嵌入级连逻辑系统的输入形式转换为逻辑输入符号进行逻辑推理。进一步地，在本专利技术实施例的可嵌入级连逻辑系统是由多个单层逻辑模块级联而成的。如图3所示，为单层逻辑模块示例，其中，(a)RPM任务示例；(b)两层深度神经网络；(c)单层逻辑模块的训练与推理阶段。训练阶段利用逻辑采样进行训练，推理阶段则利用固定的逻辑链条进行推理；(d)一个由两层逻辑系统构成的加法检测系统：用于检测第一个输入符号和第二个输入符号的和是否等于第三个输入符号。在单层逻辑模块中，其用于建模任何两个符号之间的逻辑关系，考虑基本逻辑集合逻辑输入符号集合则首先输出全集可以表达为：其中，表示两个逻辑输入本文档来自技高网...

【技术保护点】
1.一种用于神经推理系统的可嵌入级连逻辑系统，其特征在于，包括：/n输入模块，用于将待推理任务转换为逻辑输入符号，作为所述逻辑分组模块的输入；/n逻辑分组模块，用于根据预设规则对逻辑输入符号进行分组，将分组后的逻辑输入符号单独进行逻辑运算，并将运算后的结果合并；/n深度旁路逻辑模块，用于保留第一个逻辑输入符号直接作为输出；/n单层逻辑模块，用于建模任何两个逻辑输入符号之间的逻辑关系；/n利用多个单层逻辑模块级联构成级联逻辑系统，当前级别的输出作为下一级的输入，通过所述级联逻辑系统对所述逻辑输入符号进行逻辑运算；/n输出模块，根据所述待推理任务的特性选择对应的输出策略，在逻辑运算结果中得到推理结果。/n

【技术特征摘要】
1.一种用于神经推理系统的可嵌入级连逻辑系统，其特征在于，包括：
输入模块，用于将待推理任务转换为逻辑输入符号，作为所述逻辑分组模块的输入；
逻辑分组模块，用于根据预设规则对逻辑输入符号进行分组，将分组后的逻辑输入符号单独进行逻辑运算，并将运算后的结果合并；
深度旁路逻辑模块，用于保留第一个逻辑输入符号直接作为输出；
单层逻辑模块，用于建模任何两个逻辑输入符号之间的逻辑关系；
利用多个单层逻辑模块级联构成级联逻辑系统，当前级别的输出作为下一级的输入，通过所述级联逻辑系统对所述逻辑输入符号进行逻辑运算；
输出模块，根据所述待推理任务的特性选择对应的输出策略，在逻辑运算结果中得到推理结果。


2.根据权利要求1所述的用于神经推理系统的可嵌入级连逻辑系统，其特征在于，所述输入模块，具体用于，
所述待推理任务中包括已知条件和多个候选答案，通过卷积神经网络对所述待推理任务进行特征提取，得到对应的特征图，将所述特征图转换为所述逻辑输入符号输入到所述逻辑分组模块进行分组。


3.根据权利要求2所述的用于神经推理系统的可嵌入级连逻辑系统，其特征在于，所述输出模块，具体用于，
通过所述级联逻辑系统对所述待推理任务进行逻辑运算后，得到所述已知条件之间的逻辑关系及所述已知条件分别与多个候选答案之间的逻辑关系，比较所有候选答案得到的逻辑关系与所述已知条件之间的逻辑关系是否一致，将一致的逻辑关系对应的候选答案作为推理结果，并进行输出。


4.根据权利要求1所述的用于神经推理系统的可嵌入级连逻辑系统，其特征在于，在所述单层逻辑模块中，基本逻辑集合为逻辑输入符号集合为则输出全集可以表达为：



其中，表示两个逻辑输入符号之间的逻辑关系，包含有p(m(m-1))/2个符号，其中p和m分别表示基本逻辑集合和逻辑输入符号集合的大小；
设定输出全集包含n个符号，第k个输出符号可以使用独热向量ok∈[0,0,…,1…,0]与相乘的方式得到：


<...

【专利技术属性】
技术研发人员：朱文武，王鑫，段续光，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11