具有双向推断的一阶逻辑神经网络制造技术

一种用于配置和使用逻辑神经网络的系统，所述逻辑神经网络包括经由表示每个命题的节点彼此连接的所表示的知识库中的公式的图语法树。对于在每个公式中出现的每个逻辑连接存在一个神经元，此外，对于在任何公式中出现的每个唯一命题存在一个神经元。所有神经元返回代表其对应子公式和命题的真值的上限和下限的值对。对应于逻辑连接的神经元接受对应于它们的操作数的神经元的输出作为输入，并且具有配置成匹配连接的真值函数的激活函数。对应于命题的神经元接受作为命题的真值的界限的证明而建立的神经元的输出作为输入，并且具有被配置成聚集最紧密的这样的界限的激活函数。双向推断允许每个公式中每个命题的每次出现被用作潜在的证明。用作潜在的证明。用作潜在的证明。

【技术实现步骤摘要】
【国外来华专利技术】具有双向推断的一阶逻辑神经网络


[0001]本公开总体上涉及机器学习和神经网络，以及用于逻辑神经网络的装置、系统和方法，其对逻辑建模并且能够在任何方向上进行推断。

技术介绍

[0002]神经符号推理系统旨在桥接目前存在于人工智能被最多研究的知识领域之间的鸿沟：通过形式逻辑的各种系统中的任何一种的原则性、演绎推断，以及数据驱动的、梯度优化的神经网络架构。两个范例都具有许多重要的优点和弱点。值得注意的是，形式逻辑是可解释的、可验证的、和广泛可概括的，但是如果不是不可判定的话它是计算密集的，需要广泛的领域专家输入，并且可因甚至微小的不一致而离开正常进程。另一方面，神经网络甚至对于未处理的和/或有噪声的数据表现良好，需要很少的人类配置，并且可以高效地并行运行。然而，它们的缺点在于它们对大训练数据集的要求、它们对对手攻击的脆弱性、以及它们的不可解释的黑盒性质。

技术实现思路

[0003]本公开的一方面是合并两个知识领域的逻辑神经网络：1)经由形式逻辑的各种系统中的任一种的原则性、演绎推断，以及2)数据驱动、梯度优化神经网络架构，以及利用任一者的优势同时减轻它们的弱点的操作方法。
[0004]本专利技术的一方面是神经网络架构，特别是实现其中神经元对加权的模糊或经典逻辑的严格定义的概念进行建模的系统、方法和计算机程序产品的逻辑神经网络(LNN)。
[0005]在另一方面，LNN架构被布置成与逻辑公式的知识库(KB)中的操作一一对应，这样的神经网络能够在任何方向上(即，通过正常评估、肯定前件推理、合取消去、和所有相关的推断规则)进行推断。
[0006]在另一方面，LNN系统、方法和计算机程序产品操作以表现得等同于经典逻辑公式的系统上的推断(使用已建立的推断规则集合)，并且同时，对其所表示的公式可连续微分以能够在不同形式之间连续变化。
[0007]在另一方面中，为了满足行为等同于在经典逻辑公式的系统上进行推断以及对于其所表示的公式可连续微分以能够在不同形式之间连续地变化这两个要求，LNN实施提供健全推断规则和直观数学行为的加权模糊逻辑，使得其行为类似于在数学上定义为y＝max(0,x)的修正线性单元(ReLU)类型的激活函数。
[0008]进一步，LNN系统、方法和计算机程序产品通过约束的执行来操作，并且定义连续经典逻辑的形式，该形式适合于保证精确地表现给定经典输入的自动化学习。
[0009]进一步，提供了一种系统、方法和计算机程序产品，其提供了提供神经符号融合的能力：可解释的、可验证的神经网络，由任何可用的域知识通知，但是对不一致性有弹性，并且其能够利用大数据，但是即使在其缺失时也是有能力的。
[0010]根据一个实施例，提供了一种计算机实现的方法，包括：在一个或多个硬件处理器
处接收输入查询和用于基于该输入查询来推断逻辑真值的输入命题；根据与推断规则相对应的逻辑公式的系统，使用所述一个或多个硬件处理器配置逻辑神经网络(LNN)结构，所述LNN结构包括表示所述输入命题的一个或多个命题神经元以及表示逻辑连接的一个或多个神经元；使用所述LNN结构基于所述输入查询来评估逻辑推断；以及响应于所述评估，输出在聚合界限内证明或未证明所述逻辑推断的输出真值。
[0011]在另一实施例中，提供了一种计算机实现的系统，包括：一个或多个硬件处理单元，被配置为具有多个神经元和连接边的逻辑神经网络(LNN)结构，所述LNN结构的所述多个神经元和连接边与逻辑公式系统一一对应，并且运行执行逻辑推断的方法，其中：对于所述逻辑公式系统的每个公式或子公式中的对应逻辑连接，存在所述多个神经元中的一个神经元，所述一个神经元具有提供输入信息的一个或多个链接连接边，所述输入信息包括所述逻辑连接的操作数，并且信息还包括被配置成实现所述逻辑连接的真值函数的参数，以及对应逻辑连接的所述一个神经元均具有用于提供计算的对应激活函数，激活函数计算返回指示系统公式的公式或子公式的上限和下限的一对值，或者返回命题的真值；以及针对所述系统公式的公式或子公式的对应命题存在所述多个神经元中的一个神经元，并且所述一个神经元具有与提供证明所述对应命题的真值的界限的信息的公式相对应的一个或多个链接连接边，并且信息还包括被配置成聚合最紧密界限的参数；以及所述一个或多个硬件处理器被配置成：接收输入查询或逻辑推断；使用所述LNN结构基于所述输入查询或逻辑推断来评估逻辑推断；以及响应于所述评估，输出在聚合的最紧密界限内证明或未证明所述逻辑推断的输出真值。
[0012]在另一方面中，提供一种用于执行操作的计算机程序产品。所述计算机程序产品包括存储介质，所述存储介质可由处理电路读取并存储由所述处理电路运行以用于运行方法的指令。该方法与上面列出的相同。
附图说明
[0013]当结合附图进行以下描述时，本公开的目标、特征以及优点将变得更加显而易见，其中：
[0014]图1是根据本专利技术的实施例的配置和使用逻辑神经网络(LNN)的系统和方法；
[0015]图2A描绘了描绘LNN的用例示例的知识图树结构；
[0016]图2B示出图2A的LNN的用例示例的知识图树结构中的后向传播推断计算；
[0017]图2C描绘了用于为图2B中所示的向下遍历路径计算示例用例语法树逆向推断的示例反向激活函数；
[0018]图3描绘了针对在图2A中描绘的用例示例LNN分解，在知识图树中注入公式和示例编制查询；
[0019]图4描绘了表示实施例中的示例一阶逻辑神经网络(net)的语法树；
[0020]图5描述了根据一实施例的用于评估命题LNN和一阶逻辑LNN的预测和双向推断的方法，在该实施例中递归神经网络具有与描述被建模的系统的公式一一对应的神经元；
[0021]图6A描绘了图5的双向推断方法的向前或向上前进评估的示例方法；
[0022]图6B描述了图5的双向推断方法的向后或向下前进评估的示例方法；
[0023]图6C描绘了图5的双向推断方法中的聚合的示例方法；
[0024]图7A示出配置为描述示例逻辑程序的语法树图结构的示例LNN结构；
[0025]图7B说明性地描绘了包括逻辑激活函数的示例LNN加权逻辑神经元，例如析取(disjuntion)神经元；
[0026]图8示出了深度思考问答“DTQA”系统流水线实施方式的示例性实施例；
[0027]图9示出根据示例DTQA实施方式的基于查询形成的LNN图；
[0028]图10示出了根据本文中的实施例的可配置和实现逻辑神经网络的示例计算机或处理系统的示意图。
具体实施方式
[0029]符号逻辑是使用符号和逻辑运算符对知识进行编码的方式。符号系统的中心组件是知识库(KB)，其是一组逻辑表达式。这些表达式是使用许多逻辑知识表示语言中的一种来表示的，命题逻辑是最简单并且最不具表现力的，并且是最广泛使用的语言中的一阶逻辑语言。知识库中的逻辑表达式在被视为给定而不从其他表达式推导出时也被称为公理。公理本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：在一个或多个硬件处理器处接收输入查询和用于基于所述输入查询来推断逻辑真值的输入命题；使用所述一个或多个硬件处理器来配置逻辑神经网络(LNN)结构，所述LNN结构包括根据与推断规则相对应的逻辑公式系统的表示所述输入命题的一个或多个命题神经元以及表示逻辑连接的一个或多个神经元；使用所述LNN结构基于所述输入查询来评估逻辑推断；以及响应于所述评估，输出在聚集界限内证明或未证明所述逻辑推断的输出真值。2.根据权利要求1所述的计算机实现的方法，其中用于所述LNN的所述逻辑公式系统是从本体知识库获得的，所述配置LNN包括：为所述一个或多个命题和逻辑连接神经元选择神经输入和参数，以匹配来自所述知识库的构成所述逻辑公式系统的连接的语法和行为，并且选择被选择以匹配输入事实的公式和命题真值的初始界限。3.根据权利要求1所述的计算机实现的方法，进一步包括：使用所述一个或多个硬件处理器在每个逻辑连接神经元处配置用于计算所述逻辑公式的逻辑连接的真值的相应激活函数。4.根据权利要求3所述的计算机实现的方法，其中所述评估逻辑推断包括：使用所述一个或多个硬件处理器执行前向推断传递，以使用激活函数来评估所述LNN结构的表达式，以计算每个神经元处的所述真值，所述真值指示所述系统公式的逻辑公式或子公式的上限和下限。5.根据权利要求4所述的计算机实现的方法，其中所述评估逻辑推断包括：使用所述一个或多个硬件处理器执行后向(向下)推断传递，以在所述向下推断传递期间评估逆推断规则；以及在所述后向推断传递期间，在命题神经元和逻辑连接神经元处聚集所述真值。6.根据权利要求5所述的计算机实现的方法，其中在所述向下推断路径期间所述评估逆推断规则包括：在逻辑连接神经元处计算逆激活函数以更新所述真值并聚集所述向下推断传递中获得的所述真值。7.根据权利要求6所述的计算机实现的方法，其中所述LNN结构被配置为语法树，所述后向(向下)推断传递是使用从一个或多个根节点至根的叶子中的每一个执行的所述语法树的递归深度优先遍历来执行的。8.根据权利要求5所述的计算机实现的方法，其中在命题神经元和逻辑连接神经元处聚集所述真值包括：通过获取所获得的真值的最大下限值和最小上限值来获得最紧密的上限和下限。9.根据权利要求5所述的计算机实现的方法，其中所述一个或多个命题神经元表示包括n维表或张量表示的输入谓词，其中n是非负数，所述方法进一步包括：为神经元提供真值界限表，所述真值界限表由与出现在对应子公式或谓词中的未定界逻辑变量有关的一组列唯一地键控；以及修改神经激活函数以在与共享变量有关的列上执行联接，同时计算相关联行处的真值
界限。10.根据权利要求9所述的计算机实现的方法，其中所述评估逻辑推断以获得真值包括：执行神经元的输出和所述神经元的其他输入的已知界限的表表示之间的联接，计算所述张量表示的相关联行处的真值界限；以及减少与在目标输入的相应子公式中不存在的逻辑变量有关的任何列，以便聚集最紧密的这样的界限。11.根据权利要求3所述的计算机实现的方法，进一步包括：初始化每个神经元的相应激活函数的参数以对所述神经元的输入、输出或输入和输出两者实现重要性加权。12.根据权利要求3所述的计算机实现的方法，其中所述逻辑连接是根据加权的Lukasiewicz逻辑方案配置的。13.一种计算机实现的系统，包括：一个或多个硬件处理单元，被配置为具有多个神经元和连接边的逻辑神经网络(LNN)结构，所述LNN结构的所述多个神经元和连接边与逻辑公式系统一一对应并且运行用于执行逻辑推断的方法，其中：针对所述逻辑公式系统的每个公式或子公式中的对应逻辑连接存在所述多个神经元中的一个神经元，所述一个神经元具有一个或多个链接连接边，所述一个或多个链接连接边提供包括所述逻辑连接的操作数的输入信息以及还包括被配置成实现所述逻辑连接的真值函数的参数的信息，并且针对相应逻辑连接的每个所述一个神经元具有用于提供计算的相应激活函数，激活函数计算返回指示系统公式的公式或子公式的上限和下限的一对值，或者返回命题的真值；以及针对所述系统公式的公式或子公式的对应命题存在所述多个神经元中的一个神经元，并且所述一个神经元具有与公式相对应的一个或多个链接连接边，所述一个或多个链接连接边提供证明所述对应命题的真值的界限的信息和还包括被配置为聚集最紧密的界限的参数的信息；并且所述一个或多个硬件处理器被配置为：接收输入查询或逻辑推断；使用所述LNN结构基于所述输入查询或逻辑推断来评估逻辑推断；以及响应于所述评估，输出在聚集的最紧密界限内证明或未证明所述逻辑推断的输出真值。14.根据权利要求13所述的计算机实现的系统，进一步包括：逻辑知识库，包括根据所述逻辑公式或子公式组织的词汇信息的集合，其中所述一个或多个硬件处理器还被配置为：用基于来自所述逻辑知识库的逻辑公式的信息来初始化所述多个神经元中的每个神经元，所述初始化进一步包括：从所述逻辑知识库中选择输入信息和参数以匹配组成所述公式系统的连接的语法和行为；以及选择公式和命题真值的初始界限以匹配来自所述知识库的事实。15.根据权利要求13所述的计...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：