分布式因子图形系统技术方案

一种在数据处理系统中实现因子图形的方法，该因子图形具有通过边彼此连接的变量节点和函数节点，该方法包括：在第一计算机系统上实现第一函数节点，所述第一计算机系统与第二计算机系统网络通信；建立到多个处理系统中的每个的网络连接；在所述第一函数节点处接收来自在所述处理系统中的一个上实现的变量节点的软数据，所述软数据包括值的估计和表示相信所述估计对应于正确值的程度的信息；以及从所述第一函数节点向所述处理系统中的所述一个发送表示所述值的更新估计的软数据。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请主张2010年2月22日提交的题为“DISTRIBUTED FACTOR GRAPH SYSTEM”的美国临时申请No.61/306,876的权益，其内容通过引用合并于此。
本公开涉及数据处理系统，更特别地，涉及用于概率计算的数据处理系统。联邦赞助研究声明本专利技术的完成得到了国防高级研究计划局（DARPA）给予的FA8750-07-C-0231下的政府支持。政府具有本专利技术的某些权利。
技术介绍
如今，大量的计算机时间主要用于实施贝叶斯公式以计算概率。例如，有在线的内容分发服务，其执行应用以用于预测消费者可能高度评级的内容，已知消费者先前已经对内容进行了评级。类似地，存在零售服务，其执行应用以用于预测消费者可能想要购买什么产品，已知消费者以前已经购买过该产品。于是，有搜索引擎尝试基于检索历史来预测什么链接可能相关。这些应用实质上已知在先事件的发生，计算条件概率，即事件的概率。其他概率应用包括用于猜测如何将网页从一种语言翻译到另一种语言的程序以及大规模贝叶斯推理，包括雷达成像中的合成孔径重构、医疗层析成像中的图像重构以及预测与疾病相关联的核酸序列。在通信领域，当例如蜂窝电话中的嵌入和移动应用基于所接收的带噪声的信号预测最初发射了哪些比特时，发生概率计算。在机器人技术中，存在用于预测穿过困难地形的最可能最佳路径的应用。
技术实现思路
>本专利技术基于如下认识，即分布式计算机系统可以用于用软数据（soft data）实现将要用于概率计算的图形。这里使用时，软数据指的是相信值的估计是正确值的程度。在因子图形中，关于估计有多可能符合正确值的这些置信从一个节点传播到另一个节点。这样做时，置信逐渐变强，直到它逼近近乎确定。以此方式确定值的过程通常称为“置信传播”。置信从一个节点到另一节点的传播可以跨越通过局域网络、广域网络或者甚至诸如因特网的全球网络连接的分布式计算机系统来进行。可以通过从节点抽取消息或者通过使节点将其消息推送到另一节点来使置信从一个节点传播到另一节点。在因特网的情况下，置信可以通过采用已有的RSS馈送机制被推送，且可以通过采用已有的超链接机制而被抽取。在一方面中，本专利技术呈现为一种用于实现因子图形的方法，该因子图形具有通过边（edge）彼此连接的变量节点和函数节点，该方法包括在第一计算机系统上实现第一函数节点，所述第一计算机系统与第二计算机系统网络通信；建立到多个处理系统中的每个的网络连接；在所述第一函数节点处接收来自在所述处理系统中的一个上实现的变量节点的软数据，所述软数据包括值的估计和表示相信所述估计对应于正确值的程度的信息；以及从所述第一函数节点向所述处理系统中的所述一个发送表示所述值的更新估计的软数据。在一些实践中，接收所述软数据包括从软等于节点接收所述信息。另一些实践包括向所述变量节点提供用于生成与所述变量节点相关联的所述变量的所述值的新估计的信息。替选实践包括其中所述边通过网络连接实现的那些实践，其中所述变量节点包括等于门的那些实践，以及其中向所述变量节点分配唯一识别符的那些实践。在另一些实践中，接收所述软数据包括激活与所述第一函数节点对应的超链接，并且发送所述软数据包括激活与所述第一变量节点对应的超链接。本专利技术的另外一些方面包括一种计算机可读介质以及数据处理系统，该计算机可读介质具有编码于其上的软件，该软件用于实现前述方法中的任意方法，该数据处理系统包括服务器，该服务器配置成执行其上编码有用于实现前述方法中的任意方法的软件的计算机可读介质。在另一方面，本专利技术的特征在于一种用于实现因子图形的分布式计算机系统。这种系统包括：第一计算机系统，实现所述因子图形的函数节点；第二计算机系统，实现所述因子图形的变量节点。所述第一和第二计算机系统通过网络数据通信。这些以及其他特征将从下面的详细描述和附图变得显然，附图中：附图说明图1示出用于实现数独因子图形的示范性DMPL代码；图2示出图1实现的过程的迭代期间的数独阵列；图3、4和5示出万维网解算器的示范性应用；图6A和6B示出用于实现与图5中的示例对应的因子图形的DMPL代码；图7A和7B示出图5的示例中的电话位置的估计；图8A、8B、8C、8D和8E示出连续的用于估计图5的示例中的电话位置的概率分布；图9示出用于实现因子图形的软等于门（soft equals gate）；图10示出通过具有跨越网络的边（edge）而连接以形成更大因子图形的两个因子图形；图11示出经由网络彼此连接的两个因子图形之间的变量的复制；以及图12示出两个因子图形，其每个经由网络连接到第三因子图形的公共等于节点（equals node）。具体实施方式标准编程语言如C和C++对于写代码而言是理想的，该代码旨在汇编到且运行在独立计算机诸如PC上或者甚至在超级计算机集群上。类似地，对于写将要在独立计算机上或者甚至在独立超级计算机诸如Amazon云上解算的概率图形模型或生成模型而言，已有的概率编程语言是良好的。因为概率编程的重要性日益提高，在概率编程语言方面已经出现了学术复兴。概率编程语言的早期示例是IBAL，其由Avi Pfeffer在1997年创建。已知语言包括Alchemy、Bach、Blaise、Church、CILog2、CP-Logic、Csoft、DBLOG、Dyna、Factorie、Infer.NET、PyBLOG、IBAL、PMTK、PRISM、ProbLog、ProBT、R和S+。该列表中的大多数其他编程语言在过去的5年内建立。关于概率编程语言的第一次会议是NIPS 2008会议，其于2008年12月13日在加拿大的Whistler召开。一种这样的概率编程语言是分布式数学编程语言（DMPL），其描述于2010年1月13日提交的题为“Implementation of Factor Graph Circuitry”的美国临时申请No.61/294,740中。DMPL已经用于建立许多有趣的演示。图1示出用于实现数独解算器的示范性DMPL源代码。该DMPL源代码主要描述游戏的规则。执行期间，解算器迭代地退火到约束的满意解。图2是在退火过程中的中间点处解的快照。注意，某些方块中的猜测仍处于重叠中。然而，还没有适于在跨越网络（networ本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.02.22 US 61/306,8761.一种在数据处理系统中实现因子图形的方法，该因子图形具有
通过边彼此连接的变量节点和函数节点，该方法包括：
在第一计算机系统上实现第一函数节点，所述第一计算机系统与
第二计算机系统网络通信；
建立到多个处理系统中的每个的网络连接；
在所述第一函数节点处接收来自在所述处理系统中的一个上实现
的变量节点的软数据，所述软数据包括值的估计和表示相信所述估计
对应于正确值的程度的信息；以及
从所述第一函数节点向所述处理系统中的所述一个发送表示所述
值的更新估计的软数据。
2.如权利要求1所述的方法，其中，接收所述软数据包括从软等
于节点接收所述信息。
3.如权利要求...

【专利技术属性】
技术研发人员：B·维格达，
申请(专利权)人：美国亚德诺半导体公司，
类型：
国别省市：