跨网络执行元组图程序的方法技术

编程模型提供了一种用于在分布式架构中执行程序的方法。分布式架构的一个或多个第一分片执行一个或多个操作，并且将元组发送到至少一个第二分片，所述元组是流的一部分并且基于所述一个或多个操作。当流中的元组的发送完成时，一个或多个第一分片向至少一个第二分片发送令牌值。至少一个第二分片确定所述令牌值的总数是否与一个或多个第一分片的数目匹配，并且响应于确定令牌值的总数与一个或多个第一分片的数目匹配而采取第一动作。第一动作可以包括将流标记为完成和/或生成指示流完成的消息。

The method of executing the program of meta graph across network

【技术实现步骤摘要】
【国外来华专利技术】跨网络执行元组图程序的方法相关申请的交叉引用本申请是2017年8月24日提交的美国专利申请No.15/685,022的延续申请，其公开内容通过引用并入本文。
技术介绍
云计算允许具有各种计算能力的用户为了成本和计算效率而使用可配置资源的共享池来存储和处理数据。用于云计算的当前编程模型包括MapReduce,Dryad和批量同步并行云处理。面向分布式计算的一个问题是性能。分布式计算中的性能与数据与计算单元的接近程度以及计算单元之间的数据传输成本有关。
技术实现思路
本公开描述了一种用于云计算的新的编程模型。新的编程模型可用于编写分布式低延迟非批处理(non-batch)程序。应用在模型下构造程序，然后提交它以供执行。该程序由运算符的有向非循环图组成。值的流沿着图中的边从一个运算符流到另一个运算符。通过流发送的每个值都是元组。相同程序中的不同运算符可以在不同的机器上运行。编程模型协调这些运算符在不同机器上的执行并将数据从一个运算符传播到另一个运算符。所述编程模型的一个方面提供了一种用于在分布式架构中执行程序的方法，包括：通过所述分布式本文档来自技高网...

【技术保护点】
1.一种用于在分布式架构中执行程序的方法，其特征在于，包括：/n由所述分布式架构的一个或多个第一分片执行一个或多个操作；/n从所述一个或多个第一分片向至少一个第二分片发送元组，所述元组是流的一部分并且基于所述一个或多个操作；/n当所述流中的所述元组的发送完成时，从所述一个或多个第一分片中的每一个分片向所述至少一个第二分片发送令牌值；/n由所述第二分片确定所述令牌值的总数是否与所述一个或多个第一分片的数量相匹配；和/n响应于确定所述令牌值的所述总数与所述一个或多个第一分片的所述数量相匹配，采取第一动作。/n

【技术特征摘要】
【国外来华专利技术】20170824 US 15/685,0221.一种用于在分布式架构中执行程序的方法，其特征在于，包括：
由所述分布式架构的一个或多个第一分片执行一个或多个操作；
从所述一个或多个第一分片向至少一个第二分片发送元组，所述元组是流的一部分并且基于所述一个或多个操作；
当所述流中的所述元组的发送完成时，从所述一个或多个第一分片中的每一个分片向所述至少一个第二分片发送令牌值；
由所述第二分片确定所述令牌值的总数是否与所述一个或多个第一分片的数量相匹配；和
响应于确定所述令牌值的所述总数与所述一个或多个第一分片的所述数量相匹配，采取第一动作。


2.如权利要求1所述的方法，其特征在于，所述至少一个第二分片是所述一个或多个第一分片之一的接收分片，所述方法还包括：
由所述一个或多个第一分片中的一个第一分片生成所述一个或多个第一分片与之通信的所述接收分片的列表；和
由所述一个或多个第一分片中的所述一个第一分片将所述列表发送到控制器。


3.如权利要求2所述的方法，其特征在于，还包括：
由所述控制器跟踪所有已开始处理的接收分片；
由所述控制器确定已经开始处理的所述接收分片中的一个或多个接收分片是否不存在所述列表中；和
对于已经开始处理并且不存在于所述列表中的每个接收分片，由所述控制器代表所述一个或多个第一分片中的所述一个第一分片向所述接收分片发送令牌值。


4.如权利要求1所述的方法，其特征在于，还包括：
由控制器确定是否有任何分片尚未开始处理；
由所述控制器确定所述程序的设计是否有意跳过尚未开始处理的所述分片；和
由所述控制器代表没有开始处理的被有意跳过的任何分片，向所述第二分片发送令牌值。


5.如权利要求1所述的方法，其特征在于，采取所述第一动作包括将所述流标记为完成或生成指示所述流完成的消息中的至少一个。


6.根据权利要求1所述的方法，其特征在于，还包括：
构造图，所述图的每个节点代表分片；和
基于所述图，验证所述程序是否将跨所述分布式架构准确地执行。


7.如权利要求6所述的方法，其特征在于，还包括在执行所述程序时，动态地构建所述图的激活。


8.如权利要求7所述的方法，其特征在于，还包括：
通过动态发送操作，向目的地图的所有激活发送数据输入流；
在所述动态发送操作，从所述控制器接收在检测到所述目的地图的附加激活时所接收到的新元组。


9.如权利要求6所述的方法，其特征在于，构建所述图包括构建归并图。


10.如权利要求6所述的方法，其特征在于，所述图是非唯一的。


11.如权利要求1所述的方法，其特征在于，执行所述一个或多个操作是流水线数据处理流程的一部分。


12.一种系统，其特征在于，包括：
分布式计算环境中的一个或多个第一分片；和
所述分布式计算环境中的至少一个第二分片，所述至少...

【专利技术属性】
技术研发人员：戈塔姆·坦比多雷，马休·罗森克兰兹，桑杰·格玛沃特，斯尔詹·彼得罗维奇，伊凡·普斯瓦，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US