基于状态更新的一致性管理计算集群制造技术

一种用于处理分布式数据处理系统中的状态更新请求的方法包括处理与第一时间间隔相关联的第一状态更新请求集，该处理包括：维护该第一状态更新请求集中的已发布状态更新请求的计数；维护针对该第一状态更新请求集执行的状态更新的计数；以及响应于确定针对该第一状态更新请求集执行的状态更新的计数等于该第一状态更新请求集中的已发布状态更新请求的计数，更新状态一致性指示符，以指示已执行了与该第一状态更新请求集中的所有状态更新请求相关联的状态更新。

Consistency management computing cluster based on state update

【技术实现步骤摘要】
【国外来华专利技术】基于状态更新的一致性管理计算集群相关申请的交叉引用本申请要求于2017年10月31日提交的美国申请序列号62/579,225的优先权，该美国申请通过引用并入本文。
技术介绍
本说明书涉及管理计算集群。数据流计算的一种方法利用了基于图的表示，其中，与图的节点(顶点)相对应的计算组件通过与该图(称为“数据流图”)的链路(有向边)相对应的数据流耦接。通过数据流链路连接到上游组件的下游组件接收有序的输入数据元素流，并按接收到的顺序处理输入数据元素，以可选地生成一个或多个相应的输出数据元素流。在名称为“EXECUTINGCOMPUTATIONSEXPRESSEDASGRAPHS(执行表示为图的计算)”的在先美国专利5,966,072中描述了一种用于执行此类基于图的计算的系统，该专利通过引用并入本文。在与该在先专利中描述的方法有关的实施方式中，每个组件被实施为托管在多个典型计算机服务器之一上的进程。每个计算机服务器可以在任何一个时间激活多个此类组件进程，并且操作系统(例如，Unix)调度程序在该服务器上托管的组件之间共享资源(例如，处理器时间和/或处理器核)。在本文档来自技高网...

【技术保护点】
1.一种用于在包括多个处理节点的分布式数据处理系统中处理状态更新请求的方法，该方法包括：/n使用该多个处理节点中的两个或更多个处理节点来处理多个状态更新请求集，每个状态更新请求集中的每个状态更新请求被配置用于在该多个处理节点中的某个处理节点处引起一个状态更新，并与多个时间间隔中的相应时间间隔相关联，该多个状态更新请求集包括与该多个时间间隔中的第一时间间隔相关联的第一状态更新请求集，并被配置用于在该多个处理节点中的第一处理节点集处引起多个状态更新，该处理包括：/n发布该第一状态更新请求集中的每个状态更新请求，该发布包括维护该第一状态更新请求集中的已发布状态更新请求的计数；/n在该第一处理节点集中...

【技术特征摘要】
【国外来华专利技术】20171031 US 62/579,2251.一种用于在包括多个处理节点的分布式数据处理系统中处理状态更新请求的方法，该方法包括：
使用该多个处理节点中的两个或更多个处理节点来处理多个状态更新请求集，每个状态更新请求集中的每个状态更新请求被配置用于在该多个处理节点中的某个处理节点处引起一个状态更新，并与多个时间间隔中的相应时间间隔相关联，该多个状态更新请求集包括与该多个时间间隔中的第一时间间隔相关联的第一状态更新请求集，并被配置用于在该多个处理节点中的第一处理节点集处引起多个状态更新，该处理包括：
发布该第一状态更新请求集中的每个状态更新请求，该发布包括维护该第一状态更新请求集中的已发布状态更新请求的计数；
在该第一处理节点集中的一个或多个处理节点处执行与该第一状态更新请求集相关联的状态更新中的至少一些状态更新，该执行包括维护针对该第一状态更新请求集执行的状态更新的计数；
响应于确定为针对该第一状态更新请求集执行的状态更新的计数等于该第一状态更新请求集中的已发布状态更新请求的计数，更新状态一致性指示符，以指示已执行了同与该第一时间间隔相关联的第一状态更新请求集中的所有状态更新请求相关联的状态更新。


2.如权利要求1所述的方法，其中，
该第一处理节点集中的每个处理节点维护该处理节点已接收的状态更新请求的本地计数和已针对该第一状态更新请求集执行的状态更新的本地计数，
已发布状态更新请求的全局计数是该第一处理节点集中的处理节点接收的状态更新请求的本地计数之和，并且
针对该第一状态更新请求集执行的状态更新的全局计数是在该第一处理节点集中的处理节点处的状态更新的本地计数之和。


3.如权利要求1或2所述的方法，其中，该分布式数据处理系统包括根节点，该根节点被配置用于维护该第一状态更新请求集中的已发布状态更新请求的全局计数并且维护针对该第一状态更新请求集执行的状态更新的全局计数。


4.如权利要求1至3中任一项所述的方法，进一步包括：在该根节点处，从该第一处理节点集中的每个处理节点接收由该处理节点接收的状态更新请求的本地计数和由该处理节点进行的状态更新的本地计数，并且对接收的本地计数进行组合以确定已发布状态更新请求的全局计数和状态更新的全局计数。


5.如权利要求1至3中任一项所述的方法，进一步包括：从该第一处理节点集中的每个处理节点向该根节点发布消息，该消息包括由该处理节点接收的状态更新请求的本地计数和由该处理节点进行的状态更新的本地计数。


6.如权利要求1至3中任一项所述的方法，其中，该根节点被配置用于向该第一处理节点集发布消息，来自该根节点的消息指示该多个时间间隔中的时间间隔的开始时间和结束时间。


7.如权利要求6所述的方法，其中，该根节点发布的消息进一步包括该状态一致性指示符。


8.如权利要求6所述的方法，其中，该根节点发布的消息进一步包括当前工作时间间隔的指示。


9.如权利要求1至9中任一项所述的方法，其中，已更新的状态一致性指示符指示与该第一时间间隔以及在该多个时间间隔中在该第一时间间隔之前的任何时间间隔相关联的所有状态更新均以第一耐久性等级存储在该第一处理节点集处。


10.如权利要求1至9中任一项所述的方法，其中，该第一状态更新请求集包括与数据处理任务相关联的至少一个状态更新请求，该数据处理任务用于处理与记录相关联的数据以生成结果。


11.如权利要求1至10中任一项所述的方法，其中，该第一状态更新请求集包括与由数据处理任务生成的结果相关联的至少一个状态更新请求。


12.如权利要求1至11中任一项所述的方法，其中，更新该状态一致性指示符包括增加时间间隔计数器。
<...

【专利技术属性】
技术研发人员：克雷格·W·斯坦菲尔，
申请(专利权)人：起元技术有限责任公司，
类型：发明
国别省市：美国;US