用于处理数据的方法和系统技术方案

本发明专利技术的实施方式涉及用于处理数据的方法和系统。在一个实施方式中，提供了一种用于处理数据的方法，包括：响应于接收到将消费者实例的数量从第一数量调整至第二数量的调整请求，确定将与第一数量的消费者实例相关联的状态的第一分布调整为与第二数量的消费者实例相关联的所述状态的第二分布的调整策略，所述状态是处理所述数据的中间结果；根据所述调整策略，在所述第一数量的所述消费者实例与所述第二数量的所述消费者实例之间迁移所述状态；以及在所述第二数量的所述消费者实例处基于所述状态的所述第二分布处理所述数据。在其他实施方式中，进一步提供了用于处理数据的设备和系统。

【技术实现步骤摘要】
用于处理数据的方法和系统
本专利技术的各实施方式涉及数据处理，更具体地，涉及用于并行地处理流(stream)数据的方法和系统。
技术介绍
随着数据处理技术的发展，数据处理已经不再局限于串行的处理方式，而是可以在分布式处理系统中的多个节点处进行并行处理。对于涉及大数据处理的应用而言，分布式并行处理可以大大提高数据处理的效率，进而为实时数据处理提供了更多支持。实时数据处理可以应用于多种应用环境，例如，实时监控已经成为目前的一个重要应用热点。对于城市道路、主要交通枢纽等重要区域的监控中将产生大量的视频流数据；又例如，在环境监控、生产线监控等领域中，也将产生温度、湿度等大量的实时监控的流数据(例如，在1秒的时间间隔进行采样)。由于这些流数据中承载的信息的数量并不相同，因而很可能会出现在某一时刻的工作负载骤增并且需要额外的计算资源的情况。此时，如何以更为有效的方式来以动态地并行处理流数据，成为目前的一个研究热点。
技术实现思路
因而，期望能够开发并实现一种能够有效地处理流数据的技术方案，并且期望该技术方案可以在不停止处理数据的情况下，动态地调节处理数据时所涉及的计算资源的数量。在本专利技术的一个实施方式中，提供了一种用于处理数据的方法，包括：响应于接收到将消费者实例的数量从第一数量调整至第二数量的调整请求，确定将与第一数量的消费者实例相关联的状态的第一分布调整为与第二数量的消费者实例相关联的所述状态的第二分布的调整策略，所述状态是处理所述数据的中间结果；根据所述调整策略，在所述第一数量的所述消费者实例与所述第二数量的所述消费者实例之间迁移所述状态；以及在所述第二数量的所述消费者实例处基于所述状态的所述第二分布处理所述数据。在本专利技术的一个实施方式中，提供了一种用于处理数据的设备，包括：确定模块，配置用于响应于接收到将消费者实例的数量从第一数量调整至第二数量的调整请求，确定将与第一数量的消费者实例相关联的状态的第一分布调整为与第二数量的消费者实例相关联的所述状态的第二分布的调整策略，所述状态是处理所述数据的中间结果；迁移模块，配置用于根据所述调整策略，在所述第一数量的所述消费者实例与所述第二数量的所述消费者实例之间迁移所述状态；以及处理模块，配置用于在所述第二数量的所述消费者实例处基于所述状态的所述第二分布处理所述数据。在本专利技术的一个实施方式中，提供了一种用于处理数据的系统，包括：一个或者多个处理器；耦合至所述一个或者多个处理器中的至少一个处理器的存储器；在所述存储器中存储的计算机程序指令，当由所述至少一个处理器执行所述计算机程序指令时，使得所述系统执行用于处理数据的方法，所述方法包括：响应于接收到将消费者实例的数量从第一数量调整至第二数量的调整请求，确定将与第一数量的消费者实例相关联的状态的第一分布调整为与第二数量的消费者实例相关联的所述状态的第二分布的调整策略，所述状态是处理所述数据的中间结果；根据所述调整策略，在所述第一数量的所述消费者实例与所述第二数量的所述消费者实例之间迁移所述状态；以及在所述第二数量的所述消费者实例处基于所述状态的所述第二分布处理所述数据。采用本专利技术的技术方案，可以在不停止处理数据的情况下，动态地调节处理数据时所涉及的计算资源例如操作者实例的数量。按照本专利技术的实施方式，可以基于处理数据所需的工作负载的大小来动态地调整操作者实例的数量，例如，可以动态地增加或者减少消费者实例的数量。以此方式，一方面可以在工作负载变大时增加处理能力以确保实时处理；另一方面当工作负载降低时，还可以释放不再需要的处理能力。附图说明结合附图并参考以下详细说明，本专利技术各实施方式的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本专利技术的若干实施方式。在附图中：图1示意性示出了适于实现本专利技术实施方式的示例性计算系统的框图；图2示意性示出了根据一个技术方案的DAG拓扑图的图示；图3示意性示出了根据本专利技术的一个实施方式的用于向DAG拓扑图中加入新的消费者实例的过程的框图；图4示意性示出了根据本专利技术的一个实施方式的用于处理数据的方法的流程图；图5A、图5B和图5C分别示意性示出了根据本专利技术的一个实施方式的用于处理数据的方法在不同阶段中的状态的分布的示意图；图6-图9分别示意性示出了根据本专利技术的一个实施方式的用于处理数据的方法的过程的细化框图；图10A和图10B分别示意性示出了根据本专利技术的如图9所示的实施方式的状态迁移的示意图；图11示意性示出了根据本专利技术的一个实施方式的用于处理数据的方法的过程的细化框图；以及图12示意性示出了根据本专利技术的一个实施方式的用于处理数据的设备的框图。具体实施方式下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了适于用来实现本专利技术实施方式的示例性计算系统100的框图。如图1所示，计算机系统100可以包括：CPU(中央处理单元)101、RAM(随机存取存储器)102、ROM(只读存储器)103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和触摸屏显示器114。在这些设备中，与系统总线104耦合的有CPU101、RAM102、ROM103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外部设备112与串行接口控制器107耦合，并行外部设备113与并行接口控制器108耦合，以及触摸屏显示器114与显示控制器109耦合。应当理解，图1所示的结构框图仅仅是为了示例的目的，而不是对本专利技术范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。应当注意，图1中仅仅示意性示出了可以为处理流数据提供计算资源的计算系统的示例，本领域技术人员还可以采用其他的计算系统来处理流数据。例如，可以采用单一物理计算设备，可以采用多个物理计算设备，还可以采用一个或者多个虚拟机来提供计算资源。或者，还可以采用运行在计算设备上的具有计算能力的逻辑计算节点(例如，应用的实例)来提供计算资源。所属
的技术人员知道，本专利技术可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施方式中，本专利技术还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：本文档来自技高网...

【技术保护点】
一种用于处理数据的方法，包括：响应于接收到将消费者实例的数量从第一数量调整至第二数量的调整请求，确定将与第一数量的消费者实例相关联的状态的第一分布调整为与第二数量的消费者实例相关联的所述状态的第二分布的调整策略，所述状态是处理所述数据的中间结果；根据所述调整策略，在所述第一数量的所述消费者实例与所述第二数量的所述消费者实例之间迁移所述状态；以及在所述第二数量的所述消费者实例处基于所述状态的所述第二分布处理所述数据。

【技术特征摘要】
1.一种用于处理数据的方法，包括：响应于接收到将消费者实例的数量从第一数量调整至第二数量的调整请求，确定将与第一数量的消费者实例相关联的状态的第一分布调整为与第二数量的消费者实例相关联的所述状态的第二分布的调整策略，所述状态是处理所述数据的中间结果；根据所述调整策略，在所述第一数量的所述消费者实例与所述第二数量的所述消费者实例之间迁移所述状态；以及在所述第二数量的所述消费者实例处基于所述状态的所述第二分布处理所述数据。2.根据权利要求1所述的方法，其中确定所述调整策略包括：确定将所述状态的所述第一分布调整至所述状态的所述第二分布的迁移开销；以及基于所述迁移开销确定所述调整策略。3.根据权利要求2所述的方法，其中确定所述迁移开销包括：基于一致性哈希算法确定所述迁移开销。4.根据权利要求1所述的方法，进一步包括：在迁移所述状态之前，在所述第一数量的消费者实例上游的第三数量的生产者实例处，向所述第一数量的所述消费者实例发送调整指示符，所述调整指示符指示在所述调整指示符之后分发的数据是根据所述状态的所述第二分布来分发的。5.根据权利要求4所述的方法，进一步包括：在发送所述调整指示符之后，根据所述状态的所述第二分布，从所述第三数量的生产者实例处向所述第二数量的消费者实例分发所述数据。6.根据权利要求4所述的方法，其中根据所述调整策略迁移所述状态包括：响应于在所述第一数量的所述消费者实例中的一个消费者实例处接收到来自上游的全部生产者实例的调整指示符，按照所述调整策略，从所述消费者实例向所述第二数量的所述消费者实例中的相关联的另一消费者实例迁移所述状态中的相关部分。7.根据权利要求6所述的方法，进一步包括：在所述消费者实例处接收到来自上游的全部生产者实例的调整指示符之前，在所述消费者实例处基于所述状态的所述第一分布处理所述数据。8.根据权利要求7所述的方法，进一步包括：在所述消费者实例处接收到来自上游的全部生产者实例的调整指示符之前，在所述另一消费者实例处，缓存从所述第三数量的所述生产者实例分发的数据。9.根据权利要求8所述的方法，进一步包括：响应于在所述另一消费者实例处接收到从所述消费者实例迁移的所述状态中的所述部分，基于所述部分来处理缓存的所述数据。10.根据权利要求1所述的方法，进一步包括以下中的任一项：响应于确定与处理所述数据相关联的工作负载增加，发出将所述消费者实例的所述数量从第一数量增加至第二数量的调整请求；以及响应于确定与处理所述数据相关联的工作负载减少，发出将所述消费者实例的所述数量从第一数量减少至第二数量的调整请求。11.一种用于处理数据的系统，包括：一个或者多个处理器；耦合至所述一个或者多个处理器中的至少一个处理器的存储器；在所述存储器中存储的计算机程序指令，当由...

【专利技术属性】
技术研发人员：陶隽，曹逾，董哲，李三平，
申请(专利权)人：伊姆西公司，
类型：发明
国别省市：美国,US