流式数据系统中的处理单元管理技术方案

流应用可能低效地使用执行数据流的处理单元的硬件资源。例如，计算节点可以托管四个处理单元，并且使用CPU来执行每一个。然而，在该计算节点上的其他CPU可能保持空闲。为了利用这些可用的硬件资源，流编程人员可以识别可以被克隆的一个或多个处理单元。该克隆的处理单元可以用于产生与包括原始处理单元的执行路径并行的不同执行路径。因为克隆的处理单元与原始处理单元包含相同的操作子，所以先前仅流经原始处理单元的数据流可以被分离并通过原始和克隆的处理单元来发送。以这种方式，并行执行路径可以使用未充分利用的硬件资源来增大数据流的吞吐量。

【技术实现步骤摘要】
【国外来华专利技术】流式数据系统中的处理单元管理
本专利技术的实施例总体上涉及流计算应用。具体地说，所公开的实施例公开了分布 处理单元或操作子（operator)以在流计算环境中未充分利用的硬件资源。
技术介绍
随着计算机数据库已经变得极为复杂，对于数据库系统设置的计算要求也已经以 快速的步调增加。数据库系统通常被配置为将存储数据的处理与访问、操纵或使用在数据 库中存储的数据的操作分离。更具体地，数据库使用下述模型：其中，数据首先被存储，然后 被添加索引并且最后被查询。然而，该模型不能满足一些实时应用的性能要求。例如，数据 库系统可以接收和存储进入数据的速率限制了可以处理或以其他方式评估多少数据。这继 而可以限制数据库应用实时地处理大量数据的能力。
技术实现思路
本专利技术的实施例提供了一种用于处理数据的方法、系统和计算机程序产品。所述 方法、系统和计算机程序接收将由包括一个或多个操作子的多个处理单元处理的流式数 据。所述操作子通过一个或多个计算机处理器的操作来处理所接收的数据的至少一部分。 所述方法、系统和计算机程序建立多个操作子的操作子图。所述操作子图定义至少一本文档来自技高网...

【技术保护点】
一种方法，包括：接收将被包括一个或多个操作子的多个处理单元处理的流式数据，所述操作子通过一个或多个计算机处理器的操作来处理所接收的数据的至少一部分；建立多个操作子的操作子图，所述操作子图定义至少一个执行路径，在该执行路径中，所述多个操作子的第一操作子被配置为从至少一个上游操作子接收数据元组，并且向至少一个下游操作子发送数据元组；相对于预定义的标准识别在执行所述操作子的计算系统中未充分利用的硬件资源；克隆所述多个处理单元的第一处理单元，使得克隆的处理单元与所述第一处理单元包括相同的一个或多个操作子；以及在包括克隆的处理单元的第一执行路径中处理所接收的流式数据的至少一部分，所述第一执行路径与包括所...

【技术特征摘要】
【国外来华专利技术】2012.01.30 US 13/361,2871. 一种方法，包括： 接收将被包括一个或多个操作子的多个处理单元处理的流式数据，所述操作子通过一 个或多个计算机处理器的操作来处理所接收的数据的至少一部分； 建立多个操作子的操作子图，所述操作子图定义至少一个执行路径，在该执行路径中， 所述多个操作子的第一操作子被配置为从至少一个上游操作子接收数据元组，并且向至少 一个下游操作子发送数据元组； 相对于预定义的标准识别在执行所述操作子的计算系统中未充分利用的硬件资源； 克隆所述多个处理单元的第一处理单元，使得克隆的处理单元与所述第一处理单元包 括相同的一个或多个操作子；以及 在包括克隆的处理单元的第一执行路径中处理所接收的流式数据的至少一部分，所述 第一执行路径与包括所述第一处理单元的第二执行路径并行地执行，其中克隆的处理单元 使用所述未充分利用的硬件资源来处理所接收的流式数据的所述部分。2. 根据权利要求1所述的方法，进一步包括： 在所述操作子图中所述克隆的和第一处理单元的上游启动第二处理单元，该第二处理 单元包括分离操作子，该分离操作子向所述克隆的和第一处理单元两者中的操作子发送数 据元组；以及 在所述操作子图中所述克隆的和第一处理单元的下游启动第三处理单元，该第三处理 单元包括合并操作子，该合并操作子合并从在所述克隆的和第一处理单元两者中的操作子 接收的数据元组。3. 根据权利要求2所述的方法，进一步包括：在所述多个处理单元正在处理所接收的 流式数据时，向所述操作子图插入所述克隆的、第二和第三处理单元。4. 根据权利要求1所述的方法，其中，所述未充分利用的硬件资源是CPU和内存的一部 分中的至少一个。5. 根据权利要求4所述的方法，其中，所述未充分利用的硬件资源是当前未执行所述 多个处理单元之一的操作子之一的CPU。6. 根据权利要求1所述的方法，进一步包括： 克隆所述多个处理单元的第二处理单元以产生与所述第二处理单元包括相同的一个 或多个操作子的第二克隆的处理单元，其中所述第二处理单元直接连接到所述第二执行路 径中的所述第一处理单元；以及 在包括所述第二克隆的处理单元的所述第一执行路径中处理所接收的流式数据，其 中，所述第二克隆的处理单元使用所述未充分利用的硬件资源来处理所接收的流式数据。7. 根据权利要求1所述的方法，进一步包括：确定所述第一处理单元是否是可克隆的， 其中可克隆的处理单元能够以与接收数据元组的顺序不同的顺序来处理所接收的数据元 组。8. -种计算机程序产品，包括： 计算机可读存储介质，其具有用来具体化的计算机可读程序代码，所述计算机可读程 序代码包括被配置为执行下述处理的计算机可读程序代码： 接收将被包括一个或多个操作子的多个处理单元处理的流式数据，所述操作子处理所 接收的数据的至少一部分； 建立多个操作子的操作子图，所述操作子图定义至少一个执行路径，在该执行路径中， 所述多个操作子的第一操作子被配置为从至少一个上游操作子接收数据元组，并且向至少 一个下游操作子发送数据元组； 相对于预定义的标准识别在执行所述操作子的计算系统中未充分利用的硬件资源； 克隆所述多个处理单元的第一处理单元，使得克隆的处理单元与所述第一处理单元包 括相同的一个或多个操作子；以及 在包括克隆的处理单元的第一执行路径中处理所接收的流式数据的至少一部分，所述 第一执行路径与包括所述第一处理单元的第二执行路径并行地执行，其中克隆的处理单元 使用所述未充分利用的硬件资源来处理所接收的流式数据的所述部分。9. 根据权利要求8所述的计算机程序产品，进一步包括被配置为执行下述处理的计算 机可读程序代码： 在所述操作子图中所述克隆的和第一处理单元的上游启动第二处理单元，该第二处理 单元包括分离操作子，该分离操作子向所述克隆的和第一处理单元两者中的操作子发送数 据元组；以及 ...

【专利技术属性】
技术研发人员：J桑托苏索，B舒尔兹，RK克拉迪克，M布兰森，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US