用于多处理环境中的数据聚合的方法和系统技术方案

公开了在多处理环境中用于数据聚合的方法和系统。容错功能用于可靠地收集和聚合来自多个处理单元的不同数据。在处理单元处，对该处理单元的数据进行收集和本地聚合。将本地聚合数据存储在本地数据库中，并将其定期转发到中央管理器。当接收数据时，中央管理器确定在处理环境的数据总聚合是否应包括该数据。

【技术实现步骤摘要】

本专利技术通常涉及在分布式处理环境中的数据管理，特别是，涉及用于以容错方式从分布式处理环境的多个处理单元收集(collection)和聚合(aggregation)数据。
技术介绍
在分布式处理环境(例如，集群环境)中，从环境的多个处理单元收集和聚合(aggregate)数据。该聚合数据能在许多任务中使用，这些任务包括但不限于在处理环境内的工作负荷管理。在以前，为了收集该数据，由处理单元将数据发送到环境的中央管理器。然后，中央管理器负责将数据聚合。然而，在处理单元与中央管理器之间的通信介质是非可靠的，因此，会丢失数据和/或反复发送数据。这导致数据聚合的不准确。
技术实现思路
基于以上描述，需要一种用于从环境的多个处理单元收集和聚合数据的增强型设备。特别是，需要一种用于数据收集和聚合的容错设备，其中，中央管理器能够容许数据的丢失和重复。通过提供一种用于在多处理环境中进行数据聚合的方法，克服现有技术的缺点，并提供额外的优点。该方法包括例如由处理环境的中央管理器对处理环境的多个处理单元的多个处理单元中每个处理单元的本地聚合数据进行跟踪，其中，处理单元的本地聚合数据是关于该处理单元的数据，且其中，跟踪确保重复的本地聚合数据和过时的本地聚合数据被丢弃；和由中央管理器聚合该多个处理单元的本地聚合数据，以获得多处理环境的总聚合数据。在另一实施例中，提供了一种在多处理环境中聚合数据的方法。该方法包括例如由多处理环境的多个处理单元的多个处理单元中每个处理单元对数据进行本地聚合，本地聚合确保不会丢失要聚合的任何数据，其中，处理单元的本地聚合数据包括与该处理单元有关的数据；由该多处理单元的每个处理单元将其本地聚合数据通过一个或多个非可靠连接转发到中央管理器，其中，该转发容许零或更多次失败的转发尝试；由中央管理器对每个处理单元的本地聚合数据进行跟踪，其中，跟踪确保重复的本地聚合数据和过时的本地聚合数据被丢弃；和由中央管理器对该多个处理单元的本地聚合数据进行聚合，以获得多处理环境的可靠总聚合数据。此外，此处还描述和要求保护对应于上述方法的系统和计算机程序产品。通过本专利技术的技术，可实现更多特征和优点。此处，更详细地描述本专利技术的其他实施例和方面，并将其视为所要求保护的专利技术的一部分。附图说明下面，将具体指出本专利技术的一个或多个方面，其被明确声明作为说明书结束后权利要求范围内的示例。结合附图，通过下面的详细描述，会明白本专利技术的上述及其他目的、特征和优点，其中图1表示包含并使用本专利技术的一个或多个方面的处理环境的一个实施例；图2根据本专利技术的方面表示如图所示处理单元的更多细节；图3根据本专利技术的方面表示与按照容错方式收集和聚合数据相关联的逻辑的一个实施例；图4根据本专利技术的方面表示响应在处理环境内重新启动，与收集和聚合数据相关联的逻辑的一个实施例；图5根据本专利技术的方面表示中央管理器收集数据、聚合数据和处理丢失数据的一个具体实例；和图6表示包含本专利技术的一个或多个方面的计算机程序产品的一个示例。具体实施例方式根据本专利技术的方面，提供一种容错功能，以便可靠地收集和聚合来自多个处理单元的不同数据。在一处理单元处，对该处理单元的数据进行收集和本地聚合。存储本地聚合数据，并将其定期转发到中央管理器。响应于接收数据，中央管理器确定在处理环境的数据总聚合中是否应包括该数据。如果确定应包括该数据，则中央管理器将该数据添加到总聚合中。然后，中央管理器可在若干种情形(包括例如份额调度情形)中使用总聚合。下面，参照图1，描述包括和使用本专利技术的一个或多个方面的处理环境的一个实施例。在一个示例中，处理环境为分布式处理环境，例如，集群环境，在其中，共享环境资源以执行系统任务。尽管此处将集群环境描述成包括和使用本专利技术的一个或多个方面，不过，其他类型的环境，包括非集群环境，也可从本专利技术的一个或多个方面受益。图1表示包括例如多个处理单元102的集群环境100，该多个处理单元102通过一个或多个连接106与至少一个其他处理单元104相连。连接106例如为非可靠的连接，包括但不限于有线连接、无线连接或任何类型的网络连接，例如局域网(LAN)、广域网(WAN)、令牌环、以太网连接等。或者，也可通过一个或多个连接将处理单元102与一个或多个其他处理单元102相连接。在一个示例中，处理单元包括例如个人计算机、膝上型计算机、工作站、主机、小型机或任何其他类型的处理单元。作为一个具体示例，每个处理单元为国际商用机器公司(纽约Armonk)提供的pSeries服务器。“pSeries”为国际商用机器公司(纽约Armonk)的注册商标。每个处理单元可以是与另一单元类型相同或不同的处理单元。在一个示例中，每个处理单元都执行操作系统，例如，Linux，或国际商用机器公司提供的AIX。“AIX”为国际商用机器公司(纽约Armonk)的注册商标。一个处理单元的操作系统可以与另一处理单元的操作系统相同或不同。此外，在其他示例中，一个或多个处理单元可以不包括操作系统。根据本专利技术的方面，每个处理单元102(或其子集)为数据的收集器，因此，此处将其称为收集器或收集器机器。例如，当在处理单元上执行的作业终止时，或以定期间隔，收集器收集关于在该处理单元上进行处理的作业的资源利用信息。然后，将收集器收集的信息转发到处理单元104，此处将处理单元104称为中央管理器。中央管理器负责对处理环境的各种任务进行全局管理。例如，中央管理器包括用于在环境内进行公平份额调度的作业调度器，并将收集的信息用于公平份额调度。特别是，在该示例中，每个收集器收集数据，该数据对于由中央管理器(例如，作业调度器)用于调度要执行的作业的合成数据聚合形成贡献。下面，参照图2，描述关于收集器和中央管理器的更多细节。在一个实施例中，每个收集器102包括有存储器200，用于存储所收集数据的本地聚合202。该数据对收集它的收集器而言是惟一的，这是由于该数据与执行在该收集器上的作业相关联。在一个示例中，数据包括或具有与其关联的时间戳，用于表明数据最近何时被聚合。收集器102还包括数据库204或与数据库204相连接，在数据库204中，存储有本地聚合数据的持久性(persistent)拷贝。数据库204例如存储在与收集器102相连的存储介质(例如，磁盘)上。每个收集器102将其本地聚合数据发送到中央管理器104，中央管理器104保持有收集器的数据的本地拷贝210。中央管理器104还包括数据结构，例如表212，表212具有列表214，其中具有针对每个收集器的表项。列表中的每个表项存储有从相应收集器接收的最新聚合值的本地拷贝及其时间戳。表212也包括总聚合值216，总聚合值216为来自列表的所有本地拷贝的聚合。下面，参照图3，描述与多个收集器收集和聚合数据相关联的逻辑的一个实施例。最初，当收集器上处理的作业终止时，或以定期间隔，收集器收集与该作业相关的新数据，并本地聚合该数据。例如，收集器可收集所报告的该作业所用CPU时间的量，并将该时间与已收集的CPU时间聚合。将该本地聚合数据保存在收集器的存储器中，或保存在数据库中以进行持久保存。这确保不会丢失任何新数据。之后，例如以定期间隔(例如，每2分钟)或当作业终止时，收集器将其本地聚合数据和表明数据何时被聚合的时本文档来自技高网...

【技术保护点】
一种用于在多处理环境中进行数据聚合的方法，所述方法包括：由处理环境的中央管理器对处理环境的多个处理单元的多个处理单元中每个处理单元的本地聚合数据进行跟踪，其中，处理单元的本地聚合数据是关于该处理单元的数据，且其中，该跟踪确保重复的本 地聚合数据和过时的本地聚合数据被丢弃；和由中央管理器聚合该多个处理单元的本地聚合数据，以获得多处理环境的总聚合数据。

【技术特征摘要】
US 2006-4-27 11/412,7571.一种用于在多处理环境中进行数据聚合的方法，所述方法包括由处理环境的中央管理器对处理环境的多个处理单元的多个处理单元中每个处理单元的本地聚合数据进行跟踪，其中，处理单元的本地聚合数据是关于该处理单元的数据，且其中，该跟踪确保重复的本地聚合数据和过时的本地聚合数据被丢弃；和由中央管理器聚合该多个处理单元的本地聚合数据，以获得多处理环境的总聚合数据。2.根据权利要求1的方法，其中，该跟踪包括在数据结构中保持多处理环境的一个或多个处理单元的列表，以及针对该一个或多个处理单元中至少一个处理单元的每个处理单元，保持该处理单元的本地聚合数据。3.根据权利要求1的方法，其中，对处理单元的本地聚合数据的跟踪包括由中央管理器从该处理单元接收本地聚合数据；将所接收的本地聚合数据的时间戳与中央管理器所保持的该处理单元的本地聚合数据的时间戳以及缺省值之一进行比较；和响应于比较表明要跟踪该本地聚合数据，存储该本地聚合数据。4.根据权利要求3的方法，其中聚合包括响应于比较表明要包括该本地聚合数据，重新计算总聚合数据以包括该本地聚合数据。5.根据权利要求1的方法，还包括由多处理环境的处理单元收集该处理单元的数据；在该处理单元处聚合所收集的数据，以获得该处理单元的本地聚合数据；以及将本地聚合数据转发到中央管理器，以用于中央管理器的跟踪。6.根据权利要求5的方法，还包括，将该处理单元的本地聚合数据存储在该处理单元的数据库中，以提供该本地聚合数据的持久性拷贝。7.根据权利要求5的方法，其中，该处理单元的本地聚合数据具有与之相关联的时间戳，所述时间戳被转发到中央管理器，并且在跟踪时用于确保忽略过时的数据。8.根据权利要求1的方法，还包括，重新启动该多个处理单元的处理单元，并且响应于此，将重新启...

【专利技术属性】
技术研发人员：戴维P布里尔斯福德，理查德J库彭格，亚历山大杜拉雅恩，钟恩慈，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：US[美国]