多粒度流处理制造技术

通过向计算环境的多个组件分布用于处理流的职责来支持流处理。可编程单元接收一个或者多个流并且确定将为一个或者多个流执行的操作和计算环境的哪些组件将执行那些操作。它出于处理和/或信息的目的而向计算环境的一个或者多个组件转发涉及一个或者多个流的数据。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术主要地涉及支持计算环境内的处理并且具体地涉及支持计算环境内的流处理。
技术介绍
目前有其中服务器耦合到流聚类的流处理环境。流聚类包括用来増加服务器的处理能力的ー个或者多个加速器。具体而言，加速器被优化成在比如果某些功能由服务器执行时更高的速度执行那些功能。具体而言，服务器接收流并且从流提取数据和其它信息。然后从服务器向ー个或者多个加速器发送该数据/信息用于处理。当加速器完成处理时，它们向服务器转发結果。在这样的环境中，服务器具有接收流、从流提取数据或者其它信息、向加速器转发数据/信息并且接收结果的职责。此外，它执行与流关联的其它处理。
技术实现思路
为了提高这样的系统的效率，根据本专利技术的ー个方面，流处理分布于计算环境的多个组件间。执行所有协调步骤不再是服务器的职责。通过提供一种用于支持计算环境中的流处理的计算机程序产品来克服现有技术的缺点并且提供附加优点。该计算机程序产品包括存储介质，存储介质可由处理电路读取并且存储用于由处理电路执行的用于执行方法的指令。该方法例如包括可编程单元获得将由可编程单元接收的ー个或者多个流的描述，可编程单元至少部分由计算环境的第一组件编程；可编程单元接收ー个或者多个流；并且可编程单元基于获得的描述的类型来处理ー个或者多个流，其中处理包括以下操作中的至少ー个操作向第一组件提供涉及ー个或者多个流的数据；在可编程单元执行用于ー个或者多个流的一组ー个或者多个操作；并且向计算环境的第二组件转发涉及一个或者多个流的信息以执行用于ー个或者多个流的另一组ー个或者多个操作。这里也描述并且要求保护涉及本专利技术的ー个或者多个方面的方法和系统。另外，也描述并且这里可以要求保护涉及本专利技术的ー个或者多个方面的服务。通过本专利技术的技术实现附加特征和优点。这里具体描述本专利技术的其它实施例和方面并且将它们视为要求保护的本专利技术的一部分。附图说明在说明书附帯的权利要求书中具体指出并且清楚地要求保护本专利技术的一个或者多个方面作为例子。从结合以下附图进行的下文具体描述中清楚本专利技术的前述和其它目的、特征和优点。 图I描绘了用于并入和使用本专利技术的ー个或者多个方面的计算环境的ー个例子。图2A描绘了根据本专利技术的ー个方面使用的流元数据数据结构的一个实施例；图2B描绘了根据本专利技术的ー个方面使用的流复合数据结构的一个例子；图3A描绘了根据本专利技术的ー个方面使用的摘要记录的一个例子；图3B描绘了根据本专利技术的ー个方面使用的工作负荷流处理指示的格式的ー个例子;图4描绘了根据本专利技术的ー 个方面的用于基于内联摘要记录来执行流处理的逻辑的ー个实施例；图5描绘了根据本专利技术的ー个方面的用于基于工作负荷指示来执行流处理的逻辑的ー个实施例；图6描绘了根据本专利技术的ー个方面的基于多粒度提取来执行流处理的逻辑的一个实施例；以及图7描绘了并入本专利技术的ー个或者多个方面的计算机程序产品的一个实施例。具体实施例方式根据本专利技术的ー个方面，在混合计算环境以及其它环境中支持流处理。在混合计算环境的一个例子中，可编程导引(steer)単元(比如智能交換机)耦合到计算环境的多个组件(例如包括服务器和流聚类)。流聚类包括一个或者多个计算単元(比如一个或者多个加速器)。交換机(或者其它可编程导引单元)从ー个或者多个源接收流并且基于源或者服务器接收的描述来处理那些流。响应于接收ー个或者多个流，交換机确定流的哪些操作将由混合计算环境的各种组件执行。例如交換机可以确定一组ー个或者多个操作将由交換机本身执行而另ー组ー个或者多个操作(例如计算更密集的操作)将由流聚类执行。另外，在一个或者多个实施例中，交換机响应于接收流和/或响应于流处理而向服务器发送描述数据。例如，交換机可以在接收流字节时执行流内或者流间计算(例如对流的求和、求差和卷积操作)。流聚类可以例如使用复杂图像处理算法来比较视频监控流输入的第一分钟和第65分钟内接收的视频帧。交换机执行可以用传入流的线速度执行的流操作。这样的操作通常需要适度存储器覆盖区。流聚类执行计算和存储器密集操作从而需要一个或者若干次传递提取的流数据。它也可能需要处理按时间段分离的数据。交換机可以导引数据使得适当流数据直接到达流聚类的计算单元以求高计算效率和性能。流聚类可以主控随时间段捕获流数据的时间序列数据库。服务器以行存储和列存储数据库为特征，这些数据库概括并且存储随时间段聚集的流、流操作和其它流数据。允许多粒度系统的多个组件在各种粒度(精细、中等和粗略粒度)对流数据操作实现高效率和高性能。在图I中描绘了用于并入和使用本专利技术的ー个或者多个方面的计算环境的ー个实施例。在这一例子中，服务器100耦合到流聚类110。服务器100例如包括经由ー个或者多个总线108相互耦合的一个或者多个处理器102、存储器104和一个或者多个输入/输出(I/O)设备或者接ロ 106。作为例子，服务器100是纽约阿蒙克市的国际商业机器公司(IBM )提供的 System p 、System x 或者 System z 服务器。IBM 、System p 、System x 和System z 是纽约阿蒙克市的国际商业机器公司(IBM )的注册商标。这里使用的其它名称可以是国际商业机器公司或者其它公司的注册商标、商标或者产品名。在另ー实施例中，服务器包括ー个或者多个分区或者区段。例如服务器是基于纽约阿蒙克市的国际商业机器公司(IBM )提供的z/ Architecture 的System z 服务器。在通过引用而整体结合于此、2009年2月的第SA22-7832-07号IBM出版物、标题为“z/Architecture Principles of Operation”的IBM 出版物中描述了 z/Architecture 。z/Arehiteeture 是纽约阿蒙克市的国际商业机器公司的注册商标。在一个例子中，流聚类110包括一个或者多个计算单元112。作为例子，计算单元为硬件加速器(比如刀片中心或者底盘中的刀片)。例子加速器包括国际商业机器公司提供的IBM Cel1 BE 刀片 IBMgi DataP°wer 单元；nVidia GPU ;和 / 或 System p 或者Systemx 刀片。在又一例子中，计算单元为服务器(比如System x 、System p 或者SyStemz 服务器)。许多其它例子也有可能。聚类可以包括不同计算单元的混合(包括不同加速器类型的混合)。在一个例子中，服务器100例如经由诸如PCI Express、InfiniBand、以太网等网络来与流聚类Iio通信。另外，服务器100和流聚类110例如经由InfiniBand或者以太网网络耦合到至少ー个可编程导引単元(比如交換机120)。作为例子，交換机120例如为服务器(比如System x 、System p 或者System z 服务器或者思科系统公司或者国际商业机器公司提供的交換机设备)。如这里描述的那样，交換机从ー个或者多个源接收流并且处理那些流。根据本专利技术的ー个方面，为了支持流处理，多个数据结构(例如表)用来维护各种信息。这些数据结构例如包括流元数据表和流复合表(下文描述每个表)。在一个例子中，流元数据表由服务器维护。參照图2A，流元数据表200例如包括一个或者多个条目，并且每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2009.12.15 US 12/637,9721.一种用于支持计算环境中的流处理的计算机程序产品，所述计算机程序产品包括 存储介质，可由处理电路读取并且存储用于由所述处理电路执行的用于执行方法的指令，所述方法包括 可编程单元获得将由所述可编程単元接收的ー个或者多个流的描述，所述可编程単元至少部分由所述计算环境的第一组件编程； 所述可编程単元接收所述ー个或者多个流；以及 所述可编程単元基于获得的所述描述的类型来处理所述ー个或者多个流，其中所述处理包括以下的至少ー个 向所述第一组件提供涉及所述ー个或者多个流的数据； 在所述可编程単元处执行用于所述一个或者多个流的一组ー个或者多个操作；以及 向所述计算环境的第二组件转发涉及所述ー个或者多个流的信息以执行用于所述一个或者多个流的另ー组ー个或者多个操作。2.根据权利要求I所述的计算机程序产品，其中所述获得包括从所述ー个或者多个流的至少ー个源接收摘要记录，所述摘要记录包括所述ー个或者多个流的一个或者多个特性。3.根据权利要求2所述的计算机程序产品，其中所述第一组件包括耦合到所述可编程単元的服务器，并且其中所述提供数据包括向所述服务器提供所述摘要记录。4.根据权利要求3所述的计算机程序产品，其中所述方法还包括所述服务器响应于接收所述摘要记录而更新ー个或者多个流数据结构。5.根据权利要求I所述的计算机程序产品，其中所述获得包括从所述第一组件接收工作负荷指示，所述工作负荷指示描述涉及所述ー个或者多个流的ー个或者多个特性。6.根据权利要求I所述的计算机程序产品，其中所述信息包括对所述一个或者多个流执行操作的結果。7.根据权利要求I所述的计算机程序产品，其中所述处理还包括所述可编程单元确定将由所述可编程单元执行的所述ー组操作和将由所述第二组件执行的所述另ー组操作。8.根据权利要求7所述的计算机程序产品，其中所述确定至少部分基于所述第一组件对所述可编程单元的编程。9.根据权利要求7所述的计算机程序产品，其中所述第二组件包括耦合到所述可编程単元的流聚类的一个或者多个计算単元。10.根据权利要求9所述的计算机程序产品，其中所述ー个或者多个计算単元包括一个或者多个加速器。11.根据权利要求I所述的计算机程序产品，其中所述方法还包括向所述第一组件提供由于处理所述流而产生的输出，其中所述提供输出由所述可编程単元和所述第二组件中的至少ー个执行。12.一种用于支持计算环境内的流处理的计算机系统，所述计算机系统包括 存储器；以及 ...

【专利技术属性】
技术研发人员：R·克里施纳穆尔西，C·J·帕里斯，C·E·伯伊斯，刘龙国，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：