分布式多环境流计算制造技术

本公开涉及分布式多环境流计算。使流处理管理节点执行以下操作的计算机软件：(i)在流处理管理节点和在多环境计算系统中的相应计算环境上执行的多个流处理实例之间建立数据通信；(ii)将流处理作业的一个或多个处理单元分发到多个流处理实例中的第一组流处理实例；(iii)从第一组流处理实例中的一个或多个流处理实例接收与流处理作业的一个或多个处理单元相关联的处理结果；以及(iv)至少部分地基于所接收的处理结果来执行基于机器学习的流管理操作。理操作。理操作。

【技术实现步骤摘要】
分布式多环境流计算

技术介绍

[0001]本专利技术通常上涉及流计算领域，并且更具体地涉及跨多个计算环境分发流计算作业。
[0002]流计算(也被重新称为“流处理”、“流式处理”、“多个流处理”等)是用于对数据的连续流(诸如来自传感器、相机、新闻馈送等的数据)执行查询的已知技术。在流处理作业中，运算符对数据流执行操作，其中，数据流内的单独数据片段通常被称为“元组”。运算符通常被包含在单独的执行单元内，有时被称为“处理单元”或“处理元件”。
[0003]流计算系统可在单个计算环境(诸如单个云计算环境或数据中心)中实现，并且也可在分布式环境中实现，其中流处理作业的各个部分(诸如处理元件)跨多个计算环境(诸如由不同的云供应商操作的多个云计算环境)分布。

技术实现思路

[0004]根据本专利技术的方面，提供方法、计算机程序产品和/或系统，其执行以下操作(不必按以下顺序)：(i)由流处理管理节点在流处理管理节点和在多环境计算系统中的相应计算环境上执行的多个流处理实例之间建立数据通信；(ii)由流处理管理节点将流处理作业的一个或多个处理单元分发到多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：由流处理管理节点在所述流处理管理节点与在多环境计算系统中的相应计算环境上执行的多个流处理实例之间建立数据通信；由所述流处理管理节点将流处理作业的一个或多个处理单元分发到所述多个流处理实例中的第一组流处理实例；由所述流处理管理节点从所述第一组流处理实例中的一个或多个流处理实例接收与所述流处理作业的所述一个或多个处理单元相关联的处理结果；并且由所述流处理管理节点至少部分地基于所接收的处理结果来执行基于机器学习的流管理操作。2.根据权利要求1所述的计算机实现的方法，其中，所述基于机器学习的流管理操作包括至少部分地基于所接收的处理结果将新的流处理作业的一个或多个处理单元分发到所述多个流处理实例中的第二组流处理实例。3.根据权利要求1所述的计算机实现的方法，其中，所述基于机器学习的流管理操作包括至少部分地基于所接收的处理结果来指示分布式的一个或多个处理单元中的第一处理单元从第一流处理实例移动到第二流处理实例。4.根据权利要求3所述的计算机实现的方法，其中，所述基于机器学习的流管理操作进一步至少部分地基于识别所述第一处理单元已经由所述第一流处理实例终止。5.根据权利要求1所述的计算机实现的方法，其中，所述基于机器学习的流管理操作包括增加与所述流处理作业相关...

【专利技术属性】
技术研发人员：H，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：