用于实时处理数据流的受管理功能执行制造技术

本申请关于用于实时处理数据流的受管理功能执行。可经由用于受管理流处理系统的编程接口来接收描述要针对一个或多个数据流执行的一个或多个操作的功能。可确定能够应用所述功能的流处理节点，并且当接收到数据流的数据记录时，可在流处理节点处启动一个或多个操作的执行。可将处理功能的应用结果提供至为所述功能指定的一个或多个目标。还可收集性能度量以执行所述功能并将其提供至提交所述功能的客户端。

【技术实现步骤摘要】
【国外来华专利技术】用于实时处理数据流的受管理功能执行
技术介绍
联网传感器和计算设备等互连设备可生成与各种操作、事务处理或其他事件有关的数据并将其发送至远程设备以供存储和后续分析。举例来说，移动电话可生成指示其位置、电话用户正在使用的应用程序等的数据，这些数据中的至少一些可被收集和分析，以便向用户呈现定制的优惠券、广告等。对监控摄像机所收集的数据进行分析的结果可用于预防和/或解决犯罪，从嵌入飞机发动机、汽车或复杂机械内各个位置的传感器收集的数据可用于各种目的，如预防性维护、提高效率和降低成本。可生成大量这类数据并以流方式发送，以便可实时捕获数据。然而，随着时间的推移，可能难以对大量流数据进行有效地分析。想要解译或操纵数据，数据记录在数据流内的不同数据格式可能需要执行不同的操作，这使得难以利用公共方案来处理多个数据流。数据流内的数据量可能随时间而变化，这使得获取适当数量的资源来有效地分析数据流的工作愈加复杂。附图说明图1是示出根据至少一些实施方案的用于实时处理数据流的受管理功能执行的逻辑框图。图2是示出根据至少一些实施方案的实现提供数据流的受管理功能执行的流处理服务的供应商网络的逻辑框图。图3是根据至少一些实本文档来自技高网...

【技术保护点】
1.一种系统，包括：多个计算节点，分别包括至少一个处理器和存储器，其中，所述多个计算节点实现包括控制平面和多个流处理节点的受管理流处理系统；控制平面，配置为：接收将处理功能应用于数据流的请求；识别一个或多个流处理节点以应用所述处理功能；配置所述一个或多个流处理节点以应用所述处理功能；和在一个或多个流处理节点处启动所述处理功能的执行，使得当在所述一个或多个流处理节点处接收到所述数据记录时，将所述处理功能应用于所述数据流的数据记录。

【技术特征摘要】
【国外来华专利技术】2016.03.29 US 15/084,3471.一种系统，包括：多个计算节点，分别包括至少一个处理器和存储器，其中，所述多个计算节点实现包括控制平面和多个流处理节点的受管理流处理系统；控制平面，配置为：接收将处理功能应用于数据流的请求；识别一个或多个流处理节点以应用所述处理功能；配置所述一个或多个流处理节点以应用所述处理功能；和在一个或多个流处理节点处启动所述处理功能的执行，使得当在所述一个或多个流处理节点处接收到所述数据记录时，将所述处理功能应用于所述数据流的数据记录。2.如权利要求1所述的系统，其中，所述一个或多个流处理节点被配置为：请求所述数据流的新数据记录；收到所述新的数据记录后：应用所述处理功能来更新所述处理功能的状态；基于所述处理功能的所述状态，生成结果；和将所述结果发送至为所述处理功能指定的至少一个结果目标。3.如权利要求1所述的系统，其中所述处理功能是从所述受管理流处理系统的客户端接收的，并且其中所述控制平面还被配置为：收集一个或多个性能度量，用于在一个或多个处理节点处执行处理功能；和将一个或多个性能度量发送至所述客户端。4.如权利要求1所述的系统，其中所述受管理流处理系统是作为供应商网络的部分实现的基于网络的服务，并且其中所述数据流由作为所述供应商网络的部分实现的另一基于网络的服务产生。5.一种方法，包括：通过一个或多个计算装置执行：通过编程接口接收数据流的功能，所述功能指定要对数据流的数据记录执行的一个或多个操作；确定被配置为针对所述数据流应用所述功能的一个或多个流处理节点；和在一个或多个流处理节点处执行所述功能，使得当在一个或多个流处理节点处接收到所述数据记录时，对所述数据流的所述数据记录执行一个或多个操作。6.如权利要求5所述的方法，其中，所述一个或多个流处理节点是多个流处理节点，并且其中，所述方法还包括：确定用于在所述多个流处理节点处执行所述功能的工作负载分配方案。7.如权利要求5所述的方法，其中，所述功能作为来自客户端的请求的部分被接收，并且其中，所述请求还指定用于在所述一个...

【专利技术属性】
技术研发人员：G·D·格海尔，R·S·巴尔加，
申请(专利权)人：亚马逊科技公司，
类型：发明
国别省市：美国,US