用于实时处理数据流的受管理功能执行制造技术

本申请关于用于实时处理数据流的受管理功能执行。可经由用于受管理流处理系统的编程接口来接收描述要针对一个或多个数据流执行的一个或多个操作的功能。可确定能够应用所述功能的流处理节点，并且当接收到数据流的数据记录时，可在流处理节点处启动一个或多个操作的执行。可将处理功能的应用结果提供至为所述功能指定的一个或多个目标。还可收集性能度量以执行所述功能并将其提供至提交所述功能的客户端。

【技术实现步骤摘要】
【国外来华专利技术】用于实时处理数据流的受管理功能执行
技术介绍
联网传感器和计算设备等互连设备可生成与各种操作、事务处理或其他事件有关的数据并将其发送至远程设备以供存储和后续分析。举例来说，移动电话可生成指示其位置、电话用户正在使用的应用程序等的数据，这些数据中的至少一些可被收集和分析，以便向用户呈现定制的优惠券、广告等。对监控摄像机所收集的数据进行分析的结果可用于预防和/或解决犯罪，从嵌入飞机发动机、汽车或复杂机械内各个位置的传感器收集的数据可用于各种目的，如预防性维护、提高效率和降低成本。可生成大量这类数据并以流方式发送，以便可实时捕获数据。然而，随着时间的推移，可能难以对大量流数据进行有效地分析。想要解译或操纵数据，数据记录在数据流内的不同数据格式可能需要执行不同的操作，这使得难以利用公共方案来处理多个数据流。数据流内的数据量可能随时间而变化，这使得获取适当数量的资源来有效地分析数据流的工作愈加复杂。附图说明图1是示出根据至少一些实施方案的用于实时处理数据流的受管理功能执行的逻辑框图。图2是示出根据至少一些实施方案的实现提供数据流的受管理功能执行的流处理服务的供应商网络的逻辑框图。图3是根据至少一些实施方案的实现用于实时处理数据流的受管理功能执行的流处理服务的逻辑框图。图4是根据至少一些实施方案的流处理节点的逻辑框图。图5示出了根据至少一些实施方案的经由编程接口的客户端和流处理服务之间的交互。图6示出了根据至少一些实施方案的流处理节点与不同目标之间用以传递流处理结果的交互。图7A和7B是根据至少一些实施方案的提供用于处理一个或多个数据流的流处理功能的图形用户界面的实施例。图8是示出根据至少一些实施方案的用于为数据流提供用于实时执行流处理功能的流处理节点的各种方法和技术的高级流程图。图9是示出根据至少一些实施方案的在流处理节点处应用流处理功能的各种方法和技术的高级流程图。图10是示出可在至少一些实施方案中使用的示例性计算系统的框图。虽然本文通过对若干实施方案和示意性附图举例的方式描述了实施方案，但本领域的技术人员应认识到，实施方案并不限于所描述的实施方案或附图。应理解，附图和对附图的详细描述并不意图将实施方案限于所公开的特定形式，而是相反，意图涵盖落入由所附权利要求书限定的精神和范围内的所有修改、等同物和替代方案。本文所使用的标题仅用于组织目的，并且并不意图用来限制本说明书或权利要求书的范围。如贯穿本申请所使用，词语“可”是在许可的意义上(即，意指具有可能性)而非强制的意义上(即，意指必须)使用的。类似地，词语“包括”、“包含”和“含有”意指“包括但不限于”。具体实施方式本文描述了用于实现实时处理数据流的受管理功能执行的方法和装置的各种实施方案。本文使用的术语“数据流”是指数据记录序列，它可由一个或多个数据生成器生成并由一个或多个数据消耗器访问，其中假定每个数据记录是表示一个或多个属性的不可变字节序列。本文中流的记录也可称为观察记录、观察结果、点或数据记录，并且数据生成器可称为流数据源。受管理流处理系统可提供编程接口(例如，应用编程接口(API)、网页或网站、图形用户界面或命令行工具)以便以各种方式执行通过编程接口指定的功能(例如，通过编程接口选择、上传或修改)，并将处理结果的报告指向一个或多个目标。受管流处理系统可确定数据方案和处理资源以便执行流处理功能。流处理功能可根据标准编程语言或规范来指定，如结构查询语言(SQL)、自定义编程或Matlab等数值计算语言、领域特定语言(可由受管理流处理系统定义和实现)、或者使用户能够选择输入数据流、功能操作(例如，聚合、过滤、统计操作等)和结果目标的输入表单或其他界面元素(例如，功能生成向导)。受管理流处理系统可处理与输入数据流的连接或交接、选择或供应可执行指定流处理功能的适当流处理节点(或其他处理资源)(例如，实现适当的执行引擎，如解译SQL语句的存储引擎)，并将结果报告至结果目标。这样一来，受管理流处理系统可允许用户在原始数据流上连接、解析和应用实时模式。在受管理流处理系统处执行流处理功能可使用户能够快速构建包括数据过滤器、变换和聚合的实时计算，而无需耗费额外的时间来手动管理资源以执行指定的流处理功能。此外，受管理流处理系统可提供预定义流处理功能或操作的库，以包括在可定制以构建各种流处理应用的功能中，所述功能包括关键性业务流应用，如实时流量拥塞分析、紧急呼叫监控、欺诈检测和工业传感器分析。图1是示出根据至少一些实施方案的用于实时处理数据流的受管理功能执行的逻辑框图。客户端140可经由接口112向受管理流处理系统110提供流处理功能，所述接口112可以是可通过客户端140与受管理流处理系统110之间的网络连接来调用的编程接口。然后，受管理流处理系统110可实现流处理供应130，以便在流处理节点120上执行流处理功能，由此使得当接收数据流102的数据记录时，流处理节点120可应用流处理功能，并将结果104提供至指定的结果目标。如上所述，客户端140可指定流处理功能以实现不同的应用。例如，客户端140可包括流处理功能中的操作，所述操作选择某些属性，然后指定对所选属性执行特定处理的操作(例如，过滤属性、对照已知模式验证属性的值、执行时间序列分析)。关键性能指示符(KPI)是可从数据流中提取以供执行这类操作的数据属性的一个实施例。客户端140可利用流处理功能来执行流模式生成，由此使得当从数据流记录中检测到某些事件时可触发实时警报，或者由此使得可插入附加数据以扩充数据流的数据记录中所传送的数据。此外，客户端140可指定跨多个数据流处理的流处理功能，以便执行复杂流处理(例如，分析不同流中的流事件之间的时间模式)。流处理记录可提供至已完成并准备好执行(例如，识别输入流、操作、结果目标和其他信息，如下面关于图5所讨论的)的受管理流处理系统110。在一些实施方案中，客户端可配置流处理功能的性能(例如，通过提供分布方案以将来自一个或多个输入数据流的数据映射至应用流处理功能的分布式流处理节点集)。一旦受管理流处理系统110接收流处理功能，流处理供应130就可分析输入数据流102，从而确定数据流102的数据方案。举例来说，流处理供应130可读取方案的若干数据记录，并确定每个数据记录具有4个属性、2个整数值和2个字符串值，并标记或定义这些不同的属性，以便可通过处理功能(例如，利用指定的属性名称作为能力的“列”，由此使得可执行使用不同列值的SQL查询)来评估、调控、移除或变换不同的属性。受管理流处理系统110还可选择流处理节点120中的一个适当节点来执行流处理功能，如下面关于图3和图8所讨论的。例如，流处理供应130可确定是否需要一个或多个流处理节点120来处理可针对所识别的输入数据流而接收的一定量数据记录。在一些实施方案中，流处理节点120可实现为多租户处理模型的部分(其中，针对不相关流处理功能的流处理可由相同节点或底层主机执行)，并且流处理供应130可选择能够执行接收流处理功能的流处理节点120。流处理供应130可识别用于执行流处理功能的处理特征或特性，并识别能够提供指定特性(例如，网络带宽或处理速度)的流处理节点120。流处理供应130还可为数据流102的源和结果104的目标配置网本文档来自技高网...

【技术保护点】
1.一种系统，包括：多个计算节点，分别包括至少一个处理器和存储器，其中，所述多个计算节点实现包括控制平面和多个流处理节点的受管理流处理系统；控制平面，配置为：接收将处理功能应用于数据流的请求；识别一个或多个流处理节点以应用所述处理功能；配置所述一个或多个流处理节点以应用所述处理功能；和在一个或多个流处理节点处启动所述处理功能的执行，使得当在所述一个或多个流处理节点处接收到所述数据记录时，将所述处理功能应用于所述数据流的数据记录。

【技术特征摘要】
【国外来华专利技术】2016.03.29 US 15/084,3471.一种系统，包括：多个计算节点，分别包括至少一个处理器和存储器，其中，所述多个计算节点实现包括控制平面和多个流处理节点的受管理流处理系统；控制平面，配置为：接收将处理功能应用于数据流的请求；识别一个或多个流处理节点以应用所述处理功能；配置所述一个或多个流处理节点以应用所述处理功能；和在一个或多个流处理节点处启动所述处理功能的执行，使得当在所述一个或多个流处理节点处接收到所述数据记录时，将所述处理功能应用于所述数据流的数据记录。2.如权利要求1所述的系统，其中，所述一个或多个流处理节点被配置为：请求所述数据流的新数据记录；收到所述新的数据记录后：应用所述处理功能来更新所述处理功能的状态；基于所述处理功能的所述状态，生成结果；和将所述结果发送至为所述处理功能指定的至少一个结果目标。3.如权利要求1所述的系统，其中所述处理功能是从所述受管理流处理系统的客户端接收的，并且其中所述控制平面还被配置为：收集一个或多个性能度量，用于在一个或多个处理节点处执行处理功能；和将一个或多个性能度量发送至所述客户端。4.如权利要求1所述的系统，其中所述受管理流处理系统是作为供应商网络的部分实现的基于网络的服务，并且其中所述数据流由作为所述供应商网络的部分实现的另一基于网络的服务产生。5.一种方法，包括：通过一个或多个计算装置执行：通过编程接口接收数据流的功能，所述功能指定要对数据流的数据记录执行的一个或多个操作；确定被配置为针对所述数据流应用所述功能的一个或多个流处理节点；和在一个或多个流处理节点处执行所述功能，使得当在一个或多个流处理节点处接收到所述数据记录时，对所述数据流的所述数据记录执行一个或多个操作。6.如权利要求5所述的方法，其中，所述一个或多个流处理节点是多个流处理节点，并且其中，所述方法还包括：确定用于在所述多个流处理节点处执行所述功能的工作负载分配方案。7.如权利要求5所述的方法，其中，所述功能作为来自客户端的请求的部分被接收，并且其中，所述请求还指定用于在所述一个...

【专利技术属性】
技术研发人员：G·D·格海尔，R·S·巴尔加，
申请(专利权)人：亚马逊科技公司，
类型：发明
国别省市：美国,US