按需代码执行系统中执行环境的有效状态维持技术方案

描述了用于通过在按需代码执行系统上执行代码来在数据集的处理期间提供维持状态信息的系统和方法。不要求这种系统的执行环境来维持状态，而是公开了一种中间装置，所述中间装置从呼叫队列中检索对所述系统的呼叫，并将所述呼叫迭代地提交给所述系统。所述队列内的每个呼叫对应于要分析的所述数据集的数据项。在将呼叫提交给所述系统时，所述中间装置提交所述呼叫内的反映处理所述数据集的状态的状态信息。对所述呼叫的响应包括基于对所述呼叫内的数据项的处理而更新的状态信息。因此，维持状态信息以用于处理所述数据集，而无需在单独执行环境内留存状态信息。

【技术实现步骤摘要】
【国外来华专利技术】按需代码执行系统中执行环境的有效状态维持
技术介绍
计算装置可利用通信网络来交换数据。公司和组织运营将许多计算装置互连以支持操作或向第三方提供服务的的计算机网络。计算系统可位于单个地理位置中或位于(例如，通过私有或公共通信网络互连的)多个不同的地理位置中。具体地，数据中心或数据处理中心(在本文中总体上称为“数据中心”)可包括许多互连的计算系统以向数据中心的用户提供计算资源。数据中心可以是代表组织运营的私有数据中心，或代表公众或为公众利益运营的公共数据中心。为了有利于提高对数据中心资源的利用，虚拟化技术允许单个物理计算装置托管作为独立的计算装置对数据中心的用户呈现和操作的一个或多个虚拟机的实例。通过虚拟化，单个物理计算装置可以动态方式创建、维持、删除或以其他方式管理虚拟机。进而，用户可向数据中心请求计算机资源，包括单个计算装置或联网计算装置的配置，并且被提供不同数量的虚拟机资源。在一些情形下，可根据多种虚拟机实例类型配置虚拟机实例以提供特定功能性。例如，各种计算装置可与操作系统或操作系统配置、虚拟化硬件资源和软件应用程序的不同组合相关联，以使得计算装置能够提供本文档来自技高网...

【技术保护点】
1.一种用于维持表示处理入队在消息流内的消息的状态的状态信息的系统，所述系统包括：/n流数据处理系统，所述流数据处理系统维持所述消息流，其中所述消息流内的单独消息对应于调用用户指定代码以处理数据集内的单独数据项的请求；/n按需代码执行系统，所述按需代码执行系统被配置来获得调用所述用户指定代码的所述请求，并且针对单独请求，选择所述按需代码执行系统的要在其中执行所述用户指定代码的执行环境；以及/n轮询器装置，所述轮询器装置配置有计算机可执行指令以：/n初始化表示处理入队在所述消息流内的消息的所述状态的所述状态信息；/n从所述消息流中检索一组消息；并且/n针对所述一组消息中的每个消息：/n将表示处理...

【技术特征摘要】
【国外来华专利技术】20180927 US 16/144,9051.一种用于维持表示处理入队在消息流内的消息的状态的状态信息的系统，所述系统包括：
流数据处理系统，所述流数据处理系统维持所述消息流，其中所述消息流内的单独消息对应于调用用户指定代码以处理数据集内的单独数据项的请求；
按需代码执行系统，所述按需代码执行系统被配置来获得调用所述用户指定代码的所述请求，并且针对单独请求，选择所述按需代码执行系统的要在其中执行所述用户指定代码的执行环境；以及
轮询器装置，所述轮询器装置配置有计算机可执行指令以：
初始化表示处理入队在所述消息流内的消息的所述状态的所述状态信息；
从所述消息流中检索一组消息；并且
针对所述一组消息中的每个消息：
将表示处理入队在所述消息流内的消息的所述状态的所述状态信息和对应于所述消息的所述请求传输到所述按需代码执行系统，其中所述请求请求调用所述用户指定代码以处理由所述消息标识的单独数据项；
接收对所述呼叫的响应，所述响应包括处理所述单独数据项的结果，其中处理所述单独数据项的所述结果至少部分地基于处理入队在所述消息流内的消息的所述状态；并且
至少部分地基于所述响应来更新所述状态信息。


2.如权利要求1所述的系统，其中所述按需代码执行系统进一步被配置来作为映射化简编程模型的映射阶段实现使所述单独消息入队在所述消息流内的映射任务的多次执行，并且其中所述用户指定代码实现所述映射化简编程模型的化简阶段。


3.如权利要求1所述的系统，其中所述消息流被划分为多个消息分片，其中所述消息流内的单独消息根据所述数据项被分配在所述多个消息分片之中，其中所述轮询器装置对应于所述多个分片中的从其中检索所述一组消息的第一分片，并且其中所述状态信息表示处理所述第一分片内的消息的状态。


4.如权利要求3所述的系统，其还包括第二轮询器装置，所述轮询器装置配置有计算机可执行指令以：
初始化表示处理入队在所述多个分片中的第二消息分片内的消息的状态的第二状态信息；
从所述第二消息分片中检索第二组消息；并且
针对所述第二组消息中的每个消息：
将表示处理入队在所述第二消息分片内的消息的所述状态的所述状态信息和对应于所述消息的所述请求传输到所述按需代码执行系统，其中所述请求请求调用所述用户指定代码以处理由所述消息标识的单独数据项；
接收对所述请求的响应，所述响应包括处理所述单独数据项的结果，其中处理所述单独数据项的所述结果至少部分地基于处理入队在所述第二消息分片内的消息的所述状态；并且
至少部分地基于所述响应来更新表示处理入队在所述第二消息分片内的消息的所述状态的所述状态信息。


5.一种计算机实现的方法，其包括：
初始化表示处理入队在消息流内的消息的状态的状态信息，其中所述消息流...

【专利技术属性】
技术研发人员：汉斯菲利普·安东·胡塞尔斯，蒂莫西·艾伦·瓦格纳，马克·约翰·布鲁克，
申请(专利权)人：亚马逊技术有限公司，
类型：发明
国别省市：美国;US