计算机处理的资源调配制造技术

接收数据流作为输入的作业被执行。对于作业，在第一段时间内迭代地确定：积压增长；积压量；以及是否调整处理资源的数量。对于确定为调整调配给作业的处理资源数量的每次迭代，调整调配给作业的处理资源的数量。对于确定为不调整调配给作业的处理资源的数量的每次迭代，维持调配给作业的处理资源的数量。

Resource Allocation for Computer Processing

Jobs that receive data streams as input are executed. For operations, iteratively determine in the first period of time: backlog growth; backlog volume; and whether to adjust the amount of processing resources. For each iteration determined to adjust the number of processing resources allocated to the job, the number of processing resources allocated to the job is adjusted. For each iteration that determines that the number of processing resources allocated to the job is not adjusted, the number of processing resources allocated to the job is maintained.

【技术实现步骤摘要】
【国外来华专利技术】计算机处理的资源调配相关申请的交叉引用本申请要求于2016年3月4日提交的序列号为62/303，827的美国临时申请的优先权权益，其全部内容通过引用结合于此。
技术介绍
计算机网络是通过允许共享资源和信息的通信信道互连的其他硬件和计算机的集合。通信协议定义了在计算机网络中交换信息所用的数据格式和规则。
技术实现思路
本文涉及并行处理环境中的输入的计算机处理。在一个方面，一种方法由计算机系统执行。方法包括：在包括多个处理资源的计算机系统中运行作业，作业接收数据流作为输入，其中数据流中的数据量是无限的。该方法包括为作业迭代地确定：在第一时间段内的积压增长，其中积压增长是对接收到的要被输入到作业中的数据流中未处理数据的增长的量度；积压量，积压量是对接收到的要被输入到作业中的数据流中未处理的数据的量度；基于积压增长和积压量确定是否调整调配给作业的处理资源的数量。该方法包括：对于被确定为调整调配给作业的处理资源的数量的每次迭代，调整调配给作业的处理资源的数量。该方法包括：以及对于被确定为不调整调配给作业的处理资源的数量的每次迭代，维持调配给作业的处理资源的数量。实施方式可以包括以下特征中的任意一个、以下所有特征或者不包括以下特征。对于确定的迭代：积压增长被确定为零或负；积压量被确定为处于目标；响应于积压增长被确定为零或负并且积压量被确定为处于目标，确定调配给作业的处理资源的数量被确定为不调整。对于确定的迭代：积压增长被确定为零或负；积压量被确定为低于目标；响应于积压增长被确定为零或负并且积压量被确定为低于目标，确定调配给作业的处理资源的数量被确定为要调整；并且其中调整调配给作业的处理资源的数量包括：响应于积压增长被确定为零或负且积压量被确定为低于目标而减少调配给作业的处理资源的数量。对于确定的迭代：积压增长被确定为零或负；积压量被确定为高于目标；响应于积压增长被确定为零或负并且积压量被确定为高于目标，确定调配给作业的处理资源的数量被确定为要调整；并且其中调整调配给作业的处理资源的数量包括：响应于积压增长被确定为零或负且积压量被确定为高于目标而增加调配给作业的处理资源的数量。对于确定的迭代：积压增长被确定为正；积压量被确定为低于目标，响应于积压增长被确定为正且积压量被确定为低于目标，确定调配给作业的处理资源的数量被确定为不调整。对于确定的迭代：积压增长被确定为正；积压量被确定为不低于目标，响应于积压增长被确定为正且积压量被确定为低于目标，确定调配给作业的处理资源的数量被确定为调整；并且其中调整调配给作业的处理资源的数量包括：响应于积压增长被确定为正且积压量被确定为低于目标而增加调配给作业的处理资源的数量。积压增长是数据大小的量度。数据大小的单位是由比特、字节、兆字节、千兆字节、记录和基数组成的组中的至少一个。积压增长是对处理时间的量度。处理时间的单位是由微秒、秒、分钟、小时和天组成的组中的至少一个。积压量是数据大小的量度。数据大小的单位是由比特、字节、兆字节、千兆字节、记录和基数组成的组中的至少一个。积压量是对处理时间的量度。处理时间的单位是由微秒、秒、分钟、小时和天组成的组中的至少一个。方法还包括：迭代地确定用于作业的处理器利用率；其中迭代地确定是否调整调配给作业的处理资源的数量还基于处理器利用率。对于确定的迭代：处理器利用率低于一个值；响应于确定处理器利用率低于一个值，确定调配给作业的处理资源的数量被确定为要调整；和其中调整调配给作业的处理资源的数量包括：响应于确定处理器利用率低于一个值而减少调配给作业的处理资源的数量。响应于确定处理器利用率低于一个值而减少调配给作业的处理资源的数量包括：减少调配给作业的资源的离散数量，离散数量是基于处理器利用率的。离散数量是计算机内存盘的数量。基于积压增长和积压量确定是否调整调配给作业的处理资源的数量包括：对导致调配给作业的处理资源的数量振荡的确定进行平滑。对确定进行平滑包括：等待第二时间段。对确定进行平滑包括：对是否调整调配给作业的处理资源的数量的多个确定进行平均。在一个方面中，一种系统包括一个或多个处理器，处理器被配置为运行计算机程序指令；和计算机存储介质，计算机存储介质用计算机程序指令编码，计算机程序指令在由一个或多个处理器运行时，使计算机设备执行操作，操作包括：在包括多个处理资源的计算机系统中运行作业，作业接收数据流作为输入，其中数据流中的数据量是无限的。操作包括为作业迭代地确定：在第一时间段内的积压增长，其中积压增长是对接收到的要被输入到作业中的数据流中未处理数据的增长的量度；积压量，积压量是对接收到的要被输入到作业中的数据流中未处理的数据的量度；基于积压增长和积压量确定是否调整调配给作业的处理资源的数量。操作包括对于被确定为调整调配给作业的处理资源的数量的每次迭代，调整调配给作业的处理资源的数量。操作包括对于被确定为不调整调配给作业的处理资源的数量的每次迭代，维持调配给作业的处理资源的数量。本文描述的系统和过程可用于提供许多潜在的优点。通过使用积压量度(measure)作为度量(metric)来确定资源调配级别，可以减少或消除过度拨备和拨备不足的缺点。过度拨备会导致未使用或闲置的网络资源，增加成本并减少可以处理的作业数量。通过降低工作负载的资源调配，可以为不同的作业释放未使用的资源。拨备不足导致积压增加，这可能导致数据丢失和延迟增加。通过加大工作负载的资源调配，可以在输入增加时更快地处理作业。在很多情况下，数据是以流或者常量输入到作业中，无限的数据流增加或减少不可预知性。动态响应这种输入而不是将其视为批处理或计划为最坏情况，可以灵活地响应输入中的大尖峰或骤降。根据所附说明书和附图，其他特征、方面和潜在优点将显而易见。附图说明图1是高度分布式计算环境的框图，该高度分布式计算环境为一组作业自动调谐资源调配。图2包含了显示有自动调谐和无自动调谐的针对作业的资源调配情况的图表。图3包含显示随时间推移的流信号图表。图4是用于自动调谐资源调配的示例过程的流程图。图5是用于确定资源调配是应该增加还是减少的示例过程的流程图。图6A、6B和6C是用于对建立、调整大小和暂停任务的示例过程的流程图。图7是显示计算设备的示例的示意图。各个附图中相同的附图标记表示相同的元件。具体实施方式在共享的并行计算环境中，计算资源可以被调配给不同的任务，既可以被调配给单个作业中的不同的并行运行任务，也可以被调配给可以被同时处理的不同作业。为了确定应该如何调配这些资源，可以为作业分配一个积压(backlog)大小，该大小定义了应该允许多少输入积压。然后根据积压的实际大小动态分配和删除资源，以便将实际积压保持在分配的积压级别或低于分配的积压级别。例如，这可以允许资源的动态调配随着时间推移匹配特定作业的需求。这种动态调配可以被称为自动缩放。这是因为可用于特定作业的资源会自动缩放，以随着时间的推移匹配提供给作业的输入的处理需求。随着输入量随时间变化，需要更多的资源来防止未处理的输入的不可接受的构建。这种未经处理的输入会创建积压，基本上是可处理但尚未处理的输入。积压可以以数据大小(例如，字节、兆字节)、处理时间(例如，数据可以但尚未被处理的持续时间、使用当前或固定数量的资源直到所有当前积压数据被处理的预期本文档来自技高网...

【技术保护点】
1.一种在计算机系统中实现的方法，其特征在于，所述方法包括：在包括多个处理资源的计算机系统中运行作业，所述作业接收数据流作为输入，其中所述数据流中的数据量是无限的；为所述作业迭代地确定：在第一时间段内的积压增长，其中所述积压增长是对接收到的要被输入到作业中的数据流中未处理数据的增长的量度；积压量，所述积压量是对接收到的要被输入到作业中的数据流中未处理的数据的量度；基于所述积压增长和所述积压量确定是否调整调配给所述作业的处理资源的数量；对于确定为调整调配给作业的处理资源的数量的每次迭代，调整调配给所述作业的处理资源的数量；以及对于被确定为不调整调配给所述作业的处理资源的数量的每次迭代，维持调配给所述作业的处理资源的数量。

【技术特征摘要】
【国外来华专利技术】2016.03.04 US 62/303,8271.一种在计算机系统中实现的方法，其特征在于，所述方法包括：在包括多个处理资源的计算机系统中运行作业，所述作业接收数据流作为输入，其中所述数据流中的数据量是无限的；为所述作业迭代地确定：在第一时间段内的积压增长，其中所述积压增长是对接收到的要被输入到作业中的数据流中未处理数据的增长的量度；积压量，所述积压量是对接收到的要被输入到作业中的数据流中未处理的数据的量度；基于所述积压增长和所述积压量确定是否调整调配给所述作业的处理资源的数量；对于确定为调整调配给作业的处理资源的数量的每次迭代，调整调配给所述作业的处理资源的数量；以及对于被确定为不调整调配给所述作业的处理资源的数量的每次迭代，维持调配给所述作业的处理资源的数量。2.根据权利要求1所述的方法，其特征在于，对于所述确定的迭代：所述积压增长被确定为零或负；所述积压量被确定为处于目标；响应于所述积压增长被确定为零或负并且所述积压量被确定为处于目标，确定所述调配给所述作业的处理资源的数量被确定为不调整。3.根据权利要求1所述的方法，其特征在于，对于所述确定的迭代：所述积压增长被确定为零或负；所述积压量被确定为低于目标；响应于所述积压增长被确定为零或负并且所述积压量被确定为低于目标，确定调配给所述作业的处理资源的数量被确定为要调整；并且其中调整调配给所述作业的处理资源的数量包括：响应于所述积压增长被确定为零或负并且所述积压量被确定为低于目标而减少调配给所述作业的处理资源的数量。4.根据权利要求1所述的方法，其特征在于，对于所述确定的迭代：所述积压增长被确定为零或负；所述积压量被确定为高于目标；响应于所述积压增长被确定为零或负并且所述积压量被确定为高于目标，确定调配给所述作业的处理资源的数量被确定为要调整；并且其中调整调配给所述作业的处理资源的数量包括：响应于所述积压增长被确定为零或负并且所述积压量被确定为高于目标而增加调配给所述作业的处理资源的数量。5.根据权利要求1所述的方法，其特征在于，对于所述确定的迭代：所述积压增长被确定为正；所述积压量被确定为低于目标；响应于所述积压增长被确定为正且所述积压量被确定为低于目标，确定所述调配给所述作业的处理资源的数量被确定为不调整。6.根据权利要求1所述的方法，其特征在于，对于所述确定的迭代：所述积压增长被确定为正；所述积压量被确定为不低于目标；响应于所述积压增长被确定为正且所述积压量被确定为低于目标，确定所述调配给所述作业的处理资源的数量被确定为调整；并且其中调整调配给所述作业的处理资源的数量包括：响应于所述积压增长被确定为正且所述积压量被确定为低于目标而增加调配给所述作业的处理资源的数量。7.根据权利要求1所述的方法，其特征在于，所述积压增长是数据大小的量度。8.根据权利要求7所述的方法，其特征在于，所述数据大小的单位是由比特、字节、兆字节、千兆字节、记录和基数组成的组中的至少一个。9.根据权利要求1所述的方法，其特征在于，积压增长是对处理时间的量度。10.根据权利要求9所述的方法，其特征在于，所述处理时间的单位是由微秒、秒、分钟、小时和天组成的组中的至少一个。11.根据权利要求1所述的方法，其特征在于，所述积压量是数据大小的量度。12.根据权利要求11所述的方法，其特征在于，所述数据大小的单位是由比特、字节、兆字节、千兆字节、记录和基数组成的组中的至少一个。13.根据权利要求1所述的方法，其特征在于，积压量是对处理时间的量度。14.根据权利要求13所述的方法，其特征在于，所述处理时间的单位是由微秒、秒、分钟、小时和天组成的组中的至少一个。15.根据权利要求1所述的方法，其特征在于，所述方法还包括：迭代地确定用于作业的处理器利用率；其中迭代地确定是否调整调配给所述作业的处理资源的数量还基于所述处理器利用率。16.根据权利要求15所述的方法，其特征在于：其中，对于所述确定的迭代：所述处理器利用率低于一个值；响应于确定所述处理器利用率低于一个值，确定调配给所述作业的处理资源的数量被确定为要调整；和其中调整调配给所述作业的处理资源的数量包括：响应于确定所述处理器利用率低于一个值而减少调配给所述作业的处理资源的数量。17.根据权利要求16所述的方法，其特征在于，响应于确定所述处理器利用率低于一个值而减少调配给所述作业的处理资源的数量包括：减少调配给所述作业的资源的离散数量，所述离散数量是基于所述处理器利用率的。18.根据权利要求17所述的方法，其特征在于，所述离散数量是计算机内存盘的数量。19.根据权利要求1所述的方法，其特征在于，基于所述积压增长和所述积压量确定是否调整调配给所述作业的处理资源的数量包括：对导致调配给所述作业的处理资源的数量振荡的所述确定进行平滑。20.根据权利要求19所述的方法，其特征在于，对所述确定进行平滑包括：等待第二时间段。21.根据权利要求19所述的方法，其特征在于，对所述确定进行平滑包括：对是否调整调配给所述作业的处理资源的数量的多个确定进行平均。22.一种系统，其特征在于，包括：一个或多个处理器，所述处理器...

【专利技术属性】
技术研发人员：罗伯特·布拉德肖，拉斐尔·德·杰西·费尔南德斯·蒙特祖玛，丹尼尔·米尔斯，塞缪尔·格林·米克维提，塞缪尔·卡尔·惠特尔，安德烈·马克西姆恩科，科思明·约内尔·阿拉德，马克·布莱恩·希尔兹，哈里斯·塞缪尔·诺弗，曼纽尔·阿尔弗雷德·范德里奇，杰弗里·保罗·加德纳，米哈伊尔·斯马里恩，鲁文·拉克斯，艾哈迈德·阿尔泰，克雷格·D·钱伯斯，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US