一种资源调度方法及系统、一种计算设备及存储介质技术方案

本申请提供的一种资源调度方法及系统、一种计算设备及存储介质，其中，所述方法包括第一服务器获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器；处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息；按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务；在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，将所述第二服务器剩余的计算资源分配至所述第三服务器；实现计算资源的动态分配，节省网络开销以及对目标业务的处理耗时。

A Resource Scheduling Method and System, a Computing Equipment and Storage Media

【技术实现步骤摘要】
一种资源调度方法及系统、一种计算设备及存储介质
本申请涉及计算机数据处理
，特别涉及一种资源调度方法及系统、一种计算设备及存储介质。
技术介绍
分布式关系型数据库(OceanBase)的并行查询系统执行数据表扫描(TableScan)，在查询遇到数据倾斜的场景，例如A机器上数据较少，扫描较快，B机器上数据较多，扫描较慢的场景中，当A机器上的任务执行完成后，就会闲置，而B机器上的任务则需要继续缓慢执行，即使A机器上拥有足够的闲置计算资源也无法充分利用，导致查询(Query)执行时长延长，但是当A机器上的任务执行完成后，通过远程读取B机器上的任务数据的方式来为B机器分担工作量，则会引入网络开销，当带宽不足时，读B机器上数据的耗时不可控，甚至可能出现B机器上的工作都已经完成，而A机器还卡在读B机器上的数据等情况发生。
技术实现思路
有鉴于此，本申请实施例提供了一种资源调度方法及系统、一种计算设备及存储介质，以解决现有技术中存在的技术缺陷。第一方面，本说明书实施例公开了一种资源调度方法，包括：第一服务器获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器，其中，所述目标业务包括第一业务和第二业务；所述第一服务器确定所述第二服务器处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息；所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务；在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的计算资源分配至所述第三服务器。第二方面，本说明书实施例公开了一种资源调度系统，所述系统设置于第一服务器，包括：获取模块，被配置为获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器，其中，所述目标业务包括第一业务和第二业务；第一确定模块，被配置为确定所述第二服务器处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息；控制模块，被配置为按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务；第一分配模块，被配置为在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，将所述第二服务器剩余的计算资源分配至所述第三服务器。第三方面，本说明书实施例公开了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现该指令被处理器执行时实现如上所述资源调度方法的步骤。第四方面，本说明书实施例公开了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述资源调度方法的步骤。本说明书提供的一种资源调度方法及系统、一种计算设备及存储介质，其中，所述方法包括第一服务器获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器；处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息；按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务；在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，将所述第二服务器剩余的计算资源分配至所述第三服务器；实现计算资源的动态分配，节省网络开销以及对目标业务的处理耗时。附图说明图1是本说明书一个或多个实施例提供的一种计算设备的示意图；图2是本说明书一个或多个实施例提供的一种资源调度方法的方法流程图；图3是本说明书一个或多个实施例提供的一种资源调度方法的方法流程图；图4是本说明书一个或多个实施例提供的一种资源调度方法的方法流程图；图5是本说明书一个或多个实施例提供的一种资源调度方法的方法示意图；图6是本说明书一个或多个实施例提供的一种资源调度系统的结构示意图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。首先，对本专利技术一个或多个实施例涉及的名词术语进行解释。MPP：英文全称MassivelyParallelProcessing，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。OceanBase：是由蚂蚁金服、阿里巴巴自主研发的金融级分布式关系数据库，具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系数据库、低成本等特点。OceanBase具备在线水平扩展能力，创造了4200万次/秒处理峰值的世界纪录。Query：一个数据表查询语句。在本说明书中，提供了一种资源调度方法及系统、一种计算设备及存储介质，实际应用中，所述资源调度方法及系统可以应用在MPP对OceanBase的并行查询中，在下面的实施例中逐一进行详细说明。图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。在本说明书的一个实施例中，计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算本文档来自技高网...

【技术保护点】
1.一种资源调度方法，其特征在于，包括：第一服务器获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器，其中，所述目标业务包括第一业务和第二业务；所述第一服务器确定所述第二服务器处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息；所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务；在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的计算资源分配至所述第三服务器。

【技术特征摘要】
1.一种资源调度方法，其特征在于，包括：第一服务器获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器，其中，所述目标业务包括第一业务和第二业务；所述第一服务器确定所述第二服务器处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息；所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务；在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的计算资源分配至所述第三服务器。2.根据权利要求1所述的方法，其特征在于，所述计算资源包括第一计算资源和第二计算资源，确定所述第二服务器和所述第三服务器的计算资源的资源分配信息包括：确定所述第二服务器的第一计算资源和所述第三服务器的第二计算资源的资源分配信息。3.根据权利要求2所述的方法，其特征在于，在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的计算资源分配至所述第三服务器包括：在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的第一计算资源分配至所述第三服务器。4.根据权利要求3所述的方法，其特征在于，还包括：在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的计算资源分配至所述第二服务器。5.根据权利要求4所述的方法，其特征在于，在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的计算资源分配至所述第二服务器包括：在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的第二计算资源分配至所述第二服务器。6.根据权利要求5所述的方法，其特征在于，所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务之前，还包括：所述第一服务器基于所述业务分配信息和所述资源分配信息确定与所述第二服务器连接的第一网络通道，并确定与所述第三服务器连接的第二网络通道，其中，所述第一网络通道或者所述第二网络通道包括执行网络通道和预留网络通道。7.根据权利要求6所述的方法，其特征在于，所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务包括：所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器通过第一网络通道接收并处理所述第一业务，并且按照所述业务分配信息和所述资源分配信息控制所述第三服务器通过所述执行网络通道接收并处理所述第二业务。8.根据权利要求7所述的方法，其特征在于，在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的第一计算资源分配至所述第三服务器包括：在所述第二服务器通过所述第一网络通道完成所述第一业务，并且所述第三服务器通过所述执行网络通道未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的第一计算资源通过所述预留网络通道分配至所述第三服务器。9.根据权利要求6所述的方法，其特征在于，所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务包括：所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器通过所述执行网络通道接收并处理所述第一业务，并且按照所述业务分配信息和所述资源分配信息控制所述第三服务器通过所述第二网络通道接收并处理所述第二业务。10.根据权利要求9所述的方法，其特征在于，在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的第二计算资...

【专利技术属性】
技术研发人员：余璜，潘毅，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY