共享计算资源的调度方法、共享计算系统、服务器及存储介质技术方案

本发明专利技术公开了一种共享计算资源的调度方法，该方法包括：获取待执行的共享计算任务；获取所有备选的共享计算节点列表；从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点；将所述共享计算任务下发至所述与所述共享计算任务匹配的共享计算节点。本发明专利技术还提供一种共享计算系统、服务器及存储介质。本发明专利技术能够根据用户的资源需求选择出合适的共享计算节点，并实时应对节点的波动而做出相应调度。

\u5171\u4eab\u8ba1\u7b97\u8d44\u6e90\u7684\u8c03\u5ea6\u65b9\u6cd5\u3001\u5171\u4eab\u8ba1\u7b97\u7cfb\u7edf\u3001\u670d\u52a1\u5668\u53ca\u5b58\u50a8\u4ecb\u8d28

The invention discloses a scheduling method for shared computing resources, which includes: acquiring shared computing tasks to be performed; acquiring all alternative shared computing node lists; selecting shared computing nodes matching the shared computing tasks from the list of shared computing nodes; and sending the shared computing tasks to the shared computing tasks matching the shared computing tasks. Compute nodes. The invention also provides a shared computing system, a server and a storage medium. The invention can select a suitable shared computing node according to the user's resource demand, and make corresponding scheduling in real time to respond to the fluctuation of the node.

【技术实现步骤摘要】
共享计算资源的调度方法、共享计算系统、服务器及存储介质
本专利技术涉及共享计算
，尤其涉及一种共享计算资源的调度方法、共享计算系统、服务器及存储介质。
技术介绍
目前有很多企业需要使用大量带宽、磁盘、CPU资源来为分布在不同地域不同网络环境下的用户提供稳定高速的服务，同时家庭环境的带宽和存储等资源存在很大的闲置，通过部署在用户家庭中的智能硬件作为家庭节点，搭建一套共享计算系统能充分使用这些资源，极大的降低企业的服务成本。家庭节点有以下特点：1、数量众多，可能多达十万、百万甚至更高数量级；2、家庭节点的稳定性低于服务器节点；3、节点之间是公网互联，节点的IP地址是动态变化的；4、单个节点所拥有的物理资源很少而且实时波动。上述模式下，对智能硬件收集到的资源做到灵活高效的管理是核心点，要求能快速部署不同的业务程序，并对业务程序做资源管理和安全控制，同时根据业务对每个节点的资源使用情况做出实时调度，最大化利用节点的物理资源。对百万以上部署在家庭网络环境下的节点，抽象出虚拟的计算、存储、网络资源，目前业界并没有成熟方案。
技术实现思路
有鉴于此，本专利技术提出一种共享计算资源的调度方法、共享计算系统、服务器及存储介质，以解决至少一个上述技术问题。首先，为实现上述目的，本专利技术提出一种共享计算资源的调度方法，其特征在于，所述方法包括：获取待执行的共享计算任务；获取所有备选的共享计算节点列表；从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点；将所述共享计算任务下发至所述与所述共享计算任务匹配的共享计算节点。可选地，所述共享计算节点列表包括各共享计算节点的ID、可用资源数据；所述共享计算任务包括需要配置的共享计算资源的需求；所述从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点包括：根据所述需要配置的共享计算资源的需求以及各共享计算节点的可用资源数据，从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点。可选地，所述共享计算资源的需求包括：带宽需求、存储空间需求和计算资源需求中的至少一种。可选地，所述共享计算节点列表中的可用资源数据为根据各个共享计算节点上传的节点实时状态、任务状态及节点上执行任务时产生的数据计算得到。可选地，所述根据所述需要配置的共享计算资源的需求以及各共享计算节点的可用资源数据，从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点包括：获取所述共享计算节点列表中每个共享计算节点的可用资源数据；从所述共享计算节点列表中选择所述可用资源数据达到预设值的共享计算节点，生成可用节点列表；按照预设指标为所述可用节点列表中的各个共享计算节点打分，采用装箱算法拆分所述需要配置的共享计算资源的需求到打分分值超过预设阈值的共享计算节点，得到最终的匹配节点列表。可选地，所述根据所述需要配置的共享计算资源的需求以及各共享计算节点的可用资源数据，从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点还包括：定时获取所选择的所述共享计算节点当前的可用资源数据；根据所述需要配置的共享计算资源的需求以及所述共享计算节点当前的可用资源数据判断是否需要进行节点增删。可选地，所述预设指标包括区域资源余量、历史稳定性。可选地，所述获取待执行的共享计算任务包括：获取根据待执行的共享计算任务生成的docker镜像。可选地，所述将所述共享计算任务下发至所述与所述共享计算任务匹配的共享计算节点包括：将与所述共享计算任务相对应的docker镜像下发至所述与所述共享计算任务匹配的共享计算节点。此外，为实现上述目的，本专利技术还提供一种服务器，所述服务器包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的共享计算资源的调度程序，所述共享计算资源的调度程序被所述处理器执行时实现如上述的共享计算资源的调度方法。进一步地，为实现上述目的，本专利技术还提供一种共享计算系统，所述系统包括：任务管理单元，用于从客户端接收待执行的共享计算任务，并向调度服务单元派发所述共享计算任务；所述调度服务单元，用于从所述任务管理单元获取所述共享计算任务，根据节点管理单元和数据仓库提供的各个共享计算节点的状态和历史数据获取所有备选的共享计算节点列表，并从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点；部署服务单元，用于向所述调度服务单元所选择的与所述共享计算任务匹配的共享计算节点下发所述共享计算任务。进一步地，为实现上述目的，本专利技术还提供一种存储介质，所述存储介质存储有共享计算资源的调度程序，所述共享计算资源的调度程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的共享计算资源的调度方法。本专利技术所提出的共享计算资源的调度方法、共享计算系统、服务器及存储介质，可以统一管理百万量级的共享计算节点组成的Docker集群，根据共享计算任务所需资源分配与该任务相匹配的共享计算节点，并根据节点状态变化随时进行节点调度，维持资源总量的平稳。附图说明图1是本专利技术第一实施例提出的一种共享计算系统的架构示意图；图2是本专利技术第二实施例提出的一种调度服务器的架构示意图；图3是本专利技术第三实施例提出的一种共享计算资源的调度方法的流程示意图；图4是图3中S24的细化流程示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。第一实施例参阅图1所示，本专利技术第一实施例提出一种共享计算系统。上述共享计算系统是使用分布式节点资源构建的一套IaaS((InfrastructureasaService，基础设施即服务)系统，核心功能是根据用户的资源需求，选择出合适的节点并进行轻量虚拟化，承载用户的程序逻辑，实时应对节点的网络位置、带宽、存储等波动而做出相应调度和调整。在本实施例中，共享计算系统1包括服务器10和共享计算节点19。上述服务器10包括任务管理单元11、调度服务单元12、节点管理单元13、数据仓库14、部署服务单元15及镜像仓库17。上述共享计算系统1与客户端2通过网络进行数据通信，用于根据客户端2发起的共享计算任务分配相应的共享计算节点19，以执行该共享计算任务。客户端2用于选择所需资源的规格和容量及待执行的程序逻辑，根据上述程序逻辑自动生成Docker(应用容器引擎)镜像，并将选择的所需资源封装成标准化共享计算任务。在本实施例中，用户在客户端2可以通过管理控制台、CLI(Command-lineIn本文档来自技高网...

【技术保护点】
1.一种共享计算资源的调度方法，其特征在于，所述方法包括：获取待执行的共享计算任务；获取所有备选的共享计算节点列表；从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点；将所述共享计算任务下发至所述与所述共享计算任务匹配的共享计算节点。

【技术特征摘要】
1.一种共享计算资源的调度方法，其特征在于，所述方法包括：获取待执行的共享计算任务；获取所有备选的共享计算节点列表；从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点；将所述共享计算任务下发至所述与所述共享计算任务匹配的共享计算节点。2.如权利要求1所述的共享计算资源的调度方法，其特征在于，所述共享计算节点列表包括各共享计算节点的ID、可用资源数据；所述共享计算任务包括需要配置的共享计算资源的需求；所述从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点包括：根据所述需要配置的共享计算资源的需求以及各共享计算节点的可用资源数据，从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点。3.如权利要求2所述的共享计算资源的调度方法，其特征在于，所述共享计算资源的需求包括：带宽需求、存储空间需求和计算资源需求中的至少一种。4.如权利要求2所述的共享计算资源的调度方法，其特征在于，所述共享计算节点列表中的可用资源数据为根据各个共享计算节点上传的节点实时状态、任务状态及节点上执行任务时产生的数据计算得到。5.如权利要求2所述的共享计算资源的调度方法，其特征在于，所述根据所述需要配置的共享计算资源的需求以及各共享计算节点的可用资源数据，从所述共享计算节点列表中选择与所述共享计算任务匹配的共享计算节点包括：获取所述共享计算节点列表中每个共享计算节点的可用资源数据；从所述共享计算节点列表中选择所述可用资源数据达到预设值的共享计算节点，生成可用节点列表；按照预设指标为所述可用节点列表中的各个共享计算节点打分，采用装箱算法拆分所述需要配置的共享计算资源的需求到打分分值超过预设阈值的共享计算节点，得到最终的匹配节点列表。6.如权利要求5所述的共享计算资源的调度方法，其特征在于，所述根据所述需要配置的共享计算资源的需求以及各共享计算节点的...

【专利技术属性】
技术研发人员：李浩，
申请(专利权)人：深圳市网心科技有限公司，
类型：发明
国别省市：广东,44