基于多方联合计算的任务处理方法以及系统技术方案

本说明书实施例提供基于多方联合计算的任务处理方法以及系统，其中所述方法包括：响应于任务调度请求在待执行任务队列中选择目标任务，并确定目标任务的资源配额信息；基于资源配额信息生成资源查询请求，并将资源查询请求发送至联合计算中的任务协同方；在任务协同方针对资源查询请求返回资源锁定信息的情况下，发送目标任务至任务协同方，将目标任务调度至资源配额信息对应的本地计算节点并执行；在任务协同方针对资源查询请求返回资源占用信息的情况下，将目标任务返回至待执行任务队列。通过双方的通信配合，有效地避免了多方资源竞争死锁的问题，提高多方联合计算任务资源利用率和调度效率。源利用率和调度效率。源利用率和调度效率。

【技术实现步骤摘要】
基于多方联合计算的任务处理方法以及系统


[0001]本说明书实施例涉及联合计算
，特别涉及一种基于多方联合计算的任务处理方法。

技术介绍

[0002]随着互联网大数据时代的到来，数据的产生和存储呈分布式特性。在挖掘数据潜在价值的过程中往往会造成数据隐私泄露等问题。多方联合进行机器学习，是目前隐私计算中常用的计算方式，该计算方式打破传统中心机器学习的束缚，可以在对模型进行分布式学习的同时，保护数据提供者的隐私。但是在多方联合计算过程中，由于各方的资源计算量不同，导致可能会出现联合计算作业无法正常运行的情况。因此，如何避免因各个参与方的资源计算量不同而造成计算作业无法运行的情况发生，是目前亟需解决的问题。

技术实现思路

[0003]有鉴于此，本说明书实施例提供了一种基于多方联合计算的任务处理方法。本说明书一个或者多个实施例同时涉及一种基于多方联合计算的任务处理装置、一种基于多方联合计算的任务处理系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0004]根据本说明书实施例的第一方面，提供了一种基于多方联合计算的任务处理方法，应用于联合计算中的任务发起方，包括：响应于任务调度请求在待执行任务队列中选择目标任务，并确定所述目标任务的资源配额信息；基于所述资源配额信息生成资源查询请求，并将所述资源查询请求发送至所述联合计算中的任务协同方；在所述任务协同方针对所述资源查询请求返回资源锁定信息的情况下，发送所述目标任务至所述任务协同方，将所述目标任务调度至所述资源配额信息对应的本地计算节点并执行；在所述任务协同方针对所述资源查询请求返回资源占用信息的情况下，将所述目标任务返回至所述待执行任务队列。
[0005]根据本说明书实施例的第二方面，提供了一种基于多方联合计算的任务处理系统，所述系统包括联合计算中的任务发起方和任务协同方，其中，所述任务发起方，响应于任务调度请求在待执行任务队列中选择目标任务，并确定所述目标任务的资源配额信息，基于所述资源配额信息生成资源查询请求，并将所述资源查询请求发送至所述联合计算中的任务协同方；所述任务协同方，响应于所述资源查询请求生成资源锁定信息并发送至所述任务发起方；或，响应于所述资源查询请求生成资源占用信息并发送至所述任务发起方；所述任务发起方，在接收到所述资源锁定信息的情况下，发送所述目标任务至所
述任务协同方，将所述目标任务调度至所述资源配额信息对应的本地计算节点并执行；在接收到所述资源占用信息的情况下，将所述目标任务返回至所述待执行任务队列。
[0006]根据本说明书实施例的第三方面，提供了一种基于多方联合计算的任务处理装置，应用于联合计算中的任务发起方，包括：确定模块，被配置为响应于任务调度请求在待执行任务队列中选择目标任务，并确定所述目标任务的资源配额信息；发送模块，被配置为基于所述资源配额信息生成资源查询请求，并将所述资源查询请求发送至所述联合计算中的任务协同方；调度模块，被配置为在所述任务协同方针对所述资源查询请求返回资源锁定信息的情况下，发送所述目标任务至所述任务协同方，将所述目标任务调度至所述资源配额信息对应的本地计算节点并执行；返回模块，被配置为在所述任务协同方针对所述资源查询请求返回资源占用信息的情况下，将所述目标任务返回至所述待执行任务队列。
[0007]根据本说明书实施例的第四方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述基于多方联合计算的任务处理方法的步骤。
[0008]根据本说明书实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述基于多方联合计算的任务处理方法的步骤。
[0009]根据本说明书实施例的第六方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述基于多方联合计算的任务处理方法的步骤。
[0010]本说明书提供了一种基于多方联合计算的任务处理方法，应用于联合计算中的任务发起方，包括响应于任务调度请求在待执行任务队列中选择目标任务，并确定所述目标任务的资源配额信息；基于所述资源配额信息生成资源查询请求，并将所述资源查询请求发送至所述联合计算中的任务协同方；在所述任务协同方针对所述资源查询请求返回资源锁定信息的情况下，发送所述目标任务至所述任务协同方，将所述目标任务调度至所述资源配额信息对应的本地计算节点并执行；在所述任务协同方针对所述资源查询请求返回资源占用信息的情况下，将所述目标任务返回至所述待执行任务队列。
[0011]本说明书一个实施例实现了通过联合计算的任务发起方根据目标任务的资源配额信息，向任务协同方发送资源查询请求，用于确定联合协同方是否具有处理目标任务的处理资源，在任务协同方针对资源查询请求返回资源锁定信息时，任务发起方将目标任务发送给任务协同方，从而使得双方能够进行联合计算执行目标任务，通过双方的通信配合，有效地避免了多方资源竞争死锁的问题，提高多方联合计算任务资源利用率和调度效率。并且在任务协同方没有足够处理资源处理目标任务而返回资源占用信息的情况下，任务发起方还可以将目标任务重新返回至待执行任务队列，从而后续在双方存在足够处理资源的情况下，再次执行目标任务，保证了联合计算的正常运行。
附图说明
[0012]图1是本说明书一个实施例提供的一种基于多方联合计算的任务处理方法的场景示意图；图2是本说明书一个实施例提供的一种基于多方联合计算的任务处理方法的流程图；图3是本说明书一个实施例提供的一种基于多方联合计算的任务处理方法的处理过程流程图；图4是本说明书一个实施例提供的一种基于多方联合计算的任务处理系统的结构示意图；图5是本说明书一个实施例提供的一种基于多方联合计算的任务处理装置的结构示意图；图6是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0013]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0014]在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0015]应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多方联合计算的任务处理方法，其特征在于，应用于联合计算中的任务发起方，包括：响应于任务调度请求在待执行任务队列中选择目标任务，并确定所述目标任务的资源配额信息；基于所述资源配额信息生成资源查询请求，并将所述资源查询请求发送至所述联合计算中的任务协同方；在所述任务协同方针对所述资源查询请求返回资源锁定信息的情况下，发送所述目标任务至所述任务协同方，将所述目标任务调度至所述资源配额信息对应的本地计算节点并执行；在所述任务协同方针对所述资源查询请求返回资源占用信息的情况下，将所述目标任务返回至所述待执行任务队列。2.如权利要求1所述的方法，其特征在于，响应于任务调度请求在待执行任务队列中选择目标任务之前，所述方法还包括：响应于任务发起请求，创建所述任务发起请求对应的目标任务；将所述目标任务添加至所述待执行任务队列。3.如权利要求1所述的方法，其特征在于，响应于任务调度请求在待执行任务队列中选择目标任务，包括：响应于任务调度请求确定任务调度策略；按照所述任务调度策略在所述待执行任务队列中确定目标任务。4.如权利要求3所述的方法，其特征在于，按照所述任务调度策略在所述待执行任务队列中确定目标任务，包括：在所述任务调度策略为时间调度策略的情况下，按照所述时间调度策略获取所述待执行任务队列中每个初始任务的任务创建时间信息，基于所述任务创建时间信息在所述待执行任务队列中确定目标任务；在所述任务调度策略为资源调度策略的情况下，按照所述资源调度策略获取所述待执行任务队列中每个初始任务的任务执行资源信息，基于所述任务执行资源信息在所述待执行任务队列中确定目标任务；在所述任务调度策略为优先级调度策略的情况下，按照所述优先级调度策略获取所述待执行任务队列中每个初始任务的任务优先级信息，基于所述任务优先级信息在所述待执行任务队列中确定目标任务。5.如权利要求1所述的方法，其特征在于，确定所述目标任务的资源配额信息之后，所述方法还包括：获取至少一个本地计算节点对应的资源使用信息；将所述资源配额信息与所述至少一个本地计算节点对应的资源使用信息进行比较；根据比较结果在所述至少一个本地计算节点中，选择满足所述资源配额信息对应的资源使用条件的计算节点作为本地计算节点；或，根据比较结果确定所述至少一个本地计算节点中不存在满足所述资源使用条件的计算节点的情况下，执行将所述目标任务返回至所述待执行任务队列的步骤。6.如权利要求1所述的方法，其特征在于，在所述任务协同方针对所述资源查询请求返
回资源锁定信息的情况下，发送所述目标任务至所述任务协同方，包括：接收所述任务协同方针对所述资源查询请求返回的资源保留信息；在所述资源保留信息为保留成功的情况下，发送针对目标任务的资源锁定请求至所述任务协同方，接收所述任务协同方针对所述资源锁定请求返回的资源锁定信息，基于所述资源锁定信息将所述目标任务发送至所述任务协同方。7.如权利要求6所述的方法，其特征在于，所述方法还包括：在所述资源保留信息为保留失败的情况...

【专利技术属性】
技术研发人员：巫锡斌，陈超超，郑小林，
申请(专利权)人：杭州金智塔科技有限公司，
类型：发明
国别省市：