本发明专利技术涉及一种任务处理方法、装置、电子设备及计算机可读存储介质，该方法应用于计算系统中的主设备，所述主设备与所述计算系统所包括的其他从设备通信连接，所述方法包括：接收到待处理任务；根据所述计算系统所包括的各个从设备在当前的计算资源，对所述待处理任务进行拆分，得到多个子任务；为每个所述子任务匹配对应的从设备，并将所述子任务发送给所述对应的从设备进行处理。通过该方法，可以提高资源的利用率。资源的利用率。资源的利用率。
【技术实现步骤摘要】
任务处理方法、装置、电子设备及计算机可读存储介质
[0001]本申请属于数据处理领域，具体涉及一种任务处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]近些年来，随着科学技术的发展，人工智能技术走入了人们的视线。其中，绝大多数人工智能产品都是基于深度学习算法来实现的，而深度学习算法的处理对象大多数为图片、视频等维数较高的数据，因此，深度学习算法的正常运行对电子设备的计算资源有较高的要求。
[0003]基于上述前提，在现有技术中，对于一个接收到任务A的电子设备A而言，若该任务A所需要的计算资源超过该电子设备A目前所剩的计算资源，或者该任务A所需要的计算资源超过该电子设备A的总计算资源，那么该电子设备A则无法成功处理该任务A，只能将该任务A转交给具有更多计算资源的其他电子设备B来处理。如此操作之后，使得电子设备A的计算资源没有得到充分的利用，降低了资源的利用率。
技术实现思路
[0004]有鉴于此，本申请的目的在于提供一种任务处理方法、装置、电子设备及计算机可读存储介质，可以提高资源的利用率。
[0005]本申请的实施例是这样实现的：
[0006]第一方面，本申请实施例提供一种任务处理方法，应用于计算系统中的主设备，所述主设备与所述计算系统所包括的其他从设备通信连接，所述方法包括：接收到待处理任务；根据所述计算系统所包括的各个从设备在当前的计算资源，对所述待处理任务进行拆分，得到多个子任务；为每个所述子任务匹配对应的从设备，并将所述子任务发送给所述对应的从设备进行处理。在上述过程中，主设备可以通过将待处理任务进行拆分，并将拆分得到的子任务分配给不同的从设备进行处理，进而可以成功处理需要较大算力的待处理任务。此外，通过将从设备的计算资源分片，还可以提高各个从设备的资源利用率。
[0007]结合第一方面实施例，在一种可能的实施方式中，每个所述待处理任务存成对应的指定从设备；在所述对所述待处理任务进行拆分之前，包括：确定所述待处理任务所对应的指定从设备在当前的计算资源不足以处理所述待处理任务。
[0008]结合第一方面实施例，在一种可能的实施方式中，在所述接收到待处理任务之前，所述方法还包括：向所述从设备发送计算资源池化指令，以使所述从设备将自身所包括的计算资源按照预设大小进行分片；所述当前的计算资源为处于空闲状态的分片。
[0009]结合第一方面实施例，在一种可能的实施方式中，在所述接收到待处理任务之前，所述方法还包括：在检测到新接入的电子设备满足组网条件时，向所述新接入的电子设备发起组网请求以及预先保存的第一组网配置信息；接收所述新接入的电子设备根据所述组网请求反馈的第二组网配置信息；根据所述第一组网配置信息与所述第二组网配置信息，
将所述新接入的电子设备加入到本设备当前所在的计算系统；其中，所述新接入的设备为新的从设备。在这种实施方式下，可以快速对计算系统进行扩容，进而增大计算系统的总计算资源，使得计算系统可以处理更多的任务。
[0010]结合第一方面实施例，在一种可能的实施方式中，所述组网条件为：所述新接入的电子设备与本设备处于同一局域网；或者，所述新接入的电子设备所在的局域网与本设备所在的局域网之间可网络通信。
[0011]结合第一方面实施例，在一种可能的实施方式中，所述计算系统所包括的各个设备之间可基于RDMA进行通信。其中，使用RDMA技术进行通信，可以使得电子设备之间可以在CPU不参与的前提下，快速进行设备间通信，有利于减少通信损耗。
[0012]结合第一方面实施例，在一种可能的实施方式中，所述待处理任务为模型训练任务、模型预测任务、模型上线服务中的任一一种任务。
[0013]第二方面，本申请实施例提供一种任务处理装置，应用于计算系统中的主设备，所述主设备与所述计算系统所包括的其他从设备通信连接，所述装置包括：接收模块、拆分模块、发送模块。
[0014]接收模块，用于接收到待处理任务；
[0015]拆分模块，用于根据所述计算系统所包括的各个从设备在当前的计算资源，对所述待处理任务进行拆分，得到多个子任务；
[0016]发送模块，用于为每个所述子任务匹配对应的从设备，并将所述子任务发送给所述对应的从设备进行处理。
[0017]结合第二方面实施例，在一种可能的实施方式中，每个所述待处理任务存成对应的指定从设备；所述装置还包括确定模块，用于：确定所述待处理任务所对应的指定从设备在当前的计算资源不足以处理所述待处理任务。
[0018]结合第二方面实施例，在一种可能的实施方式中，所述装置还包括池化模块，用于：向所述从设备发送计算资源池化指令，以使所述从设备将自身所包括的计算资源按照预设大小进行分片；所述当前的计算资源为处于空闲状态的分片。
[0019]结合第二方面实施例，在一种可能的实施方式中，所述装置还包括组网模块，用于：在检测到新接入的电子设备满足组网条件时，向所述新接入的电子设备发起组网请求以及预先保存的第一组网配置信息；接收所述新接入的电子设备根据所述组网请求反馈的第二组网配置信息；根据所述第一组网配置信息与所述第二组网配置信息，将所述新接入的电子设备加入到本设备当前所在的计算系统；其中，所述新接入的设备为新的从设备。
[0020]结合第二方面实施例，在一种可能的实施方式中，所述组网条件为：所述新接入的电子设备与本设备处于同一局域网；或者，所述新接入的电子设备所在的局域网与本设备所在的局域网之间可网络通信。
[0021]结合第二方面实施例，在一种可能的实施方式中，所述计算系统所包括的各个设备之间可基于RDMA进行通信。
[0022]结合第二方面实施例，在一种可能的实施方式中，所述待处理任务为模型训练任务、模型预测任务、模型上线服务中的任一一种任务。
[0023]第三方面，本申请实施例还提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器连接；所述存储器用于存储程序；所述处理器调用存储于所述存储器中的
程序，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
[0024]第四方面，本申请实施例还提供一种非易失性计算机可读取存储介质(以下简称计算机可读存储介质)，其上存储有计算机程序，所述计算机程序被计算机运行时执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
[0025]本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
[0026]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种任务处理方法，其特征在于，应用于计算系统中的主设备，所述主设备与所述计算系统所包括的其他从设备通信连接，所述方法包括：接收到待处理任务；根据所述计算系统所包括的各个从设备在当前的计算资源，对所述待处理任务进行拆分，得到多个子任务；为每个所述子任务匹配对应的从设备，并将所述子任务发送给所述对应的从设备进行处理。2.根据权利要求1所述的方法，其特征在于，每个所述待处理任务存成对应的指定从设备；在所述对所述待处理任务进行拆分之前，包括：确定所述待处理任务所对应的指定从设备在当前的计算资源不足以处理所述待处理任务。3.根据权利要求1所述的方法，其特征在于，在所述接收到待处理任务之前，所述方法还包括：向所述从设备发送计算资源池化指令，以使所述从设备将自身所包括的计算资源按照预设大小进行分片；所述当前的计算资源为处于空闲状态的分片。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在检测到新接入的电子设备满足组网条件时，向所述新接入的电子设备发起组网请求以及预先保存的第一组网配置信息；接收所述新接入的电子设备根据所述组网请求反馈的第二组网配置信息；根据所述第一组网配置信息与所述第二组网配置信息，将所述新接入的电子设备加入到本设备当前所在的计算系统；其中，所述新接入的设备为新的从设备。5.根据权利要求4所述的方法，其特征在于，所述组网条件为：所述...
【专利技术属性】
技术研发人员：王建华，王淇艺，
申请(专利权)人：睿云奇智重庆科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。