一种任务执行的方法、装置、存储介质及电子设备制造方法及图纸

本说明书公开了一种任务执行的方法、装置、存储介质及电子设备。所述任务执行的方法包括：确定目标模型中的每个网络层对应的计算任务各计算设备对应的设备信息，针对每个网络层，根据执行该网络层对应计算任务时涉及的计算次数以及各计算设备的设备信息，确定通过各计算设备执行该网络层对应计算任务时所需的计算时长，根据计算时长、上一个网络层对应的计算设备与其他各计算设备之间的数据传输时长、该网络层的数据所需的内存空间以及各计算设备的剩余内存中的至少一种，确定该网络层对应的目标设备，在接收到各网络层对应计算任务的执行请求后通过各网络层对应的目标设备执行计算任务。行计算任务。行计算任务。

【技术实现步骤摘要】
一种任务执行的方法、装置、存储介质及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种任务执行的方法、装置、存储介质及电子设备。

技术介绍

[0002]随着深度神经网络技术的发展，逐渐涌现出一些超大型的深度神经网络模型，由于这些模型的参数量十分庞大，对训练这些模型的计算系统带来了诸多挑战。大规模训练不仅需要较多的计算资源，对设备的内存以及传输等资源的需求也很高，因此模型的并行训练逐渐成为主流的发展趋势。
[0003]目前通常会将模型划分为多个计算任务并分配给不同的图形处理器(Graphic Processing Unit，GPU)执行运算，而中央处理器(Central Processing Unit，CPU)仅负责数据的传输和调度，这样的方法需要依赖大量的GPU计算资源，而CPU的计算资源却得不到有效的利用，这不仅仅会造成模型训练过程中资源的浪费，部署较多的GPU执行计算任务也会进一步提高模型的训练成本。
[0004]因此，如何提高模型训练过程中对不同类型设备的利用率，降低模型的训练成本，是一个亟待解决的问题。

技术实现思路

[0005]本说明书提供一种任务执行的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：
[0007]本说明书提供了一种任务执行的方法，包括：
[0008]获取目标模型的模型数据；
[0009]对所述模型数据进行解析，确定所述目标模型中的每个网络层对应的计算任务，以及，确定各计算设备对应的设备信息，所述计算设备包括至少一个中央处理器CPU以及至少一个图形处理器GPU；
[0010]针对每个网络层，根据执行该网络层对应计算任务时所涉及的计算次数，以及各计算设备对应的设备信息，确定通过各计算设备执行该网络层对应计算任务时所需的计算时长；
[0011]根据所述计算时长、执行上一个网络层对应计算任务的计算设备与其他各计算设备之间的数据传输时长、该网络层的数据所需的内存空间以及各计算设备的剩余内存中的至少一种，确定执行该网络层对应计算任务的计算设备，作为该网络层对应的目标设备，其中，所述数据传输时长是根据执行上一个网络层对应计算任务的计算设备与所述其他各计算设备之间的传输信息，以及所述上一个网络层输出的数据量进行确定的；
[0012]将各网络层部署在各网络层对应的目标设备中，以在接收到各网络层对应计算任务的执行请求后通过各网络层对应的目标设备执行所述计算任务。
[0013]可选地，确定该网络层对应的计算设备之前，所述方法还包括：
[0014]确定各计算设备中的至少一个执行单元；
[0015]根据各计算设备对应的设备信息，确定每个计算设备中的各执行单元对应的计算能力。
[0016]可选地，针对每个网络层，根据执行该网络层对应计算任务时所涉及的计算次数，以及各计算设备对应的设备信息，确定通过各计算设备执行该网络层对应计算任务时所需的计算时长，具体包括：
[0017]针对每个网络层，根据执行该网络层对应计算任务时所涉及的计算次数，以及各执行单元对应的计算能力，确定通过各执行单元执行该网络层对应计算任务时所需的计算时长。
[0018]可选地，根据所述计算时长、执行上一个网络层对应计算任务的计算设备与其他各计算设备之间的数据传输时长、该网络层的数据所需的内存空间以及各计算设备的剩余内存中的至少一种，确定执行该网络层对应计算任务的计算设备，作为该网络层对应的目标设备，具体包括：
[0019]根据各执行单元对应的计算时长、执行上一个网络层对应计算任务的执行单元与其他各执行单元之间的数据传输时长、所述内存空间以及所述剩余内存中的至少一种，确定执行该网络层对应计算任务的执行单元，作为该网络层对应的目标执行单元；
[0020]将各网络层部署在各网络层对应的目标设备中，以在接收到各网络层对应计算任务的执行请求后通过各网络层对应的目标设备执行所述计算任务，具体包括：
[0021]将各网络层部署在各网络层对应执行单元所在的目标设备中，以在接收到各网络层对应计算任务的执行请求后通过各网络层对应的执行单元执行所述计算任务。
[0022]可选地，所述数据传输时长是根据执行所述上一个网络层对应计算任务的执行单元与所述其他各执行单元之间的传输信息以及所述上一个网络层输出的数据量进行确定的。
[0023]可选地，根据各执行单元对应的计算时长、执行上一个网络层对应计算任务的执行单元与其他各执行单元之间的数据传输时长、所述内存空间以及所述剩余内存中的至少一种，确定执行该网络层对应计算任务的执行单元，作为该网络层对应的目标执行单元，具体包括：
[0024]若该网络层不为所述目标模型的起始网络层，则针对每个执行单元，根据该执行单元对应的计算时长以及数据传输时长，确定该执行单元对应的综合时长；
[0025]在各执行单元中确定出对应计算设备的剩余内存大于所述内存空间，且对应综合时长小于通过执行所述上一个网络层对应计算任务的执行单元执行该网络层对应计算任务时所需计算时长的执行单元，作为候选执行单元；
[0026]根据各候选执行单元对应的综合时长，确定该网络层对应的目标执行单元。
[0027]可选地，根据各执行单元对应的计算时长、执行上一个网络层对应计算任务的执行单元与其他各执行单元之间的数据传输时长、所述内存空间以及所述剩余内存中的至少一种，确定执行该网络层对应计算任务的执行单元，作为该网络层对应的目标执行单元，具体包括：
[0028]若该网络层为所述目标模型的起始网络层，则根据执行该网络层对应计算任务时
所需的计算次数以及各执行单元对应的计算能力，确定各执行单元对应的计算时长；
[0029]根据各执行单元对应的计算时长、所述内存空间以及所述剩余内存，确定该网络层对应的执行单元。
[0030]可选地，根据各执行单元对应的计算时长、所述内存空间以及所述剩余内存，确定该网络层对应的执行单元，具体包括：
[0031]确定剩余内存大于所述内存空间的执行单元，作为候选执行单元；
[0032]根据各候选执行单元对应的计算时长，确定该网络层对应的目标执行单元。
[0033]可选地，所述方法还包括：
[0034]针对每个网络层，若该网络层对应的目标执行单元和该网络层的相邻网络层对应的目标执行单元之间存在至少两种传输方式，则对当前传输方式的传输状态进行监测；
[0035]根据所述传输状态，确定是否需要对当前的传输方式进行调整；
[0036]若是，将当前的传输方式调整为另一种传输方式。
[0037]可选地，所述传输信息包括：各执行单元之间的传输方式以及各传输方式对应的带宽，所述传输方式包括：第一传输方式以及第二传输方式中的至少一种。
[0038]可选地，所述方法还包括：
[0039]若该网络层对应的目标执行单元和相邻网络层对应的目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务执行的方法，其特征在于，包括：获取目标模型的模型数据；对所述模型数据进行解析，确定所述目标模型中的每个网络层对应的计算任务，以及，确定各计算设备对应的设备信息，所述计算设备包括至少一个中央处理器CPU以及至少一个图形处理器GPU；针对每个网络层，根据执行该网络层对应计算任务时所涉及的计算次数，以及各计算设备对应的设备信息，确定通过各计算设备执行该网络层对应计算任务时所需的计算时长；根据所述计算时长、执行上一个网络层对应计算任务的计算设备与其他各计算设备之间的数据传输时长、该网络层的数据所需的内存空间以及各计算设备的剩余内存中的至少一种，确定执行该网络层对应计算任务的计算设备，作为该网络层对应的目标设备，其中，所述数据传输时长是根据执行上一个网络层对应计算任务的计算设备与所述其他各计算设备之间的传输信息，以及所述上一个网络层输出的数据量进行确定的；将各网络层部署在各网络层对应的目标设备中，以在接收到各网络层对应计算任务的执行请求后通过各网络层对应的目标设备执行所述计算任务。2.如权利要求1所述的方法，其特征在于，确定该网络层对应的计算设备之前，所述方法还包括：确定各计算设备中的至少一个执行单元；根据各计算设备对应的设备信息，确定每个计算设备中的各执行单元对应的计算能力。3.如权利要求2所述的方法，其特征在于，针对每个网络层，根据执行该网络层对应计算任务时所涉及的计算次数，以及各计算设备对应的设备信息，确定通过各计算设备执行该网络层对应计算任务时所需的计算时长，具体包括：针对每个网络层，根据执行该网络层对应计算任务时所涉及的计算次数，以及各执行单元对应的计算能力，确定通过各执行单元执行该网络层对应计算任务时所需的计算时长。4.如权利要求3所述的方法，其特征在于，根据所述计算时长、执行上一个网络层对应计算任务的计算设备与其他各计算设备之间的数据传输时长、该网络层的数据所需的内存空间以及各计算设备的剩余内存中的至少一种，确定执行该网络层对应计算任务的计算设备，作为该网络层对应的目标设备，具体包括：根据各执行单元对应的计算时长、执行上一个网络层对应计算任务的执行单元与其他各执行单元之间的数据传输时长、所述内存空间以及所述剩余内存中的至少一种，确定执行该网络层对应计算任务的执行单元，作为该网络层对应的目标执行单元；将各网络层部署在各网络层对应的目标设备中，以在接收到各网络层对应计算任务的执行请求后通过各网络层对应的目标设备执行所述计算任务，具体包括：将各网络层部署在各网络层对应执行单元所在的目标设备中，以在接收到各网络层对应计算任务的执行请求后通过各网络层对应的执行单元执行所述计算任务。5.如权利要求4所述的方法，其特征在于，所述数据传输时长是根据执行所述上一个网络层对应计算任务的执行单元与所述其他各执行单元之间的传输信息以及所述上一个网
络层输出的数据量进行确定的。6.如权利要求4所述的方法，其特征在于，根据各执行单元对应的计算时长、执行上一个网络层对应计算任务的执行单元与其他各执行单元之间的数据传输时长、所述内存空间以及所述剩余内存中的至少一种，确定执行该网络层对应计算任务的执行单元，作为该网络层对应的目标执行单元，具体包括：若该网络层不为所述目标模型的起始网络层，则针对每个执行单元，根据该执行单元对应的计算时长以及数据传输时长，确定该执行单元对应的综合时长；在各执行单元中确定出对应计算设备的剩余内存大于所述内存空间，且对应综合时长小于通过执行所述上一个网络层对应计算任务的执行单元执行该网络层对应计算任务时所需计算时长的执行单元，作为候选执行单元；根据各候选执行单元对应的综合时长，确定该网络层对应...

【专利技术属性】
技术研发人员：曾令仿，陈志广，程稳，李勇，陈光，
申请(专利权)人：之江实验室，
类型：发明
国别省市：