用于调度计算资源的方法、电子设备和计算机程序产品技术

本公开的实施例涉及用于调度计算资源的方法、电子设备和计算机程序产品。在本公开的实施例所提供的用于调度计算资源的方法中，获取针对神经网络的计算图，计算图至少包括多个节点，每个节点至少包括算子和算子的梯度算子，算子用于神经网络的正向传播，梯度算子用于神经网络的反向传播；以及基于计算图，调度针对神经网络的计算资源。以此方式，可以保留算子在正向传播与反向传播之间的相关性。此外，无需在反向传播期间再一次调度计算资源。仅利用一次调度就可以同时完成对正向传播和反向传播的资源调度。反向传播的资源调度。反向传播的资源调度。

【技术实现步骤摘要】
用于调度计算资源的方法、电子设备和计算机程序产品


[0001]本公开的实施例涉及深度学习领域，并且更具体地，涉及用于调度计算资源的方法、电子设备和计算机程序产品。

技术介绍

[0002]在机器翻译、聊天机器人、图像分类、自主驾驶等方面，深度学习应用越来越多地被使用。深度学习网络也变得越来越复杂。例如最先进的自然语言处理(NLP)模型BERT有很多层。训练这样的深度学习模型需要更多的计算资源。因此，对计算资源的合理调度可以使计算更加经济和合理。

技术实现思路

[0003]在本公开的第一方面中，提供了一种用于调度计算资源的方法。该方法包括获取针对神经网络的计算图，计算图至少包括多个节点，每个节点至少包括算子和算子的梯度算子，算子用于神经网络的正向传播，梯度算子用于神经网络的反向传播。该方法还包括基于计算图，调度针对神经网络的计算资源。
[0004]在本公开的第二方面中，提供了一种电子设备。该电子设备包括处理器以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作。动作包括获取针对神经网络的计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于调度计算资源的方法，包括：获取针对神经网络的计算图，所述计算图至少包括多个节点，每个所述节点至少包括算子和所述算子的梯度算子，所述算子用于所述神经网络的正向传播，所述梯度算子用于所述神经网络的反向传播；以及基于所述计算图，调度针对所述神经网络的计算资源。2.根据权利要求1所述的方法，其中基于所述计算图调度所述计算资源包括：在所述神经网络的反向传播中，使用与计算所述算子相同的计算资源，来计算所述算子的所述梯度算子。3.根据权利要求1所述的方法，其中所述多个节点至少包括多个上层节点和多个下层节点，所述多个上层节点中的多个第一上层节点中的算子的输出是所述多个下层节点中的第一下层节点中的算子的输入，并且基于所述计算图调度所述计算资源包括：在所述神经网络的正向传播中，分别使用不同计算资源并行计算所述多个第一上层节点中的所述算子；以及在所述多个第一上层节点中的所述算子的计算完成后，计算所述第一下层节点中的算子。4.根据权利要求3所述的方法，其中基于所述计算图调度所述计算资源还包括：在所述神经网络的反向传播中，计算所述第一下层节点中的梯度算子；以及在所述第一下层节点中的所述梯度算子的计算完成后，分别使用不同计算资源并行计算所述多个第一上层节点中的梯度算子。5.根据权利要求3所述的方法，其中所述多个节点还包括多个中间层节点，所述多个上层节点中的第二上层节点中的算子的输出是所述多个中间层节点中的第一中间层节点中的算子的输入，所述多个上层节点中的第三上层节点中的算子的输出以及所述第一中间层节点中的算子的输出是所述多个下层节点中的第二下层节点中的算子的输入，并且基于所述计算图调度所述计算资源包括：在所述神经网络的正向传播中，计算所述第二上层节点中的所述算子；在所述第二上层节点中的所述算子的计算完成后，分别使用不同计算资源并行计算所述第三上层节点中的所述算子和所述第一中间层节点中的所述算子；以及在所述第三上层节点中的所述算子和所述第一中间层节点中的所述算子的计算完成后，计算所述第二下层节点中的所述算子。6.根据权利要求5所述的方法，其中基于所述计算图调度所述计算资源还包括：在所述神经网络的反向传播中，计算所述第二下层节点中的梯度算子；在所述第二下层节点中的所述梯度算子的计算完成后，分别使用不同计算资源并行计算所述第三上层节点中的梯度算子和所述第一中间层节点中的梯度算子；以及在所述第三上层节点中的所述梯度算子和所述第一中间层节点中的所述梯度算子的计算完成后，计算所述第二上层节点中的梯度算子。7.一种电子设备，包括：处理器；以及与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被所述
处理器执行时使所述设备执行动作，所述动作...

【专利技术属性】
技术研发人员：刘金鹏，倪嘉呈，王子嘉，贾真，
申请(专利权)人：戴尔产品有限公司，
类型：发明
国别省市：