模型调度方法、装置、计算系统、设备及可读存储介质制造方法及图纸

本发明专利技术在深度学习技术领域公开了模型调度方法、装置、计算系统、设备及可读存储介质，该方法包括基于算力优先策略，将模型的网络层映射到计算系统的加速器上，得到调度策略；对特定网络层进行拟重映射，利用加速器的内存，对拟重映射后的调度策略进行通信延迟优化，并获取优化后的系统总延迟；在优化后的系统总延迟低于优化前的系统总延迟的情况下，基于拟重映射，更新重映射后的调度策略；按照重映射后更新的调度策略，对模型进行调度处理。本发明专利技术的技术效果：在牺牲较小的计算性能的情况下，获得较大的通信成本的降低，最终提升系统的整体性能，实现计算与通信的均衡，提高了计算和存储资源利用率。存储资源利用率。存储资源利用率。

【技术实现步骤摘要】
模型调度方法、装置、计算系统、设备及可读存储介质


[0001]本专利技术涉及深度学习
，特别是涉及模型调度方法、装置、计算系统、设备及可读存储介质。

技术介绍

[0002]机器学习算法正在从处理单模态单任务向处理多模态多任务发展。这些变化导致深度模型规模越来越大，块间连接也越来越复杂，且在网络层类型、复杂的层间连接以及数据交换等方面具有巨大异质性。
[0003]在算力系统中，加速器的种类和数量也越来越多，不同的加速器在运行不同的网络层也具备不同的延迟，数据的存储位置差异也会带来延迟。而延迟又是衡量整体性能的主要评价指标。
[0004]综上所述，如何平衡算力与通信进行模型调度，成为模型调度急需解决的关键问题。

技术实现思路

[0005]本专利技术的目的是提供一种模型调度方法、装置、计算系统、设备及可读存储介质，能够将深度学习网络模型计算任务映射到适合其计算模式的理想加速器上成为实现多元算力高效协同，以提高计算系统整体计算效率的关键问题。
[0006]为解决上述技术问题，本专利技术提供如下技术方案：一种模型调度方法，包括：基于算力优先策略，将模型的网络层映射到计算系统的加速器上，得到调度策略；对特定网络层进行拟重映射，利用加速器的内存，对拟重映射后的所述调度策略进行通信延迟优化，并获取优化后的系统总延迟；在优化后的系统总延迟低于优化前的系统总延迟的情况下，基于所述拟重映射，更新重映射后的所述调度策略；按照重映射后更新的调度策略，对所述模型进行调度处理。
[0007]优选地，查找所述特定网络层，包括：按序遍历所述模型的各个所述网络层，确定与所述网络层具有映射关系的加速器；判断当前网络层与后继相邻网络层是否映射到同一个加速器；若是，则跳过当前网络层；若否，则将当前网络层确定为所述特定网络层。
[0008]优选地，所述对特定网络层进行拟重映射，包括：将所述特定网络层拟重映射到后继相邻网络层所映射的加速器上，得到拟重映射后的所述调度策略。
[0009]优选地，利用加速器的内存，对拟重映射后的所述调度策略进行通信延迟优化，包
括：将所述特定网络层的中间结果写入拟重映射的加速器内存中。
[0010]优选地，所述获取优化后的系统总延迟，包括：利用性能分析模型计算每一个所述加速器的总延迟；叠加全部所述加速器的总延迟，得到所述系统总延迟。
[0011]优选地，所述在优化后的系统总延迟低于优化前的系统总延迟的情况下，基于所述拟重映射，更新重映射后的所述调度策略，包括：判断优化后的系统总延迟是否低于优化前的系统总延迟；若是，则对所述特定网络层进行重映射后，更新所述调度策略中所述特定网络层的映射关系，得到重映射后的所述调度策略；利用所述加速器的内存，对重映射后的所述调度策略进行通信延迟优化，并迭代更新所述特定网络层及所述特定网络层的后续网络层的调度时间。
[0012]优选地，在优化后的系统总延迟高于或等于优化前的系统总延迟的情况下，包括：跳过所述特定网络层，并查找下一个所述特定网络层；若查找到下一个所述特定网络层，则对所述特定网络层进行拟重映射并获取系统总延迟，在降低所述系统总延迟的情况下，对所述特定网络层进行重映射后，更新优化后的所述调度策略；若无下一个所述特定网络层，则执行所述按照重映射后更新的调度策略，对所述模型进行调度处理的步骤。
[0013]优选地，所述基于算力优先策略，将模型的网络层映射到计算系统的加速器上，得到调度策略，包括：迭代获取当前网络层在不同所述加速器上的延迟；映射所述当前网络层到所述延迟最小的所述加速器上；在基于算力优先策略，完成所述模型的全部网络层的映射后，得到所述调度策略。
[0014]优选地，所述迭代获取当前网络层在不同所述加速器上的延迟，包括：获取所述模型的计算图；基于所述计算图，将无前序节点的网络层作为一个分组；依次遍历所述分组中的所述网络层，并枚举所述当前网络层所有可能的映射加速器，并计算在每一所述映射加速器上运行所述当前网络层的延迟。
[0015]优选地，所述枚举所述当前网络层所有可能的映射加速器，包括：从异构计算系统中，枚举所有能够运行所述当前网络层的映射加速器；其中，所述异构计算系统中的加速器包括图像处理器、现场可编程门阵列芯片、大脑处理器和张量处理器。
[0016]优选地，所述计算在每一所述映射加速器上运行所述当前网络层的延迟，包括：清空所述映射加速器的本地数据，并设置所述映射加速器的内存为不可用；将全部权重参数和中间结果均存放在主机内存；利用性能分析模型，计算在所述映射加速器上运行所述当前网络层的延迟。
[0017]优选地，在所述基于算力优先策略，将模型的网络层映射到计算系统的加速器上，得到调度策略之后，在所述对特定网络层进行拟重映射之前，还包括：
利用所述加速器的内存，对所述调度策略进行通信延迟优化。
[0018]优选地，所述利用所述加速器的内存，对所述调度策略进行通信延迟优化，包括：将所述网络层的数据内容写入与所述网络层具有映射关系的加速器的内存中；重新确定所述网络层的通信延迟，并基于所述通信延迟更新所述调度策略。
[0019]优选地，所述将所述网络层的数据内容写入与所述网络层具有映射关系的加速器的内存中，包括：基于所述调度策略，确定与所述网络层具有映射关系的目标加速器；获取所述目标加速器的内存占用率；在所述内存占用率低于预设占用阈值的情况下，将所述网络层的数据内容写入所述目标加速器的内存中。
[0020]优选地，所述将所述网络层的数据内容写入与所述网络层具有映射关系的加速器的内存中，包括：将所述网络层的权重参数写入与所述网络层具有映射关系的加速器的内存中。
[0021]优选地，将所述网络层的数据内容写入与所述网络层具有映射关系的加速器的内存中，包括：若所述网络层的相邻后继层被同时映射到同一个加速器中，则将所述网络层的中间结果写入该加速器中内存中。
[0022]优选地，所述重新确定所述网络层的通信延迟，并基于所述通信延迟更新所述调度策略，包括：获取所述加速器从所述主机中获得所述数据内容的延迟时间；基于所述延迟时间更新所述网络层的通信延迟；利用所述网络层更新后的通信延迟，递归地更新所述调度策略中的调度时间。
[0023]优选地，包括：所述模型为具有异构计算网络层的异构模型；所述计算系统为具有异构加速器的异构计算系统。
[0024]优选地，按照重映射后更新的调度策略，对所述模型进行调度处理，包括：在所述模型训练阶段和/或所述模型的使用阶段，按照所述重映射后更新的调度策略，对所述模型进行调度处理。
[0025]一种异构计算系统，包括：具有多个异构加速器，在所述异构计算系统中实施如上述的模型调度方法的步骤。
[0026]一种模型调度装置，包括：计算优先映射模块，用于基于算力优先策略，将模型的网络层映射到计算系统的加速器上，得到调度策略；重映射模块，用于对特定网络层进行拟重映射，利用加速器的内存，对拟重映射后的所述调度策略进行通信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型调度方法，其特征在于，包括：基于算力优先策略，将模型的网络层映射到计算系统的加速器上，得到调度策略；对特定网络层进行拟重映射，利用加速器的内存，对拟重映射后的所述调度策略进行通信延迟优化，并获取优化后的系统总延迟；在优化后的系统总延迟低于优化前的系统总延迟的情况下，基于所述拟重映射，更新重映射后的所述调度策略；按照重映射后更新的调度策略，对所述模型进行调度处理。2.根据权利要求1所述的模型调度方法，其特征在于，查找所述特定网络层，包括：按序遍历所述模型的各个所述网络层，确定与所述网络层具有映射关系的加速器；判断当前网络层与后继相邻网络层是否映射到同一个加速器；若是，则跳过当前网络层；若否，则将当前网络层确定为所述特定网络层。3.根据权利要求1所述的模型调度方法，其特征在于，所述对特定网络层进行拟重映射，包括：将所述特定网络层拟重映射到后继相邻网络层所映射的加速器上，得到拟重映射后的所述调度策略。4.根据权利要求3所述的模型调度方法，其特征在于，所述利用加速器的内存，对拟重映射后的所述调度策略进行通信延迟优化，包括：将所述特定网络层的中间结果写入拟重映射的加速器内存中。5.根据权利要求3所述的模型调度方法，其特征在于，所述获取优化后的系统总延迟，包括：利用性能分析模型计算每一个所述加速器的总延迟；叠加全部所述加速器的总延迟，得到所述系统总延迟。6.根据权利要求1所述的模型调度方法，其特征在于，所述在优化后的系统总延迟低于优化前的系统总延迟的情况下，基于所述拟重映射，更新重映射后的所述调度策略，包括：判断优化后的系统总延迟是否低于优化前的系统总延迟；若是，则对所述特定网络层进行重映射后，更新所述调度策略中所述特定网络层的映射关系，得到重映射后的所述调度策略；利用所述加速器的内存，对重映射后的所述调度策略进行通信延迟优化，并迭代更新所述特定网络层及所述特定网络层的后续网络层的调度时间。7.根据权利要求1所述的模型调度方法，其特征在于，在优化后的系统总延迟高于或等于优化前的系统总延迟的情况下，包括：跳过所述特定网络层，并查找下一个所述特定网络层；若查找到下一个所述特定网络层，则对所述特定网络层进行拟重映射并获取系统总延迟，在降低所述系统总延迟的情况下，对所述特定网络层进行重映射后，更新优化后的所述调度策略；若无下一个所述特定网络层，则执行所述按照重映射后更新的调度策略，对所述模型进行调度处理的步骤。8.根据权利要求1所述的模型调度方法，其特征在于，所述基于算力优先策略，将模型
的网络层映射到计算系统的加速器上，得到调度策略，包括：迭代获取当前网络层在不同所述加速器上的延迟；映射所述当前网络层到所述延迟最小的所述加速器上；在基于算力优先策略，完成所述模型的全部网络层的映射后，得到所述调度策略。9.根据权利要求8所述的模型调度方法，其特征在于，所述迭代获取当前网络层在不同所述加速器上的延迟，包括：获取所述模型的计算图；基于所述计算图，将无前序节点的网络层作为一个分组；依次遍历所述分组中的所述网络层，并枚举所述当前网络层所有可能的映射加速器，并计算在每一所述映射加速器上运行所述当前网络层的延迟。10.根据权利要求9所述的模型调度方法，其特征在于，所述枚举所述当前网络层所有可能的映射加速器，包括：从异构计算系统中，枚举所有能够运行所述当前网络层的映射加速器；其中，所述异构计算系统中的加速器包括图像处理器、现场可编程门阵列芯片、大脑处理器和张量处理器。11.根据权利要求9所述的模型调度方法，其特征在于，所述计算在每一所述映射加速器...

【专利技术属性】
技术研发人员：王丽，郭振华，赵雅倩，唐轶男，曹芳，高开，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：