模型调度处理方法、装置、设备及存储介质制造方法及图纸

本申请提出一种模型调度处理方法、装置、设备及存储介质，该方法包括：根据各个网络模型执行单路串行任务时的运行日志数据，以及执行多路并行任务时的运行日志数据，确定各个网络模型的性能参数；根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略。上述方案通过分析网络模型的性能参数，以及各个网络模型在执行目标任务时的运行日志数据，确定对各个网络模型的调度策略，实现了对模型调度的分析及调整，有利于提高多网络模型协同工作应用的性能。应用的性能。应用的性能。

【技术实现步骤摘要】
模型调度处理方法、装置、设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种模型调度处理方法、装置、设备及存储介质。

技术介绍

[0002]随着硬件计算能力的不断提升以及应用场景的复杂多样化，神经网络模型的结构和参数量随之增长，多网络模型协同工作的应用场景层出不穷。比如在图文翻译应用场景中，涉及的任务流程包括OCR图文识别和文本翻译，其中OCR图文识别又可能牵涉到图像切割，图像规整，图像识别等，整个业务中使用的神经网络模型有若干个，这若干个模型之间存在时序上的调度依赖。在这种存在多个网络调度的应用中，应用的整体性能不仅取决于模型算子自身的性能，还受模型调度开销的影响。
[0003]例如，虽然单个模型的处理性能优异，但是由于复杂的应用场景需要调度大量的模型配合工作，如果模型调度不合理，也无法使单个模型及时发挥作用，甚至造成多个模型相互竞争设备资源，导致应用无法运行。
[0004]因此，对多网络模型协同工作应用中的模型调度策略进行分析和优化，也是提升应用整体性能的关键。而现阶段对多网络模型应用的优化，主要集中在对模型内部算子的性能进行分析及优化，完全忽略了对模型调度的分析及调整，从而导致多网络模型协同工作应用的性能提升受限。

技术实现思路

[0005]基于上述技术现状，本申请提出一种模型调度处理方法、装置、设备及存储介质，能够实现对模型调度的分析及调整，有利于提高多网络模型协同工作应用的性能。
[0006]一种模型调度处理方法，包括：
[0007]根据各个网络模型执行单路串行任务时的运行日志数据，以及执行多路并行任务时的运行日志数据，确定各个网络模型的性能参数；
[0008]根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略。
[0009]可选的，网络模型的性能参数包括网络模型在执行多路并行任务时的加速比；所述方法还包括：
[0010]根据各个网络模型执行单路串行任务时的运行日志数据，以及各个网络模型的性能参数，确定各个网络模型执行多路并行任务时的理想数据处理性能；
[0011]所述根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略，包括：
[0012]以各个网络模型执行目标任务时达到所述理想数据处理性能为目标，根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略。
[0013]可选的，各个网络模型执行单路串行任务和多路并行任务时的运行日志数据分别包括网络模型执行单路串行任务时的推理耗时和执行多路并行任务时的推理耗时；网络模型的性能参数包括网络模型在执行多路并行任务时的加速比；
[0014]根据各个网络模型执行单路串行任务时的运行日志数据，以及执行多路并行任务时的运行日志数据，确定各个网络模型在执行多路并行任务时的加速比，包括：
[0015]根据网络模型执行单路串行任务时的推理耗时，以及该网络模型执行设定维度输入数据的多路并行任务时的推理耗时，计算确定该网络模型在执行设定维度输入数据的多路并行任务时的加速比。
[0016]可选的，网络模型的性能参数包括网络模型在执行多路并行任务时的加速比；网络模型执行目标任务时的运行日志数据，包括网络模型推理耗时信息以及输入数据维度信息；
[0017]根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略，包括：
[0018]根据网络模型执行目标任务时的运行日志数据，确定该网络模型在执行目标任务时的平均加速比和平均输入数据维度信息；
[0019]根据该网络模型的性能参数，以及该网络模型在执行目标任务时的平均加速比和平均输入数据维度信息，确定在执行所述目标任务时，对该网络模型的调度频率。
[0020]可选的，根据网络模型执行目标任务时的运行日志数据，确定该网络模型在执行目标任务时的平均加速比和平均输入数据维度信息，包括：
[0021]根据网络模型在执行目标任务的过程中每次被调用时的推理耗时和输入数据维度信息，以及该网络模型在执行单路串行任务时的推理耗时，确定该网络模型在执行目标任务的过程中每次被调用时的加速比；
[0022]根据该网络模型在执行目标任务的过程中每次被调用时的加速比，计算确定该网络模型在执行目标任务时的平均加速比；
[0023]以及，根据该网络模型在执行目标任务的过程中每次被调用时的输入数据维度信息，计算确定该网络模型在执行目标任务的过程中的平均输入数据维度信息。
[0024]可选的，网络模型的性能参数还包括网络模型的响应时延性能，网络模型执行目标任务时的运行日志数据中还包括已输入完成的数据信息；
[0025]根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略，还包括：
[0026]根据各个网络模型的响应时延性能以及各个网络模型在执行目标任务时的已输入完成的数据信息，确定各个网络模型的调度优先级；
[0027]至少根据对各个网络模型的调度频率，以及各个网络模型的调度优先级，确定对各个网络模型的调度策略。
[0028]可选的，网络模型的性能参数还包括网络模型的类型；其中，网络模型的类型为访存密集型模型或计算密集型模型；
[0029]根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略，还包括：
[0030]根据各个网络模型的类型，确定并行运行的网络模型搭配策略；
[0031]所述至少根据对各个网络模型的调度频率，以及各个网络模型的调度优先级，确定对各个网络模型的调度策略，包括：
[0032]根据对各个网络模型的调度频率、各个网络模型的调度优先级，以及并行运行的网络模型搭配策略，确定对各个网络模型的调度策略。
[0033]可选的，网络模型的性能参数包括网络模型的响应时延性能，网络模型执行目标任务时的运行日志数据中包括已输入完成的数据信息；
[0034]根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略，包括：
[0035]根据各个网络模型的响应时延性能以及各个网络模型在执行目标任务时的已输入完成的数据信息，确定各个网络模型的调度优先级。
[0036]可选的，网络模型的性能参数包括网络模型的类型；其中，网络模型的类型为访存密集型模型或计算密集型模型；
[0037]根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略，包括：
[0038]根据各个网络模型的类型，确定并行运行的网络模型搭配策略。
[0039]一种模型调度处理装置，包括：
[0040]模型分析单元，用于根据各个网络模型执行单路串行任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型调度处理方法，其特征在于，包括：根据各个网络模型执行单路串行任务时的运行日志数据，以及执行多路并行任务时的运行日志数据，确定各个网络模型的性能参数；根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略。2.根据权利要求1所述的方法，其特征在于，网络模型的性能参数包括网络模型在执行多路并行任务时的加速比；所述方法还包括：根据各个网络模型执行单路串行任务时的运行日志数据，以及各个网络模型的性能参数，确定各个网络模型执行多路并行任务时的理想数据处理性能；所述根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略，包括：以各个网络模型执行目标任务时达到所述理想数据处理性能为目标，根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略。3.根据权利要求1所述的方法，其特征在于，各个网络模型执行单路串行任务和多路并行任务时的运行日志数据分别包括网络模型执行单路串行任务时的推理耗时和执行多路并行任务时的推理耗时；网络模型的性能参数包括网络模型在执行多路并行任务时的加速比；根据各个网络模型执行单路串行任务时的运行日志数据，以及执行多路并行任务时的运行日志数据，确定各个网络模型在执行多路并行任务时的加速比，包括：根据网络模型执行单路串行任务时的推理耗时，以及该网络模型执行设定维度输入数据的多路并行任务时的推理耗时，计算确定该网络模型在执行设定维度输入数据的多路并行任务时的加速比。4.根据权利要求1至3中任意一项所述的方法，其特征在于，网络模型的性能参数包括网络模型在执行多路并行任务时的加速比；网络模型执行目标任务时的运行日志数据，包括网络模型推理耗时信息以及输入数据维度信息；根据各个网络模型的性能参数，以及各个网络模型执行目标任务时的运行日志数据，确定对各个网络模型的调度策略，包括：根据网络模型执行目标任务时的运行日志数据，确定该网络模型在执行目标任务时的平均加速比和平均输入数据维度信息；根据该网络模型的性能参数，以及该网络模型在执行目标任务时的平均加速比和平均输入数据维度信息，确定在执行所述目标任务时，对该网络模型的调度频率。5.根据权利要求4所述的方法，其特征在于，根据网络模型执行目标任务时的运行日志数据，确定该网络模型在执行目标任务时的平均加速比和平均输入数据维度信息，包括：根据网络模型在执行目标任务的过程中每次被调用时的推理耗时和输入数据维度信息，以及该网络模型在执行单路串行任务时的推理耗时，确定该网络模型在执行目标任务的过程中每次被调用时的加速比；根据该网络模型在执行目标任务的过程中每次被调用时的加速比，计算确定该网络模型在执行目标任务时的平均加速比；
以及，根据该网络模型在执行目标任务的过程中每次被调用时的输入数据维度信息，计算确定该网...

【专利技术属性】
技术研发人员：张海俊，朱亚平，姚文军，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：