一种模型调度方法技术

本申请实施例提供一种模型调度方法

【技术实现步骤摘要】
一种模型调度方法、设备及存储介质


[0001]本申请涉及深度学习
，尤其涉及一种模型调度方法
、
设备及存储介质
。

技术介绍

[0002]随着视觉
AI
的普遍应用，部署一种模型已经很难满足应用需求，尤其是在高帧率高精度的检测和识别场景中，比如客流识别场景，终端既要实现高精度的检测跟踪，又要实现数据的择优和提特征，往往需要部署多种模型来支持日益复杂的应用需求
。
[0003]目前，由于
NPU(Neural
‑
network Processing Unit
，神经网络处理单元
)
具有独占性，因此需要采用串行的方式来调用模型，也即是依次执行多个模型，这导致在输入帧率要求较高的情况下为了满足帧率不得不压缩模型耗时，造成模型精度的降低，或者在模型精度要求较高的情况下为了保证精度则不得不降低输入帧率
。
无论是那种情况，最终产生的处理结果的质量并不佳
。

技术实现思路

[0004]本申请的多个方面提供一种模型调度方法
、
设备及存储介质，用以提升多模型场景下的处理结果质量
。
[0005]本申请实施例提供一种模型调度方法，包括：
[0006]按照预置处理频率触发指定的起始模型对源数据进行处理；
[0007]根据所述预置处理频率计算所述起始模型对应的触发间隔时间，以确定剩余模型在所述触发间隔时间内可占用的可用时段；
[0008]在所述起始模型产生的可用时段内，基于预设的调度策略确定各个剩余模型的触发时机，以控制各个剩余模型配合所述起始模型完成每个源数据的处理工作
。
[0009]本申请实施例还提供一种计算设备，包括存储器
、
处理器和通信组件；
[0010]所述存储器用于存储一条或多条计算机指令；
[0011]所述处理器与所述存储器和所述通信组件耦合，用于执行所述一条或多条计算机指令，以用于：
[0012]按照预置处理频率触发指定的起始模型对源数据进行处理；
[0013]根据所述预置处理频率计算所述起始模型对应的触发间隔时间，以确定剩余模型在所述触发间隔时间内可占用的可用时段；
[0014]在所述起始模型产生的可用时段内，基于预设的调度策略确定各个剩余模型的触发时机，以控制各个剩余模型配合所述起始模型完成每个源数据的处理工作
。
[0015]本申请实施例还提供一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的模型调度方法
。
[0016]在本申请实施例中，可在多个模型中指定起始模型，且起始模型按照预置处理频率对源数据进行处理，这使得对源数据的处理频率可得到保障
。
起始模型的耗时通常不会将其触发间隔时间用尽，为此可监测起始模型产生的可用时段，并在这些可用时段内，基于
预设的调度策略确定各个剩余模型的触发时机，以控制各个剩余模型配合起始模型完成每个源数据的处理工作，这样，剩余模型无需再受到预置处理频率的限制，而是可充分利用起始模型执行期间空出的碎片化时间来支持各个剩余模型所需的耗时，这使得多个模型可保持所需的模型精度而不再需要为节省耗时而降低精度
。
据此，可同时保证模型精度和处理频率，从而有效提高处理结果的质量
。
附图说明
[0017]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定
。
在附图中：
[0018]图1为本申请一示例性实施例提供的一种模型调度方法的流程示意图；
[0019]图2为本申请一示例性实施例提供的一种模型调度方案的逻辑示意图；
[0020]图3为本申请一示例性实施例提供的一种应用场景的逻辑示意图；
[0021]图4为本申请另一示例性实施例提供的一种计算设备的结构示意图
。
具体实施方式
[0022]为使本申请的目的
、
技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚
、
完整地描述
。
显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围
。
[0023]目前，多模型场景下，无法保障模型精度和输入帧率，导致处理结果的质量不佳
。
为此，本申请的一些实施例中：可在多个模型中指定起始模型，且起始模型按照预置处理频率对源数据进行处理，这使得对源数据的处理频率可得到保障
。
起始模型的耗时通常不会将其触发间隔时间用尽，为此可监测起始模型产生的可用时段，并在这些可用时段内，基于预设的调度策略确定各个剩余模型的触发时机，以控制各个剩余模型配合起始模型完成每个源数据的处理工作，这样，剩余模型无需再受到预置处理频率的限制，而是可充分利用起始模型执行期间空出的碎片化时间来支持各个剩余模型所需的耗时，这使得多个模型可保持所需的模型精度而不再需要为节省耗时而降低精度
。
据此，可同时保证模型精度和处理频率，从而有效提高处理结果的质量
。
[0024]以下结合附图，详细说明本申请各实施例提供的技术方案
。
[0025]图1为本申请一示例性实施例提供的一种模型调度方法的流程示意图，图2为本申请一示例性实施例提供的一种模型调度方案的逻辑示意图
。
该方法可由模型调度装置执行，该模型调度装置可实现为软件和
/
或硬件的结合，该模型调度装置可集成在计算设备中
。
参考图1，该方法可包括：
[0026]步骤
100、
按照预置处理频率触发指定的起始模型对源数据进行处理；
[0027]步骤
101、
根据预置处理频率计算起始模型对应的触发间隔时间，以确定剩余模型在触发间隔时间内可占用的可用时段；
[0028]步骤
102、
在起始模型产生的可用时段内，基于预设的调度策略确定各个剩余模型的触发时机，以控制各个剩余模型配合起始模型完成每个源数据的处理工作
。
[0029]本实施例提供的模型调度方法可应用于多模型场景中，也即是，采用多个模型应
对应用需求的场景，例如，客流识别场景中，可采用人体检测模型
、
脸部检测模型
、
人体特征提取模型和脸部特征提取模型等多个模型来应对客流识别需求
。
当然，这仅是示例性的，本实施例还可应用于其它多模型场景中
。
本实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型调度方法，包括：按照预置处理频率触发指定的起始模型对源数据进行处理；根据所述预置处理频率计算所述起始模型对应的触发间隔时间，以确定剩余模型在所述触发间隔时间内可占用的可用时段；在所述起始模型产生的可用时段内，基于预设的调度策略确定各个剩余模型的触发时机，以控制各个剩余模型配合所述起始模型完成每个源数据的处理工作
。2.
根据权利要求1所述方法，还包括：创建存在先后关系的多个调度任务，其中，待调度的多个模型按组分布在所述多个调度任务下，所述起始模型分布在起始调度任务下；所述在所述起始模型产生的可用时段内，基于预设的调度策略确定各个剩余模型的触发时机，包括：利用所述多个调度任务，在所述起始模型产生的可用时段内基于预设的调度策略确定各个剩余模型的触发时机
。3.
根据权利要求2所述的方法，所述利用所述多个调度任务，在所述起始模型产生的可用时段内基于预设的调度策略确定各个剩余模型的触发时机，包括：在所述起始调度任务下的模型组执行完毕后，计算所述可用时段中的剩余时段；向所述起始调度任务的下一个调度任务发送触发信号，以触发所述下一个调度任务基于所述调度策略确定其下分布的模型组内各模型的触发时机；若所述下一个调度任务下的模型组执行完毕后所述剩余时段未消耗完，则继续向后续的调度任务发送触发信号，直至所述剩余时段消耗完
。4.
根据权利要求3所述的方法，还包括：若所述起始调度任务下的模型组中仅包含所述起始模型，则将所述可用时段作为所述剩余时段；若所述起始调度任务下的模型组中包含多个模型，则从所述可用时段中减掉除所述起始模型之外的其它模型的耗时后所剩余的时段，作为所述剩余时段
。5.
根据权利要求1所述的方法，所述调度策略包括：优先触发已执行次数落后的模型；优先触发优先级更高的模型；和
/
或优先触发耗时更长的模型
。6.
根据权利要求1所述的方法，所述按照预置处理频率触发指定的起始模型对源数据进行处理，包括：按照所述预置处理频率从输入数据中提取源数据；按照所述预置处理频率将提取到的源数据输入所述起始模型，以触发所述起始模型对接收到的源数据进行处理
。7.
根据权利要求1所述的方法，所述根据所述预置处理...

【专利技术属性】
技术研发人员：张文杰，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：