一种任务处理方法、装置、存储介质及电子设备制造方法及图纸

本发明专利技术公开了一种任务处理方法、装置、存储介质及电子设备，所述方法包括：当接收到待处理任务，响应对待处理任务的细粒度划分操作得到待处理任务对应的多个任务碎片；将多个任务碎片的总执行时间与目标时间进行比对；根据比对结果保留总执行时间小于或等于目标时间的待处理任务，舍弃总执行时间大于目标时间的待处理任务；对保留的待处理任务按照任务碎片的特性进行优先级排序并根据排序结果响应任务处理操作。根据任务碎片的特性将待处理任务按照优先级排序处理，充分考虑了待处理任务的紧急程度，减少了尾延迟；考虑待处理任务的目标期限，利用细粒度划分对待处理任务进行时间预测和取舍，在目标期限内执行待处理任务，减少了尾延迟。少了尾延迟。少了尾延迟。

【技术实现步骤摘要】
一种任务处理方法、装置、存储介质及电子设备


[0001]本专利技术涉及机器学习推理调度
，具体涉及一种任务处理方法、装置、存储介质及电子设备。

技术介绍

[0002]随着机器学习的普及，推理模型越来越多地出现在网络请求的关键路径上，机器学习推理正在成为交互式应用程序的核心构建模块。现有的模型服务体系结构使用常见的反应性技术来缓解通常情况下的延迟源，一种常用的调度方法是通过采用批量处理任务的方法，但是这种方法会导致出现无法完成的任务被处理、低优先级的任务比高优先级的任务提前处理的情况，进而造成尾延迟。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供了涉及一种任务处理方法、装置、存储介质及电子设备，以解决现有技术任务处理方式造成尾延迟的技术问题。
[0004]本专利技术提出的技术方案如下：
[0005]本专利技术实施例第一方面提供一种任务处理方法，该任务处理方法包括：当接收到待处理任务，响应对所述待处理任务的细粒度划分操作得到待处理任务对应的多个任务碎片；将所述多个任务碎片的总执行时间与目标时间进行比本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括如下步骤：当接收到待处理任务，响应对所述待处理任务的细粒度划分操作得到待处理任务对应的多个任务碎片；将所述多个任务碎片的总执行时间与目标时间进行比对；根据比对结果保留总执行时间小于或等于目标时间的待处理任务，舍弃总执行时间大于目标时间的待处理任务；对保留的待处理任务按照任务碎片的特性进行优先级排序并根据排序结果响应任务处理操作。2.根据权利要求1所述的任务处理方法，其特征在于，所述总执行时间包括任务碎片装载时间和任务碎片推理时间；所述当接收到待处理任务，响应对所述待处理任务的细粒度划分操作得到待处理任务对应的多个任务碎片之后，所述将所述多个任务碎片的总执行时间与目标时间进行比对之前，所述方法还包括：确定所述任务碎片是否需要装载；若所述任务碎片不需要装载，将所述任务碎片推理时间作为所述总执行时间。3.根据权利要求1所述的任务处理方法，其特征在于，所述对保留的待处理任务按照任务碎片的特性进行优先级排序并根据排序结果响应任务处理操作，包括：确定所述待处理任务对应的任务碎片是否需要装载；若所述任务碎片不需要装载，响应对所述待处理任务的推理操作；若所述任务碎片需要装载，响应对所述待处理任务的装载操作并在装载操作结束后，响应对所述待处理任务的推理操作。4.根据权利要求3所述的任务处理方法，其特征在于，若所述任务碎片需要装载，响应对所述待处理任务的装载操作，包括：确定执行任务装载的处理器是否处于空闲状态；若执行任务装载的处理器未处于空闲状态，将所述待装载的任务碎片存储在任务装载容器中直至所述执行任务装载的处理器处于空闲状态时响应装载操作。5.根据权利要求3所述的任务处理方法，其特征在于，响应对所述待处理任务的推理操作，包括：确定执行任务推理的处理器是否处于空闲状态；若执行任务推理的处理器未处于空闲状态，将所述待推理的任务碎片存储在任务推理容器中直至所述执行任务推理的处理器处于空闲状态时响应推理操作。6.根据权利要求4所述的任务处理方法，其特征在于，所述任务装载容器包括多个任务装载子容器，每一个任务装载子容器用于存储相应类型的任务碎片；所述将所述待装载的任务碎片存储在任务装载容器中，包括：确定待装载的任务碎片的类型；根据待装载的任务碎片的类型，将所述待装载的任务碎片存储在对应的任务装载子容...

【专利技术属性】
技术研发人员：徐小雯，王毅，陈家贤，马晨琳，周池，毛睿，
申请(专利权)人：深圳大学，
类型：发明
国别省市：