一种用于在边缘设备上减少人工智能模型响应延迟的任务调度方法技术

本发明专利技术为一种用于在边缘设备上减少人工智能模型响应延迟的任务调度方法，所述方法包括如下步骤：1）对数据进行收集与整理；2）构建和训练预测模型；3）对预测模型进行运行调度；4）决策执行。本发明专利技术是一种用于对服务器无感知边缘计算范式中的模型请求进行调度，实现减少模型响应延迟的方法，本发明专利技术适用于边缘设备，能够有效减少人工智能模型响应延迟，以充分发挥边缘计算在人工智能领域的潜力，满足日益增长的对低延迟、高效能人工智能服务的需求。

【技术实现步骤摘要】

本专利技术涉及人工智能模型推理，具体为一种用于在边缘设备上减少人工智能模型响应延迟的任务调度方法，是一种用于对服务器无感知边缘计算范式中的模型请求进行调度，实现减少模型响应延迟的方法。

技术介绍

1、在当今数字化时代，人工智能模型展现出了极为广泛的应用场景与强大的作用能力。从智能语音助手助力人们的日常沟通与信息获取，到图像识别技术在安防监控、医疗影像诊断等领域的深度应用，再到智能推荐系统为电子商务、内容分发等行业带来的精准服务提升，人工智能模型已然成为推动各行业创新发展与效率提升的核心驱动力。然而，传统上在云数据中心部署和运行人工智能模型存在诸多弊端。其中，隐私风险是一个不容忽视的问题，大量敏感数据在云数据中心的集中处理与存储，增加了数据泄露的潜在威胁。此外，广域网的存在不可避免地带来了显著的延迟。由于数据需要在终端与云数据中心之间进行远距离传输，网络拥塞、带宽限制等因素都会导致数据传输时间大幅增加，从而严重影响人工智能模型的响应效率，无法满足一些对实时性要求较高的应用场景需求。在这样的背景下，将人工智能模型部署和运行在边缘设备上成为一种极具吸引力的替代方本文档来自技高网...

【技术保护点】

1.一种用于在边缘设备上减少人工智能模型响应延迟的任务调度方法，其特征在于：所述方法包括如下步骤：

2.根据权利要求1所述的用于在边缘设备上减少人工智能模型响应延迟的任务调度方法，其特征在于，所述步骤1）具体为：

3.根据权利要求1所述的用于在边缘设备上减少人工智能模型响应延迟的任务调度方法，其特征在于，所述步骤2）具体为：

4.根据权利要求1所述的用于在边缘设备上减少人工智能模型响应延迟的任务调度方法，其特征在于，所述步骤3）具体为：

5.根据权利要求1所述的用于在边缘设备上减少人工智能模型响应延迟的任务调度方法，其特征在于，所述步骤4）...

【技术特征摘要】

1.一种用于在边缘设备上减少人工智能模型响应延迟的任务调度方法，其特征在于：所述方法包括如下步骤：

2.根据权利要求1所述的用于在边缘设备上减少人工智能模型响应延迟的任务调度方法，其特征在于，所述步骤1）具体为：

3.根据权利要求1所述的用于在边缘设备上减少人工智能模型响应延迟...

【专利技术属性】
技术研发人员：谈海生，李国鹏，张璇，杜皓华，
申请(专利权)人：德清阿尔法创新研究院，
类型：发明
国别省市：