一种边端协同智能资源调度方法、装置、终端及存储介质制造方法及图纸

本发明专利技术涉及边端设备资源调度领域，具体公开一种边端协同智能资源调度方法、装置、终端及存储介质，将多异构边端设备虚拟化；采集并统计边端设备的资源条件；根据边端设备的资源条件，将云端预训练模型下发到相应边端设备；根据作业资源需求和作业所需模型，将作业分配到相应边端设备；在所分配到的边端设备上调用相应模型执行作业；将作业执行结果反馈给云端或资源调度平台。本发明专利技术通过设备虚拟化技术，对边端设备进行虚拟化，将虚拟化设备透传到容器中进行使用，实现各种资源的统一抽象，结合智能自主调度策略，使得模型可以自动化地学习到合适的参数和配置而无需人工干预，简化设备管理和用户使用，提高了边端设备协同工作的效率和合理性。率和合理性。率和合理性。

【技术实现步骤摘要】
一种边端协同智能资源调度方法、装置、终端及存储介质


[0001]本专利技术涉及边端设备资源调度领域，具体涉及一种边端协同智能资源调度方法、装置、终端及存储介质。

技术介绍

[0002]为了应对计算多元化的需求，越来越多的场景开始引入NPU、GPU、FPGA等硬件进行加速，特别是在人工智能领域，目前以NPU为代表的异构计算已成为加速AI创新的新一代计算架构。用户拥有的智能设备在不断增加，需要用到AI功能的场景在不断丰富。在这样的背景下，对多种设备之间AI能力的协同需求逐渐增加。如何把这些零散的、分布在各个设备之中的AI能力进行整合，并针对不同的场景，根据用户需求，找到最优的设备组合为用户提供服务，是当下需要探索的问题。
[0003]多异构资源在运行多种任务场景下，为了保证计算资源的有效利用、公平性、互斥管理、快速响应、满载下队列维护，需要一套高效精细的分配原则和调度管理机制。如图1所示为边端设备协同拓扑结构示意图，为了充分发挥边缘服务器（大算力、高时延、强依赖通信网络）和嵌入式智能终端（低时延、小算力、弱依赖通信网络）的算力优势，需要考虑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边端协同智能资源调度方法，其特征在于，包括以下步骤：将多异构边端设备虚拟化；采集并统计边端设备的资源条件；根据边端设备的资源条件，将云端预训练模型下发到相应边端设备；根据作业资源需求和作业所需模型，将作业分配到相应边端设备；在所分配到的边端设备上调用相应模型执行作业；将作业执行结果反馈给云端或资源调度平台。2.根据权利要求1所述的方法，其特征在于，将多异构边端设备虚拟化具体为：将多异构边端设备虚拟化为系统大小的逻辑单元。3.根据权利要求2所述的方法，其特征在于，多异构边端设备包括边缘服务器和嵌入式智能终端，边缘服务器与多个嵌入式智能终端通信；边端设备的资源条件包括边端设备算力资源和带宽资源的可利用资源、成本、质量和时延。4.根据权利要求3所述的方法，其特征在于，将作业执行结果反馈给云端或资源调度平台，具体为：判断任务是否完成；若已完成则将结果反馈给云端，若未完成则将结果反馈给资源调度平台，由资源调度平台将结果作为下一次作业分配到相应边端设备。5.一种边端协同智能资源调度装置，其特征在于，包括，虚拟化模块：将多异构边端设备虚拟化；资源条件采集统计模块：采集并统计边端设备的资源条件；模型下发模块：根据边端设备的资源条件，将云端预训练模型下发到相应边端设备；作业下发模块：根据作业资源需求和作业所需模型，将作业分配到相应边端设...

【专利技术属性】
技术研发人员：韩德亮，赖一鹏，李常先，
申请(专利权)人：西安超越申泰信息科技有限公司，
类型：发明
国别省市：