【技术实现步骤摘要】
本专利技术涉及模型部署，具体涉及一种模型部署的调度方法、装置、设备及存储介质。
技术介绍
1、随着人工智能的发展，深度学习模型的应用越来越广泛，但是训练好的深度学习模型需要部署到实际的生产环境中，才能产生真正的应用价值，例如，将图像识别模型部署到摄像设备上，实现人脸识别、车牌识别等功能，将自然语言模型部署到智能客服中，实现语言理解、情感分析等功能。在模型部署的过程中，需要选择合适的部署方式，将其部署至ai(人工智能)芯片中，不同类别的芯片所需框架工具不同，模型部署前需要利用框架工具将模型转换为芯片可部署的格式，并对模型进行量化和编译，从而精简模型，减少模型对芯片资源的占用，然后将模型调度至对应芯片进行部署。在相关技术中，在云端平台进行模型部署时，通常是实时监测各芯片是否空闲，若存在模型相匹配类型的空闲芯片，则将模型调度至对应类型的空闲芯片中进行部署，否则等待对应类型的芯片执行完成当前的任务，再将模型部署至该芯片。
2、然而，在多个团队同时于云端平台进行模型部署时，容易出现芯片资源被其他团队的模型部署的任务占用，没有空闲的芯片能够使用的情况，存在芯片资源分配不合理、部署效率低的问题，导致用户的使用体验差。
技术实现思路
1、鉴于以上所述现有技术的缺点，本专利技术提供一种模型部署的调度方法、装置、设备及存储介质，以解决上述技术问题中的至少之一。
2、在第一方面，本专利技术提供了一种模型部署的调度方法，包括：获取待部署模型和所述待部署模型对应的芯片类型，所述待部署
3、于本专利技术的一实施例中，所述基于所述待部署模型构建待部署任务，将相同所述芯片类型对应的所述待部署任务按优先级排序，生成任务队列，包括：设置每一所述待部署任务的优先级，其中，设置所述团队任务的优先级包括为任一团队对应的各所述团队任务统一设置相同的优先级，或为任一团队对应的各所述团队任务独立设置优先级；将同一所述芯片类型对应的各所述团队任务和各所述个人任务按优先级从高到低进行排序，确实各所述待部署任务的执行顺序，并基于所述执行顺序生成所述任务队列。
4、于本专利技术的一实施例中，所述根据所述任务队列将所述待部署任务调度至对应的芯片资源池中的芯片，包括：确定待调度的所述团队任务的团队信息和所述芯片资源池中每一所述团队独享芯片的团队标签；将所述团队任务的团队信息和每一所述团队独享芯片的团队标签进行匹配，确定与所述团队任务归属于同一团队的所述团队独享芯片，并作为目标团队芯片；若任一所述目标团队芯片空闲，则将所述团队任务调度至空闲的所述目标团队芯片；若各所述目标团队芯片均不空闲，则将所述团队任务调度至空闲的所述共享芯片；若所述目标团队芯片和所述共享芯片均不空闲，则所述团队任务对应的所述待部署模型于所述待部署池中停止调度，直至存在空闲的所述目标团队芯片或空闲的所述共享芯片。
5、于本专利技术的一实施例中，在所述将所述团队任务调度至与所述团队任务归属同一团队的所述团队独享芯片之前，还包括：统计每一团队中每一用户使用的芯片数量；若团队中任一用户使用的芯片数量大于预设第一阈值，则将用户作为目标用户，所述目标用户对应的所述团队任务将停止调度，直至所述目标用户所使用的芯片数量小于所述预设第一阈值；若团队中全部用户使用的芯片数量相加得到的芯片总数大于预设第二阈值，则团队对应的全部所述团队任务将停止调度，直至团队使用的芯片总数小于所述第二阈值。
6、于本专利技术的一实施例中，在所述根据所述任务队列将所述待部署任务调度至对应的芯片资源池中的芯片之前，包括：在每一所述芯片上部署芯片程序，以通过所述芯片程序采集每一所述芯片的芯片信息，所述芯片信息至少包括所述芯片类型、芯片ip和芯片驱动版本；利用所述芯片程序为相同所述芯片类型的芯片配置同一资源地址，以将各所述芯片分配至对应的所述芯片资源池，所述资源地址与所述芯片资源池一一对应。
7、于本专利技术的一实施例中，在所述根据所述任务队列将所述待部署任务调度至对应的芯片资源池中的芯片之前，还包括：利用所述芯片程序监测所述芯片的使用状态；若所述芯片处于离线状态，则停止将所述待部署任务调度至所述芯片；若所述芯片处于空闲状态，则将所述待部署任务调度至所述芯片。
8、于本专利技术的一实施例中，在所述获取待部署模型和所述待部署模型对应的芯片类型之前，还包括：获取初始模型和所述初始模型预部署的所述芯片类型；从预设框架工具包筛选所述初始模型预部署的所述芯片类型对应的框架工具，根据所述框架工具对所述初始模型进行转换，确定中间模型；对所述中间模型进行量化和编译，得到所述待部署模型，所述待部署模型为用户所属团队共享。
9、在第二方面，本专利技术还提供了一种模型部署的调度装置，包括：获取模块，用于获取待部署模型和所述待部署模型对应的芯片类型，所述待部署模型缓存于云端平台的待部署模型池；队列生成模块，用于基于所述待部署模型构建待部署任务，将相同所述芯片类型对应的所述待部署任务按优先级排序，生成任务队列，所述待部署任务包括团队任务和个人任务；调度模块，用于根据所述任务队列将所述待部署任务调度至对应的芯片资源池中的芯片，使所述待部署模型从所述待部署模型池中部署至对应所述芯片，所述任务队列、所述芯片资源池和所述芯片类型相互一一对应，所述芯片包括共享芯片和团队独享芯片，其中，将所述团队任务调度至与所述团队任务归属同一团队的所述团队独享芯片，将所述个人任务调度至所述共享芯片。
10、在第三方面，本专利技术还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的模型部署的调度方法。
11、在第四方面，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上述实施例中所述的模型部署的调度方法。
12、本专利技术的有益效果：本专利技术提出了一种模型部署的调度方法、装置、设备及存储介质。一方面，通过获取待部署模型和待部署模型的芯片类型，待部署模型缓存于云端平台的待部署模型池，基于待部署模型构建待部署任务，将相同芯片类型对应的待部署任务按优先级排序，生成任务队列，这样，使待部署模型排队进行部署，减小了云端平台模型部署的压力，提高了云端平台的可靠性。另一方面，将团队任务调度至与团队任务归属同一团队的团队独享芯片，将个人任务调度至共享芯片本文档来自技高网...
【技术保护点】
1.一种模型部署的调度方法，其特征在于，包括：
2.如权利要求1所述的模型部署的调度方法，其特征在于，所述基于所述待部署模型构建待部署任务，将相同所述芯片类型对应的所述待部署任务按优先级排序，生成任务队列，包括：
3.如权利要求1所述的模型部署的调度方法，其特征在于，所述根据所述任务队列将所述待部署任务调度至对应的芯片资源池中的芯片，包括：
4.如权利要求3所述的模型部署的调度方法，其特征在于，在所述将所述团队任务调度至与所述团队任务归属同一团队的所述团队独享芯片之前，还包括：
5.如权利要求1所述的模型部署的调度方法，其特征在于，在所述根据所述任务队列将所述待部署任务调度至对应的芯片资源池中的芯片之前，包括：
6.如权利要求5所述的模型部署的调度方法，其特征在于，在所述根据所述任务队列将所述待部署任务调度至对应的芯片资源池中的芯片之前，还包括：
7.如权利要求1至6中任一项所述的模型部署的调度方法，其特征在于，在所述获取待部署模型和所述待部署模型对应的芯片类型之前，还包括：
8.一种模型部署的调
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1至7中任一项所述的模型部署的调度方法。
...【技术特征摘要】
1.一种模型部署的调度方法，其特征在于，包括：
2.如权利要求1所述的模型部署的调度方法，其特征在于，所述基于所述待部署模型构建待部署任务，将相同所述芯片类型对应的所述待部署任务按优先级排序，生成任务队列，包括：
3.如权利要求1所述的模型部署的调度方法，其特征在于，所述根据所述任务队列将所述待部署任务调度至对应的芯片资源池中的芯片，包括：
4.如权利要求3所述的模型部署的调度方法，其特征在于，在所述将所述团队任务调度至与所述团队任务归属同一团队的所述团队独享芯片之前，还包括：
5.如权利要求1所述的模型部署的调度方法，其特征在于，在所述根据所述任务队列将所述...
【专利技术属性】
技术研发人员：胡小刚，戴峰，成念，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。