模型部署方法、装置、设备、存储介质及程序产品制造方法及图纸

技术编号:45084265 阅读:27 留言:0更新日期:2025-04-25 18:22
本发明专利技术涉及一种模型部署方法、装置、设备、存储介质及程序产品,涉及人工智能技术领域。该方法包括:根据边缘端设备的模型框架,对第一模型进行转换,生成可以在模型框架中运行的第二模型;根据边缘端设备的计算能力,将第二模型中计算能力不支持的第一算子替换为第二算子,生成第三模型,第二算子为与第一算子具有相同功能的、且计算能力支持的、且第二模型支持的算子;根据训练集对第三模型进行模型训练,获取目标模型;将目标模型部署至边缘端设备。本技术方案能够达到提升模型开发效率的效果。

【技术实现步骤摘要】

本专利技术涉及人工智能,具体涉及一种模型部署方法、装置、设备、存储介质及程序产品


技术介绍

1、随着边缘端设备算力的提升,结合离线模型实时性高的技术优点,模型在边缘端硬件设备的部署成为提升硬件设备业务实时性的一种有效手段。考虑到边缘端硬件设备算力的有限性,现有技术在模型开发的过程中会针对模型进行轻量化处理,尽可能的降低模型对算力资源的需求。

2、现有技术中,模型开发主要采取训练和部署两阶段分离的方法,在模型训练的过程中降低模型对算力的需求,然后将训练好的模型部署在对应的硬件设备中。

3、然而,通过现有技术对模型进行部署时,模型的开发流程较长,开发效率低。


技术实现思路

1、本专利技术的目的之一在于提供一种模型部署方法、装置、设备、存储介质及程序产品,以解决通过现有技术对模型进行部署时,模型的开发流程较长,开发效率低的问题;目的之二在于提供一种模型部署装置;目的之三在于提供一种电子设备;目的之四在于提供一种计算机可读存储介质;目的之五在于提供一种计算机程序产品。p>

2、为了实本文档来自技高网...

【技术保护点】

1.一种模型部署方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据边缘端设备的模型框架,对第一模型进行转换,生成可以在所述模型框架中运行的第二模型,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述根据所述边缘端设备的计算能力,将所述第二模型中所述计算能力不支持的第一算子替换为第二算子,生成第三模型,包括:

4.根据权利要求1或2所述的方法,其特征在于,所述将所述目标模型部署至所述边缘端设备,包括:

5.根据权利要求4所述的方法,其特征在于,所述将所述量化后的目标模型部署至所述边缘端设备,包括:

...

【技术特征摘要】

1.一种模型部署方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据边缘端设备的模型框架,对第一模型进行转换,生成可以在所述模型框架中运行的第二模型,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述根据所述边缘端设备的计算能力,将所述第二模型中所述计算能力不支持的第一算子替换为第二算子,生成第三模型,包括:

4.根据权利要求1或2所述的方法,其特征在于,所述将所述目标模型部署至所述边缘端设备,包括:

5.根据权利要求4所述的方法,其特征在于,所述将所述量化后的目标模型部署至所述边缘端设备,包括:

6.根据权利要求1或2所述的方法,其特征在于,在所述根据边缘端设备的模型框架,对第一模型进行转换,生成可以在所述模型框架中运行的...

【专利技术属性】
技术研发人员:王涛任伟
申请(专利权)人:重庆长安汽车股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1