模型处理方法、系统及设备技术方案

技术编号:41325998 阅读:24 留言:0更新日期:2024-05-13 15:03
本申请实施例提供一种模型处理方法、系统及设备,涉及计算机技术领域,方法包括:在远程代码仓库中获取目标配置参数;该远程代码仓库中存储有至少一种硬件平台对应的处理数据,上述目标配置参数中包括目标硬件平台对应的标识信息;根据目标配置参数与目标硬件平台对应的目标处理数据,生成目标硬件平台对应的模型处理任务;获取待处理模型,并执行上述模型处理任务,以对上述待处理模型进行处理。本申请实施例可以有效降低AI模型的量化与测试难度,并提升AI模型的量化与测试效率。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种模型处理方法、系统及设备


技术介绍

1、当人工智能(artificial intelligence,ai)模型准备部署至资源有限的硬件平台,如移动设备、嵌入式系统以及各类物联网终端时,会面临存储空间不足、计算能力受限等实际挑战。

2、为解决上述技术问题,量化技术应运而生,它主要通过将ai模型内部复杂的浮点数权重和激活值转换为低精度数据类型(例如整数或二进制),以达到压缩模型体积、提升模型运行效率的目的。

3、目前,在ai模型的研发流程中,将模型部署到不同的硬件平台上是一项繁琐且耗时的工作,每个模型都需要针对性地采用不同的量化技术进行处理,量化完成后可能还需要逐一在各个目标硬件平台上进行性能测试,以验证模型的真实性能,导致ai模型的处理效率较低。


技术实现思路

1、本申请通过多个方面提供一种模型处理方法、系统及设备,可以有效提升ai模型的处理效率。

2、第一方面,本申请实施例提供一种模型处理方法,该方法包括:

3、在远程代码仓库中获本文档来自技高网...

【技术保护点】

1.一种模型处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述在远程代码仓库中获取目标配置参数,包括:

3.根据权利要求1所述的方法,其特征在于,所述目标配置参数中包括待处理模型路径,所述获取待处理模型,并执行所述模型处理任务,包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,所述目标处理数据包括所述目标硬件平台对应的量化处理数据,所述目标配置参数中还包括所述目标硬件平台对应的量化配置参数,所述量化配置参数包括量化数据路径与量化精度中的至少一项;

5.根据权利要求4所述的方法,其特征在于,所述方法...

【技术特征摘要】

1.一种模型处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述在远程代码仓库中获取目标配置参数,包括:

3.根据权利要求1所述的方法,其特征在于,所述目标配置参数中包括待处理模型路径,所述获取待处理模型,并执行所述模型处理任务,包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,所述目标处理数据包括所述目标硬件平台对应的量化处理数据,所述目标配置参数中还包括所述目标硬件平台对应的量化配置参数,所述量化配置参数包括量化数据路径与量化精度中的至少一项;

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1至3任一项所述的方法,其特征在于,所述目标处理数据包括所述目标硬件平台对应的测试处理数据,所述目标配置参数中还包括所述目标硬件平台对应的测试配置参数,所述测试配置...

【专利技术属性】
技术研发人员:薛盛可
申请(专利权)人:浙江深象智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1