一种基于算法-系统跨层自适应优化的深度模型轻量级部署方法技术方案

技术编号:43874312 阅读:17 留言:0更新日期:2024-12-31 18:58
本申请公开了一种基于算法‑系统跨层自适应优化的深度模型轻量级部署方法,具体涉及模型轻量化方法的领域,方法包括:确定深度模型的结构层的多种压缩算子和深度模型部署过程的多种加速算子,将多种压缩算子和多种加速算子作为跨层搜索空间;根据深度模型的目标性能指标,确定目标函数和约束条件;将跨层搜索空间、目标函数和约束条件作为输入,利用双层协同进化优化算法对压缩算子和加速算子进行组合,得到最优技术组合。实现同时考虑模型与系统层面的优化需求,能提高模型的整体优化效果,且不影响模型精度。

【技术实现步骤摘要】

本申请涉及模型优化方法的领域,尤其涉及一种基于算法-系统跨层自适应优化的深度模型轻量级部署方法


技术介绍

1、相比于云端将数据传输到远程中心,本地设备执行深度学习任务不仅能保证其准确性,还能节省通信带宽和减少时延,这使得数据处理和模型推理能够在本地设备上迅速完成,无需等待网络传输的延迟。而且,在网络连接不稳定如断网或弱网的情况下,依赖服务端的请求往往容易失败,本地端模型处理则能够不受网络影响,稳定地执行计算任务,这在无人车和自动驾驶、隧道、山区等复杂环境中尤为重要,确保了系统的持续可靠运行。此外,用户对敏感信息和隐私问题的关注不断增加,因此在本地设备上处理数据是最为有效的解决方案,不仅使得用户隐私泄露的风险大大减少,还增强了用户对于数据安全的信心。然而现代深度学习模型通常具有大量的参数和复杂的计算结构,而这些设备往往受限于存储容量、有限的计算能力和电池寿命等。因此为了在这些资源有限的设备上实现实时推理,需要采取一系列优化策略来降低dnn的内存和计算成本,也就是说,深度神经网络压缩成为一个紧迫而有前途的课题。

2、现有技术方面,尽管已经存在一些本文档来自技高网...

【技术保护点】

1.一种基于算法-系统跨层自适应优化的深度模型轻量级部署方法,其特征在于,包括:

2.根据权利要求1所述的基于算法-系统跨层自适应优化的深度模型轻量级部署方法,其特征在于,所述利用双层协同进化优化算法对所述压缩算子和加速算子进行组合,得到最优技术组合,包括:

3.根据权利要求1所述的基于算法-系统跨层自适应优化的深度模型轻量级部署方法,其特征在于,所述压缩算子包括压缩方法和对应配置参数,所述加速算子包括加速方法和对应配置参数。

4.根据权利要求3所述的基于算法-系统跨层自适应优化的深度模型轻量级部署方法,其特征在于,压缩方法对应的配置参数包括压缩率和压...

【技术特征摘要】

1.一种基于算法-系统跨层自适应优化的深度模型轻量级部署方法,其特征在于,包括:

2.根据权利要求1所述的基于算法-系统跨层自适应优化的深度模型轻量级部署方法,其特征在于,所述利用双层协同进化优化算法对所述压缩算子和加速算子进行组合,得到最优技术组合,包括:

3.根据权利要求1所述的基于算法-系统跨层自适应优化的深度模型轻量级部署方法,其特征在于,所述压缩算子包括压缩方法和对应配置参数,所述加速算子包括加速方法和对应配置参数。

4.根据权利要求3所述的基于算法-系统跨层自适应优化的深度模型轻量级部署方法,其特征在于,压缩方法对应的配置参数包括压缩率和压缩算子类型;加速方法对应的配置参数包括算子融合组合类型和并行组数。

5.根据权利要求3所述的基于算法-系统跨层自适应优化的深度模型轻量级部署方...

【专利技术属性】
技术研发人员:刘思聪王敏帆郭斌於志文周文韬
申请(专利权)人:西北工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1