深度神经网络模型压缩制造技术

技术编号:42586501 阅读:21 留言:0更新日期:2024-09-03 18:03
一种深度神经网络模型压缩,其各种实施例涉及一种修剪机器学习模型的系统和方法,包括:使用训练输入数据来训练所述机器学习模型;基于训练所述机器学习模型时使用的梯度而计算所述机器学习模型的不同部分的α值,其中所述α值是重要性度量;在训练迭代中累计所计算的α值;以及基于所累计的α值而修剪所述机器学习模型。

【技术实现步骤摘要】

本文中所公开的各种示例性实施例大体上涉及包括使用基于梯度的显著性度量的深度神经网络模型压缩


技术介绍

1、深度神经网络(dnn)已在不同领域取得了最先进的成果。举例来说,就自动驾驶而言,需要高效的dnn,其可装配在具有极小大小、重量和功率的微型边缘处理器上。减小dnn模型大小的最常见方式之一是通过修剪。


技术实现思路

1、下文呈现各种示例性实施例的概述。可在以下概述中作出一些简化和省略,所述概述意图凸显并引入各种示例性实施例的一些方面,而非限制本专利技术的范围。足以允许本领域的普通技术人员产生并使用本专利技术概念的示例性实施例的详细描述将在稍后章节呈现。

2、各种实施例涉及一种数据处理系统,所述数据处理系统包括体现于非暂时性计算机可读媒体中的指令,所述指令用于修剪处理器中的机器学习模型,所述指令包括:使用训练输入数据来训练所述机器学习模型;基于训练所述机器学习模型时使用的梯度而计算所述机器学习模型的不同部分的α值,其中所述α值是重要性度量;在训练迭代中累计所计算的α值;以及基于所累计的α值而修剪本文档来自技高网...

【技术保护点】

1.一种数据处理系统,其特征在于,所述数据处理系统包括体现于非暂时性计算机可读媒体中的指令,所述指令用于修剪处理器中的机器学习模型,所述指令包括:

2.根据权利要求1所述的数据处理系统,其特征在于,修剪所述机器学习模型包括:

3.根据权利要求1所述的数据处理系统,其特征在于,基于训练所述机器学习模型时使用的梯度而计算所述机器学习模型的不同部分的α值包括在所述机器学习模型的所述不同部分上对所述机器学习模型的所述不同部分的所述梯度进行求和。

4.根据权利要求3所述的数据处理系统,其特征在于,在所述不同部分上对所述机器学习模型的所述不同部分的所述梯度进行求和...

【技术特征摘要】

1.一种数据处理系统,其特征在于,所述数据处理系统包括体现于非暂时性计算机可读媒体中的指令,所述指令用于修剪处理器中的机器学习模型,所述指令包括:

2.根据权利要求1所述的数据处理系统,其特征在于,修剪所述机器学习模型包括:

3.根据权利要求1所述的数据处理系统,其特征在于,基于训练所述机器学习模型时使用的梯度而计算所述机器学习模型的不同部分的α值包括在所述机器学习模型的所述不同部分上对所述机器学习模型的所述不同部分的所述梯度进行求和。

4.根据权利要求3所述的数据处理系统,其特征在于,在所述不同部分上对所述机器学习模型的所述不同部分的所述梯度进行求和包括计算:

5.根据权利要求1所述的数据处理系统,其特征在...

【专利技术属性】
技术研发人员:陈旭鹏萨蒂什·拉温德拉吴浩云
申请(专利权)人:恩智浦有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1