一种机器学习模型的压缩方法、压缩装置和可读存储介质制造方法及图纸

技术编号:34194620 阅读:34 留言:0更新日期:2022-07-17 16:17
本申请公开了一种机器学习模型的压缩方法、压缩装置和可读存储介质,该机器学习模型的压缩方法包括:获取机器学习模型的多个权重数据;对多个权重数据进行等间隔划分,得到至少两个权重划分区间;统计每个权重划分区间中的权重数据的数量;对每个权重划分区间对应的权重数据的数量进行调整,得到权重划分区间对应的校准数量数据;基于每个权重划分区间对应的校准数量数据,对多个权重数据重新进行划分,得到至少两个权重量化区间;对权重量化区间中的权重数据进行量化处理,以使量化后的所有权重数据的比特数之和小于量化前的所有权重数据的比特数之和。通过上述方式,本申请能够提升压缩效率与精度。够提升压缩效率与精度。够提升压缩效率与精度。

A compression method, compression device and readable storage medium of machine learning model

【技术实现步骤摘要】
一种机器学习模型的压缩方法、压缩装置和可读存储介质


[0001]本申请涉及深度学习
,具体涉及一种机器学习模型的压缩方法、压缩装置和可读存储介质。

技术介绍

[0002]机器学习模型包括深度学习卷积层和全连接层,深度学习卷积层和全连接层具有大量的权重数据,在将机器学习模型部署到嵌入式设备上时,权重数据会占用大量的存储空间。现有技术中为了压缩机器学习模型,通过聚类算法对权重数据进行量化,权重量化的过程中并未考虑到权重数据的分布情况,权重量化的效率以及精度较低,对机器学习模型的压缩效果不好。

技术实现思路

[0003]本申请提供一种机器学习模型的压缩方法、压缩装置和可读存储介质,能够提升压缩效率与精度。
[0004]为解决上述技术问题,本申请采用的技术方案是:提供一种机器学习模型的压缩方法,该机器学习模型的压缩方法包括:获取机器学习模型的多个权重数据;对多个权重数据进行等间隔划分,得到至少两个权重划分区间;统计每个权重划分区间中的权重数据的数量;对每个权重划分区间对应的权重数据的数量进行调整,得到权重划分区间对应的校准本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习模型的压缩方法,其特征在于,包括:获取机器学习模型的多个权重数据;对所述多个权重数据进行等间隔划分,得到至少两个权重划分区间;统计每个所述权重划分区间中的权重数据的数量;对每个所述权重划分区间对应的权重数据的数量进行调整,得到所述权重划分区间对应的校准数量数据;基于每个所述权重划分区间对应的校准数量数据,对所述多个权重数据重新进行划分,得到至少两个权重量化区间,以使各个所述权重量化区间中的权重数据的数量均衡;对所述权重量化区间中的权重数据进行量化处理,以使量化后的所有权重数据的比特数之和小于量化前的所有权重数据的比特数之和。2.根据权利要求1所述的机器学习模型的压缩方法,其特征在于,所述对每个所述权重划分区间对应的权重数据的数量进行调整,得到所述权重划分区间对应的校准数量数据的步骤,包括:对每个所述权重划分区间对应的权重数据的数量进行数值限制处理与归一化处理,得到所述校准数量数据;或者,对每个所述权重划分区间对应的权重数据的数量进行变换与归一化处理,得到所述校准数量数据;或者,对每个所述权重划分区间对应的权重数据的数量进行数值限制处理,得到第一权重数量数据;对所述第一权重数量数据进行变换与归一化处理,得到所述校准数量数据;或者,对每个所述权重划分区间对应的权重数据的数量进行变换,得到第二权重数量数据;对所述第二权重数量数据进行数值限制处理与归一化处理,得到所述校准数量数据。3.根据权利要求2所述的机器学习模型的压缩方法,其特征在于,所述对每个所述权重划分区间对应的权重数据的数量进行数值限制处理的步骤,包括:依次从所有所述权重划分区间对应的权重数据的数量中取出一个权重数据的数量,得到当前数量;判断所述当前数量是否满足预设条件;若是,则不对所述当前数量进行调整;若否,则在所述当前数量落在第一数量范围时,将所述当前数量调整为预设最小数值;在所述当前数量落在第二数量范围时,不对所述当前数量进行调整;在所述当前数量落在第三数量范围时,将所述当前数量调整为预设最大数值。4.根据权利要求3所述的机器学习模型的压缩方法,其特征在于,所述判断所述当前数量是否满足预设条件的步骤,包括:在所述当前数量为预设数值时,判定所述当前数量满足所述预设条件;其中,所述预设数值小于所述第一数量范围的最小值,所述第一数量范围的最大值小于所述第二数量范围的最小值,所述第二数量范围的最大值小于所述第三数量范围的最小值;所述第二数量范围的最小值为所述预设最小数值,所述第二数量范围的最大值为所述预设最大数值。5.根据权利要求2所述的机器学习模型的压缩方法,其特征在于,所述对所述第一权重数量数据进行变换与归一化处理,得到所述校准数量数据的步骤,包括:
从预设函数库中选出当前运算函数,并将所述第一权重数量数据输入所述当前运算函数,得到运算统计数据;对所述运算统计数据进行归一化处理,得到所述校准数量数据。6.根据权利要求1所述的机器学习模型的压缩方法,其特征在于,所述基于每个所述权重划分区间对应的校准数量数据,对所述多个权重数据重新进行划分,得到至少两个权重量化区间的步骤,包括:对所述校准数量数据进行累...

【专利技术属性】
技术研发人员:殷俊韩建强陈波扬吴立周祥明
申请(专利权)人:浙江大华技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1