深度学习网络的优化方法技术

本发明专利技术提出一种深度学习网络的优化方法

【技术实现步骤摘要】
深度学习网络的优化方法、运算装置及计算机可读介质


[0001]本专利技术是有关于一种机器学习技术，且特别是有关于一种深度学习网络的优化方法
、
运算装置及计算机可读介质
。

技术介绍

[0002]近年来，随着人工智能
(Artificial Intelligence
，
AI)
技术的日益更新，神经网络模型的参数量及运算复杂度也日益增长
。
因此，用于深度学习网络的压缩技术也随之蓬勃发展
。
值得注意的是，量化是压缩模型的重要技术
。
然而，现有量化后模型的预测准确度及压缩率仍有待改进
。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种深度学习网络的优化方法
、
运算装置及计算机可读介质，利用多尺度动态量化，可确保预测准确度及压缩率
。
[0004]本专利技术实施例的深度学习网络的优化方法包括
(
但不仅限于
)
下列步骤：自预训练模型取得数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种深度学习网络的优化方法，其特征在于，包括：自一预训练模型取得一数值分布，其中所述数值分布是一深度学习网络中的一参数类型的数值的统计分布；确定所述数值分布的一值域内的至少一断点，其中所述至少一断点将所述值域区分成多个区段；以及对所述参数类型在所述多个区段中的一第一区段的数值使用一第一量化参数且对在所述多个区段中的一第二区段的数值使用一第二量化参数进行量化，其中所述第一量化参数不同于所述第二量化参数
。2.
如权利要求1所述的深度学习网络的优化方法，其特征在于，确定所述数值分布的所述值域内的所述至少一断点的步骤包括：在所述值域内确定多个第一搜寻点；依据所述多个第一搜寻点分别区分所述值域，以形成对应于每一所述第一搜寻点的多个评估段；对每一所述第一搜寻点的所述多个评估段分别依据不同量化参数进行量化，以得出每一所述第一搜寻点对应的量化值；以及比较所述多个第一搜寻点的差异量，以得出所述至少一断点，其中一所述第一搜寻点的差异量包括其量化值与对应的未量化值之间的差异
。3.
如权利要求2所述的深度学习网络的优化方法，其特征在于，比较所述多个第一搜寻点的差异量以得出所述至少一断点的步骤包括：使用所述多个第一搜寻点中具有较小差异量的至少一者作为所述至少一断点
。4.
如权利要求2所述的深度学习网络的优化方法，其特征在于，在所述值域内确定所述多个第一搜寻点的步骤包括：在所述值域中确定一第一搜寻空间，其中所述多个第一搜寻点对所述第一搜寻空间均分成所述多个评估段
。5.
如权利要求4所述的深度学习网络的优化方法，其特征在于，比较所述多个第一搜寻点的差异量以得出所述至少一断点的步骤包括：依据所述多个第一搜寻点中具有较小差异量的至少一者确定一第二搜寻空间，其中所述第二搜寻空间小于所述第一搜寻空间；在所述第二搜寻空间内确定多个第二搜寻点，其中相邻两个所述第二搜寻点之间的间距小于相邻两个所述第一搜寻点之间的间距；以及比较所述多个第二搜寻点的差异量，以得出所述至少一断点，其中一所述第二搜寻点的差异量包括其量化值与对应的未量化值之间的差异
。6.
如权利要求5所述的深度学习网络的优化方法，其特征在于，依据所述多个第一搜寻点中具有较小差异量的至少一者确定所述第二搜寻空间的步骤包括：依据所述多个第一搜寻点中具有最小差异量的一者确定一断点比例，其中所述断点比例是所述具有最小差异量的一者所占所述数值分布中的绝对值最大者的比例；以及依据所述断点比例确定所述第二搜寻空间，其中所述具有最小差异量的一者位于所述第二搜寻空间中
。7.
如权利要求1所述的深度学习网络的优化方法，其特征在于，进行量化的步骤包括：
进行结合裁减方法的动态固定点量化，其中依据所述数值分布中的绝对值最大者及绝对值最小者确定所述第一量化参数中的整数长度
。8.
如权利要求1所述的深度学习网络的优化方法，其特征在于，更包括：后训练一已量化模型，以得出一训练的量化模型；以及微调所述训练的量化模型，包括：利用限制边界的一直通估测器确定用于所述参数类型为权重的量化的梯度，其中所述直通估测器经组态为在一上限及一下限之间的输入梯度等于输出梯度
。9.
如权利要求1所述的深度学习网络的优化方法，其特征在于，更包括：量化所述参数类型中的权重或输入激活值的数值；将量化的数值输入一运算层；以及量化所述运算层所输出的所述参数类型中的输出激活值的数值
。10.
如权利要求8所述的深度学习网络的优化方法，其特征在于，后训练所述已量化模型的步骤包括：确定所述已量化模型中的每一量化层的权重的整数长度；依据所述已量化模型推论多个校正样本确定所述已量化模型中的每一所述量化层中的激活
/
特征值的整数长度；以及依据每一所述量化层的一位元宽度限制确定每一所述量化层的小数长度
。11.
一种深度学习网络的运算装置，其...

【专利技术属性】
技术研发人员：郭峻因，陈柏源，
申请(专利权)人：纬创资通股份有限公司，
类型：发明
国别省市：