一种基于深度神经网络的激活量量化方法及装置制造方法及图纸

本发明专利技术实施例提供了一种基于深度神经网络的激活量量化方法及装置，其中，基于深度神经网络的激活量量化方法包括：获取深度神经网络中网络层的激活量，其中，激活量中的元素按高度、宽度及深度三个方向排布；沿激活量的深度方向，将激活量中元素特征间的差异小于预设阈值的深度划分为同一切片组，得到多个切片组；分别采用通过量化公式得到的各切片组对应的量化参数，对各切片组进行量化。通过本方案可以减小量化误差。

【技术实现步骤摘要】
一种基于深度神经网络的激活量量化方法及装置
本专利技术涉及机器学习
，特别是涉及一种基于深度神经网络的激活量量化方法及装置。
技术介绍
深度神经网络作为机器学习研究中的一个新兴领域，通过模仿人脑的机制来解析数据，是一种通过建立和模拟人脑进行分析学习的智能模型。目前，深度神经网络，如卷积神经网络、循环神经网络、长短期记忆网络等已在目标检测与分割、行为检测与识别、语音识别等方面得到了很好的应用。但是，由于深度神经网络中每个网络层都有大量的数据参与运算，具有高度的计算复杂度，需要强大的带宽资源。针对上述问题，相关的深度神经网络中，提出了对深度神经网络的激活量量化压缩到低比特数的思想，通过量化将大比特数的浮点数据量化为较低比特数的定点数据，由于量化后的定点数据具有较低的比特数，使得参与运算的数据量得以降低，从而较少深度神经网络运行的计算复杂度及平台带宽的需求。上述相关的深度神经网络中，针对深度神经网络中每个网络层的激活量进行量化的方法，用数学符号可以归纳为qi＝quantizationl(ai)，其中，quantizationl(ai)为量化第l个网络层的激活量的量化器，ai代表每个网本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的激活量量化方法，其特征在于，所述方法包括：获取深度神经网络中网络层的激活量，其中，所述激活量中的元素按高度、宽度及深度三个方向排布；沿所述激活量的深度方向，将所述激活量中元素特征间的差异小于预设阈值的深度划分为同一切片组，得到多个切片组；分别采用通过量化公式得到的各切片组对应的量化参数，对各切片组进行量化。

【技术特征摘要】
1.一种基于深度神经网络的激活量量化方法，其特征在于，所述方法包括：获取深度神经网络中网络层的激活量，其中，所述激活量中的元素按高度、宽度及深度三个方向排布；沿所述激活量的深度方向，将所述激活量中元素特征间的差异小于预设阈值的深度划分为同一切片组，得到多个切片组；分别采用通过量化公式得到的各切片组对应的量化参数，对各切片组进行量化。2.根据权利要求1所述的方法，其特征在于，所述沿所述激活量的深度方向，将所述激活量中元素特征间的差异小于预设阈值的深度划分为同一切片组，得到多个切片组，包括：沿所述激活量的深度方向，按照预设深度对所述激活量划分，得到多个等深度的切片组。3.根据权利要求1所述的方法，其特征在于，所述沿所述激活量的深度方向，将所述激活量中元素特征间的差异小于预设阈值的深度划分为同一切片组，得到多个切片组，包括：获取所述激活量中每个深度的元素特征；将元素特征间的差异小于预设阈值的深度划分为同一切片组，得到多个切片组。4.根据权利要求1所述的方法，其特征在于，所述量化参数包括：量化步长；所述分别采用通过量化公式得到的各切片组对应的量化参数，对各切片组进行量化，包括：根据各切片组对应的预设量化最大值、预设量化最小值及预设比特数，通过量化公式，得到各切片组的量化步长，其中，所述量化公式为：所述step为量化步长，所述A为预设量化最大值，所述B为预设比特数；分别采用各切片组的量化步长，对各切片组进行量化。5.一种基于深度神经网络的激活量量化装置，其特征在于，所述装置包括：获取模块，用于获取深度神经网络中网络层的...

【专利技术属性】
技术研发人员：张渊，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33