【技术实现步骤摘要】
网络量化方法、业务处理方法及相关产品
本专利技术涉及机器学习领域，具体涉及深度神经网络领域，尤其涉及一种网络量化方法、一种基于深度神经网络的业务处理方法、一种网络量化装置、一种基于深度神经网络的业务处理装置及一种网络设备。
技术介绍
深度神经网络(DeepNeuralNetwork,DNN)在很多计算机视觉、自然语言处理任务中取得了瞩目的成绩，近些年，DNN则越来越多地被应用到移动手机和嵌入式设备上。然而，高性能的DNN却需要大量的存储空间和计算量等，这就使得移动设备运行DNN更具挑战。因此，越来越多的网络压缩与加速方法被提出，旨在保证DNN性能无明显降低的条件下减少网络的存储空间并提高网络的运行速度。其中，网络量化是一种有效的压缩方法，即用少的比特数来表示网络中的每个权值或者每层的激活值，从而可以高效地在CPU(CentralProcessingUnit，中央处理器)、GPU(GraphicsProcessingUnit，图形处理器)和FPGA(Field-ProgrammableGateArray，现场可编程门阵列)上计...
【技术保护点】
1.一种网络量化方法，其特征在于，所述方法包括：/n获取待量化的原始深度神经网络，所述原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；/n对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；/n当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。/n
【技术特征摘要】
1.一种网络量化方法，其特征在于，所述方法包括：
获取待量化的原始深度神经网络，所述原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；
对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；
当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。
2.根据权利要求1所述的方法，其特征在于，所述获取待量化的原始深度神经网络，包括：
获取初始深度神经网络，所述初始深度神经网络包括多层卷积网络，每一层卷积网络包括第一分支，所述第一分支为定点量化精度卷积结构；
为所述初始深度神经网络的每一层卷积网络设置第二分支得到所述原始深度神经网络。
3.根据权利要求1所述的方法，其特征在于，所述原始深度神经网络包括L层卷积网络，L为正整数；其中的任一层卷积网络表示为第l层卷积网络，l为正整数，且1≤l≤L；
其中，全精度包括浮点精度。
4.根据权利要求3所述的方法，其特征在于，所述对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理，包括：
获取第l层卷积网络的输入参数，所述输入参数包括权重和激活值；
采用权重量化函数在第l层卷积网络中的第一分支中对第l层卷积网络的输入参数进行量化训练，得到第l层卷积网络中的所述第一分支的第一输出参数；
将第l层卷积网络的输入参数传输至第l层卷积网络中的第二分支进行训练得到第l层卷积网络中的第二分支的原始输出参数；
根据第l层卷积网络进行量化训练时的训练步数获取对应的缩放因子；
采用所获取的缩放因子对第l层卷积网络中的第二分支的原始输出参数进行衰减处理，得到第l层卷积网络中的所述第二分支的第二输出参数；
对所述第一输出参数及所述第二输出参数进行求和处理得到中间参数；
采用激活值量化函数对所述中间参数进行量化训练，得到第l层卷积网络的输出参数；
将第l层卷积网络的输出参数确定为第l+1层卷积网络的输入参数，并重复上述步骤直至所有层卷积网络均完成量化训练且所述缩放因子减小至零为止。
5.根据权利要求3所述的方法，其特征在于，所述对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理，包括：
获取第l层卷积网络中的输入参数，所述输入参数包括权重和激活值；
采用权重量化函数及激活值量化函数在第l层卷积网络中的第一分支中对第l层卷积网络的输入参数进行量化训练，得到第l层卷积网络中的所述第一分支的第一输出参数；
将第l层卷积网络的输入参数传输至第l层卷积网络中的第二分支进行训练得到第l层卷积网络中的第二分支的原始输出参数；
根据第l层卷积网络进行...
【专利技术属性】
技术研发人员：周争光，王孝宇，吕旭涛，黄轩，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。