基于多比特神经网络非线性量化的深度神经网络压缩方法技术

基于多比特神经网络非线性量化的深度神经网络压缩方法，涉及深度神经网络的压缩。包括以下步骤：1)对预训练的模型权重进行非线性变换；2)设置量化比特位；3)计算每层的模型权重各自的尺度因子和偏置因子；4)通过上述计算出来的因子计算对应的量化权重。能够压缩经典的VGG‑16和ResNet‑50模型，在压缩模型达到5.4倍的情况下，模型的基本没有精度损失。量化后的模型可以直接嵌入到手机或移动设备端，大大加速负荷的原始模型的计算量和同时压缩高度冗余的原始模型的存储量，使得高性能深度学习模型植入移动嵌入式设备端，在移动智能识别、云计算及无人驾驶等领域存在大量的应用前景。

Deep neural network compression method based on nonlinear quantization of multibit neural network

【技术实现步骤摘要】
基于多比特神经网络非线性量化的深度神经网络压缩方法
本专利技术涉及深度神经网络的压缩，尤其是涉及一种基于多比特非线性量化的深度神经网络压缩方法。
技术介绍
近年来，深度学习技术突破了传统机器学习束缚，能够提取各类数据中复杂精细的特征，大大提高各领域的机器学习性能，特别是卷积神经网络(ConvolutionalNeuralNetworks,CNNs)强大的自我编码能力，使得它广泛应用于在图像识别[1-4]、目标检测[5-7]、语义分割[8]等领域，促进人工智能技术迅速发展。特别地，在军事应用领域，受战争需求刺激，人工智能发展更为显著。例如，美国的“全球鹰”、“死神”等智能无人机，美军的“黄蜂”反坦克导弹采用地“图像理解”的人工智能技术，ENVG头盔式夜视智能眼镜，NWEUD军用智能手机等。但是，CNN的性能是伴随着巨大的存储空间和复杂的运算，从而对其运用于移动式嵌入式设备(如：手机、机器人、无人机、智能识别眼镜等)中造成了一定的阻碍。目前，大量的卷积神经网络加速依赖于三种方式，即，参数量化、网络剪枝、矩阵分解。矩阵分解通过将权重矩阵分解成本文档来自技高网...

【技术保护点】
1.基于多比特神经网络非线性量化的深度神经网络压缩方法，其特征在于包括以下步骤：/n1)对预训练的模型权重进行非线性变换；/n2)设置量化比特位；/n3)计算每层的模型权重各自的尺度因子和偏置因子；/n4)通过上述计算出来的因子计算对应的量化权重。/n

【技术特征摘要】
1.基于多比特神经网络非线性量化的深度神经网络压缩方法，其特征在于包括以下步骤：
1)对预训练的模型权重进行非线性变换；

【专利技术属性】
技术研发人员：纪荣嵘，林绍辉，李与超，颜晨倩，李慧霞，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35