神经网络的量化方法、装置、服务器和存储介质制造方法及图纸

本发明专利技术公开了一种神经网络的量化方法、装置、服务器和存储介质。神经网络的量化方法包括：利用原始权重初始化量化权重；设置目标函数，所述目标函数包括所述量化权重与所述原始权重之间的夹角、共享权重值和权重分配索引；求解所述目标函数以最小化所述量化权重与所述原始权重之间的夹角，并得到所述共享权重值及所述权重分配索引；根据所述共享权重值及所述权重分配索引获得所述量化权重。上述神经网络的量化方法，是基于向量方向来优化神经网络量化问题的方法，通过最小化量化权重与原始权重之间的夹角，使得量化权重能够尽可能的保存原始权重信息，从而降低量化所带来的信息损失。

【技术实现步骤摘要】
神经网络的量化方法、装置、服务器和存储介质
本专利技术涉及深度神经网络
，特别涉及一种神经网络的量化方法、装置、服务器和存储介质。
技术介绍
近年来，深度神经网络极大的推动了自动驾驶领域的发展，使得人们过去几十年的畅想逐渐变成了可能。但是深度神经网络所需要的庞大的计算量，限制了其在运算资源有限的车载智能硬件上的应用。为了解决这一瓶颈，许多研究工作通过量化深度神经网络运算中的参数，通过将浮点数参数转换为定点数参数并缩短其位宽来达到降低深度神经网络计算开销的需求。然而，在量化过程中，如何降低量化的信息损失成为待解决的技术问题。
技术实现思路
本专利技术的实施方式提供了一种神经网络的量化方法、装置、服务器和存储介质。本专利技术实施方式的神经网络的量化方法包括：利用原始权重初始化量化权重；设置目标函数，所述目标函数包括所述量化权重与所述原始权重之间的夹角、共享权重值和权重分配索引；求解所述目标函数以最小化所述量化权重与所述原始权重之间的夹角，并得到所述共享权重值及所述权重分配索引；根据所述共享权重值及所本文档来自技高网...

【技术保护点】
1.一种神经网络的量化方法，其特征在于，包括：/n利用原始权重初始化量化权重；/n设置目标函数，所述目标函数包括所述量化权重与所述原始权重之间的夹角、共享权重值和权重分配索引；/n求解所述目标函数以最小化所述量化权重与所述原始权重之间的夹角，并得到所述共享权重值及所述权重分配索引；/n根据所述共享权重值及所述权重分配索引获得所述量化权重。/n

【技术特征摘要】
1.一种神经网络的量化方法，其特征在于，包括：
利用原始权重初始化量化权重；
设置目标函数，所述目标函数包括所述量化权重与所述原始权重之间的夹角、共享权重值和权重分配索引；
求解所述目标函数以最小化所述量化权重与所述原始权重之间的夹角，并得到所述共享权重值及所述权重分配索引；
根据所述共享权重值及所述权重分配索引获得所述量化权重。


2.根据权利要求1所述的神经网络的量化方法，其特征在于，利用原始权重初始化量化权重，包括：
对每一层网络的原始权重使用最小化欧氏距离以初始化所述量化权重。


3.根据权利要求1所述的神经网络的量化方法，其特征在于，利用原始权重初始化量化权重，包括：
对每一层网络的原始权重使用对数量化以初始化所述量化权重。


4.根据权利要求2或3所述的神经网络的量化方法，其特征在于，所述量化方法包括：
在每一层网络中加入批量归一化以减少内部协方差变异。


5.根据权利要求1所述的神经网络的量化方法，其特征在于，所述量化权重与所述原始权重之间的夹角表示为所述原始权重中的第i个核函数矢量与量化权重矢量的内积除以所述第i个核函数矢量和所述量化权重矢量的长度。


6.根据权利要求1所述的神经网络的量化方法，其特征在于，求解所...

【专利技术属性】
技术研发人员：李品逸，蔡志文，陈腊梅，
申请(专利权)人：广州小鹏自动驾驶科技有限公司，
类型：发明
国别省市：广东;44