神经网络计算方法及系统技术方案

本发明专利技术提供神经网络计算方法及系统，可降低硬件成本

【技术实现步骤摘要】
神经网络计算方法及系统


[0001]本专利技术的实施例涉及神经网络处理，更具体地，涉及非对称量化的
(asymmetrically
‑
quantized)
神经网络模型的对称化
(symmetrization)。

技术介绍

[0002]深度神经网络是具有输入层
、
输出层以及在输入层和输出层之间的一个或多个隐藏层的神经网络
。
每一层都对一个或多个张量
(tensor)
执行操作，张量可以是零维的
(
又名定标器
(scaler))、
一维的
(
又名向量
(vector))、
二维的
(
又名矩阵
(matrix))
或多维的
。
神经网络计算需要密集的计算和带宽需求
。
[0003]具有大位宽
(bit width)(
例如，
16
位或
32
位
)
的浮点数<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种神经网络计算方法，其特征在于，包括：接收包括非对称操作的神经网络模型，每个非对称操作包括一个或多个定点操作数，这些定点操作数是通过非对称量化的方式从对应的浮点操作数得到的；由编译器将该神经网络模型的给定非对称操作编译成包括组合的偏移值的对称操作，其中该组合的偏移值是该编译器通过至少合并该给定非对称操作的输入和输出的零点计算出的常数；和生成对称的神经网络模型，该对称的神经网络模型包括供推断硬件在定点算法中执行的对称操作
。2.
如权利要求1所述的神经网络计算方法，其特征在于，该非对称操作包括卷积
、
带参数的整流线性单位函数和加法运算中的一个或多个
。3.
如权利要求1所述的神经网络计算方法，其特征在于，该编译还包括：将该神经网络模型的卷积层中的零填充转换为零点填充
。4.
如权利要求1所述的神经网络计算方法，其特征在于，该编译还包括：将该神经网络模型的卷积层中的权重对称地从浮点映射到定点
。5.
如权利要求1所述的神经网络计算方法，其特征在于，对于该神经网络模型中的卷积操作，该编译还包括：将非对称卷积的输入
、
输出和权重三者的缩放因子合并为对称卷积的缩放因子
。6.
如权利要求1所述的神经网络计算方法，其特征在于，对于该神经网络模型中的卷积操作，该组合的偏移值
Bias
＝
(bias
‑
Zx
×
W+Zo/Mult)
，其中该
bias
为卷积偏移，该
W
为卷积权重，该
Zx
和该
Zo
分别是输入和输出的零点，该
Mult
是缩放因子
。7.
如权利要求1所述的神经网络计算方法，其特征在于，对于该神经网络模型中的
PReLU
操作，该编译器计算第一组合的偏移值
BiasA
＝
(Zx
‑
Zo/MultA)
和第二组合的偏移值
BiasB
＝
(Zx
×
alpha
‑
Zo/Mult
B
)
，其中该
Zx
和该
Zo
分别是输入和输出的零点，该
MultA
和该
Mult
B
是缩放因子，
alpha
为常数项
。8.
如权利要求1所述的神经网络计算方法，其特征在于，对于该神经网络模型中的加法运算，该组合的偏移值
BiasC
＝
(Mult
x1
×
Zx1+Mult
X2
×
Zx2+Mult
O
×
Zo)
，其中该
Zx1、
该
Zx2
和该
Zo
分别是第一输入
、
第二输入和输出的零点，该
MultX
l
、
该
Mult
X2
和该
Mult
O
为缩放因子
。9.
如权利要求1所述的神经网络计算方法，其特征在于，该神经网络模型是计算器程序的一部分，并且该编译器是离线编译器，该离线编译器在该计算器程序开始执行之前编译该神经网络模型
。10.
如权利要求1所述的神经网络计算方法，其特征在于，该神经网络模型是计算器程序的一部分，并且该编译器是在线编译器，该在线编译器在该计算器程序的执行已经开始之后编译该神经网络模型
。11.
一种神经网络计算系统，其特征在于，包括：用于存储编译器和一个或多个神经网络模型的存储器；和耦合到该存储器的处理硬件，该处理硬件用于：接收包括非对称操作的神经网络模型，每个非对称...

【专利技术属性】
技术研发人员：古志文，丛培贵，陈志玮，石铭恩，张书鑫，黄柏华，蔡秉原，谢世炜，粘祐毓，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：