【技术实现步骤摘要】
一种应用有界线性整流单元的全整数神经网络系统
本专利技术涉及人工智能
，尤其涉及一种应用有界线性整流单元的全整数神经网络系统。
技术介绍
随着科技的发展，人们对人工智能的研究越来越深，人工智能，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。目前，神经网络压缩算法主要包括减少参数的比特位宽，减少参数的数量的方法，使神经网络的储存体积更小，运算速度更快，现有的神经网络优化方法很难做到速度，存储空间，性能和实用性的兼顾。现有的全整数神经网络虽然能做到全整数运算，但是性能较低，因此，研发一种应用有界线性整流单元的全整数神经网络系统是解决上述问题的关键所在。在申请公布号为CN106557812A，申请公布日为2017.04.05的专利技术专利中公开了一种有效的卷积神经网络压缩方法(CNNpack)。深度卷积神经网络作为一种基本的深度学习结构在许多计算机视觉任务上得到了广泛的使用。然而，目前大多数的卷积神经网络由于其本身的大存储以及高计算量使得在移动设备上的应用得到了限制。本专利技术针对这个问题，在频域上对网络...
【技术保护点】
1.一种应用有界线性整流单元的全整数神经网络系统，其特征在于：包括以下步骤：步骤一，利用新的归一化方法，把每个图像的像素减去一个固定值转换为相同位数的有符号整数，然后，对浮点数网络则把所有图像乘以一个固定的浮点数，整数网络则维持不变直接送入网络，采取现有的随机梯度下降算法对浮点数网络进行训练；步骤二，训练完成后，对每个卷积核计算离散步长，对于有批规一化层的卷积核，对于不同通道的Wf和bf单独计算离散步长step；步骤三，把浮点数网络参数离散化，离散化Wf时采用了固定零点不变的方法计算Wf的离散步长；步骤四，离散化Wf后使用累积梯度更新算法训练浮点数网络；步骤五，用有界线性整...
【技术特征摘要】
1.一种应用有界线性整流单元的全整数神经网络系统，其特征在于：包括以下步骤：步骤一，利用新的归一化方法，把每个图像的像素减去一个固定值转换为相同位数的有符号整数，然后，对浮点数网络则把所有图像乘以一个固定的浮点数，整数网络则维持不变直接送入网络，采取现有的随机梯度下降算法对浮点数网络进行训练；步骤二，训练完成后，对每个卷积核计算离散步长，对于有批规一化层的卷积核，对于不同通道的Wf和bf单独计算离散步长step；步骤三，把浮点数网络参数离散化，离散化Wf时采用了固定零点不变的方法计算Wf的离散步长；步骤四，离散化Wf后使用累积梯度更新算法训练浮点数网络；步骤五，用有界线性整流单元代替传统的线性整流单元；步骤六，应用N方差原则找到合适的BLU参数h，采用BLU之前首先统计ReLU输出数据的分布，根据选取的N，使用输出数据中最大的对应比例的数据中的最小值作为BLU的初始参数h；步骤七，对h进行量化和反量化计算浮点网络和整数网络的最终参数，同时，对于跨层连接或连接层，对featuremap引入乘mul和右移sh...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。