一种神经网络的计算性能优化方法及系统技术方案

本发明专利技术公开了一种神经网络的计算性能优化方法及系统，方法包括：定义激活值阈值训练方法及权重训练方法；确定神经网络的初始比特位，基于初始比特位对神经网络进行量化训练直到神经网络的推理精度满足预设要求则停止训练；随机抽取预设数量张训练图片进行推理，并在推理结束后获取神经网络每层的激活值，并基于激活值计算得到每层激活值的标准差；获取基于神经网络训练得到的每层的激活值阈值，基于每层激活值的标准差和每层的激活值阈值确定每层分布的集中性，并将各个层的集中性划分为不同的阶梯；计算每一段阶梯的集中性的值，并基于集中性的值，确定对应阶梯的量化比特位。本发明专利技术提高了神经网络的计算效率，降低了占用的存储空间。的存储空间。的存储空间。

【技术实现步骤摘要】
一种神经网络的计算性能优化方法及系统


[0001]本专利技术涉及神经网络
，尤其涉及一种神经网络的计算性能优化方法及系统。

技术介绍

[0002]人工智能越来越走进人们的日常生活中，比如人脸识别，自动驾驶，同步翻译，语音助手，AI换脸与语音合成等。在专业的科研领域，也越来越发挥着重要且不可替代的作用，比如依靠AI算法进行大数据分析，天气预测，物理数据分析，蛋白质结构解析与预测等等。而这些所有的应用都不离开AI算法，这些AI算法都是由不同种类与结构的神经网络构成。神经网络是一种需要大量计算的应用算法，神经网络越深，所需要的计算量越大，对目标设备的计算性能需求就越高。为了追求在科研或者应用上的极致表现，神经网络被设计得越来越深，越来越大。但是随着神经网络结构变得庞大，计算量也是呈现几何级的上升，而这对目标计算设备的计算性能需求进一步提升，这就使得很多应用很难以部署在嵌入式的小型设备或者移动设备上。为了给神经网络瘦身，减少神经网络的计算量，一般有两种做法，第一种是在不改变神经网络结构的基础上，对神经网络的计算中所使用的数据类型进行低比特化或者量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的计算性能优化方法，其特征在于，包括：定义激活值阈值训练方法及权重训练方法；确定神经网络的初始比特位，基于初始比特位并利用所述激活值阈值训练方法及所述权重训练方法对所述神经网络进行量化训练直到所述神经网络的推理精度满足预设要求则停止训练；随机抽取预设数量张训练图片进行推理，并在推理结束后获取神经网络每层的激活值，并基于所述激活值计算得到每层激活值的标准差；获取基于所述神经网络训练得到的每层的激活值阈值，基于所述每层激活值的标准差和所述每层的激活值阈值确定每层分布的集中性，并将各个层的集中性划分为不同的阶梯；计算每一段阶梯的集中性的值，并基于所述集中性的值，确定对应阶梯的量化比特位。2.根据权利要求1所述的方法，其特征在于，定义激活值阈值训练方法，包括：将激活值的范围限定在0到激活值阈值之间；对激活值进行前向定点量化；对激活值阈值进行反向更新。3.根据权利要求1所述的方法，其特征在于，定义权重训练方法，包括：对所述权重进行值域转换；对值域转换后的权重进行前向定点量化；对量化后的权值进行反向更新。4.根据权利要求1所述的方法，其特征在于，将各个层的集中性划分为不同的阶梯，包括：基于均值漂移聚类，将神经网络中所有层的激活值按照分布的集中性划分为不同的阶梯。5.根据权利要求1所述的方法，其特征在于，计算每一段阶梯的集中性的值，包括：基于以下公式计算每一段阶梯的集中性的值；其中，CTD
n
表示每一段阶梯的集中性的值，n表示阶梯序号0，1，
……
，n；σ
stgn_mean
表示本段阶梯内的标准差均值；σ
stgn_mean
表示本段阶梯内的激活值阈值均值。6.根据权利要求1所述的方法，其特征在于，基于所述集中性的值，确定对应阶梯的量化比特位，包括：按照所述集中...

【专利技术属性】
技术研发人员：沈付旺，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：