【技术实现步骤摘要】
神经网络的优化方法、系统、设备及可读存储介质
本专利技术属于神经网络领域，特别涉及一种神经网络的优化方法、系统、设备及可读存储介质。
技术介绍
现今，AI(人工智能)深度学习领域发展很快，学术上研究众多，也有非常多的企业将AI算法产品化，部署至边缘设备中(即指AI算法离线运行在设备的芯片，而非云端运算)。边缘设备为实现低功耗、低延迟的AI计算，往往采用的是低位深定点运算的芯片，而GPU(处理器)端训练的模型是拥有更高位深的浮点数，而在现有的神经网络部署中，网络设计与量化一直都是分开进行的，在网络设计时并不会考虑某种网络结构的量化效果如何，这是因为学术界在提出网络结构时，并不需要实际在边缘设备上部署，不需要进行量化，而工业界则是直接使用学术界提出的一些网络结构进行部署，本身并不会做过多的网络结构设计。因此，如何开发一种优化方法，尽量减少量化所带来的精度损失，即成为AI算法部署边缘设备的关键。
技术实现思路
本专利技术要解决的技术问题是为了克服现有技术中量化带来的精度损失较大的缺陷，提供一种神经网络的优化方法...
【技术保护点】
1.一种神经网络的优化方法，其特征在于，所述优化方法包括：/n选取一神经网络及一校准数据集；/n将所述校准数据集中的每个训练样本输入所述神经网络；/n获取所述神经网络的每个激活层的输出数据；/n根据所述输出数据计算得到与每个激活层对应的最优截断值；/n根据所述最优截断值更新对应的激活层的激活函数；/n基于更新后的激活函数对所述神经网络重新训练。/n
【技术特征摘要】
1.一种神经网络的优化方法，其特征在于，所述优化方法包括：
选取一神经网络及一校准数据集；
将所述校准数据集中的每个训练样本输入所述神经网络；
获取所述神经网络的每个激活层的输出数据；
根据所述输出数据计算得到与每个激活层对应的最优截断值；
根据所述最优截断值更新对应的激活层的激活函数；
基于更新后的激活函数对所述神经网络重新训练。
2.如权利要求1所述的优化方法，其特征在于，所述基于更新后的激活函数对所述神经网络重新训练的步骤之后，所述优化方法还包括：
对所述神经网络进行量化并计算量化损失；
判断所述量化损失是否在预设阈值范围内，若否，则将所述校准数据集中的每个训练样本输入重新训练后的神经网络，并返回获取所述神经网络的每个激活层的输出数据的步骤。
3.如权利要求1所述的神经网络的优化方法，其特征在于，所述根据所述输出数据计算得到与每个激活层对应的最优截断值的步骤具体包括：
统计每个激活层的输出数据得到原始分布直方图，所述原始分布直方图包括N个箱；
遍历截止值，获取与每个截止值对应的新分布直方图；所述截止值的范围为[2^bitdepth，N]，bitdepth为所述神经网络的目标量化位深度；
计算所述新分布直方图的概率分布函数与所述原始分布直方图的概率分布函数的KL散度；
将与最小KL散度对应的截止值作为所述最优截断值。
4.如权利要求3所述的神经网络的优化方法，其特征在于，所述获取与每个截止值对应的新分布直方图的步骤具体包括：
对每个截止值，截断生成一中间概率分布函数，所述中间概率分布函数为包括2^bitdepth个箱的概率分布函数；
基于概率平滑算法将所述中间概率分布函数平滑生成新概率分布函数，所述新概率分布函数为所述新分布直方图的概率分布函数，所述新分布直方图包括N个箱。
5.如权利要求4所述的神经网络的优化方法，其特征在于，所述中间概率分布函数包括：
当X′<T时，Q(X′)＝P(X)；
当X′＝T时，Q(X′)＝∑X≥TP(X)；
其中，X′为与中间概率分布函数对应的分布直方图中的每个箱的中间值，X为原始分布直方图中的每个箱的中间值，Q为中间概率分布函数，P为原始分布直方图的概率分布函数，T为截止值。
6.如权利要求1所述的神经网络的优化方法，其特征在于，所述优化方法中，所述更新后的激活函数包括：
或，
其中，Act(x)为激活函数，Act_T(x)为更新后的激活函数，Tbest为最优截断值。
7.一种神经网络的优化系统，其特征在于，所述优化系统包括选取模块、输入模块、输出数据获取模块、最优截断值计算模块、激活函数更新模块和训练模块；
所述选取模块用于选取一神经网络及一校准数据集；
所述输入模块用于将所述校准数据集中的每个训练样本输入所述神经网络；
所述输出数据获取模块用于获取所述神经网络的每个激活层的输...
【专利技术属性】
技术研发人员：张凤赜，
申请(专利权)人：展讯通信上海有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。