定点化参数优化方法、系统、及终端、存储介质技术方案

本申请实施例提供一种定点化参数优化方法、系统、及终端、存储介质，涉及卷积神经网络技术，用于克服相关技术中根据统计信息直接确定定点化参数导致极易出现精度丧失严重的问题。其中，定点化参数优化方法，包括：获取激活定点化参数的初始化值及权重定点化参数的初始化值；根据所述激活定点化参数的初始化值及权重定点化参数的初始化值分别确定搜索范围；分别在所述激活定点化参数的搜索范围内及在所述权重定点化参数的搜索范围内进行迭代搜索，直至确定出优化后的定点化参数。直至确定出优化后的定点化参数。直至确定出优化后的定点化参数。

【技术实现步骤摘要】
定点化参数优化方法、系统、及终端、存储介质


[0001]本申请涉及卷积神经网络技术，尤其涉及一种定点化参数优化方法、系统、及终端、存储介质。

技术介绍

[0002]近年来，深度学习广泛应用在视觉等领域，其中，以卷积神经网络CNN(Convolutional NeuralNetwork)为核心的一系列算法，在图像分类、目标检测、像素级分割等应用具有较佳的效果。
[0003]卷积神经网络CNN的运算量大，其90％以上的运算负载集中在卷积运算中。由于卷积运算的运算量大，因此，卷积运算在实际部署时通常需要GPU(GraphicsProcessing Unit，图形处理器)或FPGA(Field－Programmable Gate Array，现场可编程门阵列)之类的硬件进行加速，才能达到实时运行的要求。为了将卷积神经网络CNN迁移到运算资源受限的设备上，如移动终端等嵌入式设备，目前是训练更小、更精简的模型，并辅以定点化、裁剪等方法，尝试在速度和准确率之间取得一个平衡。
[0004]相关技术中，定点化(或称量化)方法因其不会改变网络结构，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种定点化参数优化方法，其特征在于，包括：获取激活定点化参数的初始化值及权重定点化参数的初始化值；根据所述激活定点化参数的初始化值及权重定点化参数的初始化值分别确定搜索范围；分别在所述激活定点化参数的搜索范围内及在所述权重定点化参数的搜索范围内进行迭代搜索，直至确定出优化后的定点化参数。2.根据权利要求1所述的方法，其特征在于，所述分别在所述激活定点化参数的搜索范围内及在所述权重定点化参数的搜索范围内进行迭代搜索，包括：分别在所述激活定点化参数的搜索范围内及在所述权重定点化参数的搜索范围内，且通过逐层贪心进行迭代搜索。3.根据权利要求2所述的方法，其特征在于，所述分别在所述激活定点化参数的搜索范围内及在所述权重定点化参数的搜索范围内，且通过逐层贪心进行迭代搜索，包括：在所述激活定点化参数的搜索范围内确定固定激活定点化参数，且在所述权重定点化参数的搜索范围内搜索最优权重定点化参数；将所述搜索到的最优权重定点化参数作为固定权重定点化参数，且在所述激活定点化参数的搜索范围内确定最优激活定点化参数，将所述最优激活定点化参数作为下一次迭代搜索的固定激活定点化参数。4.根据权利要求1所述的方法，其特征在于，所述直至确定出优化后的定点化参数，包括：直至模型精度达到精度阈值或达到最大迭代次数时，将最后一次迭代搜索确定的最优权重定点化参数及最优激活定点化参数作为优化后的定点化参数。5.根据权利要求4所述的方法，其特征在于，在搜索次数达到次数阈值或搜索时间达到时间阈值时，确定达到最大迭代次数。6.一种定点化参数优化系统，其特征在于，包括：获取模块，用于获取激活定点化参数的初始化值及权重定点化参数的初始化值；确定模块，用于...

【专利技术属性】
技术研发人员：赵洋洋，赵勇，冯子勇，
申请(专利权)人：北京格灵深瞳信息技术股份有限公司，
类型：发明
国别省市：