【技术实现步骤摘要】
本专利技术属于神经网络，特别涉及一种提升低比特位模型精度的方法。
技术介绍
1、随着人工智能应用在手机、iot上的普及，受能耗和设备体积的限制，端侧硬件的计算性能和存储能力相对较弱，这给人工智能模型带来了新的挑战——需要模型更小更快更强。量化，就是其中的一个重要手段。因此，近年来量化成为学术界与工业界热门的研究方向。但与此同时，模型量化也引发了巨大的挑战。其中比较大的有两个：一是由于表示精度下降引起信息损失带来准确率的下降；二是量化带来的不连续性使神经网络的训练不稳定。学术和工业界的大多数工作也正是围绕它们展开的。
2、首先，量化的好处在于：
3、量化是将以往用32bit或者64bit表达的浮点数用8bit、16bit甚至1bit、2bit等占用较少内存空间的形式进行存储。这样的好处是：
4、1.减少模型体积，降低模型存储空间需求；
5、2.降低内存带宽需求；
6、3.加速计算。现代移动端设备，基本都支持simd(单指令流多数据流)，以128-bit寄存器为例，单个指令可以同时...
【技术保护点】
1.一种提升低比特位模型精度的方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种提升低比特位模型精度的方法，其特征在于，所述步骤S4、S5中的data的长度是batch*channels*height*width,若batch为128，假设第一层640*640，则第一层为128*3*640*640＝157286400。
3.根据权利要求1所述的一种提升低比特位模型精度的方法，其特征在于，所述步骤S7、S8中的round(x,1)是将x保留一位小数。
4.根据权利要求1所述的一种提升低比特位模型精度的方法，其特征在...
【技术特征摘要】
1.一种提升低比特位模型精度的方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种提升低比特位模型精度的方法，其特征在于，所述步骤s4、s5中的data的长度是batch*channels*height*width,若batch为128，假设第一层640*640，则第一层为128*3*640*640＝157286400。
3.根据权利要求1所述的一种提升低比特位模型精度的方法，其特征在于，所述步骤s7、s8中的round(x,1)是将x保留一位小数。
4.根据权利要求1所述的一种提升低比特位模型精度的方法，其特征在于，所述方法适用于：
5.根据权利要求4所述的一种提升低比特位模型精度的方法，其特征在于，所述方法为了保证低bit训练的效果，在训练前用其预训练模型进行测试运行一个batch进行分析统计，所述预训练模型对应到上述两种情况：1)32bit精度正常，8bit精度损失，那么预训练模型就是32bit模型；2)32bit精度正常，8bit精度无损，4bit精度损失，那么预训练模型就是8bit模型，根据统计图进行分析统计设置适当clip值，即根据已经收敛的全精度模型或8bit模型进行实际数据的测试，统计和分析每一层的feature分布情况，分析和调整这个clip值从而得到一个更合理的clip值，以免收敛效果不好再重新分析训练。
6.根据权利要求5所述的一种提升低比特位模型精度的方法，其特征在于，所述方法中，每一层都根据分布单独设置，为了方...
【专利技术属性】
技术研发人员：余慧，
申请(专利权)人：北京君正集成电路股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。