【技术实现步骤摘要】
自适应模型量化方法及装置、存储介质及电子装置
[0001]本专利技术实施例涉及大数据
，具体而言，涉及一种自适应模型量化方法及装置、存储介质及电子装置。
技术介绍
[0002]深度学习模型量化是一种将高精度浮点数据的存储和计算转换成低精度整型数据来存储和计算的模型压缩技术。随着深度学习技术在计算机视觉、自然语言处理、语音等多个领域的快速落地，业界涌现出越来越多基于深度神经网络的智能应用，它们被广泛应用到智慧交通、智慧物流、智慧安防等各类AI应用场景中。然而，深度神经网络都有着占用空间大，计算量巨大的特点，这对用于部署神经网络模型的端侧设备的存储能力和算力都提出了更高的要求。为了降低成本，减少对部署设备的存储、带宽、能耗、算力的需求，模型量化应运而生。模型量化可以在损失一定精度的前提下对模型进行压缩，这将减小模型的大小；理论上计算机对低精度整型数据的读写、计算速度要比高精度的浮点数快，这将加速推理过程，将一个复杂的算法模型进行适当的量化能有效降低对部署设备的要求。模型量化会不可避免的带来精度损失，如何实现快速量化，又同时...
【技术保护点】
【技术特征摘要】
1.一种自适应模型量化方法，其特征在于，包括：确定原始神经网络模型中的N个层中待量化的参数，得到N组参数，其中，N为大于或等于2的正整数；对所述N组参数执行初次量化，并获取所述N组参数被量化所产生的总精度损失值，其中，所述总精度损失值用于表示所述N组参数被量化前所述N个层的输出与被量化后所述N个层的输出之间的精度损失；在所述总精度损失值大于预设的精度损失阈值的情况下，对所述N组参数执行M次量化，直到所述N组参数被量化所产生的总精度损失值小于或等于所述精度损失阈值，其中，M为大于或等于1的正整数，在所述M次量化中的各次量化中，所述N组参数中的部分组参数被量化；将在所述N组参数被量化所产生的总精度损失值小于或等于所述精度损失阈值时的所述原始神经网络模型确定为目标神经网络模型，并将待处理的媒体资源信息输入到所述目标神经网络模型，得到所述目标神经网络模型输出的所述媒体资源信息的目标处理结果。2.根据权利要求1所述的方法，其特征在于，所述对所述N组参数执行M次量化，包括：获取第i次量化后所述N组参数中的各组参数对应的精度损失值，得到第i次的N个精度损失值，其中，i为大于或等于1的正整数；根据所述第i次的N个精度损失值，确定所述第i次量化后所述N组参数被量化所产生的总精度损失值；在所述第i次量化后所述N组参数被量化所产生的总精度损失值大于所述精度损失阈值的情况下，根据所述第i次的N个精度损失值，在所述N组参数中确定待执行第i+1次量化的部分组参数；对确定出的所述待执行第i+1次量化的部分组参数执行所述第i+1次量化；在所述第i次量化后所述N组参数被量化所产生的总精度损失值小于或等于所述精度损失阈值的情况下，结束对所述N组参数执行所述M次量化。3.根据权利要求2所述的方法，其特征在于，所述根据所述第i次的N个精度损失值，确定所述第i次量化后所述N组参数被量化所产生的总精度损失值，包括：获取预先为所述N个层设置的N个权重值，其中，所述N个权重值与所述N个层具有一一对应的关系；对所述N个权重值和所述第i次的N个精度损失值执行加权求和操作，得到所述第i次量化后所述N组参数被量化所产生的总精度损失值。4.根据权利要求2所述的方法，其特征在于，所述根据所述第i次的N个精度损失值，在所述N组参数中确定待执行第i+1次量化的部分组参数，包括：在预先为所述N个层设置了N个权重值的情况下，将所述第i次的N个精度损失值与所述N个权重值进行对应相乘，得到N个加权精度损失值，其中，所述N个权重值与所述N个层具有一一对应的关系，所述N个加权精度损失值中的第j个加权精度损失值是将所述第i次的N个精度损失值中的第j个精度损失值与所述N个权重值中的第j个权重值进行对应相乘所得到的加权精度损失值，所述第j个精度损失值和所述第j个权重值均与所述N个层中的第j层对应，j为大于或等于1、且小于或等于N的正整数；将所述第i次量化后的所述N组参数中所述加权精度损失值从大到小排在前K位的K组参数确定为所述待执行第i+1次量化的部分组参数，其中，K等于1或K为小于N的正整数。
5.根据权利要求2所述的方法，其特征在于，所述对确定出的所述待执行第i+1次量化的部分组参数执行所述第i+1次量化，包括：在所述待执行第i+1次量化的部分组参数包括所述第i次量化后的所述N组参数中的...
【专利技术属性】
技术研发人员：易冠先，王康，刘德龙，陈波扬，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。