本申请公开了一种模型量化方法、装置、存储介质及电子设备。方法包括：根据待量化模型的量化参数的第一候选参数值对待量化模型进行量化处理，得到第一候选量化后模型；根据第一候选参数值通过预设参数确定策略确定待量化模型的量化参数的第二候选参数值，根据第二候选参数值对待量化模型进行量化处理，得到第二候选量化后模型；根据第一候选量化后模型和第二候选量化后模型的性能值从第一候选量化后模型和第二候选量化后模型中选取参考量化后模型，将参考量化后模型对应的参数值确定为第一候选参数值，将参考量化后模型作为第一候选量化后模型，返回执行相应步骤，直至满足预设停止条件，得到待量化模型对应的量化后模型。型。型。
【技术实现步骤摘要】
模型量化方法、装置、存储介质及电子设备
[0001]本申请属于电子
，尤其涉及一种模型量化方法、装置、计算机可读存储介质及电子设备。
技术介绍
[0002]随着深度学习(Deep learning)技术的发展，深度学习技术在很多应用领域都取得了巨大的成功。深度学习技术中，神经网络结构的好坏对模型的效果有非常重要的影响。实践中为了获得较高的性能，神经网络的结构复杂度较高，相应地，网络参数的数量庞大。存储神经网络模型的参数需要消耗较大的内存空间，并且在运行神经网络模型时，由于参数众多且精度较高，对处理器的要求较高。
[0003]为了保证模型运算的实时性，减小处理器的运算压力，同时确保模型的性能，需要对模型进行量化。
技术实现思路
[0004]本申请实施例提供一种模型量化方法、装置、存储介质及电子设备，可以实现得到待量化模型对应的量化后模型。
[0005]第一方面，本申请实施例提供一种模型量化方法，包括：
[0006]获取待量化模型的量化参数的多个第一候选参数值，并根据每一所述第一候选参数值，对所述待量化模型进行量化处理，得到多个第一候选量化后模型；
[0007]根据多个所述第一候选参数值，通过预设参数确定策略，确定所述待量化模型的量化参数的多个第二候选参数值，并根据每一所述第二候选参数值，对所述待量化模型进行量化处理，得到多个第二候选量化后模型；
[0008]根据每一所述第一候选量化后模型的性能值，以及每一所述第二候选量化后模型的性能值，从多个所述第一候选量化后模型和多个所述第二候选量化后模型中选取多个参考量化后模型，将每个所述参考量化后模型对应的参数值确定为所述第一候选参数值，将每个所述参考量化后模型作为所述第一候选量化后模型，并返回执行根据多个所述第一候选参数值，通过预设参数确定策略，确定所述待量化模型的量化参数的多个第二候选参数值的步骤，直至满足预设停止条件；
[0009]从满足预设停止条件的多个参考量化后模型中确定所述待量化模型对应的量化后模型。
[0010]第二方面，本申请实施例提供一种模型量化装置，包括：
[0011]第一处理模块，用于获取待量化模型的量化参数的多个第一候选参数值，并根据每一所述第一候选参数值，对所述待量化模型进行量化处理，得到多个第一候选量化后模型；
[0012]第二处理模块，用于根据多个所述第一候选参数值，通过预设参数确定策略，确定所述待量化模型的量化参数的多个第二候选参数值，并根据每一所述第二候选参数值，对
所述待量化模型进行量化处理，得到多个第二候选量化后模型；
[0013]第一确定模块，用于根据每一所述第一候选量化后模型的性能值，以及每一所述第二候选量化后模型的性能值，从多个所述第一候选量化后模型和多个所述第二候选量化后模型中选取多个参考量化后模型，将每个所述参考量化后模型对应的参数值确定为所述第一候选参数值，将每个所述参考量化后模型作为所述第一候选量化后模型，并返回执行根据多个所述第一候选参数值，通过预设参数确定策略，确定所述待量化模型的量化参数的多个第二候选参数值的步骤，直至满足预设停止条件；
[0014]第二确定模块，用于从满足预设停止条件的多个参考量化后模型中确定所述待量化模型对应的量化后模型。
[0015]第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的模型量化方法。
[0016]第四方面，本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的模型量化方法。
[0017]本申请实施例中，通过获取待量化模型的量化参数的多个第一候选参数值，并根据每一所述第一候选参数值，对所述待量化模型进行量化处理，得到多个第一候选量化后模型；根据多个所述第一候选参数值，通过预设参数确定策略，确定所述待量化模型的量化参数的多个第二候选参数值，并根据每一所述第二候选参数值，对所述待量化模型进行量化处理，得到多个第二候选量化后模型；根据每一所述第一候选量化后模型的性能值，以及每一所述第二候选量化后模型的性能值，从多个所述第一候选量化后模型和多个所述第二候选量化后模型中选取多个参考量化后模型，将每个所述参考量化后模型对应的参数值确定为所述第一候选参数值，将每个所述参考量化后模型作为所述第一候选量化后模型，并返回执行根据多个所述第一候选参数值，通过预设参数确定策略，确定所述待量化模型的量化参数的多个第二候选参数值的步骤，直至满足预设停止条件；从满足预设停止条件的多个参考量化后模型中确定所述待量化模型对应的量化后模型，可以实现得到待量化模型对应的量化后模型。
附图说明
[0018]下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。
[0019]图1是本申请实施例提供的模型量化方法的第一种流程示意图。
[0020]图2是本申请实施例提供的模型量化方法的第二种流程示意图。
[0021]图3是本申请实施例提供的模型量化装置的结构示意图。
[0022]图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0023]应当说明的是，本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已
列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
[0024]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0025]本申请实施例提供一种模型量化方法、模型量化装置、存储介质及电子设备，其中，模型量化方法可以应用于图像、声音、自然语言、控制等任意领域、任意结构的神经网络模型量化。模型量化方法的执行主体可以是本申请实施例提供的模型量化装置，或者集成了该模型量化装置的电子设备，其中该模型量化装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑等配置有处理器而具有模型量化能力的设备。
[0026]请参阅图1，图1是本申请实施例提供的模型量化方法的第一种流程示意图，流程可以包括：
[0027]在101中，获取待量化模型的量化参数的多个第一候选参数值，并根据每一第一候选参数值，对待量化模型进行量化处理，得到多个第一候选量化后模型。
[0028]可以理解的是，模型中量化的目标主要是本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型量化方法，其特征在于，包括：获取待量化模型的量化参数的多个第一候选参数值，并根据每一所述第一候选参数值，对所述待量化模型进行量化处理，得到多个第一候选量化后模型；根据多个所述第一候选参数值，通过预设参数确定策略，确定所述待量化模型的量化参数的多个第二候选参数值，并根据每一所述第二候选参数值，对所述待量化模型进行量化处理，得到多个第二候选量化后模型；根据每一所述第一候选量化后模型的性能值，以及每一所述第二候选量化后模型的性能值，从多个所述第一候选量化后模型和多个所述第二候选量化后模型中选取多个参考量化后模型，将每个所述参考量化后模型对应的参数值确定为所述第一候选参数值，将每个所述参考量化后模型作为所述第一候选量化后模型，并返回执行根据多个所述第一候选参数值，通过预设参数确定策略，确定所述待量化模型的量化参数的多个第二候选参数值的步骤，直至满足预设停止条件；从满足预设停止条件的多个参考量化后模型中确定所述待量化模型对应的量化后模型。2.根据权利要求1所述的模型量化方法，其特征在于，所述根据多个所述第一候选参数值，通过预设参数确定策略，确定所述待量化模型的量化参数的多个第二候选参数值，包括：从多个所述第一候选参数值中选取多个第三候选参数值；将每一所述第三候选参数值按照预设变异概率进行变异处理，得到所述待量化模型的量化参数的多个第二候选参数值。3.根据权利要求2所述的模型量化方法，其特征在于，每一所述第二候选参数值服从以每一所述第三候选参数值为均值，根据所述待量化模型对应的量化带宽、所述量化参数所需量化的待量化参数的最大值和最小值确定的值为方差的高斯分布。4.根据权利要求1所述的模型量化方法，其特征在于，所述获取待量化模型的量化参数的多个第一候选参数值，包括：获取所述待量化模型的量化参数的参数值区间；从所述参数值区间中获取所述量化参数的多个第一候选参数值。5.根据权利要求4所述的模型量化方法，其特征在于，所述获取所述待量化模型的量化参数的参数值区间，包括：根据所述量化参数所需量化的待量化参数的最大值以及所述待量化模型对应的量化带宽，确定所述待量化模型的量化参数的基准参数值；根据所述基准参数值，确定所述待量化模型的量化参数的参数值区间。6.根据权利要求1至5任一项所述的模型量化方法，其特征在于，...
【专利技术属性】
技术研发人员：董旭炯，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。