神经网络模型量化方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种神经网络模型量化方法、装置、设备及存储介质，属于模型量化技术领域。该方法包括：获取多个训练样本与待量化的神经网络模型；将多个训练样本划分为多个样本组；从多个样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集；根据模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型。本发明专利技术基于训练样本的特征，得到具有不同特征的多个样本组，且每个样本组都对应于原始样本具有的某一种特征，再从中抽取出训练样本作为模型量化环节的输入，从而利用具有多样性和代表性的输入样本集对模型进行量化，进而提高模型量化的精度以及量化后所得模型的泛化能力。型的泛化能力。型的泛化能力。

【技术实现步骤摘要】
神经网络模型量化方法、装置、设备及存储介质


[0001]本专利技术涉及模型量化
，尤其涉及一种神经网络模型量化方法、装置、设备及存储介质。

技术介绍

[0002]相关技术中，在对神经网络模型进行量化时，需要挑选一些输入样本完成模型量化，而现阶段往往采取人工挑选的方式，选择出可能具有代表性的以及不同种的样本进行后续量化处理。
[0003]但是，人工挑选的方式主观性较强，因此难以保证抽取所得样本的代表性和多样性，进而会导致后续量化过程中获取的权重和激活值的动态范围窄，引起量化后的模型精度较差、泛化能力较低的问题。

技术实现思路

[0004]本专利技术的主要目的在于提供一种神经网络模型量化方法、装置、设备及存储介质，旨在解决现有技术中量化精度较差以及量化后所得模型的泛化能力较低的技术问题。
[0005]根据本专利技术的第一方面，提供了一种神经网络模型量化方法，所述方法包括：
[0006]获取多个训练样本与待量化神经网络模型；
[0007]根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组；
[0008]从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集；
[0009]根据所述模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型。
[0010]可选地，所述根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组之前，所述方法还包括：
[0011]提取出多个所述训练样本的特征值；
[0012]基于多个所述训练样本的特征值的分布情况，利用非监督算法对多个所述训练样本的特征值进行聚类，从多个所述训练样本的特征值中筛选出预设分类数目的中心特征值；
[0013]根据所述中心特征值对应的特征类型，确定出多个所述训练样本的特征类型。
[0014]可选地，所述根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组，包括：
[0015]针对任一非中心特征值，基于多个所述训练样本的特征值的分布情况，从预设分类数目的所述中心特征值中筛选出与所述非中心特征值距离最近的目标中心特征值；
[0016]将所述非中心特征值对应的训练样本归集到所述目标中心特征值对应的训练样本所属的样本组中。
[0017]可选地，所述从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模
型量化输入样本集，包括：
[0018]针对任一所述样本组，对所述样本组进行随机抽样，从所述样本组中任意抽取出预设样本数量的训练样本；
[0019]基于从多个所述特征集中抽取出的训练样本，得到所述模型量化输入样本集。
[0020]可选地，所述从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集，包括：
[0021]针对任一所述样本组，确定出对应的训练样本的特征值分布；
[0022]根据所述特征值分布，从所述样本组中按规则抽取出预设样本数量的训练样本；
[0023]基于从多个所述特征集中抽取出的训练样本，得到所述模型量化输入样本集。
[0024]可选地，所述根据模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型，包括：
[0025]根据所述模型量化输入样本集中的多个输入样本，获得权重和激活值的动态范围，并利用量化工具对所述权重进行量化，获得量化后的权重；
[0026]根据所述量化后的权重和多个所述输入样本，对所述激活值进行量化，获得量化后的神经网络模型。
[0027]可选地，所述根据所述模型量化输入样本集，更新所述权重参数，获得量化后的神经网络模型之后，所述方法还包括：
[0028]将所述量化后的神经网络模型移植到嵌入式设备中。
[0029]根据本专利技术的第二方面，提供了一种神经网络模型量化装置，所述装置包括：
[0030]样本获取模块，用于获取多个训练样本与待量化神经网络模型；
[0031]样本划分模块，用于根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组；
[0032]样本抽样模块，用于从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集；
[0033]模型量化模块，用于根据所述模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型。
[0034]根据本专利技术的第三方面，提供了一种神经网络模型量化设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的神经网络模型量化程序，所述神经网络模型量化程序被所述处理器执行时实现第一方面的实现方式中的任一种可能的实现方式中所述的各个步骤。
[0035]根据本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有神经网络模型量化程序，所述神经网络模型量化程序被处理器执行时实现第一方面的实现方式中的任一种可能的实现方式中所述的各个步骤。
[0036]本专利技术实施例提出一种神经网络模型量化方法、装置、设备及存储介质，通过神经网络模型量化设备获取多个训练样本与待量化神经网络模型；根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组；从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集；根据所述模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型。
[0037]本专利技术基于训练样本的特征对其进行分类，得到具有不同特征的多个样本组，每
个样本组都可以代表原始样本具有的某一种特征，再从不同的样本组分别中抽取出一定数量的代表不同特征的训练样本作为模型输入，从而得到具有多样性和代表性的输入样本集，最后利用该输入样本集对模型进行量化，可以提高权重和激活值的动态范围，即可提高模型量化的精度，进而提高量化后所得模型的泛化能力。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0039]图1为本专利技术实施例方案涉及的硬件运行环境的神经网络模型量化设备的结构示意图；
[0040]图2为本专利技术神经网络模型量化方法的第一实施例的流程示意图；
[0041]图3为本专利技术图2中S202的步骤的细化流程示意图；
[0042]图4为本专利技术图2中S203的步骤的细化流程示意图；
[0043]图5为本专利技术图2中S203的步骤的细化流程示意图；
[0044]图6为本专利技术图2中S204的步骤的细化流程示意图；
[0045]图7为本专利技术实施例涉及的神经网络模型量化装置的功能模块示意图。...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型量化方法，其特征在于，所述方法包括：获取多个训练样本与待量化的神经网络模型；根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组；从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集；根据所述模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组之前，所述方法还包括：提取出多个所述训练样本的特征值；基于多个所述训练样本的特征值的分布情况，利用非监督算法对多个所述训练样本的特征值进行聚类，从多个所述训练样本的特征值中筛选出预设分类数目的中心特征值；根据所述中心特征值对应的特征类型，确定出多个所述训练样本的特征类型。3.根据权利要求2所述的方法，其特征在于，所述根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组，包括：针对任一非中心特征值，基于多个所述训练样本的特征值的分布情况，从预设分类数目的所述中心特征值中筛选出与所述非中心特征值距离最近的目标中心特征值；将所述非中心特征值对应的训练样本归集到所述目标中心特征值对应的训练样本所属的样本组中。4.根据权利要求1所述的方法，其特征在于，所述从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集，包括：针对任一所述样本组，对所述样本组进行随机抽样，从所述样本组中任意抽取出预设样本数量的训练样本；基于从多个所述特征集中抽取出的训练样本，得到所述模型量化输入样本集。5.根据权利要求1所述的方法，其特征在于，所述从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集，包括：针对任一所述样本组，确定出对应的训练样本的特征值分布；根据所述特征值分布，从所...

【专利技术属性】
技术研发人员：罗年，夏伟腾，王嫣然，甘凯今，
申请(专利权)人：江苏中天安驰科技有限公司，
类型：发明
国别省市：