神经网络模型的量化节点确定方法及相关装置制造方法及图纸

本申请提供了一种神经网络模型的量化节点确定方法及相关装置，首先，获取目标模型的节点信息，所述目标模型表示搭载于预设框架的神经网络模型；然后，根据所述节点信息确定第一模型图，所述第一模型图用于指示所述目标模型的有向无环图；接着，根据所述第一模型图确定第一模型子图，所述第一模型子图用于指示所述目标模型的特征流图；最后，根据所述第一模型子图确定目标节点，所述目标节点用于指示所述目标模型的量化节点

【技术实现步骤摘要】
神经网络模型的量化节点确定方法及相关装置


[0001]本申请涉及机器学习
，特别是一种神经网络模型的量化节点确定方法及相关装置
。

技术介绍

[0002]随着机器学习算法的发展，神经网络模型的性能虽然越来越强大，但是也需要耗费大量的计算资源和内存，为了使神经网络模型更有效率和轻量化，可以对神经网络模型进行量化处理
。
[0003]现有的量化处理包括在训练时做量化以提高准确率
(Quantization Aware Training
，
QAT)
或训练后做量化
(Post
‑
Training Quantization
，
PTQ)
，但是无论哪种方式，都需要先确定神经网络模型的量化节点
。
现有的量化节点一般是人工选定，缺乏灵活性且效率不高
。

技术实现思路

[0004]有鉴于此，本申请提供了一种神经网络模型的量化节点确定方法及相关装置，可以适用于各个框架下的神经网络模型，快速确定量化节点，大大提升了确定量化节点的效率
。
[0005]第一方面，本申请实施例提供了一种神经网络模型的量化节点确定方法，所述方法包括：
[0006]获取目标模型的节点信息，所述目标模型表示搭载于预设框架的神经网络模型；
[0007]根据所述节点信息确定第一模型图，所述第一模型图用于指示所述目标模型的有向无环图；
[0008]根据所述第一模型图确定第一模型子图，所述第一模型子图用于指示所述目标模型的特征流图；
[0009]根据所述第一模型子图确定目标节点，所述目标节点用于指示所述目标模型的量化节点
。
[0010]第二方面，本申请实施例提供一种数据处理装置，所述装置包括：
[0011]节点获取单元，用于获取目标模型的节点信息，所述目标模型表示搭载于预设框架的神经网络模型；
[0012]模型图确定单元，用于根据所述节点信息确定第一模型图，所述第一模型图用于指示所述目标模型的有向无环图；
[0013]特征流图确定单元，用于根据所述第一模型图确定第一模型子图，所述第一模型子图用于指示所述目标模型的特征流图；
[0014]量化节点确定单元，用于根据所述第一模型子图确定目标节点，所述目标节点用于指示所述目标模型的量化节点
。
[0015]第三方面，本申请实施例提供了一种电子设备，包括处理器
、
存储器
、
通信接口以
及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令
。
[0016]第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤
。
[0017]第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤
。
该计算机程序产品可以为一个软件安装包
。
[0018]可见，通过上述神经网络模型的量化节点确定方法及相关装置，首先，获取目标模型的节点信息，所述目标模型表示搭载于预设框架的神经网络模型；然后，根据所述节点信息确定第一模型图，所述第一模型图用于指示所述目标模型的有向无环图；接着，根据所述第一模型图确定第一模型子图，所述第一模型子图用于指示所述目标模型的特征流图；最后，根据所述第一模型子图确定目标节点，所述目标节点用于指示所述目标模型的量化节点
。
可以基于有向无环图的特性自动确定量化节点，无需人工选择，大大提升了量化节点的确定效率
。
附图说明
[0019]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0020]图1为本申请实施例提供的一种神经网络模型的量化节点确定方法的系统架构图；
[0021]图2为本申请实施例提供的一种神经网络模型的量化节点确定方法的流程示意图；
[0022]图
3A
为本申请实施例提供的一种目标模型的第一模型图；
[0023]图
3B
为本申请实施例提供的一种目标模型的第一模型子图；
[0024]图
3C
为本申请实施例提供的一种目标模型的激励量化节点的确定过程的示意图；
[0025]图4为本申请实施例提供的另一种神经网络模型的量化节点确定方法的流程示意图；
[0026]图5为本申请实施例提供的一种特征流图可视化的示意图；
[0027]图6为本申请实施例提供的一种电子设备的结构示意图；
[0028]图7为本申请实施例提供的一种神经网络模型的量化节点确定装置的功能单元组成框图；
[0029]图8为本申请实施例提供的另一种神经网络模型的量化节点确定装置的功能单元组成框图
。
具体实施方式
[0030]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的
附图，对本申请实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围
。
[0031]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序
。
此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含
。
例如包含了一系列步骤或单元的过程
、
方法
、
系统
、
产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程
、
方法
、
产品或设备固有的其他步骤或单元
。
[0032]应理解，本文中术语“和
/
或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，
A
和
/
或
B
，可以表示：单独存在
A
，同时存在
A
和
B
，单独存在
B
...

【技术保护点】

【技术特征摘要】
1.
一种神经网络模型的量化节点确定方法，其特征在于，所述方法包括：获取目标模型的节点信息，所述目标模型表示搭载于预设框架的神经网络模型；根据所述节点信息确定第一模型图，所述第一模型图用于指示所述目标模型的有向无环图；根据所述第一模型图确定第一模型子图，所述第一模型子图用于指示所述目标模型的特征流图；根据所述第一模型子图确定目标节点，所述目标节点用于指示所述目标模型的量化节点
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述第一模型图确定第一模型子图，包括：确定所述第一模型图中属于预设节点类型的第一节点，所述预设节点类型用于指示所述目标模型中与特征流传导相关的节点类型；根据所述第一节点确定所述第一模型子图
。3.
根据权利要求2所述的方法，其特征在于，所述根据所述第一节点确定所述第一模型子图，包括：确定所述第一节点构成的第一有向边，任意一条第一有向边包括作为起始节点的第一节点和作为中止节点的第一节点；将所述第一模型图中所述第一节点和所述第一有向边之外的部分删除，得到所述第一模型子图
。4.
根据权利要求2所述的方法，其特征在于，所述根据所述第一模型子图确定目标节点，包括：筛选出所述第一节点中属于第一预设量化类型的第一节点作为所述权重量化节点；筛选出所述第一节点中属于第二预设量化类型的第一节点作为所述激励量化节点
。5.
根据权利要求2所述的方法，其特征在于，所述根据所述第一模型子图确定目标节点，包括：筛选出所述第一节点中属于第一预设量化类型的第一节点作为所述权重量化节点；筛选出所述第一节点中属于第二预设量化类型的第一节点，并确定所述属于第二预设量化类型的第一节点的量化权重值，筛选出所述量化权重值大于预设权重阈值的属于第二预设量化类型的第一节点作为所述激励量化节点
。6.
根据权利要求4或5所...

【专利技术属性】
技术研发人员：董旭炯，
申请(专利权)人：OPPO，
类型：发明
国别省市：