基于运算速度分析的神经网络模型构建方法技术

本申请公开了基于运算速度分析的神经网络模型构建方法

【技术实现步骤摘要】
基于运算速度分析的神经网络模型构建方法、装置及设备


[0001]本申请涉及神经网络
，尤其涉及基于运算速度分析的神经网络模型构建方法
、
装置及设备
。

技术介绍

[0002]智能
AI
芯片的能耗受到额定功率限制，尤其是部署在边缘端的轻量化智能芯片，能够提供给模型运算的能耗资源十分有限
。
在这种情况下，算法在满足准确率要求的同时，通常要在尽可能降低运算能耗
。
常用的做法有两点：
1)
对模型进行压缩，以减少一次推理产生的运算消耗；
2)
使用比较成熟的小型轻量化模型，由于小型模型自身能耗较小，适合部署在能耗资源较小的芯片上
。
[0003]但是模型压缩技术并不能充分减少能耗，为了满足能耗需求的过分剪枝，在能耗资源限制的前提下，带来的是更多的网络结构破坏，模型精度也会随之下降；而轻量化模型即便模型体积较小，但模型在异构芯片上运行时，仍有可能因为底层运算方式引起瞬时每秒浮点运算次数过高，造成瞬时计算量过高，造成网络堵塞，从而降低模型运行速度
。

技术实现思路

[0004]本申请提供了基于运算速度分析的神经网络模型构建方法
、
装置及设备，用于解决现有模型压缩和轻量化处理技术均不能从根本上提升模型运算速度的同时保证模型精确度的技术问题
。
[0005]有鉴于此，本申请第一方面提供了基于运算速度分析的神经网络模型构建方法，包括：
[0006]测量不同算法模型的模型算子在不同异构芯片上的算子运算速度，得到模型算子运算速度表，所述模型算子运算速度表包括所述模型算子的算子类型
、
芯片类型和所述算子运算速度；
[0007]根据所述模型算子运算速度表中的所述模型算子构建强化学习数据集；
[0008]基于强化学习策略，根据预设策略网络和预设奖励函数在所述强化学习数据集中搜索最优运算算子，并构建最优神经网络模型
。
[0009]优选地，所述测量不同算法模型的模型算子在不同异构芯片上的算子运算速度，得到模型算子运算速度表，包括：
[0010]在不同异构芯片上多次测量不同算法模型每个模型算子的初运算速度；
[0011]基于所有的所述初运算速度进行均值计算，得到每个所述模型算子的算子运算速度，构建模型算子运算速度表
。
[0012]优选地，所述测量不同算法模型的模型算子在不同异构芯片上的算子运算速度，得到模型算子运算速度表，之前还包括：
[0013]提取不同算法模型的结构超参数，生成模型算子，所述结构超参数包括网络层数量
、
神经元数量和卷积核大小
。
[0014]优选地，所述测量不同算法模型的模型算子在不同异构芯片上的算子运算速度，得到模型算子运算速度表，还包括：
[0015]对不同算法模型的不同模型算子对应的算子运算速度进行归一化处理
。
[0016]优选地，所述基于强化学习策略，根据预设策略网络和预设奖励函数在所述强化学习数据集中搜索最优运算算子，并构建最优神经网络模型，包括：
[0017]基于强化学习策略将所述模型算子定义为状态，形成状态空间；
[0018]在每个所述状态下定义一组可执行操作动作，形成动作空间；
[0019]通过预设策略网络以算力资源最优和模型性能最优为约束条件，基于所述状态空间
、
所述动作空间和预设奖励函数在所述强化学习数据集中进行最优算子迭代搜索，直至达到停止条件，得到最优运算算子；
[0020]根据所述最优运算算子构建最优神经网络模型
。
[0021]本申请第二方面提供了基于运算速度分析的神经网络模型构建装置，包括：
[0022]速度测量单元，用于测量不同算法模型的模型算子在不同异构芯片上的算子运算速度，得到模型算子运算速度表，所述模型算子运算速度表包括所述模型算子的算子类型
、
芯片类型和所述算子运算速度；
[0023]数据集构建单元，用于根据所述模型算子运算速度表中的所述模型算子构建强化学习数据集；
[0024]最优搜索单元，用于基于强化学习策略，根据预设策略网络和预设奖励函数在所述强化学习数据集中搜索最优运算算子，并构建最优神经网络模型
。
[0025]优选地，所述速度测量单元，具体用于：
[0026]在不同异构芯片上多次测量不同算法模型每个模型算子的初运算速度；
[0027]基于所有的所述初运算速度进行均值计算，得到每个所述模型算子的算子运算速度，构建模型算子运算速度表
。
[0028]优选地，还包括：
[0029]算子提取单元，用于提取不同算法模型的结构超参数，生成模型算子，所述结构超参数包括网络层数量
、
神经元数量和卷积核大小
。
[0030]优选地，还包括：
[0031]归一化单元，用于对不同算法模型的不同模型算子对应的算子运算速度进行归一化处理
。
[0032]本申请第三方面提供了基于运算速度分析的神经网络模型构建设备，所述设备包括处理器以及存储器；
[0033]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0034]所述处理器用于根据所述程序代码中的指令执行第一方面所述的基于运算速度分析的神经网络模型构建方法
。
[0035]从以上技术方案可以看出，本申请实施例具有以下优点：
[0036]本申请中，提供了基于运算速度分析的神经网络模型构建方法，包括：测量不同算法模型的模型算子在不同异构芯片上的算子运算速度，得到模型算子运算速度表，模型算子运算速度表包括模型算子的算子类型
、
芯片类型和算子运算速度；根据模型算子运算速度表中的模型算子构建强化学习数据集；基于强化学习策略，根据预设策略网络和预设奖
励函数在强化学习数据集中搜索最优运算算子，并构建最优神经网络模型
。
[0037]本申请提供的基于运算速度分析的神经网络模型构建方法，将模型拆分为多种模型算子，通过测量不同的模型算子在不同的异构芯片上的算子运算速度构建模型算子运算速度表，基于耗能优化策略进行强化学习搜索，找到最优运算算子；依据最优运算算子构建的神经网络模型能够在算子设计的基础上提升模型运算速度，而且通过对算子进行优化组合也能够确保模型精确度
。
因此，本申请能够解决现有模型压缩和轻量化处理技术均不能从根本上提升模型运算速度的同时保证模型精确度的技术问题
。
附图说明
[0038]图1为本申请实施例提供的基于运算速度分析的神经网络模型构建方法的流程示意图；
[0039]图2为本申请实施例提供的基于运算速度分析的神经网络模型构建装置的结构示意图
。
具体实施方式<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于运算速度分析的神经网络模型构建方法，其特征在于，包括：测量不同算法模型的模型算子在不同异构芯片上的算子运算速度，得到模型算子运算速度表，所述模型算子运算速度表包括所述模型算子的算子类型
、
芯片类型和所述算子运算速度；根据所述模型算子运算速度表中的所述模型算子构建强化学习数据集；基于强化学习策略，根据预设策略网络和预设奖励函数在所述强化学习数据集中搜索最优运算算子，并构建最优神经网络模型
。2.
根据权利要求1所述的基于运算速度分析的神经网络模型构建方法，其特征在于，所述测量不同算法模型的模型算子在不同异构芯片上的算子运算速度，得到模型算子运算速度表，包括：在不同异构芯片上多次测量不同算法模型每个模型算子的初运算速度；基于所有的所述初运算速度进行均值计算，得到每个所述模型算子的算子运算速度，构建模型算子运算速度表
。3.
根据权利要求1所述的基于运算速度分析的神经网络模型构建方法，其特征在于，所述测量不同算法模型的模型算子在不同异构芯片上的算子运算速度，得到模型算子运算速度表，之前还包括：提取不同算法模型的结构超参数，生成模型算子，所述结构超参数包括网络层数量
、
神经元数量和卷积核大小
。4.
根据权利要求1所述的基于运算速度分析的神经网络模型构建方法，其特征在于，所述测量不同算法模型的模型算子在不同异构芯片上的算子运算速度，得到模型算子运算速度表，还包括：对不同算法模型的不同模型算子对应的算子运算速度进行归一化处理
。5.
根据权利要求1所述的基于运算速度分析的神经网络模型构建方法，其特征在于，所述基于强化学习策略，根据预设策略网络和预设奖励函数在所述强化学习数据集中搜索最优运算算子，并构建最优神经网络模型，包括：基于强化学习策略将所述模型算子定义为状态，形成状态空间；在每个所述状态下定义一组可执行操作动作，形成动作空间；通过预设策略网络以算力资源最优和模型性能最优为约束条...

【专利技术属性】
技术研发人员：张殷，蒋维，王俊波，熊仕斌，詹清华，罗容波，刘益军，李国伟，唐琪，石俏，王智娇，刘崧，陈贤熙，曾庆辉，刘少辉，刘昊，吴焯军，梁年柏，李兰茵，赖艳珊，陈绮琪，姜沛东，林雅俐，
申请(专利权)人：广东电网有限责任公司佛山供电局，
类型：发明
国别省市：