网络优化方法及装置、数据处理方法、电子设备制造方法及图纸

技术编号:37138955 阅读:30 留言:0更新日期:2023-04-06 21:41
本公开提供了一种网络优化方法及装置、数据处理方法、电子设备。所述方法包括:对已训练的神经网络进行量化,得到第1状态的量化矩阵,所述量化矩阵用于指示所述神经网络中算子的类型及算子之间的连接关系;通过预设的强化网络对第n状态的量化矩阵进行优化函数预测,确定第n状态的优化函数,n为大于或等于1的整数;通过所述第n状态的优化函数,对与所述第n状态的量化矩阵对应的第n状态的神经网络进行优化,得到第n+1状态的神经网络;在所述第n+1状态的神经网络满足预设条件的情况下,将所述第n+1状态的神经网络确定为优化后的目标神经网络。根据本公开的实施例能够提高神经网络优化的准确率和优化效率。的准确率和优化效率。的准确率和优化效率。

【技术实现步骤摘要】
网络优化方法及装置、数据处理方法、电子设备


[0001]本公开涉及计算机
,特别涉及一种网络优化方法及装置、数据处理方法及装置、电子设备、计算机可读介质。

技术介绍

[0002]随着机器学习技术的不断发展,机器学习在计算机视觉、语音识别、自然语言处理等各个领域得到了广泛的应用。在机器学习中,经常需要采用各种神经网络模型(例如卷积神经网络CNN、脉冲神经网络SNN等)来执行各类任务(例如图像处理任务、语音识别任务等)。神经网络中通常包括各种算子(OP,operators),例如二维卷积算子Conv2d、相加算子Add、激活算子Relu和Sigmoid等,这些算子用于实现神经网络的各种计算过程。
[0003]在将神经网络部署到电子设备之前,通常可以对神经网络进行优化,例如算子融合、无效节点去除等,从而提高神经网络的处理效率。例如,可将相乘算子Mul合并到二维卷积算子Conv2d中,以便减少计算量并减少数据搬运过程。
[0004]在相关技术中,通常会人工选择第一个优化函数,利用第一个优化函数更新待优化的神经网络,得到第一次优化的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络优化方法,其特征在于,包括:对已训练的神经网络进行量化,得到第1状态的量化矩阵,所述量化矩阵用于指示所述神经网络中算子的类型及算子之间的连接关系;通过预设的强化网络对第n状态的量化矩阵进行优化函数预测,确定第n状态的优化函数,n为大于或等于1的整数;通过所述第n状态的优化函数,对与所述第n状态的量化矩阵对应的第n状态的神经网络进行优化,得到第n+1状态的神经网络;在所述第n+1状态的神经网络满足预设条件的情况下,将所述第n+1状态的神经网络确定为优化后的目标神经网络。2.根据权利要求1所述的方法,其特征在于,所述通过预设的强化网络对第n状态的量化矩阵进行优化函数预测,确定第n状态的优化函数,包括:将所述第n状态的量化矩阵输入所述强化网络中处理,输出与预设的多个优化函数对应的预测值,所述多个优化函数分别用于对神经网络的算子进行融合;根据与所述多个优化函数对应的预测值,从所述多个优化函数中确定出所述第n状态的优化函数。3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:通过所述第n+1状态的神经网络对预设的第一样本数据进行处理,确定所述第一样本数据的第一处理结果,以及所述第n+1状态的神经网络的处理时长;根据所述第一样本数据的标注信息及所述第一处理结果,确定所述第n+1状态的神经网络的处理准确度;根据所述第n+1状态的神经网络的性能参数,确定所述第n+1状态的神经网络是否满足所述预设条件,所述性能参数包括神经网络的计算量、处理准确度、处理时长、占用存储空间中的至少一种。4.根据权利要求3所述的方法,其特征在于,所述预设条件包括以下至少一种:所述第n+1状态的神经网络的计算量小于或等于计算量阈值;所述第n+1状态的神经网络的处理时长小于或等于时长阈值;所述第n+1状态的神经网络的处理准确度大于或等于准确度阈值;所述第n+1状态的神经网络的占用存储空间小于或等于存储空间阈值;所述第n+1状态的神经网络的计算量小于或等于所述第n状态的神经网络的计算量,且所述第n状态的神经网络的计算量与所述第n+1状态的神经网络的计算量之间的差值小于或等于计算量差值阈值;所述第n+1状态的神经网络的处理时长小于或等于所述第n状态的神经网络的处理时长,且所述第n状态的神经网络的处理时长与所述第n+1状态的神经网络的处理时长之间的差值小于或等于时长差值阈值;所述第n+1状态的神经网络的处理准确度大于或等于所述第n状态的神经网络的处理准确度,且所述第n+1状态的神经网络的处理准确度与所述第n状态的神经网络的处理准确度之间的差值小于或等于准确度差值阈值;所述第n+1状态的神经网络的占用存储空间小于或等于所述第n状态的神经网络的占用存储空间,且所述第n状态的神经网络的占用存储空间与所述第n+1状态的神经网络的占
用存储空间之间的差值小于或等于存储空间差值阈值。5.根据权利要求1所述的方法,其特征在于,所述方法还包括:对已训练的样本神经网络进行量化,得到第1状态的样本量化矩...

【专利技术属性】
技术研发人员:戚海涛李涵丁瑞强李康张抗
申请(专利权)人:北京灵汐科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1