网络训练方法及装置、网络优化方法及数据处理方法制造方法及图纸

本公开提供了一种网络训练方法及装置、网络优化方法及数据处理方法。该网络训练方法包括：对样本神经网络进行量化，得到第1状态的样本量化矩阵，该矩阵用于指示网络中算子的类型及算子之间的连接关系；通过第m状态的强化网络对第m状态的样本量化矩阵进行优化函数预测，确定第m状态的样本优化函数；通过第m状态的样本优化函数，对第m状态的样本神经网络优化，得到第m+1状态的样本神经网络；根据第m状态及第m+1状态的样本神经网络的收益值，对第m状态的强化网络进行训练，得到第m+1状态的强化网络；在满足训练条件的情况下，确定训练后的强化网络。本公开实施例能够提高强化网络的训练效果。训练效果。训练效果。

【技术实现步骤摘要】
网络训练方法及装置、网络优化方法及数据处理方法


[0001]本公开涉及计算机
，特别涉及一种网络训练方法及装置、网络优化方法及装置、数据处理方法及装置、电子设备、计算机可读介质。

技术介绍

[0002]随着机器学习技术的不断发展，机器学习在计算机视觉、语音识别、自然语言处理等各个领域得到了广泛的应用。在机器学习中，经常需要采用各种神经网络模型(例如卷积神经网络CNN、脉冲神经网络SNN等)来执行各类任务(例如图像处理任务、语音识别任务等)。神经网络中通常包括各种算子(OP，operators)，例如二维卷积算子Conv2d、相加算子Add、激活算子Relu和Sigmoid等，这些算子用于实现神经网络的各种计算过程。
[0003]在将神经网络部署到电子设备之前，通常可以对神经网络进行优化，例如算子融合、无效节点去除等，从而提高神经网络的处理效率。例如，可将相乘算子Mul合并到二维卷积算子Conv2d中，以便减少计算量并减少数据搬运过程。
[0004]在相关技术中，通常会人工选择第一个优化函数，利用第一个优化函数更新待优化的神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络训练方法，其特征在于，所述方法还包括：对样本神经网络进行量化，得到第1状态的样本量化矩阵，所述样本量化矩阵用于指示所述样本神经网络中算子的类型及算子之间的连接关系；通过第m状态的强化网络对第m状态的样本量化矩阵进行优化函数预测，确定第m状态的样本优化函数，m为大于或等于1的整数，所述优化函数用于对神经网络的算子进行融合；通过所述第m状态的样本优化函数，对与所述第m状态的样本量化矩阵对应的第m状态的样本神经网络进行优化，得到第m+1状态的样本神经网络；根据所述第m状态的样本神经网络的收益值以及所述第m+1状态的样本神经网络的收益值，对所述第m状态的强化网络进行训练，得到第m+1状态的强化网络；在所述第m+1状态的强化网络满足训练条件的情况下，将所述第m+1状态的强化网络确定为训练后的强化网络，其中，所述强化网络用于预测与待优化的目标网络匹配的优化函数，所述目标网络用于执行数据处理任务。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述第m+1状态的样本神经网络的性能参数，确定所述第m+1状态的样本神经网络的收益值，所述性能参数包括神经网络的计算量、处理时长、处理准确度、占用存储空间中的至少一种。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：通过所述第m+1状态的样本神经网络对预设的样本数据进行处理，确定所述样本数据的处理结果，以及所述第m+1状态的样本神经网络的处理时长；根据所述样本数据的标注信息及所述处理结果，确定所述第m+1状态的样本神经网络的处理准确度。4.根据权利要求1
‑
3中任意一项所述的方法，其特征在于，所述根据所述第m状态的样本神经网络的收益值以及所述第m+1状态的样本神经网络的收益值，对所述第m状态的强化网络进行训练，得到第m+1状态的强化网络，包括：根据所述第m+1状态的样本神经网络的收益值与所述第m状态的样本神经网络的收益值之间的差值，确定第m次优化的收益差；根据所述第m次优化的收益差，确定第m次优化的网络损失；根据所述第m次优化的网络损失，对所述第m状态的强化网络进行训练，得到所述第m+1状态的强化网络。5.根据权利要求1
‑
4中任意一项所述的方法，其特征在于，所述强化网络包括人工神经网络ANN、脉冲神经网络SNN、人工神经网络ANN与脉冲神经网络SNN融合的神经网络中的任意一种。6.根据权利要求1
‑
5中任意一项所述的方法，其特征在于，所述数据处理任务包括图像处理任务、语...

【专利技术属性】
技术研发人员：戚海涛，李涵，冯开革，陈锐，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：