【技术实现步骤摘要】
神经网络处理方法、装置、电子设备及存储介质
[0001]本申请涉及人工智能
,具体而言,本申请涉及一种神经网络处理方法
、
装置
、
电子设备及存储介质
。
技术介绍
[0002]神经网络子图切分指的是将一个大型神经网络模型划分成多个子图,每个子图可以在不同的处理器上进行并行计算,从而提高整个模型的计算速度
。
[0003]现有的神经网络子图切分的方法是通过标记神经网络中各个算子是否支持加速设备,并根据各个算子的标记进行子图切分
。
基于现有的方法切分得到多个子图容易出现支持子图与不支持子图交叉的情况,其中一些支持子图计算量较小
。
[0004]将这些计算量较小的支持子图划分至加速设备中进行运算,所带来的计算速度提升较小,但是会导致相邻的支持子图与不支持子图被划分到不同的设备中,从而产生在不同设备之间传输数据
、
量化及反量化的时间消耗和设备启动的时间消耗,从整体上会导致神经网络模型的性能下降
。
技术实现思路
[0005]本申请实施例提供了一种神经网络处理方法
、
装置
、
电子设备及存储介质,可以解决现有的神经网络子图切分会神经网络模型的性能下降的方法的问题
。
[0006]所述技术方案如下:
[0007]根据本申请实施例的一个方面,提供了一种神经网络处理方法,该方法包括:
[0008]获取待处理的神经网络,对所述神经 ...
【技术保护点】
【技术特征摘要】
1.
一种神经网络处理方法,其特征在于,包括:获取待处理的神经网络,对所述神经网络进行切分,得到至少两个子图;各个子图基于执行顺序连接;基于各个子图分别对应的设备支持信息,从各个子图中确定出至少一个第一子图;所述第一子图的设备支持信息为支持加速设备;针对每个第一子图,若所述第一子图的计算性能指标小于预设阈值,则将所述第一子图的设备支持信息更新为不支持加速设备;若更新设备支持信息之后的各个子图中出现连接的至少两个第二子图,则对所述至少两个第二子图进行合并,得到合并子图;所述第二子图的设备支持信息为不支持加速设备;将所述合并子图分配至目标设备,以供所述目标设备对所述合并子图进行运算
。2.
根据权利要求1所述的神经网络处理方法,其特征在于,所述针对每个第一子图,若所述第一子图的计算性能指标小于预设阈值,则将所述第一子图的设备支持信息更新为不支持加速设备,包括:针对每个第一子图,确定所述第一子图所支持的第一设备,以及确定通过第一设备运行所述第一子图的计算性能指标;若所述第一子图的计算性能指标小于所述第一设备的设备性能指标,则将所述第一子图的设备支持信息更新为不支持加速设备
。3.
根据权利要求2所述的神经网络处理方法,其特征在于,所述确定通过第一设备运行所述第一子图的计算性能指标,包括:确定所述第一子图包括的至少一个算子;针对每个算子,确定所述算子的计算密度;所述计算密度用于表征传输单位数据对应的计算收益;基于所述算子的计算密度和
/
或所述算子的第一计算量,确定所述算子的第二计算量;基于各个算子分别对应的第二计算量,确定所述第一子图的计算性能指标
。4.
根据权利要求3所述的神经网络处理方法,其特征在于,所述基于所述算子的计算密度和
/
或所述算子的第一计算量,确定所述算子的第二计算量,包括:基于所述算子的计算密度和所述算子的第一计算量,得到所述算子的加权计算量,将所述加权计算量作为所述算子的第二计算量
。5.
根据权利要求4所述的神经网络处理方法,其...
【专利技术属性】
技术研发人员:陈新坜,张强,张宇超,
申请(专利权)人:安谋科技中国有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。