【技术实现步骤摘要】
基于神经网络的张量处理方法、装置和电子设备
本申请涉及计算机
,且更具体地,涉及一种基于神经网络的张量处理方法、装置和电子设备。
技术介绍
在神经网络在实际实际芯片上的运行过程中,芯片往往需要按顺序依次执行多个不同的张量运算。对于任意一个运算,在执行该运算时,首先要将需要参与该运算的输入数据存储在第一存储器中,然后芯片从第一存储器中读取该运算的输入数据,再对该输入数据执行该运算,得到该运算的输出数据,然后从第一存储器中删除不需要参与之后的每一个运算的数据。其次,该运算的输出数据往往又是之后的某一个运算的输入数据,因此,为了能够顺利执行之后依赖概论计算输出结果的某一个运算,则需要将该运算的输出数据存储在第一存储器中。假设该运算的输出数据需要参与与该运算相邻的下一个运算,则此时需要立刻将该运算的输出数据存储在第一存储器中,但是,如果此时第一存储器中存储的数据较多,则会导致第一存储器中的空闲存储空间无法容纳该运算的输出数据,进而导致芯片无法执行下一个运算。为了能够将该运算的输出数据存储第一存储器中,以 ...
【技术保护点】
1.一种基于神经网络的张量处理方法,包括:/n在所述神经网络的运算过程中,确定获取待存储张量;/n如果第一存储器中的空闲存储空间小于所述待存储张量的第一占用空间,在所述第一存储器中已存储的张量中确定待备份张量;/n将所述待备份张量中的部分张量存储在第二存储器中,所述空闲存储空间与所述部分张量的第二占用空间之和大于或等于所述第一占用空间;/n基于所述空闲存储空间和所述第二占用空间,将所述待存储张量存储在所述第一存储器中。/n
【技术特征摘要】
1.一种基于神经网络的张量处理方法,包括:
在所述神经网络的运算过程中,确定获取待存储张量;
如果第一存储器中的空闲存储空间小于所述待存储张量的第一占用空间,在所述第一存储器中已存储的张量中确定待备份张量;
将所述待备份张量中的部分张量存储在第二存储器中,所述空闲存储空间与所述部分张量的第二占用空间之和大于或等于所述第一占用空间;
基于所述空闲存储空间和所述第二占用空间,将所述待存储张量存储在所述第一存储器中。
2.根据权利要求1所述的方法,其中,所述第一存储器的存储总空间小于所述第二存储器的存储总空间;所述第一存储器的数据读写速率大于所述第二存储器的数据读写速率。
3.根据权利要求1所述的方法,其中,所述待存储张量包括基于第一运算得到的张量,所述第一运算是所述神经网络中具有先后运算顺序的多个预设运算中的一个运算;
所述在所述第一存储器中已存储的张量中确定待备份张量,包括:
确定需要参与所述第二运算的运算张量,所述第二运算为所述多个预设运算中与所述第一运算相邻且位于所述第一运算之后的运算;
将所述第一存储器中已存储的张量中除所述运算张量以外的张量确定为所述待备份张量。
4.根据权利要求3所述的方法,其中,所述将所述第一存储器中已存储的张量中除所述运算张量以外的张量确定为所述待备份张量,包括:
确定所述第一存储器中已存储的张量中的除所述运算张量以外的每一个张量分别所需参与的运算;
在所述第一存储器中已存储的张量中的除所述运算张量以外的多个张量中,将所需参与的运算与所述第一运算之间间隔至少一个运算的张量确定为所述待备份张量。
5.根据权利要求3所述的方法,其中,所述将所述第一存储器中已存储的张量中除所述运算张量以外的张量确定为所述待备份张量,包括:
确定所述第一存储器中已存储的张量中的除所述运算张量以外的每一个张量分别所需参与的运算;
在所述第一存储器中已存储的张量中的除所述运算张量以外的多个张量中,将所需参与的运算与所述第一运算之间间隔的运算最多的张量确定为所述待备份张量。
6.根据权利要求5所述的方法,其中,所述将所述第一存储器中已存储的张量中除所述运算张量以外的张量确定为所述待备份张量,包括:
如果所需参与的运算与所述第一运算之间间隔的运算最多的张量为至少两个,则在至少两个张量中,将占用空间与所述空闲存储空间相邻的张量确定为所述待...
【专利技术属性】
技术研发人员:凌坤,李德林,陈亮,李建军,
申请(专利权)人:北京地平线信息技术有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。