优化神经网络的技术制造技术

公开了优化神经网络的技术，具体地，公开了为神经网络高速缓存和重用数据的装置、系统和技术。在至少一个实施例中，由神经网络的一个或更多个层生成的数据被高速缓存且由所述神经网络重用。神经网络重用。神经网络重用。

【技术实现步骤摘要】
优化神经网络的技术


[0001]至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及根据本文描述的各种新技术高速缓存和重用神经网络生成的数据的处理器或计算系统。

技术介绍

[0002]使用神经网络进行推理可以使用大量的内存、时间或计算资源。可以改进用于执行神经网络推理的内存、时间或计算资源量。
附图说明
[0003]图1是示出根据至少一个实施例的优化神经网络的系统的框图；
[0004]图2是示出根据至少一个实施例的循环单元的框图；
[0005]图3是示出根据至少一个实施例的在三个时间步长上展开的循环单元的框图；
[0006]图4是示出根据至少一个实施例的为循环神经网络层高速缓存和重用数据的系统的框图；
[0007]图5示出了根据至少一个实施例的优化神经网络的技术的流程图；
[0008]图6示出了根据至少一个实施例的利用神经网络进行推理的技术的流程图；
[0009]图7A示出了根据至少一个实施例的推理和/或训练逻辑；
[0010]图7B示出了根据至少一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于使神经网络的一个或更多个层生成的数据被高速缓存且由所述神经网络重用。2.如权利要求1所述的处理器，其中所述一个或更多个层是循环层并且所述数据与状态无关。3.如权利要求1所述的处理器，其中所述数据被高速缓存在一个或更多个循环缓冲器中。4.如权利要求1所述的处理器，其中所述数据包括在第一时间步长的第一两个或更多个结果，以及在第二时间步长的第二两个或更多个结果。5.如权利要求1所述的处理器，其中所述数据包括由门控循环单元(GRU)层生成的两个或更多个结果。6.如权利要求1所述的处理器，其中所述数据包括由长短期记忆(LSTM)层生成的两个或更多个结果。7.如权利要求1所述的处理器，其中所述一个或更多个电路用于至少部分地基于所述神经网络的输出来生成推理结果。8.如权利要求1所述的处理器，其中所述一个或更多个层是循环层，所述数据包括在第一时间步长的第一两个或更多个结果和在第二时间步长的第二两个或更多个结果，并且其中包括所述第一两个或更多个结果和所述第二两个或更多个结果的所述数据被存储在单个循环缓冲器中。9.一种系统，包括：一个或更多个处理器，用于使由神经网络的一个或更多个层生成的数据被高速缓存且由所述神经网络重用；以及一个或更多个存储器，用于存储高速缓存的数据。10.如权利要求9所述的系统，其中所述一个或更多个层是循环层并且所述数据与状态无关。11.如权利要求9所述的系统，其中所述一个或更多个层生成状态相关数据和状态无关数据，并且所述高速缓存的数据是由所述一个或更多个层生成的状态无关数据。12.如权利要求9所述的系统，其中所述一个或更多个层是卷积门控循环单元(GRU)层。13.如权利要求9所述的系统，其中所述一个或更多个层是长短期记忆(LSTM)层。14.如权利要求9所述的系统，其中所述高速缓存的数据至少部分地基于更新门权重和重置门权重。15.如权利要求9所述的系统，其中所述数据包括在第一时间步长的第一两个或更多个结果和在第二时间步长的第二两个或更多个结果，并且其中将所述第一两个或更多个结果级联以形成第一级联张量，将所述第二两个或更多个结果级联以形成第二级联张量，所述第一级联张量和所述第二级联张量被存储在单个循环缓冲器中。16.如权利要求9所述的系统，其中所述一个或更多个处理器至少部分地基于所述神经网络的输出生成推理结果。17.一种在其上存储有一组指令的机器可读介质，如果由一个或更多个处理器执行所述指令，则使所述一个或更多个处理器至少：高速缓存由神经网络的一个或更多个层生成的数据；以及
由所述神经网络重用高速缓存的数据。18.如权利要求17所述的机器可读介质，其中所述一个或更多个层是循环层。19.如权利要求17所述的机器可读介质，其中所述高速缓存的数据是状态无关数据，并且所述一个或更多个层是卷积门控循环单元(GRU)层。20.如权利要求17所述的机器可读介质，其中所述高速缓存的数据是状态无关数据，并且所述一个或更多个层是长短期记忆(LSTM)层。21.如权利要求17所述的机器可读介质，其中如果由所述一个或更多个处理器执行所述指令，进...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：辉达公司，
类型：发明
国别省市：