【技术实现步骤摘要】
【国外来华专利技术】经编译以用于在深度学习加速器上执行的人工神经网络的计算的运行时间优化
[0001]相关申请
[0002]本申请要求2020年11月6日申请且名称为“经编译以用于在深度学习加速器上执行的人工神经网络的计算的运行时间优化(RUNTIME OPTIMIZATION OF COMPUTATIONS OF AN ARTIFICIAL NEURAL NETWORK COMPILED FOR EXECUTION ON A DEEP LEARNING ACCELERATOR)”的第17/092,044号美国专利申请，其全部公开内容由此以引用方式并入本文中。
[0003]本文所公开的至少一些实施例大体上涉及编译器，且更明确地说，但不限于可由加速器执行以实施人工神经网络(ANN)的指令的编译器运行时间支持，所述ANN例如通过机器学习和/或深度学习配置的ANN。
技术介绍
[0004]人工神经网络(ANN)使用神经元网络来处理到网络的输入，且生成网络的输出。
[0005]深度学习已应用于许多应用领域，例如计算机视觉、语音/...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，其包括：在计算设备中接收表示第一人工神经网络的描述的数据；由所述计算设备基于能够在装置上执行且能够经由第二人工神经网络控制的运行时库编译所述第一人工神经网络；以及由所述计算设备将表示所述人工神经网络的所述描述的所述数据转换成编译器输出，所述编译器输出具有能够在所述装置上执行以响应于到所述第一人工神经网络的输入而生成所述第一人工神经网络的输出的指令，所述指令配置成调用所述运行时库中的例程以使所述第二人工神经网络至少部分地基于所述输入经由所述第一人工神经网络处理而控制所述运行时库的执行。2.根据权利要求1所述的方法，其中所述第二人工神经网络配置成接收表示由所述第一人工神经网络处理的数据的特征的数据作为输入，且识别用以优化所述运行时库的执行的一或多个执行选项作为输出。3.根据权利要求2所述的方法，其中独立于所述第一人工神经网络的所述描述构造所述第二人工神经网络。4.根据权利要求3所述的方法，其中所述第二人工神经网络配置成在所述指令的执行期间辨识由所述运行时库中的所述例程处理的数据模式，且基于所述模式识别所述或多个执行选项。5.根据权利要求3所述的方法，其中所述第二人工神经网络配置成在所述指令的执行期间辨识所述运行时库中的所述例程的使用模式，且基于所述模式识别所述或多个执行选项。6.根据权利要求3所述的方法，其中在从所述第一人工神经网络的所述描述转换的所述指令的执行期间，所述第二人工神经网络的计算通过所述运行时库的所述例程的使用连接到所述第一人工神经网络的计算；并且由所述第二人工神经网络处理的数据来源于到所述第一人工神经网络的所述输入和所述指令的执行。7.根据权利要求6所述的方法，其中所述装置具有随机存取存储器和配置成执行矩阵操作的至少一个处理单元；所述编译器输出包含表示所述第一人工神经网络的参数的第一数据和表示所述指令的第二数据，所述指令能够由所述至少一个处理单元执行以响应于到所述第一人工神经网络的所述输入而生成所述第一人工神经网络的所述输出；并且所述第二人工神经网络的计算由所述至少一个处理单元经由执行其他指令实施。8.根据权利要求3所述的方法，其进一步包括：使用多个执行选项生成训练数据集；以及使用机器学习技术和所述训练数据集训练所述第二人工神经网络，以基于由所述运行时库处理的数据识别执行选项作为所述第二人工神经网络的输出。9.根据权利要求8所述的方法，其中所述训练数据集的所述生成包括：在处理到所述第一人工神经网络的不同输入时在所述编译器输出的不同运行期间应用所述多个执行选项；以及确定与到所述第一人工神经网络的所述不同输入的特征相关联的所述执行选项的性能水平。10.根据权利要求9所述的方法，其中所述第二人工神经网络的所述训练在所述装置中
执行。11.根据权利要求9所述的方法，其进一步包括：接收由具有所述运行时库的多个装置生成的训练数据集；以及更新所述运行时库以包含配置成实施使用所述训练数据集训练的所述第二人工神经网络的指令和矩阵。12.一种计算设备，其包括：存储器；以及至少一个微处理器，其配置成：接收表示第一人工神经网络的描述的数据；基于能够在装置上执行且能够经由...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。