支持深度神经网络应用中的动态张量形状的自适应缓冲管理制造技术

本公开涉及支持DNN中的动态张量形状的自适应缓冲管理。一种用于DNN的装置可以包括处理器电路，其被配置为：确定DNN中的对象的输入张量的张量形状是否是动态的并且存在于形状缓冲池中；当输入张量的张量形状是动态的并且存在于形状缓冲池中时，通过使用存储在形状缓冲池中的对象的编译结果运行对象；以及当输入张量的张量形状是动态的并且不存在于形状缓冲池中时，调用编译过程来执行对象的JIT编译，以获得对象的编译结果。

【技术实现步骤摘要】
【国外来华专利技术】

本文所述的实施例总体涉及神经网络领域，更具体地涉及支持深度神经网络(dnn)应用中的动态张量形状的自适应缓冲管理。

技术介绍

1、dnn是强大的学习模型，其在诸如计算机视觉、语音和语言处理的许多复杂任务上实现了最先进的性能。dnn包括输入层、输出层和在输入层和输出层之间的至少一个隐藏层，并使用复杂的数学建模来处理在这些网络层之间传送的数据，以提供复杂任务的解决方案。dnn中的数据可以被表示为各种张量。随着dnn的快速发展和广泛使用，人工智能(artificial intelligence，ai)解决方案和应用出现在各个领域中，并且这种趋势将继续比我们所能看到的更快地进行。由此，dnn中要处理的数据可能越来越复杂，并且被表示为各种类型的张量。

技术实现思路

【技术保护点】

1.一种用于深度神经网络(DNN)的装置，包括：

2.根据权利要求1所述的装置，其中，所述处理器电路还被配置为：通过添加由所述对象的所述JIT编译获得的所述对象的编译结果，来更新所述形状缓冲池。

3.根据权利要求1所述的装置，其中，所述处理器电路还被配置为：通过应用最近最少使用(LRU)算法移除针对不流行的张量形状的编译结果，来更新所述形状缓冲池。

4.根据权利要求1至3中任一项所述的装置，其中，所述处理器电路还被配置为当确定所述对象的所述输入张量的张量形状是静态时，通过使用基于静态张量形状的编译结果来运行所述对象。

5.根据权利要求1至3...

【技术特征摘要】
【国外来华专利技术】

1.一种用于深度神经网络(dnn)的装置，包括：

2.根据权利要求1所述的装置，其中，所述处理器电路还被配置为：通过添加由所述对象的所述jit编译获得的所述对象的编译结果，来更新所述形状缓冲池。

3.根据权利要求1所述的装置，其中，所述处理器电路还被配置为：通过应用最近最少使用(lru)算法移除针对不流行的张量形状的编译结果，来更新所述形状缓冲池。

4.根据权利要求1至3中任一项所述的装置，其中，所述处理器电路还被配置为当确定所述对象的所述输入张量的张量形状是静态时，通过使用基于静态张量形状的编译结果来运行所述对象。

5.根据权利要求1至3中任一项所述的装置，其中，所述编译过程包括基于用于所述编译过程的多级中间表示(ir)架构的ir降级过程。

6.根据权利要求5所述的装置，其中，所述ir降级过程包括形状推理遍历，该形状推理遍历用于从基于静态张量形状的高层级ir生成缓冲方言，并且所述缓冲方言被配置为定义具有静态或动态张量形状的一种或多种类型的张量的表示、与所述张量相关联的操作以及与所述操作相关联的属性。

7.根据权利要求6所述的装置，其中，所述ir降级过程还包括缓冲管理遍历，该缓冲管理遍历被配置为：当根据所述缓冲方言中的张量的表示确定所述张量需要动态缓冲时，为所述张量和与所述张量关联的对象设置标签，以指示所述张量是动态的并且不执行所述张量和所述关联对象的静态编译。

8.根据权利要求6所述的装置，其中，所述缓冲方言中的所述张量的表示是基于根据所述张量的张量值计算得到的静态单赋值(ssa)形式的。

9.根据权利要求1至3中任一项所述的装置，其中，所述输入张量具有静态秩。

10.一种用于深度神经网络(dnn)的方法，包括：

11.根据权利要求10所述的方法，还包括：通过添加...

【专利技术属性】
技术研发人员：凌丽阳，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：