神经网络图划分系统及方法技术方案

本发明专利技术公开一种神经网络图划分系统和方法。该图划分系统用于将神经网络图划分为一系列子图，并允许在可用的硬件子系统中执行多个子图。该系统基于成本函数来估计分块子图的计算时间和内存带宽。图划分系统是一种硬件的周期估计模型，可以快速运行并且实现内存延迟的参数化。图划分系统支持对中央处理器、图形处理器、专用集成电路等不同类型的加速器进行异构划分。本发明专利技术还公开了一种将神经网络图划分为一系列子图的方法。为一系列子图的方法。为一系列子图的方法。

【技术实现步骤摘要】
神经网络图划分系统及方法


[0001]本专利技术涉及神经网络领域。更具体地说，本申请涉及一种将图划分为一系列子图的系统和方法，用于在资源受限的硬件系统上运行神经网络。

技术介绍

[0002]随着神经网络在泛在微计算环境中使用的日益增加，可能会导致平台的计算处理能力和内存方面的资源限制。通常，如在大型节点(例如具有高深度的卷积网络)情况下，人工智能芯片可能无法将整个图加载到芯片上。在资源受限的硬件系统上运行神经网络的一种可能解决方案是将原始神经网络图(neural network graph)分割成多个子图，并允许多个子图被可用的子系统执行。图划分可以为资源有限的人工智能应用提供可能的解决方案。
[0003]设计图划分算法的动机基于如下所述的多个因素。第一个因素是要求不同的运算符(operators)运行在不同的硬件后端(如阵列、数字信号处理器(DSP)等)上。第二个因素是需要将大图切分成多个小的子图，以使这些子图可以满足硬件限制。最后一个因素是要设计并决定这些子图在资源受限的硬件系统上的执行顺序。
[0004]随着神经网络规模的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用基于成本函数的参数搜索将神经网络图划分为多个子图的系统，其特征在于，所述系统包括：列表创建单元，用于创建白名单和黑名单，其中，所述列表创建单元包括关于所述神经网络图的所述白名单的多条边界和所述黑名单的多条边界；节点生成单元，用于利用硬分割以生成所述黑名单中的多个节点和所述白名单中的多个节点，其中，所述黑名单中的多个节点表示划分边界；优化单元，用于提供所述白名单中的多个节点对应的分组结果；划分生成单元，用于基于多个成本函数，在所述神经网络图中的多个节点之间进行划分，并且生成基于所述多个成本函数排序的多个划分路径；子图生成器，用于基于所述多个划分路径生成多个子图；以及子图优化器，用于通过搜索超参数计算节点限制来优化所述多个子图，其中，所述子图优化器向所述多个子图分配至少一个工作流，以便将所述神经网络图划分为所述多个子图。2.根据权利要求1所述的系统，其特征在于，所述至少一个工作流基于输入张量条带大小、输出张量条带大小、输入节点条带大小、输出节点条带大小、字节张量移动掩码和权值的使用率、重叠缓冲区大小、节点输入值的数据缓冲区和节点输出值的数据缓冲区中的至少一个来确定硬件属性。3.根据权利要求1所述的系统，其特征在于，所述多个成本函数用于计算所述子图中的起始节点和结束节点之间的最低成本。4.根据权利要求2所述的系统，其特征在于，所述系统还包括：子图检查单元，配置为检查所述字节张量移动掩码、所述权值的溢出、字节张量直接内存访问输入、输出溢出、所述重叠缓冲区大小的溢出、所述节点输入值的数据缓冲区、所述多个子图的内存访问规则。5.根据权利要求2所述的系统，其特征在于，所述系统...

【专利技术属性】
技术研发人员：左伟，张强，方辰昊，齐峥，
申请(专利权)人：黑芝麻智能科技重庆有限公司，
类型：发明
国别省市：