一种基于图分割的深度学习推理加速方法技术

本发明专利技术公开一种基于图分割的深度学习推理加速方法，该方法步骤包括：网络节点赋权、带权有向图分割、搜索任务生成、搜索调优、反馈调整搜索任务、生成加速方案，本方法针对现有深度学习推理加速方法在神经网络分割方案不合理以及搜索任务无法调整的缺陷，提出了使用带权有向图来模拟深度学习神经网络，并按照带权有向图无环分割算法来分割深度学习神经网络的方法，并且在搜索优化过程中根据搜索调优的中间结果对搜索任务进行反馈调整，对搜索任务进行一定程度的修正及调整，从而得到更高效的加速方案，取得更好的加速效果。取得更好的加速效果。取得更好的加速效果。

【技术实现步骤摘要】
一种基于图分割的深度学习推理加速方法


[0001]本专利技术涉及图算法、计算机体系结构以及机器学习领域，具体涉及一种基于图分割的深度学习推理加速方法。

技术介绍

[0002]深度学习是人工智能领域中的一项关键技术，随着人工智能的不断发展，深度学习技术也得到了越来越多的发展与应用。如今，深度学习技术已经成为了各种应用程序的重要功能组成部分，例如，现在网络上绝大部分的翻译软件，这些翻译软件能帮助用户将不同的语言相互转译，其主要的组成部分就是深度学习神经网络，不同的词句经过深度学习神经网络的推理，再进行一定的转换，就成为了原词句的译句，这一应用帮助用户打破了语种的壁垒，让不同语言的用户也能相互理解，沟通。在消费领域，深度学习技术更是大展身手，诸如我们日常使用的手机购物应用，我们在搜索一些关键词后，会得到琳琅满目的商品列表，其就是推荐系统的功劳，它让我们的购物体验得到极大的优化，并且也为商家带来更多的消费者。
[0003]这些应用程序的背后都是依靠深度学习的推理来获得用户需要的信息。因此，深度学习的推理效率与用户体验便紧紧联系在了一起。试想，如果在搜索商品或者翻译外文时，需要经过一段不短时间的等待，这将极大影响用户的使用体验以及打击用户使用的积极性，这都是设计者不想看到的，因此对深度学习的推理进行加速势必是一件重要的工作。
[0004]对深度学习进行推理加速，主要分为两种方法，第一种方法就是工程师对特定的深度学习神经网络，根据特定的推理机器的结构进行分析，然后手工调整神经网络中权重数据的配置以及神经网络中繁多的计算过程的顺序，这往往需要工程师的经验十分丰富，并且还需要大量的时间进行配置，除此之外，不同网络，不同的机器又需要不同的配置。虽然手工调配所得到的配置往往是非常高效的，但是这背后所需要的昂贵的人力物力是大部分公司无法接受的。因此，现在得到更多应用的是第二种方法，自动调优。这种方法将配置的过程交给了计算机，通过模板以及搜索的方式，让计算机自己对复杂的配置进行搜索，然后保留搜索过程中所得到的最优配置，将其作为最终的结果。这种方法所得到的结果虽然比起手工调配略有不足，但是其适用性以及效率大大增加，这也是其得到更多青睐的原因。
[0005]现有的推理加速方法，先进行图级别优化，即将深度学习神经网络进行一定程度的分割，然后进行计算符级别优化，即对分割后得到的部分网络分别进行搜索调优。但是，其在分割时对于网络中的元素考虑不够周到，没有充分的利用其中的信息。例如，目前常用的图级别优化模块Relay在进行图级别优化时，并没有考虑计算符本身的计算量与输入输出规模，只是简单的将计算符分为几个种类，然后以这些类别作为分割神经网络的依据，这种方式缺乏了对计算符本身信息的考量，可能造成子图过大而导致搜索空间膨胀以至于后续搜索优化效率大大降低，也可能造成子图过小而影响搜索优化的最佳性能。除此之外，现有的方法往往将分割部分以及优化部分完全独立，这使得搜索得到信息不能很好的利用。
[0006]本专利技术对以上的技术缺陷进行了改进。首先，对于神经网络分割部分，本专利技术提出
使用带权图分割的方式，充分利用其中元素所提供的信息，根据其计算过程复杂度以及权重信息的容量对其中元素进行赋权，根据权重以及元素之间的依赖关系进行合理的分割；其次，本专利技术提出在搜索优化的过程中，根据搜索得到的信息进行反馈调整，对搜索任务进行一定程度的修正及调整，从而得到更高效的加速方案，取得更好的加速效果。

技术实现思路

[0007]本专利技术提出了一种基于图分割的深度学习推理加速方法，针对现有推理加速方法的弱点，旨在解决如何充分利用深度学习神经网络中计算元素的信息且据此生成合理的分割方案，并在搜索调优过程中充分利用搜索中间结果进行反馈调节从而生成更高效的加速方案的问题。
[0008]为解决上述问题，本专利技术通过以下技术方案来实现：
[0009]一种基于图分割的深度学习推理加速方法，其特征在于，该方法包括以下步骤：
[0010]步骤1)使用赋权方法对深度学习神经网络中的元素进行赋权；
[0011]步骤2)使用带权有向图无环分割算法对神经网络进行分割；
[0012]步骤3)所述步骤2)中分割后的神经网络模型所生成的任务进行搜索调优；
[0013]步骤4)在所述步骤3)的搜索调优过程中，通过反馈机制对搜索任务进行调整；
[0014]步骤5)生成加速方案。
[0015]上述的基于图分割的深度学习推理加速方法，其特征在于，所述步骤1)中赋权方法是根据计算符的输入输出数据的规模以及计算符类型，估计搜索优化该算子所需的搜索成本并以此为节点赋予权值。
[0016]上述的基于图分割的深度学习推理加速方法，其特征在于，所述步骤2)中带权有向图无环分割算法是按照拓扑序列为有向图中节点确定位置，并按照无环分割方法对其进行无环分割。
[0017]上述的基于图分割的深度学习推理加速方法，其特征在于，所述无环分割算法是按照节点拓扑位置确定分割可行性，并且使用贪心算法来确保无环分割方案的均衡性。
[0018]上述的基于图分割的深度学习推理加速方法，其特征在于，所述步骤4)中对搜索任务的反馈调整是在搜索优化的过程中，通过调优所得的中间结果，对搜索任务进行一定的调整，包括但不限于分割搜索任务，合并搜索任务。
[0019]本专利技术通过采用以上技术方案，可以得到以下有益效果：
[0020]本专利技术针对现有深度学习推理加速方法在神经网络分割方案不合理以及搜索任务无法调整的缺陷，提出了使用带权有向图来模拟深度学习神经网络，并按照带权有向图无环分割算法来分割深度学习神经网络的方法，并且在搜索优化过程中根据搜索调优的中间结果对搜索任务进行反馈调整，对于不同类型的深度学习神经网络都可以根据实际网络中算子的信息生成更为合理的分割方案，从而生成优化空间更大，效果更优的搜索任务。除此之外，系统在搜索优化的过程中，可以对搜索任务进行反馈性调整，经过调整的搜索任务取得了更为高效的加速方案。
附图说明
[0021]图1是本专利技术实施例基于图分割的深度学习推理加速方法应用场景的示意图。
[0022]图2是本专利技术实施例基于图分割的深度学习推理加速方法系统实施的流程示意图。
[0023]图3是本专利技术实施例图分割处理的流程示意图。
[0024]图4是本专利技术实施例无环分割算法的流程示意图。
具体实施方式
[0025]为了使本领域技术人员更好地理解本专利技术，以下结合附图和具体实施例对本专利技术做进一步详细阐述。
[0026]本专利技术通过构建带权有向图来描述深度学习神经网络，并且使用无环分割算法来限制自动调优器搜索任务的复杂程度，并且根据运行时信息反馈性调整搜索任务，从而获得更为高效的加速方案。
[0027]【实施例1】
[0028]如图1所示，图1是本专利技术实施例基于图分割的深度学习推理加速方法一种应用场景的示意图，图中场景中包含了一个或多个深度学习神经网络模型101，所述深度学习神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图分割的深度学习推理加速方法，其特征在于，该方法包括以下步骤：步骤1)使用赋权方法对深度学习神经网络中的元素进行赋权；步骤2)使用带权有向图无环分割算法对神经网络进行分割；步骤3)所述步骤2)中分割后的神经网络模型所生成的任务进行搜索调优；步骤4)在所述步骤3)的搜索调优过程中，通过反馈机制对搜索任务进行调整；步骤5)生成加速方案。2.根据权利要求1所述的基于图分割的深度学习推理加速方法，其特征在于，所述步骤1)中赋权方法是根据计算符的输入输出数据的规模以及计算符类型，估计搜索优化该算子所需的搜索成本并以此为节点赋予权值。3.根据权利要求1...

【专利技术属性】
技术研发人员：彭宏鼎，许志营，王炜，
申请(专利权)人：南京大学，
类型：发明
国别省市：