一种基于图分割的深度学习推理加速方法技术

本发明专利技术公开一种基于图分割的深度学习推理加速方法，该方法步骤包括：网络节点赋权、带权有向图分割、搜索任务生成、搜索调优、反馈调整搜索任务、生成加速方案，本方法针对现有深度学习推理加速方法在神经网络分割方案不合理以及搜索任务无法调整的缺陷，提出了使用带权有向图来模拟深度学习神经网络，并按照带权有向图无环分割算法来分割深度学习神经网络的方法，并且在搜索优化过程中根据搜索调优的中间结果对搜索任务进行反馈调整，对搜索任务进行一定程度的修正及调整，从而得到更高效的加速方案，取得更好的加速效果。取得更好的加速效果。取得更好的加速效果。

【技术实现步骤摘要】
一种基于图分割的深度学习推理加速方法


[0001]本专利技术涉及图算法、计算机体系结构以及机器学习领域，具体涉及一种基于图分割的深度学习推理加速方法。

技术介绍

[0002]深度学习是人工智能领域中的一项关键技术，随着人工智能的不断发展，深度学习技术也得到了越来越多的发展与应用。如今，深度学习技术已经成为了各种应用程序的重要功能组成部分，例如，现在网络上绝大部分的翻译软件，这些翻译软件能帮助用户将不同的语言相互转译，其主要的组成部分就是深度学习神经网络，不同的词句经过深度学习神经网络的推理，再进行一定的转换，就成为了原词句的译句，这一应用帮助用户打破了语种的壁垒，让不同语言的用户也能相互理解，沟通。在消费领域，深度学习技术更是大展身手，诸如我们日常使用的手机购物应用，我们在搜索一些关键词后，会得到琳琅满目的商品列表，其就是推荐系统的功劳，它让我们的购物体验得到极大的优化，并且也为商家带来更多的消费者。
[0003]这些应用程序的背后都是依靠深度学习的推理来获得用户需要的信息。因此，深度学习的推理效率与用户体验便紧紧联系在了一起。试想，如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图分割的深度学习推理加速方法，其特征在于，该方法包括以下步骤：步骤1)使用赋权方法对深度学习神经网络中的元素进行赋权；步骤2)使用带权有向图无环分割算法对神经网络进行分割；步骤3)所述步骤2)中分割后的神经网络模型所生成的任务进行搜索调优；步骤4)在所述步骤3)的搜索调优过程中，通过反馈机制对搜索任务进行调整；步骤5)生成加速方案。2.根据权利要求1所述的基于图分割的深度学习推理加速方法，其特征在于，所述步骤1)中赋权方法是根据计算符的输入输出数据的规模以及计算符类型，估计搜索优化该算子所需的搜索成本并以此为节点赋予权值。3.根据权利要求1...

【专利技术属性】
技术研发人员：彭宏鼎，许志营，王炜，
申请(专利权)人：南京大学，
类型：发明
国别省市：