一种基于离散向量的深度学习系统及方法技术方案

本发明专利技术公开了一种基于离散向量的深度学习系统及方法，该基于离散向量的深度学习系统包括：离散性属性导出模块、离散性属性传播模块、代码生成模块及代码执行模块；所述离散性属性导出模块，用于导出DNN模型中初始向量的离散性属性；所述离散性属性传播模块，用于获取DNN模型中所有向量的离散性属性；所述代码生成模块，用于将原始执行计划转换为具有给定离散性模式的新执行计划，并生成端到端DNN代码；所述代码执行模块，用于获取可信的性能反馈。本发明专利技术所提供的系统是高度可定制的和可扩展的，不仅能够利用离散性的新方法定义新的离散性属性和模式，且能够提供新的离散性属性向量传播规则。量传播规则。量传播规则。

【技术实现步骤摘要】
一种基于离散向量的深度学习系统及方法


[0001]本专利技术涉及深度学习领域，具体来说，涉及一种基于离散向量的深度学习系统及方法。

技术介绍

[0002]随着深度神经网络(DNN)变得更大和更复杂，与实际的生物神经网络中体现的特点一样，离散性正在成为DNN探索效率和可伸缩性的最关键的维度。一个DNN模型通常被建模为一个数据流图(DFG)，其中DFG中的每个节点都是一个具有一个或多个输入和输出向量的操作符。
[0003]模型离散性包括在向量上引入一些特定的离散性模式：量化或者是剪枝，或者是两者的结合。通过仔细的量化和修剪，DNN模型可以压缩到更小的内存占用，而不会损失太多的精度。但是目前的深度学习系统还不能有效地利用离散性：由于各种原因，离散性的增加并没有转化为相应的效率的提高。首先，一般离散操作的计算仍然不是最优的。
[0004]例如，用于离散矩阵操作的CUDA库cuSPARSE已经被证明性能不佳。其次，由于DNN计算倾向于需要多个阶段，离散性模式可能在不同阶段之间存在显著差异，这使得开发针对端到端增益的离散性感知优化变得困难。最后，任何有效的离散感知优化都可能涉及跨垂直堆栈的额外支持，从深度学习框架、编译器、优化器、操作符和内核，以及一直到硬件，在任何一层上的软硬件支持不充分都可能导致效率低下
[0005]目前存在的离散性模型非常常见，目前有各种离散性模式正在研究中：共粒度离散性，包括信道粒度离散性和块离散性，他们涉及到剪枝信道或向量的子块，且与某些操作符相关联，只要具有细粒度离散性的向量的任何元素都可以被修剪。量化算法代表了在不同的精度水平上的模型，甚至在神经网络层或单个向量内具有不同的混合精度。一些研究进一步结合了剪枝和量化，以在严格的延迟和内存约束下获得较高的精度。总的来说，剪枝和量化已经被证明可以有效地减少某些深度学习模型的大小和延迟，有时超过10倍，而不会损失很多准确性。
[0006]当前，现有的离散性模型存在的缺陷为：
[0007]1、模型的离散性并不能直接转化为性能效益：我们现在使用“代理度量”(例如，失败率或每秒浮点运算)来评估当前策略的效果，但是这样的模型推理延迟的方法是有缺陷的，并会导致不准确的结果。例如，当一个操作子的权值以细粒度的离散性修剪了50％时，即使理论上它的失败率可以减少一半，但是使用默认的离散核，实际的模型延迟甚至可能会变得更高。这样的原因之一是当前的通用离散核实现和当前的策略支持度不够。一个离散核倾向于设置一个阈值来决定一个向量或一个行/列是离散的还是密集的，这种粗粒度的离散性假设为离散核提供了有限的优化上限，同时我们也只能使用离散编码来减少内存的使用；
[0008]2、到端性能回报不足：离散性算法通常侧重于探索某个DNN算子的离散性(例如卷积)。然而，当放置在端到端深度学习模型中时，整个模型的离散模式可能会受到模型中每
个操作符的影响，这可能会引入难以理解或优化的复杂离散模式，导致离散性的端到端返回值减少。如图6所示，向量W2显示了一个细粒度的离散模式(63％的离散模式)，即使没有进一步的复杂性，W2的初始离散模式也会引起连锁效应。W2将其离散性属性传播到下游和上游向量，包括W1、T2、T3、T4、T5和W5。由于W2的第二列被修剪了，T3的第二列注定全部为零，因此也相应的被修剪(如T2
×
W2＝T3)。同样的，当W2的第三行被修剪时，T2的第三列也被修剪。因此，如果深度学习编译器能利用这种离散性的传播，就能进一步实现端到端离散性感知优化；
[0009]3、跨垂直堆栈的额外支持：模型的离散性策略往往可以在垂直堆栈中工作，但是由于缺乏一个共同的基础来建立整个计算过程中的优化策略，在不同软硬件实现程度上并不统一，所以管理员通常必须手动端到端地实现他们的离散性算法。
[0010]总的来说，所面临的问题是通用离散内核仍远未达到最佳状态；难以匹配当前设计的离散性方法；针对局部优化指标而没有关注到全局收益；对离散性创新的支持不足。
[0011]针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

[0012]针对相关技术中的问题，本专利技术提出一种基于离散向量的深度学习系统及方法，以克服现有相关技术所存在的上述技术问题。
[0013]为此，本专利技术采用的具体技术方案如下：
[0014]根据本专利技术的一个方面，提供了一种基于离散向量的深度学习系统，该基于离散向量的深度学习系统包括：离散性属性导出模块、离散性属性传播模块、代码生成模块及代码执行模块；
[0015]所述离散性属性导出模块，用于导出DNN模型中初始向量的离散性属性；
[0016]所述离散性属性传播模块，用于获取DNN模型中所有向量的离散性属性；
[0017]所述代码生成模块，用于将原始执行计划转换为具有给定离散性模式的新执行计划，并生成端到端DNN代码；
[0018]所述代码执行模块，用于利用生成的端到端DNN代码对DNN模型进行配置，并获取可信的性能反馈。
[0019]进一步的，所述用于获取DNN模型中所有向量的离散性属性包括以下步骤：
[0020]获取初始向量的离散性属性；
[0021]利用基于初始向量的离散性属性在操作符的粒度中沿着DNN模型的数据流图传播下游和上游；
[0022]推导出DNN模型中所有向量的离散性属性。
[0023]进一步的，所述用于将原始执行计划转换为具有给定离散性模式的新执行计划，并生成端到端DNN代码包括以下步骤：
[0024]利用DNN模型生成原始执行计划，将原始执行计划转换为具有给定离散性属性的新执行计划；
[0025]对新执行计划进行编译传递处理；
[0026]利用DNN模型中的离散性属性进行专门化代码处理；
[0027]基于离散性模式中的离散性属性及专门化代码的处理生成高效的端到端DNN代
码。
[0028]进一步的，所述可信的性能反馈包括DNN模型的整个或特定部分的内存消耗和延迟。
[0029]进一步的，所述利用DNN模型生成原始执行计划，将原始执行计划转换为具有给定离散性属性的新执行计划包括以下步骤：
[0030]将权值向量转化为不同的两个向量；
[0031]引入两个操作符分别对不同的两个向量进行处理；
[0032]将两个操作符利用相应的量化方案使用硬件指令；
[0033]将带有一个向量操作的原始执行计划转换为具有给定离散型属性的新执行计划。
[0034]进一步的，所述对新执行计划进行编译传递处理包括以下步骤：
[0035]将具有复杂离散性模式的向量转换为更简单的离散性模式的组合；
[0036]将每个简化的离散性模式生成一个有效的核；
[0037]重写算子的执行计划，以适应新的算子来计算新变换的向量；
[0038]对转换后的新执行计划执行代码生成，并专门化执行具有离散性感知的代码。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于离散向量的深度学习系统，其特征在于，该基于离散向量的深度学习系统包括：离散性属性导出模块、离散性属性传播模块、代码生成模块及代码执行模块；所述离散性属性导出模块，用于导出DNN模型中初始向量的离散性属性；所述离散性属性传播模块，用于获取DNN模型中所有向量的离散性属性；所述代码生成模块，用于将原始执行计划转换为具有给定离散性模式的新执行计划，并生成端到端DNN代码；所述代码执行模块，用于利用生成的端到端DNN代码对DNN模型进行配置，并获取可信的性能反馈。2.根据权利要求1所述的一种基于离散向量的深度学习系统，其特征在于，所述用于获取DNN模型中所有向量的离散性属性包括以下步骤：获取初始向量的离散性属性；利用基于初始向量的离散性属性在操作符的粒度中沿着DNN模型的数据流图传播下游和上游；推导出DNN模型中所有向量的离散性属性。3.根据权利要求1所述的一种基于离散向量的深度学习系统，其特征在于，所述用于将原始执行计划转换为具有给定离散性模式的新执行计划，并生成端到端DNN代码包括以下步骤：利用DNN模型生成原始执行计划，将原始执行计划转换为具有给定离散性属性的新执行计划；对新执行计划进行编译传递处理；利用DNN模型中的离散性属性进行专门化代码处理；基于离散性模式中的离散性属性及专门化代码的处理生成高效的端到端DNN代码。4.根据权利要求1所述的一种基于离散向量的深度学习系统，其特征在于，所述可信的性能反馈包括DNN模型的整个或特定部分的内存消耗和延迟。5.根据权利要求3所述的一种基于离散向量的深度学习系统，其特征在于，所述利用DNN模型生成原始执行计划，将原始执行计划转换为具有给定离散性属性的新执行计划包括以下步骤：将权值向量转化为不同的两个向量；引入两个操作符分别对不同的两个向量进行处理；将两个操作符利用相应的量化方案使用硬件指令；将带有一个向量操作的原始执行计划转换为具有给定离散型属性的新执行计划。6.根据权利要求5所述的一种基于离散向量的深度学习系统，其特征在于，所述对新执行计划进行编译传递处理包括以下步骤：将具有复杂离散性模...

【专利技术属性】
技术研发人员：孙礼锐，王鑫宇，王中盟，
申请(专利权)人：安徽深图科技有限公司，
类型：发明
国别省市：