本申请提供一种基于深度学习的模型压缩训练的方法、装置和设备。该方法包括：在对深度学习模型进行训练的迭代过程中，当运行至目标算子时，获取目标算子的输入数据，目标算子为数据待压缩的算子；从映射关系存储文件中获取与目标算子对应的压缩参数，其中，映射关系存储文件中包括与每一目标算子对应的压缩参数；基于与目标算子对应的压缩参数，对目标算子的输入数据进行压缩，以得到压缩数据；根据压缩数据对深度学习模型进行训练。本申请的方法，有助于加快模型训练速度，同时减少计算资源消耗。耗。耗。
【技术实现步骤摘要】
基于深度学习的模型压缩训练的方法、装置和设备
[0001]本申请涉及深度学习技术和人工智能领域，尤其涉及一种基于深度学习的模型压缩训练的方法、装置和设备。
技术介绍
[0002]随着人工智能技术的发展，深度学习模型广泛应用于图像处理、自然语言处理等领域。深度学习需要用到大量的神经网络和运算模块，基于这个需求目前有很多深度学习框架，例如PyTorch、Caffe、MXNet和TensorFlow等。深度学习框架通常是基于计算图设计的，计算图可分为静态计算图和动态计算图。静态图指先定义再运行，一次定义多次运行。动态图是在运行过程中被定义的，在运行的时候构建，可以多次构建多次运行。基于这样的功能设计思路，运算模块对应图中的一个节点，图中包含多个运算节点。由于动态图的思想直观明了，更符合人的思考过程，使用动态图设计深度学习模型的研究越来越多。
[0003]深度学习模型的压缩是指利用神经网络参数的冗余性和网络结构的冗余性来精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型对于计算资源和内存的需求更小，相比原始未压缩的模型能够满足更加广泛的应用需求。
[0004]目前，在基于深度学习的模型压缩训练过程中，当运行至可以实现数据压缩的算子时，算子内部需要完成根据输入数据计算压缩参数，然后通过计算获得的压缩参数对输入数据进行压缩处理，数据被压缩处理之后再进行算子计算以输出结果。
[0005]在模型训练的迭代过程中，每一次迭代过程中都需要计算一次压缩参数，导致模型训练的速度较慢，模型训练的过程运行在计算设备上，进而导致需要消耗计算设备的大量计算资源。
技术实现思路
[0006]本申请提供一种基于深度学习的模型压缩训练的方法、装置和设备，用以解决深度学习模型训练速度慢、计算资源消耗大的问题。
[0007]第一方面，本申请提供一种基于深度学习的模型压缩训练的方法，所述深度学习模型包括多个算子，所述方法包括：
[0008]在对深度学习模型进行训练的迭代过程中，当运行至目标算子时，获取所述目标算子的输入数据，所述目标算子为数据待压缩的算子；
[0009]从映射关系存储文件中获取与所述目标算子对应的压缩参数，其中，所述映射关系存储文件中包括与每一目标算子对应的压缩参数；
[0010]基于与所述目标算子对应的压缩参数，对所述目标算子的输入数据进行压缩，以得到压缩数据；
[0011]根据所述压缩数据对所述深度学习模型进行训练。
[0012]第二方面，本申请提供一种基于深度学习的模型压缩训练的装置，所述深度学习
模型包括多个算子，所述装置包括：
[0013]获取单元，用于在对深度学习模型进行训练的迭代过程中，当运行至目标算子时，获取所述目标算子的输入数据；所述目标算子为数据待压缩的算子；
[0014]映射单元，用于从映射关系存储文件中获取与所述目标算子对应的压缩参数，所述映射关系存储文件中包括与每一目标算子对应的压缩参数；
[0015]压缩单元，用于基于与所述目标算子对应的压缩参数，对所述目标算子的输入数据进行压缩，以得到压缩数据；
[0016]训练单元，用于根据所述压缩数据对所述深度学习模型进行训练。
[0017]第三方面，本申请提供一种芯片，包括如上述第二方面所述的基于深度学习的模型压缩训练的装置。
[0018]第四方面，本申请提供一种计算机设备，包括：处理器以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如上述第一方面所述的基于深度学习的模型压缩训练的方法。
[0019]第五方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述第一方面所述的基于深度学习的模型压缩训练的方法。
[0020]第六方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的基于深度学习的模型压缩训练的方法。
[0021]本申请提供的基于深度学习的模型压缩训练的方法、装置和设备，深度学习模型包括多个算子，在对深度学习模型进行训练的迭代过程中，当运行至目标算子时，获取目标算子的输入数据，目标算子为数据待压缩的算子；从映射关系存储文件中获取与目标算子对应的压缩参数，其中，映射关系存储文件中包括与每一目标算子对应的压缩参数；基于与目标算子对应的压缩参数，对目标算子的输入数据进行压缩，以得到压缩数据；根据压缩数据对深度学习模型进行训练。据此，引入映射关系存储文件来存储深度学习模型训练迭代过程中使用的与目标算子对应的压缩参数，使得之前迭代过程中计算的压缩参数能够复用，降低每一次迭代过程中需要对各目标算子都计算一次压缩参数的概率，减少计算压缩参数所需要的时间，从而有助于加快模型训练速度，同时减少计算资源消耗。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0023]图1为本公开一示例性实施例示出的板卡的结构图；
[0024]图2为本公开一示例性实施例示出的组合处理装置的结构图；
[0025]图3为本公开一示例性实施例示出的计算装置的内部结构示意图；
[0026]图4为本公开一示例性实施例示出的处理器核的内部结构示意图；
[0027]图5为本公开一示例性实施例示出的不同集群的处理器核间的数据写入过程示意图；
[0028]图6为本公开一示例性实施例示出的基于深度学习的模型压缩训练的方法的流程示意图；
[0029]图7为本公开另一示例性实施例示出的基于深度学习的模型压缩训练方法的流程示意图；
[0030]图8为本公开另一示例性实施例示出的基于深度学习的模型压缩训练方法的流程示意图；
[0031]图9为本公开一示例性实施例示出的基于深度学习的模型压缩训练的装置的结构示意图；
[0032]图10为本公开另一示例性实施例示出的基于深度学习的模型压缩训练的装置的结构示意图；
[0033]图11为本公开一示例性实施例示出的计算机设备的结构示意图；
[0034]图12为本公开一示例性实施例示出的计算机设备的框图。
[0035]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0036]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。下面首本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的模型压缩训练的方法，其特征在于，所述深度学习模型包括多个算子，所述方法包括：在对深度学习模型进行训练的迭代过程中，当运行至目标算子时，获取所述目标算子的输入数据，所述目标算子为数据待压缩的算子；从映射关系存储文件中获取与所述目标算子对应的压缩参数，其中，所述映射关系存储文件中包括与每一目标算子对应的压缩参数；基于与所述目标算子对应的压缩参数，对所述目标算子的输入数据进行压缩，以得到压缩数据；根据所述压缩数据对所述深度学习模型进行训练。2.根据权利要求1所述的方法，其特征在于，从映射关系存储文件中获取与所述目标算子对应的压缩参数，包括：以所述目标算子的算子标识符为键值在映射关系存储文件中进行映射，获得与所述目标算子的算子标识符对应的压缩参数，作为与所述目标算子对应的压缩参数。3.根据权利要求1所述的方法，其特征在于，基于与所述目标算子对应的压缩参数，对所述目标算子的输入数据进行压缩，以得到压缩数据，包括：若基于预设策略确定与所述目标算子对应的压缩参数无需更新，则根据与所述目标算子对应的压缩参数，对所述目标算子的输入数据进行压缩，以得到压缩数据；若基于预设策略确定与所述目标算子对应的压缩参数需要更新，则根据所述目标算子的输入数据计算新的压缩参数，根据所述新的压缩参数，对所述目标算子的输入数据进行压缩，以得到压缩数据。4.根据权利要求3所述的方法，其特征在于，在根据所述目标算子的输入数据计算新的压缩参数之后，还包括：将所述映射关系存储文件中与所述目标算子对应的压缩参数，更新为所述新的压缩参数。5.根据权利要求3所述的方法，其特征在于，所述预设策略为所述目标算子的输入数据经过与所述目标算子对应的压缩参数的压缩之后得到的数据范围，是否在预设范围之内；基于预设策略确定与所述目标算子对应的压缩参数无需更新，包括：若所述数据范围在所述预设范围之内，则确定与所述目标算子对应的压缩参数无需更新；基于预设策略确定与所述目标算子对应的压缩参数需要更新，包括：若所述数据范围不在所述预设范围之内，则确定与所述目标算子对应的压缩参数需要更新。6.根据权利要求3所述的方法，其特征在于，在若基于预设策略确定与所述目标算子对应的压缩参数无需更新之前，还包括：在确定达到预设的更新间隔次数时，基于预设策略确定与所述目标算子对应的压缩参数是否需要更新。7.根据权利要求6...
【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。