一种基于硬件的训练模型部署方法及装置制造方法及图纸

本申请提供了一种基于硬件的训练模型部署方法。首先，按照目标硬件的内部取整方式对训练模型进行量化感知训练，得到目标模型，使得目标模型的模型参数为整数，其中，训练模型是通过训练样本训练神经网络得到的。然后，将目标模型部署到目标硬件的内部。目标模型是按照目标硬件的内部取整方式对训练模型进行量化感知训练得到的，该方法使得目标模型的取整计算逻辑与目标硬件的内部取整计算逻辑一致，避免目标模型部署至目标硬件的内部产生误差，实现快速适配目标模型和目标硬件，从而降低了模型的实际部署难度，提高了模型的实际部署效果。果。果。

【技术实现步骤摘要】
一种基于硬件的训练模型部署方法及装置


[0001]本申请涉及深度神经网络
，尤其涉及一种基于硬件的训练模型部署方法及装置。

技术介绍

[0002]随着神经网络在各种业务场景的广泛使用，神经网络的结构也越来越复杂，训练神经网络得到的训练模型的计算量也越来越大，对于如何将训练模型部署至计算力及存储受限的硬件的内部，成为了目前研究的重点。
[0003]现阶段，为了将训练模型部署至计算力及存储受限的硬件的内部，通常对训练模型进行量化感知训练，以便将量化感知训练后的训练模型部署至硬件的内部。
[0004]然而，上述量化感知训练方式并没有考虑硬件的实际计算方式，量化感知训练后的训练模型部署至硬件的内部后容易产生较大误差，尤其是随着目标模型的深度增加导致误差增大，影响模型的实际部署效果。

技术实现思路

[0005]有鉴于此，本申请实施例提供了一种基于硬件的训练模型部署方法及装置，旨在提高模型的实际部署效果。
[0006]第一方面，本申请实施例提供了一种基于硬件的训练模型部署方法，所述方法包括：
[0007]按照目标硬件的内部取整方式对训练模型进行量化感知训练，获得目标模型，所述训练模型是根据训练样本和神经网络进行训练得到的，所述目标模型的模型参数为整数；
[0008]将所述目标模型部署至所述目标硬件的内部。
[0009]可选地，所述按照目标硬件的内部取整方式对训练模型进行量化感知训练，获得目标模型，包括：
[0010]按照所述内部取整方式对所述训练模型的输入数据和浮点参数进行整型转换，获得转换后的输入数据和转换后的浮点参数；
[0011]将所述转换后的输入数据和所述转换后的浮点参数输入算子内部进行计算，获得计算结果，所述算子内部的计算方式符合所述内部取整方式；
[0012]根据所述计算结果和损失函数更新所述浮点参数，获得所述目标模型。
[0013]可选地，在所述按照目标硬件的内部取整方式对训练模型进行量化感知训练，获得目标模型之前，还包括：
[0014]按照浮点参数约束条件对所述训练模型进行浮点约束训练，获得约束后的训练模型，所述约束后的训练模型的模型参数符合所述浮点参数约束条件中预设参数数值范围；
[0015]所述按照目标硬件的内部取整方式对训练模型进行量化感知训练，获得目标模型，包括：
[0016]按照所述内部取整方式对所述约束后的训练模型进行量化感知训练，获得所述目标模型。
[0017]可选地，所述按照浮点参数约束条件对所述训练模型进行浮点约束训练，获得约束后的训练模型，包括：
[0018]按照所述浮点参数约束条件对所述训练模型的浮点参数进行约束，获得约束后的浮点参数，所述约束后的浮点参数符合所述预设参数数值范围；
[0019]对所述训练模型的输入数据和所述约束后的浮点参数进行正向计算，获得所述训练模型的输出数据；
[0020]根据所述输出数据和损失函数进行计算，获得反向梯度；
[0021]按照反向梯度约束条件对所述反向梯度进行约束，获得约束后的反向梯度；
[0022]根据所述约束后的反向梯度更新所述浮点参数，获得所述约束后的训练模型。
[0023]可选地，所述浮点参数约束条件包括：
[0024]若所述浮点参数的数值大于或等于所述预设参数数值范围的参数数值上限时，将所述浮点参数的数值更新为所述参数数值上限；
[0025]当所述浮点参数的数值大于所述预设参数数值范围的参数数值下限，且小于所述参数数值上限时，保留所述浮点参数的数值；
[0026]当所述浮点参数的数值小于或等于所述参数数值下限时，将所述浮点参数的数值更新为所述参数数值下限。
[0027]可选地，所述反向梯度约束条件包括：
[0028]若所述浮点参数的数值大于或等于预设参数数值范围的参数数值上限时，将所述反向梯度更新为所述第一预设反向梯度，所述第一预设反向梯度为正数；
[0029]当所述浮点参数的数值大于所述预设参数数值范围的参数数值下限，且小于所述参数数值上限时，保留所述反向梯度；
[0030]当所述浮点参数的数值小于或等于所述参数数值下限时，将所述反向梯度更新为第二预设反向梯度，所述第二预设反向梯度为负数，所述第一预设反向梯度与所述第二预设反向梯度的和为0。
[0031]第二方面，本申请实施例提供了一种基于硬件的训练模型部署装置，所述装置包括：
[0032]量化感知训练模块，用于按照目标硬件的内部取整方式对训练模型进行量化感知训练，获得目标模型，所述训练模型是根据训练样本和神经网络进行训练得到的，所述目标模型的模型参数为整数；
[0033]部署模块，用于将所述目标模型部署至所述目标硬件的内部。
[0034]第三方面，本申请实施例提供了一种基于硬件的训练模型部署设备，所述设备包括：
[0035]存储器，用于存储计算机程序；
[0036]处理器，用于执行所述计算机程序，以使所述设备执行前述第一方面所述基于硬件的训练模型部署方法。
[0037]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现前述第一方面所述基于硬
件的训练模型部署方法。
[0038]从以上技术方案可以看出，本申请实施例具有以下优点：
[0039]本申请实施例提供了一种基于硬件的训练模型部署方法。首先，按照目标硬件的内部取整方式对训练模型进行量化感知训练，得到目标模型，使得目标模型的模型参数为整数，其中，训练模型是通过训练样本训练神经网络得到的。然后，将目标模型部署到目标硬件的内部。目标模型是按照目标硬件的内部取整方式对训练模型进行量化感知训练得到的，该方法使得目标模型的取整计算逻辑与目标硬件的内部取整计算逻辑一致，避免目标模型部署至目标硬件的内部产生误差，实现快速适配目标模型和目标硬件，从而降低了模型的实际部署难度，提高了模型的实际部署效果。
附图说明
[0040]为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为本申请实施例中一种应用场景所涉及的系统框架示意图；
[0042]图2为本申请实施例提供的一种基于硬件的训练模型部署方法的方法流程图；
[0043]图3为本申请实施例提供的不同硬件内部取整方法的示意图；
[0044]图4为本申请实施例提供一种按照目标硬件的内部取整方式对训练模型进行量化感知训练的示意图；
[0045]图5为本申请实施例提供的另一种基于硬件的训练模型部署方法的方法流程图；
[0046]图6为本申请实施例提供的一种基于硬件的训练模型部署装置的结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于硬件的训练模型部署方法，其特征在于，所述方法包括：按照目标硬件的内部取整方式对训练模型进行量化感知训练，获得目标模型，所述训练模型是根据训练样本和神经网络进行训练得到的，所述目标模型的模型参数为整数；将所述目标模型部署至所述目标硬件的内部。2.根据权利要求1所述的方法，其特征在于，所述按照目标硬件的内部取整方式对训练模型进行量化感知训练，获得目标模型，包括：按照所述内部取整方式对所述训练模型的输入数据和浮点参数进行整型转换，获得转换后的输入数据和转换后的浮点参数；将所述转换后的输入数据和所述转换后的浮点参数输入算子内部进行计算，获得计算结果，所述算子内部的计算方式符合所述内部取整方式；根据所述计算结果和损失函数更新所述浮点参数，获得所述目标模型。3.根据权利要求1或2所述的方法，其特征在于，在所述按照目标硬件的内部取整方式对训练模型进行量化感知训练，获得目标模型之前，还包括：按照浮点参数约束条件对所述训练模型进行浮点约束训练，获得约束后的训练模型，所述约束后的训练模型的模型参数符合所述浮点参数约束条件中预设参数数值范围；所述按照目标硬件的内部取整方式对训练模型进行量化感知训练，获得目标模型，包括：按照所述内部取整方式对所述约束后的训练模型进行量化感知训练，获得所述目标模型。4.根据权利要求3所述的方法，其特征在于，所述按照浮点参数约束条件对所述训练模型进行浮点约束训练，获得约束后的训练模型，包括：按照所述浮点参数约束条件对所述训练模型的浮点参数进行约束，获得约束后的浮点参数，所述约束后的浮点参数符合所述预设参数数值范围；对所述训练模型的输入数据和所述约束后的浮点参数进行正向计算，获得所述训练模型的输出数据；根据所述输出数据和损失函数进行计算，获得反向梯度；按照反向梯度约束条件对所述反向梯度进行约束，获得约束后的反向梯度；根据所述约束后的反向梯度更新所述浮点参数，获得所述约束后的训练模型。5.根据权利要求3或4所述的方法，其特征在于，所述浮点参数约束条件包括：若所述浮点参数的数值大于或等于所述预设参数数值范围的参数数值上限时，将所述浮点参数的数值...

【专利技术属性】
技术研发人员：介飞，丁杰，汪锦想，陈旭，于振华，宋彦，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：