模型量化方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本公开实施例涉及一种模型量化方法、装置、电子设备和计算机可读存储介质。所述方法包括：将图像输入深度学习模型中，获取深度学习模型对图像的分辨率进行处理所需的时延和功耗；根据时延、功耗、原始网络参数和强化学习算法训练深度学习模型，得到深度学习模型的各网络层的目标量化位宽；根据各网络层的目标量化位宽，对目标量化位宽对应的深度学习模型各网络层的权重和激活值进行量化，得到分辨率模型。采用本方法可以平衡量化后的超分辨率模型的运算精度和量化后的模型的占用存储空间。的运算精度和量化后的模型的占用存储空间。的运算精度和量化后的模型的占用存储空间。

【技术实现步骤摘要】
模型量化方法、装置、电子设备和计算机可读存储介质


[0001]本申请涉及机器学习
，特别是涉及一种模型量化方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]随着人工智能技术的发展，可以采用超分辨率模型对图像的分辨率进行处理提升。但是，现有的超分辨率模型结构大而复杂，导致超分辨率模型的运算速度受到计算机设备存储能力的限制。因此，为了减少计算机存储的压力同时提高模型的运算速度，需要对超分辨率模型的各卷积层进行定点量化。
[0003]传统技术中，主要是将超分辨率模型整个网络层的权重和激活值固定量化到某个固定的位宽，得到量化后的超分辨率模型。然而，传统的模型量化方法，存在量化后的超分辨率模型的运算精度和量化后的模型的占用存储空间难以平衡的问题。

技术实现思路

[0004]本申请实施例提供了一种模型量化方法、装置、电子设备、计算机可读存储介质，可以平衡量化后的超分辨率模型的运算精度和量化后的模型的占用存储空间。
[0005]第一方面，提供了一种模型量化方法，包括：
[0006]将图像输入深度学习模型中，获取所述深度学习模型对所述图像的分辨率进行处理所需的时延和功耗；
[0007]根据所述时延、所述功耗、所述深度学习模型的原始网络参数和预设的强化学习算法训练所述深度学习模型，得到所述深度学习模型的各网络层的目标量化位宽；
[0008]根据各所述网络层的目标量化位宽，对所述目标量化位宽对应的深度学习模型各网络层的权重和激活值进行量化，得到分辨率模型。r/>[0009]第二方面，提供了一种模型量化装置，包括：
[0010]第一获取模块，用于将图像输入深度学习模型中，获取所述深度学习模型对所述图像的分辨率进行处理所需的时延和功耗；
[0011]第二获取模块，用于根据所述时延、所述功耗、所述深度学习模型的原始网络参数和预设的强化学习算法训练所述深度学习模型，得到所述深度学习模型的各网络层的目标量化位宽；
[0012]量化模块，用于根据各所述网络层的目标量化位宽，对所述目标量化位宽对应的深度学习模型各网络层的权重和激活值进行量化，得到分辨率模型。
[0013]第三方面，提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面所述的模型量化方法的步骤。
[0014]第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的模型量化方法的步骤。
[0015]上述模型量化方法、装置、电子设备和计算机可读存储介质，通过将图像输入深度学习模型中，能够获取该深度学习模型对图像的分辨率进行处理所需的时延和功耗，从而可以根据得到的时延、功耗、深度学习模型的原始网络参数和预设的强化学习算法训练深度学习模型，得到该深度学习模型的各网络层的目标量化位宽，进而可以根据得到的各网络层的目标量化位宽，对目标量化位宽对应的深度学习模型各网络层的权重和激活值进行量化，得到分辨率模型，由于该方法得到的是深度学习模型的各网络层的目标量化位宽，而不同的网络层采用不同的量化位宽能够有效的减少计算机存储的压力同时提高模型的运算速度，这样根据深度学习模型的各网络层的目标量化位宽，对该目标量化位宽对应的深度学习模型各网络层的权重和激活值进行量化，平衡了得到的分辨率模型的运算精度和分辨率模型的占用存储空间。
附图说明
[0016]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为一个实施例中模型量化方法的应用环境图；
[0018]图2为一个实施例中模型量化方法的流程图；
[0019]图3为一个实施例中模型量化方法的流程图；
[0020]图4为一个实施例中模型量化方法的流程图；
[0021]图5为一个实施例中模型量化方法的流程图；
[0022]图6为一个实施例中模型量化方法的流程图；
[0023]图7为一个实施例中模型量化方法的流程图；
[0024]图8为一个实施例提供的模型量化方法的整体结构示意图；
[0025]图9为一个实施例中模型量化装置的结构框图；
[0026]图10为一个实施例中电子设备的结构框图。
具体实施方式
[0027]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0028]可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
[0029]图1为一个实施例中模型量化方法的应用环境示意图。如图1所示，该应用环境包括计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的，该计算
机设备还可以包括网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以是服务器，可以是个人计算机，还可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。
[0030]图2为一个实施例中模型量化方法的流程图。本实施例中的模型量化方法，以运行于图1中的计算机设备上为例进行描述。如图2所示，上述模型量化方法包括以下步骤：
[0031]S201，将图像输入深度学习模型中，获取深度学习模型对图像的分辨率进行处理所需的时延和功耗。
[0032]其中，深度学习模型对图像的分辨率进行处理所需的时延是指将上述图像输入深度学习模型，得到输出图像的时长；深度学习模型对图像的分辨率进行处理所需的功耗是指计算机设备运行上述深度学习模型所消耗的电流与计算机设备未运行上述深度学习没模型所消耗的电流的差值。在本实施例中，计算机设备将图像输入深度学习模型中，获取深度学习模型对该图像的分辨率进行处理所需的时延和功耗。可以理解的是，上述图像为低分辨率的图像，深度学习模型对上述图像的分辨率进行处理即为提高该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型量化方法，其特征在于，包括：将图像输入深度学习模型中，获取所述深度学习模型对所述图像的分辨率进行处理所需的时延和功耗；根据所述时延、所述功耗、所述深度学习模型的原始网络参数和预设的强化学习算法训练所述深度学习模型，得到所述深度学习模型的各网络层的目标量化位宽；根据各所述网络层的目标量化位宽，对所述目标量化位宽对应的深度学习模型各网络层的权重和激活值进行量化，得到分辨率模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述时延、所述功耗、所述深度学习模型的原始网络参数和预设的强化学习算法训练所述深度学习模型，得到所述深度学习模型的各网络层的目标量化位宽，包括：将所述时延、所述功耗和所述原始网络参数输入所述强化学习算法中，得到各所述网络层的初始量化位宽，根据所述初始量化位宽、预设的精度调整策略对所述深度学习模型进行迭代训练，得到所述深度学习模型的各网络层的目标量化位宽；所述精度调整策略用于对所述初始量化位宽的精度进行调整。3.根据权利要求2所述的方法，其特征在于，所述根据所述初始量化位宽、预设的精度调整策略对所述深度学习模型进行迭代训练，得到所述深度学习模型的各网络层的目标量化位宽，包括：根据所述精度调整策略对所述初始量化位宽进行调整，得到各所述网络层的调整后的量化位宽，执行迭代操作，直到满足预设的迭代终止条件，得到各所述网络层的目标量化位宽；其中，所述迭代操作包括：根据各所述网络层的调整后的量化位宽，对各所述网络层的权重和激活值进行量化，得到中间量化模型，将所述图像输入所述中间量化模型，获取所述中间量化模型处理所述图像所需的中间时延和中间功耗，将所述中间时延、所述中间功耗和所述中间量化模型的各网络层的网络参数输入所述强化学习算法中，得到所述中间量化模型各网络层的量化位宽，根据所述精度调整策略对所述中间量化模型各网络层的量化位宽进行调整，并返回执行所述迭代操作。4.根据权利要求2或3所述的方法，其特征在于，所述精度调整策略包括：获取所述深度学习模型各网络层的权重和激活值的标准差；若所述标准差大于第一量化阈值，则根据预设的调整量，增大各所述网络层的初始量化位宽；若所述标准差小于第二量化阈值，则根据所述预设的调整量，减小各所述网络层的初始量化位宽。5.根据权利要求4，其特征在于，所述方法还包...

【专利技术属性】
技术研发人员：邓宣，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：