图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及一种图像处理方法、装置、电子设备及存储介质，该方法包括：获取用于进行图像处理的神经网络，神经网络包括多个网络层，每个网络层初始的第一权重参数包括多维张量且为浮点型数据；对网络层的第一权重参数进行张量分解得到多个核张量；根据预设位宽，对多个核张量进行量化，得到第二权重参数，第二权重参数包括预设位宽的定点型数据；调用神经网络对目标图像进行处理，得到图像处理结果。通过对神经网络的权重参数进行张量分解得到多个核张量，并将多个核张量量化为预设位宽的定点型数据，本公开能够减少神经网络参数的数据量，降低神经网络的存储空间，提高神经网络的压缩率，加快神经网络的计算速度，应用广泛。应用广泛。应用广泛。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质


[0001]本公开涉及图像处理
，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]基于神经网络的图像数据处理算法或者视频数据处理算法需要深层次神经网络(Deep Neural Networks，DNN)模型进行数据特征的提取，以完成最终的分类、检测以及识别等任务。在执行任务的过程中，会不可避免地引入大规模向量或矩阵等张量进行乘加运算。考虑到计算速度与存储资源限制，通常需要对神经网络运算过程中的高维张量进行分解。
[0003]相关技术中，利用张量分解算法对神经网络运算过程中的高维张量进行分解，即通过分解多维内核来减少神经网络中可训练参数的数量，削弱DNN中数据的高冗余性。常用的张量分解算法包括CANDECOMP/PARAFAC(CP)分解、Tucker分解、Tensor
‑
Train(TT)分解和Tensor
‑
Ring(TR)分解。其中，CP分解也称典型分解(Canonical Decomposition，CANDECOMP)或者并行因子分析(Parallel Factor Analysis，PARAFAC)，能够将一个张量分解为若干个秩为1的张量的和的形式；Tucker分解能够将一个张量分解为一个核张量以及沿着该核张量的每一维度方向上的因子矩阵；TT分解能够将一个张量分解为一系列三维核张量以及两个矩阵(即，二维核张量)连乘的形式，核张量与核张量之间为链式结构；TR分解用三维核张量代替TT分解中的两个矩阵，能够将一个张量分解为一系列三阶核张量连乘的形式，核张量与核张量之间为环状结构。
[0004]然而，CP分解和Tucker分解由于维数限制，无法灵活刻画张量不同维度数据之间的相关性，具有一定的局限性，需要较多的存储资源；而相关技术中对高维张量进行TT分解或TR分解，能在一定程度上提升神经网络的性能，但对于神经网络(尤其是深度神经网络)而言，存储和计算过程中涉及的神经网络参数众多，仅将高维张量进行TT分解或TR分解对于神经网络性能的提升作用有限。
[0005]因此，如何进一步提升神经网络尤其是深度神经网络的性能，是一个值得研究的问题。

技术实现思路

[0006]有鉴于此，本公开提出了一种图像处理方法、装置、电子设备及存储介质，能够减少神经网络参数的数据量，降低神经网络的存储空间，提高神经网络的压缩率，加快神经网络的计算速度，应用广泛。
[0007]根据本公开的一方面，提供了一种图像处理方法，所述方法包括：获取神经网络，所述神经网络用于进行图像处理，所述神经网络包括多个网络层，每个网络层初始的第一权重参数包括多维张量且为浮点型数据；针对任一网络层，对所述网络层的第一权重参数进行张量分解，得到多个核张量，所述多个核张量包括二维张量和/或三维张量；根据预设
位宽，对所述多个核张量进行量化，得到量化后的第二权重参数，所述第二权重参数包括预设位宽的定点型数据；调用所述神经网络对目标图像进行处理，得到所述目标图像的图像处理结果。
[0008]在一种可能的实现方式中，所述调用所述神经网络对目标图像进行处理，得到所述目标图像的图像处理结果，包括：针对第i个网络层，根据所述第i个网络层的第二权重参数，对第i
‑
1个网络层输出的第i
‑
1级处理结果进行卷积，得到第i个卷积结果，1≤i≤N，N为所述神经网络的网络层数量，其中，第0级处理结果为所述目标图像；对所述第i个卷积结果进行批标准化，得到第i个标准化结果；对所述第i个标准化结果进行激活及量化，得到第i个处理结果，将第N个处理结果确定为所述目标图像的图像处理结果。
[0009]在一种可能的实现方式中，所述根据预设位宽，对所述多个核张量进行量化，得到量化后的第二权重参数，包括：根据预设位宽，对所述多个核张量分别进行量化，得到量化后的多个第一张量；针对第k个第一张量，将所述第k个第一张量与第k
‑
1个第二张量融合，得到第k个第三张量，2≤k≤K，K为所述第一张量的数量，其中，第1个第二张量为第1个第一张量；根据预设位宽，对所述第k个第三张量进行量化，得到第k个第二张量；将第K个第二张量确定为所述第二权重参数。
[0010]在一种可能的实现方式中，所述对所述网络层的第一权重参数进行张量分解，得到多个核张量，包括：通过张量行列TT分解方式，对所述第一权重参数进行张量分解，得到所述多个核张量。
[0011]在一种可能的实现方式中，所述对所述第i个卷积结果进行批标准化，得到第i个标准化结果，包括：根据所述预设位宽，对第一批标准化参数进行量化，得到量化后的第二批标准化参数，所述第二批标准化参数包括预设位宽的定点型数据；根据所述第二批标准化参数，对所述第i个卷积结果进行批标准化，得到第i个标准化结果。
[0012]在一种可能的实现方式中，所述对所述第i个标准化结果进行激活及量化，得到第i个处理结果，包括：对所述第i个标准化结果进行激活，得到第i个激活结果；根据所述预设位宽，对所述第i个激活结果进行量化，得到所述第i个处理结果，所述第i个处理结果包括预设位宽的定点型数据。
[0013]在一种可能的实现方式中，所述预设位宽根据所述多个核张量的维度进行配置，不同维度的核张量被量化为不同位宽的第一张量，且所述预设位宽大于或等于位宽阈值。
[0014]根据本公开的另一方面，提供了一种图像处理装置，所述装置包括：获取模块，用于获取神经网络，所述神经网络用于进行图像处理，所述神经网络包括多个网络层，每个网络层初始的第一权重参数包括多维张量且为浮点型数据；张量分解模块，用于针对任一网络层，对所述网络层的第一权重参数进行张量分解，得到多个核张量，所述多个核张量包括二维张量和三维张量；量化模块，用于根据预设位宽，对所述多个核张量进行量化，得到量化后的第二权重参数，所述第二权重参数包括预设位宽的定点型数据；调用模块，用于调用所述神经网络对目标图像进行处理，得到所述目标图像的图像处理结果。
[0015]根据本公开的另一方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。
[0016]根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
[0017]通过对神经网络的权重参数进行张量分解得到多个核张量，并将多个核张量量化为预设位宽的定点型数据，根据本公开的各方面能够减少神经网络参数的数据量，降低神经网络的存储空间，提高神经网络的压缩率，加快神经网络的计算速度，应用广泛。
[0018]根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
[0019]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取神经网络，所述神经网络用于进行图像处理，所述神经网络包括多个网络层，每个网络层初始的第一权重参数包括多维张量且为浮点型数据；针对任一网络层，对所述网络层的第一权重参数进行张量分解，得到多个核张量，所述多个核张量包括二维张量和/或三维张量；根据预设位宽，对所述多个核张量进行量化，得到量化后的第二权重参数，所述第二权重参数包括预设位宽的定点型数据；调用所述神经网络对目标图像进行处理，得到所述目标图像的图像处理结果。2.根据权利要求1所述的方法，其特征在于，所述调用所述神经网络对目标图像进行处理，得到所述目标图像的图像处理结果，包括：针对第i个网络层，根据所述第i个网络层的第二权重参数，对第i
‑
1个网络层输出的第i
‑
1级处理结果进行卷积，得到第i个卷积结果，1≤i≤N，N为所述神经网络的网络层数量，其中，第0级处理结果为所述目标图像；对所述第i个卷积结果进行批标准化，得到第i个标准化结果；对所述第i个标准化结果进行激活及量化，得到第i个处理结果，将第N个处理结果确定为所述目标图像的图像处理结果。3.根据权利要求1所述的方法，其特征在于，所述根据预设位宽，对所述多个核张量进行量化，得到量化后的第二权重参数，包括：根据预设位宽，对所述多个核张量分别进行量化，得到量化后的多个第一张量；针对第k个第一张量，将所述第k个第一张量与第k
‑
1个第二张量融合，得到第k个第三张量，2≤k≤K，K为所述第一张量的数量，其中，第1个第二张量为第1个第一张量；根据预设位宽，对所述第k个第三张量进行量化，得到第k个第二张量；将第K个第二张量确定为所述第二权重参数。4.根据权利要求1所述的方法，其特征在于，所述对所述网络层的第一权重参数进行张量分解，得到多个核张量，包括：通过张量行列TT分解方式，对所述第一权重参数...

【专利技术属性】
技术研发人员：李国齐，李东贤，杨玉宽，
申请(专利权)人：清华大学，
类型：发明
国别省市：