一种图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质，其中该方法包括：将原始图像输入第一模型的首层网络；所述第一模型的首层网络由训练完毕的第二模型的首层网络和预处理层融合得到；所述预处理层为除法算子层；通过所述第一模型的首层网络对所述原始图像进行处理。通过将除法算子层作为第二模型的预处理层，能够实现预处理层与第二模型首层网络的算子融合。从而可以在部署融合后的第一模型时，无需部署预处理层，实现将原始图像直接输入第一模型，能够提高模型推理效率，减少资源消耗。源消耗。源消耗。

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备及存储介质


[0001]本公开实施例涉及计算机
，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]现有技术中，利用神经网络模型处理图像时，通常需要在神经网络模型前部署预处理层，以进行图像特征标准化。现有的处理方法，模型推理效率和资源消耗情况都有待优化。

技术实现思路

[0003]本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质，能够提高模型推理效率，减少资源消耗。
[0004]第一方面，本公开实施例提供了一种图像处理方法，包括：
[0005]将原始图像输入第一模型的首层网络；所述第一模型的首层网络由训练完毕的第二模型的首层网络和预处理层融合得到；所述预处理层为除法算子层；
[0006]通过所述第一模型的首层网络对所述原始图像进行处理。
[0007]第二方面，本公开实施例还提供了一种图像处理装置，包括：
[0008]输入模块，用于将原始图像输入第一模型的首层网络；所述第一模型的首层网络由训练完毕的第二模型的首层网络和预处理层融合得到；所述预处理层为除法算子层；
[0009]处理模块，用于通过所述第一模型的首层网络对所述原始图像进行处理。
[0010]第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
[0011]一个或多个处理器；
[0012]存储装置，用于存储一个或多个程序，
[0013]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的图像处理方法。
[0014]第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像处理方法。
[0015]本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质，其中该方法包括：将原始图像输入第一模型的首层网络；第一模型的首层网络由训练完毕的第二模型的首层网络和预处理层融合得到；预处理层为除法算子层；通过第一模型的首层网络对原始图像进行处理。通过将除法算子层作为第二模型的预处理层，能够实现预处理层与第二模型首层网络的算子融合。从而可以在部署融合后的第一模型时，无需部署预处理层，实现将原始图像直接输入第一模型，能够提高模型推理效率，减少资源消耗。
附图说明
[0016]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0017]图1为本公开实施例一所提供的一种图像处理方法的流程示意图；
[0018]图2为本公开实施例一所提供的一种图像处理方法中模型融合的示意图；
[0019]图3为本公开实施例二所提供的一种图像处理方法的流程示意图；
[0020]图4为本公开实施例三所提供的一种图像处理装置的结构示意图；
[0021]图5为本公开实施例四所提供的一种电子设备的结构示意图。
具体实施方式
[0022]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0023]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0024]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0025]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0026]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0027]实施例一
[0028]图1为本公开实施例一所提供的一种图像处理方法的流程示意图。本公开实施例适用于利用神经网络模型处理图像处理的情形。该方法可以由图像处理装置来执行，该装置可以通过软件和/或硬件的形式实现，该装置可配置于电子设备中，例如配置于计算机中。
[0029]如图1所示，本实施例提供的图像处理方法，可以包括：
[0030]S110、将原始图像输入第一模型的首层网络；第一模型的首层网络由训练完毕的第二模型的首层网络和预处理层融合得到；预处理层为除法算子层。
[0031]本公开实施例中，第一模型可以为用于对图像进行处理的神经网络模型，且对图像进行处理可以包括但不限于图像变换、图像编/解码、图像分类、图像分割和图像描述等。
[0032]其中，第一模型可以基于下述步骤生成：通过预处理层对样本数据进行预处理；基于预处理后的样本图像对第二模型进行训练；将训练完毕的第二模型的首层网络与预处理层进行融合，得到第一模型。其中，第二模型的首层网络与预处理层融合，可以认为是将预
处理层通过算子融合的方式与第二模型的首层网络融合。为使预处理层与第二模型的首层网络完全融合第一模型的首层网络，预处理层可以为除法算子层，且除法算子层可以理解为是倒数变换后的乘法算子层。
[0033]在一些可选的实现方式中，第一模型的首层网络经下述步骤融合：将训练完毕的第二模型的首层网络中的算子，与预处理层中的除法算子等价融合为第一模型的首层网络中的算子。
[0034]其中，等价融合可以认为是不引入与输入的原始图像相关参量的融合。
[0035]示例性的，假设第二模型的首层网络为卷积层(Convolutional，可简写为Conv)的情况下，若预处理层为包含减均值、除方差算子的网络层，则预处理层与第二模型的首层网络融合，可以包括：构建等价融合公式(X
‑
a)/b
×
w＝X
×
w'；其中X表示原始图像，a表示均值，b表示方差，w表示Conv算子，w'表示期望融合后的Conv算子；求解公式中的w'。此时，无法求解到独立于X的w'，等价融合公式无法成立，即预处理层和卷积层无法等价融合为一个新的卷积层。
[0036]然而，若预处理层为除法算子层，则预处理层与第二模型的首层网络融合，可以包括：构建等价融合公式X/n
×
w＝X...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：将原始图像输入第一模型的首层网络；所述第一模型的首层网络由训练完毕的第二模型的首层网络和预处理层融合得到；所述预处理层为除法算子层；通过所述第一模型的首层网络对所述原始图像进行处理。2.根据权利要求1所述的方法，其特征在于，所述第一模型的首层网络经下述步骤融合：将训练完毕的第二模型的首层网络中的算子，与预处理层中的除法算子等价融合为所述第一模型的首层网络中的算子。3.根据权利要求1所述的方法，其特征在于，所述通过所述第一模型的首层网络对所述原始图像进行处理，包括：通过所述第一模型的首层网络的算子对所述原始图像中的各像素进行运算，以实现对所述原始图像的预处理和所述第二模型的首层网络所实现的处理。4.根据权利要求1所述的方法，其特征在于，若所述第二模型为卷积神经网络模型，则所述第一模型的首层网络由卷积层和预处理层融合得到。5.根据权利要求1所述的方法，其特征在于，若所述第二模型为多层感知器模型或transformer模型，则所述第一模型的首层网络由矩阵运算层和预处理层融合得到。6.根据权利要求1所述的方法，其特征在于，还包括：通过所述第一模...

【专利技术属性】
技术研发人员：王星，蔡金航，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：