模型训练方法、图像去摩尔纹方法、装置及电子设备制造方法及图纸

本申请公开一种模型训练方法、图像去摩尔纹方法、装置及电子设备，属于人工智能技术领域，该模型训练方法包括：获取多个摩尔纹样本图像和对应的无摩尔纹样本图像；构建待训练模型，待训练模型是基于轻量级网络构建的模型；将多个摩尔纹样本图像分别输入至待训练模型，根据待训练模型中最小尺度的特征提取层输出的预测图像与下采样后相同尺度的无摩尔纹样本图像，获取第一损失；根据第一损失对最小尺度的特征提取层的参数进行更新，直至满足预设训练条件；在完成对最小尺度的特征提取层的训练后，将相同的训练过程应用于待训练模型中上一尺度的特征提取层，直至在最大尺度的特征提取层上完成训练，得到目标模型，目标模型用于去除图像中的摩尔纹。去除图像中的摩尔纹。去除图像中的摩尔纹。

【技术实现步骤摘要】
模型训练方法、图像去摩尔纹方法、装置及电子设备


[0001]本申请属于人工智能
，具体涉及一种模型训练方法、图像去摩尔纹方法、装置及电子设备。

技术介绍

[0002]摩尔纹一种在数码照相机或者扫描仪等设备上，感光元件出现的高频干扰的条纹，是一种会使图像出现彩色的高频率不规则的条纹。目前去摩尔纹方法主要分为两大类：一类是使用传统方法，利用摩尔纹的空间和频率特性，在YUV通道上对摩尔纹图像进行处理，由于摩尔纹的频率分布范围广，不同的摩尔纹其密度和颜色差异很大，因此传统方法对摩尔纹的去除效果不具备鲁棒性。另一类是使用深度学习的方法，通过训练，网络学习由摩尔纹图像到无摩尔纹图像的映射关系，之后使用训练得到的网络模型去除图像中的摩尔纹。
[0003]相较于传统方法，现有的深度学习方法在去摩尔纹效果方面具备鲁棒性，但是由于其训练得到的网络模型无法落地到电子设备端，因此用户在使用电子设备拍摄图像时去摩尔纹耗时较长，导致去摩尔纹效率较低。

技术实现思路

[0004]本申请实施例的目的是提供一种模型训练方法、图像去摩尔纹方法、装置及电子设备，能够解决现有技术中存在的去摩尔纹效率较低的问题。
[0005]第一方面，本申请实施例提供了一种模型训练方法，所述方法包括：
[0006]获取多个摩尔纹样本图像和对应的无摩尔纹样本图像；
[0007]构建待训练模型，其中，所述待训练模型是基于轻量级网络构建的模型，所述轻量级网络中包括多个不同尺度的特征提取层；
[0008]将所述多个摩尔纹样本图像分别输入至所述待训练模型，根据所述待训练模型中最小尺度的特征提取层输出的预测图像与下采样后相同尺度的无摩尔纹样本图像，获取第一损失；根据所述第一损失对所述最小尺度的特征提取层的参数进行更新，直至满足预设训练条件；在完成对最小尺度的特征提取层的训练后，将相同的训练过程应用于所述待训练模型中上一尺度的特征提取层，直至在最大尺度的特征提取层上完成训练，得到目标模型。
[0009]第二方面，本申请实施例提供了一种图像去摩尔纹方法，用于基于第一方面中的目标模型，进行去摩尔纹处理，所述方法包括：
[0010]接收待处理的第二摩尔纹图像；
[0011]在所述第二摩尔纹图像的尺寸超过所述目标模型可识别的最大尺寸的情况下，将所述第二摩尔纹图像切分为N个摩尔纹子图像，其中，所述N个摩尔纹子图像中每个子图像与其相邻的子图像之间存在区域重叠，N为大于1的整数；
[0012]将所述N个摩尔纹子图像分别输入至所述目标模型中进行处理，得到N个无摩尔纹
子图像；
[0013]对所述N个无摩尔纹子图像进行拼接处理，对于拼接过程中的重叠区域，进行像素加权平均运算，得到所述第二摩尔纹图像对应的第二无摩尔纹图像。
[0014]第三方面，本申请实施例提供了一种模型训练装置，所述装置包括：
[0015]获取模块，用于获取多个摩尔纹样本图像和对应的无摩尔纹样本图像；
[0016]构建模块，用于构建待训练模型，其中，所述待训练模型是基于轻量级网络构建的模型，所述轻量级网络中包括多个不同尺度的特征提取层；
[0017]训练模块，用于将所述多个摩尔纹样本图像分别输入至所述待训练模型，根据所述待训练模型中最小尺度的特征提取层输出的预测图像与下采样后相同尺度的无摩尔纹样本图像，获取第一损失；根据所述第一损失对所述最小尺度的特征提取层的参数进行更新，直至满足预设训练条件；在完成对所述最小尺度的特征提取层的训练后，将相同的训练过程应用于所述待训练模型中上一尺度的特征提取层，直至在最大尺度的特征提取层上完成训练，得到目标模型。
[0018]第四方面，本申请实施例提供了一种图像去摩尔纹装置，用于基于第三方面中的目标模型，进行去摩尔纹处理，所述装置包括：
[0019]接收模块，用于接收待处理的第二摩尔纹图像；
[0020]切分模块，用于在所述第二摩尔纹图像的尺寸超过所述目标模型可识别的最大尺寸的情况下，将所述第二摩尔纹图像切分为N个摩尔纹子图像，其中，所述N个摩尔纹子图像中每个子图像与其相邻的子图像之间存在区域重叠，N为大于1的整数；
[0021]第一处理模块，用于将所述N个摩尔纹子图像分别输入至所述目标模型中进行处理，得到N个无摩尔纹子图像；
[0022]第二处理模块，用于对所述N个无摩尔纹子图像进行拼接处理，对于拼接过程中的重叠区域，进行像素加权平均运算，得到所述第二摩尔纹图像对应的第二无摩尔纹图像。
[0023]第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面或第二方面所述的方法的步骤。
[0024]第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面或第二方面所述的方法的步骤。
[0025]第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面或第二方面所述的方法。
[0026]第八方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面或第二方面所述的方法。
[0027]本申请实施例中，可以获取多个摩尔纹样本图像和对应的无摩尔纹样本图像，作为训练数据；构建轻量级的去摩尔纹网络，作为待训练模型；使用训练数据对待训练模型进行训练，得到用于去除输入图像中摩尔纹的目标模型。与现有技术相比，本申请实施例中，可以对现有的深度学习网络进行压缩和量化，得到轻量级网络，基于轻量级网络进行模型训练，使得在不损失精度的情况下降低模型的算力，从而实现将去摩尔纹网络落地到电子
设备端，使得用户在使用电子设备拍摄图像时能够自动触发去摩尔纹功能，快速地得到一张不带摩尔纹且真实还原拍摄画面的高清图像，提高了去摩尔纹的效率。
[0028]本申请实施例中，在使用目标模型进行去摩尔纹处理时，对于尺寸较大的待处理图像，可以将待处理图像切分成多个部分，每个部分之间存在重叠区域，将各部分分别输入至模型中进行处理，得到各部分对应的不带摩尔纹的高清图像，之后对各部分的高清图像进行拼接，对于两两图像中的重叠区域进行像素级的加权平均运算，得到最终不带拼接线的完整高清图像，去摩尔纹效果较好。
附图说明
[0029]图1是本申请实施例提供的一种模型训练方法的流程图；
[0030]图2是本申请实施例提供的一种训练数据生成方法的流程图；
[0031]图3是本申请实施例提供的一种轻量级网络生成过程的流程图；
[0032]图4是本申请实施例提供的PyNET网络的示例图；
[0033]图5是本申请实施例提供的轻量级网络的示例图；
[0034]图6是本申请实施例提供的基于轻量级网络进行模型训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取多个摩尔纹样本图像和对应的无摩尔纹样本图像；构建待训练模型，其中，所述待训练模型是基于轻量级网络构建的模型，所述轻量级网络中包括多个不同尺度的特征提取层；将所述多个摩尔纹样本图像分别输入至所述待训练模型，根据所述待训练模型中最小尺度的特征提取层输出的预测图像与下采样后相同尺度的无摩尔纹样本图像，获取第一损失；根据所述第一损失对所述最小尺度的特征提取层的参数进行更新，直至满足预设训练条件；在完成对所述最小尺度的特征提取层的训练后，将相同的训练过程应用于所述待训练模型中上一尺度的特征提取层，直至在最大尺度的特征提取层上完成训练，得到目标模型。2.根据权利要求1所述的方法，其特征在于，所述构建待训练模型的步骤之前，还包括：获取PyNET网络，删除所述PyNET网络中特定尺度的特征提取层，将保留的特征提取层的卷积核通道数降低至预设数值，以及对保留的特征提取层中的激活函数和归一化函数进行修改，得到轻量级网络，其中，所述特定尺度的特征提取层用于提取输入图像的特定尺度的特征。3.根据权利要求2所述的方法，其特征在于，所述获取PyNET网络，删除所述PyNET网络中特定尺度的特征提取层，将保留的特征提取层的卷积核通道数降低至预设数值，以及对保留的特征提取层中的激活函数和归一化函数进行修改，得到轻量级网络，包括：获取PyNET网络，其中，所述PyNET网络中包括：输入层、第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和第五特征提取层，第一至五特征提取层分别用于提取输入图像的5个不同尺度的特征，第i特征提取层提取到特征的尺度大于第i+1特征提取层提取到特征的尺度，1≤i≤5；删除所述PyNET网络中的所述第一特征提取层和所述第二特征提取层，保留所述第三特征提取层、第四特征提取层和第五特征提取层，将所述第三特征提取层的卷积核通道数由第一数值调整为第二数值，将所述第四特征提取层的卷积核通道数由第三数值调整为第四数值，将所述第五特征提取层的卷积核通道数由第五数值调整为第六数值，其中，所述第一数值大于所述第二数值，所述第三数值大于所述第四数值，所述第五数值大于所述第六数值；删除所述第三特征提取层、第四特征提取层和第五特征提取层中的第一归一化函数，在所述输入层中增加第二归一化函数，以及将所述第三特征提取层、第四特征提取层和第五特征提取层中的激活函数更改为双曲正切函数，得到轻量级网络，其中，所述第二归一化函数用于将输入图像的像素值从(0,255)的范围归一化至(
‑
1,1)的范围。4.根据权利要求3所述的方法，其特征在于，所述将所述多个摩尔纹样本图像分别输入至所述待训练模型，根据所述待训练模型中最小尺度的特征提取层输出的预测图像与下采样后相同尺度的无摩尔纹样本图像，获取第一损失；根据所述第一损失对所述最小尺度的特征提取层的参数进行更新，直至满足预设训练条件；在完成对所述最小尺度的特征提取层的训练后，将相同的训练过程应用于所述待训练模型中上一尺度的特征提取层，直至在最大尺度的特征提取层上完成训练，得到目标模型，包括：
将所述多个摩尔纹样本图像分别输入至所述待训练模型，根据所述待训练模型中所述第五特征提取层输出的预测图像与下采样4倍后的无摩尔纹样本图像，获取第一损失，根据所述第一损失对所述第五特征提取层的参数进行更新，直至收敛，得到第一中间模型，其中，所述第一损失用于指示所述第五特征提取层输出的预测图像与下采样4倍后的无摩尔纹样本图像之间的差异；将所述多个摩尔纹样本图像分别输入至所述第一中间模型，根据所述第一中间模型中所述第四特征提取层输出的预测图像与下采样2倍后的无摩尔纹样本图像，获取第二损失，根据所述第二损失对所述第一中间模型的参数进行更新，直至收敛，得到第二中间模型，其中，所述第二损失用于指示所述第四特征提取层输出的预测图像与下采样2倍后的无摩尔纹样本图像之间的差异；将所述多个摩尔纹样本图像分别输入至所述第二中间模型，根据所述第二中间模型中所述第三特征提取层输出的预测图像和对应的无摩尔纹样本图像，获取第三损失，根据所述第三损失对所述第二中间模型的模型参数进行更新，直至收敛，得到目标模型，其中，所述第三损失用于指示所述第三特征提取层输出的预测图像与对应的无摩尔纹样本图像之间的差异。5.根据权利要求1所述的方法，其特征在于，所述获取多个摩尔纹样本图像和对应的无摩尔纹样本图像，包括：获取来自显示设备的屏幕截图；在相机对焦状态下，拍摄所述显示设备上显示的白色图像，得到第一摩尔纹图像，并根据所述屏幕截图、所述白色图像和所述第一摩尔纹图像，生成摩尔纹样本图像；在所述相机失焦状态下，拍摄所述显示设备上显示的所述白色图像，得到第一无摩尔纹图像，并根据所述屏幕截图、所述白色图像和所述第一无摩尔纹图像，生成所述摩尔纹样本图像对应的无摩尔纹样本图像。6.根据权利要求5所述的方法，其特征在于，所述根据所述屏幕截图、所述白色图像和所述第一摩尔纹图像，生成摩尔纹样本图像，包括：获取所述屏幕截图中各像素点的RGB值I
bg
、所述白色图像中各像素点的RGB值I0和所述第一摩尔纹图像中各像素点的RGB值I
moire1
；根据所述I0和I
moire1
，计算摩尔纹噪声I
moire
‑
feature
；根据所述I
moire
‑
feature
和I
bg
，计算摩尔纹样本图像中各像素点的RGB值I
moire2
，根据所述I
moire2
，生成所述摩尔纹样本图像；所述根据所述屏幕截图、所述白色图像和所述第一无摩尔纹图像，生成所述摩尔纹样本图像对应的无摩尔纹样本图像，包括：获取所述第一无摩尔纹图像中各像素点的RGB值I
clean1
；根据所述I
clean1
和I0，计算无摩尔纹噪声I
clean
‑
feature
；根据所述I
clean
‑
feature
和I
bg
，计算所述摩尔纹样本图像对应的无摩尔纹样本图像中各像素点的RGB值I
clean2
，根据所述I
clean2
，生成所述无摩尔纹样本图像。7.一种图像去摩尔纹方法，用于基于权利要求1至6任一项中生成的目标模型，进行去摩尔纹处理，其特征在于，所述方法包括：接收待处理的第二摩尔纹图像；
在所述第二摩尔纹图像的尺寸超过所述目标模型可识别的最大尺寸的情况下，将所述第二摩尔纹图像切分为N个摩尔纹子图像，其中，所述N个摩尔纹子图像中每个子图像与其相邻的子图像之间存在区域重叠，N为大于1的整数；将所述N个摩尔纹子图像分别输入至所述目标模型中进行处理，得到N个无摩尔纹子图像；对所述N个无摩尔纹子图像进行拼接处理，对于拼接过程中的重叠区域，进行像素加权平均运算，得到所述第二摩尔纹图像对应的第二无摩尔纹图像。8.一种模型训练装置，其特征在于，所述装置包括：获取模块，用于获取多个摩尔纹样本图像和对应的...

【专利技术属性】
技术研发人员：刘晗，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：