图像处理模型的训练方法、图像处理方法及装置制造方法及图纸

本申请公开了一种图像处理模型的训练方法、图像处理方法及装置，用于提高图像去噪效果。所述训练方法包括：利用原始样本图像、原始样本图像对应的局部擦除图像及基准去噪图像，对待训练模型进行模型迭代训练，得到图像处理模型；待训练模型包括第一分支去噪网络、第二分支去噪网络和融合网络；每次模型训练的具体实现方式有：第一分支去噪网络基于基准去噪图像，对原始样本图像进行去噪处理，得到第一去噪图像；第二分支去噪网络对局部擦除图像进行去噪处理，得到第二去噪图像；融合网络对第一去噪图像和第二去噪图像进行融合处理，得到第三去噪图像；基于第一去噪图像、第二去噪图像、第三去噪图像以及基准去噪图像，调整待训练模型的模型参数。型的模型参数。型的模型参数。

【技术实现步骤摘要】
图像处理模型的训练方法、图像处理方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种图像处理模型的训练方法、图像处理方法及装置。

技术介绍

[0002]随着各种数字仪器和数码产品的普及，图像和视频已成为人类活动中最常用的信息载体，它们包含着物体的大量信息，成为人们获取外界原始信息的主要途径。然而，在图像的获取、传输和存贮过程中常常会受到各种噪声的干扰和影响而使得图像降质，并且图像预处理算法的好坏又直接关系到后续图像处理的效果，如图像分割、目标识别、边缘提取等，所以为了获取高质量数字图像，很有必要对图像进行去噪处理，以在保持原始信息的完整性(即主要特征)的同时，又能去除信号中无用的信息。
[0003]目前，常用的去噪方法是利用噪声估计图像作为输入，通过权衡对均布噪声的抑制和细节的保持，实现对图像的去噪。但是，这种去噪方式对局部模糊的图像去噪的效果较差。

技术实现思路

[0004]本申请实施例的目的是提供一种图像处理模型的训练方法、图像处理方法及装置，用于解决现有的去噪方法对局部模糊的图像去噪的效果较差的问题。
[0005]为了实现上述目的，本申请实施例采用下述技术方案：
[0006]第一方面，本申请实施例提供一种图像处理模型的训练方法，包括：
[0007]利用原始样本图像、所述原始样本图像对应的局部擦除图像及基准去噪图像，对待训练模型进行模型迭代训练，得到图像处理模型；
[0008]其中，所述待训练模型包括第一分支去噪网络、第二分支去噪网络和融合网络；每次模型迭代训练的具体实现方式均有：
[0009]所述第一分支去噪网络基于所述基准去噪图像，对所述原始样本图像进行去噪处理，得到第一去噪图像；
[0010]所述第二分支去噪网络对所述局部擦除图像进行去噪处理，得到第二去噪图像；
[0011]所述融合网络对所述第一去噪图像和所述第二去噪图像进行融合处理，得到第三去噪图像；
[0012]基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，调整所述待训练模型的模型参数。
[0013]可以看出，本申请实施例中，采用包含融合网络和两条分支去噪网络的待训练模型，基于半监督学习方法，由第一分支去噪网络基于原始样本图像及其对应的基准去噪图像进行有监督学习，通过从整体角度学习原始样本图像中的重要信息，得到整体效果上的第一去噪图像；由第二条分支去噪网络基于原始样本图像对应的局部擦除图像进行无监督学习，由于局部擦除图像相较于原始样本图像缺失了局部数据，使得第二分支去噪网络能
够通过随机性地能够学习局部擦除图像的、具有代表性的特征，得到局部效果上的第二去噪图像，从而能够为第一分支去噪网络的有监督学习提供更多的指向性信息及多样性信息；由融合网络对有监督学习的效果和无监督学习的效果进行融合，得到相应的第三去噪图像；进一步，基于各条分支去噪网络及融合网络各自得到的去噪图像以及原始样本图像对应的基准去噪图像，调整待训练模型的模型参数，通过进行多次上述模型迭代训练，使得待训练模型能够分别从图像整体和局部对原始样本图像进行理解和学习，提炼出有指向性且多样性的图像特征而具备更优的去噪能力，从而得到的图像处理模型无论是对整体模糊的图像还是局部模糊的图像，都具有较好的去噪效果。
[0014]第二方面，本申请实施例提供一种图像处理方法，包括：
[0015]获取待处理图像；
[0016]通过图像处理模型对所述待处理图像进行去噪处理，得到去噪图像集合，其中，所述去噪图像集合包括第四去噪图像、第五去噪图像以及第六去噪图像中的至少一者，所述图像处理模型包括第一分支去噪网络、第二分支去噪网络和融合网络，所述第一分支去噪网络用于对所述待处理图像进行去噪处理得到所述第四去噪图像，所述第二分支去噪网络用于对所述待处理图像进行去噪处理得到所述第五去噪图像，所述融合网络用于对所述第四去噪图像和所述第五去噪图像进行融合处理得到所述第六去噪图像，所述图像处理模型是基于第一方面所述的图像处理模型的训练方法训练得到的；
[0017]基于所述去噪图像集合，确定所述待处理图像对应的目标去噪图像。
[0018]可以看出，本申请实施例中，通过图像处理模型即可实现对待处理图像的去噪处理，实现简单快捷，效率高；此外，在图像处理模型的训练过程中，采用包含融合网络和两条分支去噪网络的待训练模型，基于半监督学习方法，由第一分支去噪网络基于原始样本图像及其对应的基准去噪图像进行有监督学习，通过从整体角度学习原始样本图像中的重要信息，得到整体效果上的第一去噪图像；由第二条分支去噪网络基于原始样本图像对应的局部擦除图像进行无监督学习，由于局部擦除图像相较于原始样本图像缺失了局部数据，使得第二分支去噪网络能够通过随机性地能够学习局部擦除图像的、具有代表性的特征，得到局部效果上的第二去噪图像，从而能够为第一分支去噪网络的有监督学习提供更多的指向性信息及多样性信息；由融合网络对有监督学习的效果和无监督学习的效果进行融合，得到相应的第三去噪图像；进一步，基于各条分支去噪网络及融合网络各自得到的去噪图像以及原始样本图像对应的基准去噪图像，调整待训练模型的模型参数，通过进行多次上述模型迭代训练，使得待训练模型能够分别从图像整体和局部对原始样本图像进行理解和学习，提炼出有指向性且多样性的图像特征而具备更优的去噪能力，从而得到的图像处理模型无论是对整体模糊的图像还是局部模糊的图像，都具有较好的去噪效果，进而利用训练得到的图像处理模型对待处理图像进行去噪处理，可以得到高质量的去噪图像。
[0019]第三方面，本申请实施例提供一种图像处理模型的训练装置，包括：
[0020]训练单元，用于利用原始样本图像以及所述原始样本图像对应的局部擦除图像及基准去噪图像，对待训练模型进行模型迭代训练，得到图像处理模型；
[0021]其中，所述待训练模型包括第一分支去噪网络、第二分支去噪网络和融合网络；每次模型训练的具体实现方式均有：
[0022]所述第一分支去噪网络基于所述基准去噪图像，对所述原始样本图像进行去噪处
理，得到第一去噪图像；
[0023]所述第二分支去噪网络对所述局部擦除图像进行去噪处理，得到第二去噪图像；
[0024]所述融合网络对所述第一去噪图像和所述第二去噪图像进行融合处理，得到第三去噪图像；
[0025]基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，调整所述待训练模型的模型参数。
[0026]第四方面，本申请实施例提供图像处理装置，包括：
[0027]第一获取单元，用于获取待处理图像；
[0028]第一去噪单元，用于通过图像处理模型对所述待处理图像进行去噪处理，得到去噪图像集合，其中，所述去噪图像集合包括第四去噪图像、第五去噪图像以及第六去噪图像中的至少一者，所述图像处理模型包括第一分支去噪网络、第二分支去噪网络和融合网络，所述第一分支去噪网络用于对所述待处理图像进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理模型的训练方法，其特征在于，包括：利用原始样本图像、所述原始样本图像对应的局部擦除图像及基准去噪图像，对待训练模型进行模型迭代训练，得到图像处理模型；其中，所述待训练模型包括第一分支去噪网络、第二分支去噪网络和融合网络；每次模型迭代训练的具体实现方式均有：所述第一分支去噪网络基于所述基准去噪图像，对所述原始样本图像进行去噪处理，得到第一去噪图像；所述第二分支去噪网络对所述局部擦除图像进行去噪处理，得到第二去噪图像；所述融合网络对所述第一去噪图像和所述第二去噪图像进行融合处理，得到第三去噪图像；基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，调整所述待训练模型的模型参数。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，调整所述待训练模型的模型参数，包括：基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，确定所述待训练模型的去噪损失；基于所述待训练模型的去噪损失，调整所述待训练模型的模型参数。3.根据权利要求1所述的方法，其特征在于，所述局部擦除图像包括第一局部擦除图像和第二局部擦除图像，所述第一局部擦除图像为对所述原始样本图像的指定区域进行数据擦除得到，所述第二局部擦除图像为对所述原始样本图像进行随机数据擦除得到；所述第二分支去噪网络对所述局部擦除图像进行去噪处理，得到第二去噪图像，包括：若所述待训练模型不满足预设迭代稳定条件，则所述第二分支去噪网络对所述第一局部擦除图像进行去噪处理，得到第二去噪图像；若所述待训练模型满足所述预设迭代稳定条件，则所述第二分支去噪网络对所述第二局部擦除图像进行去噪处理，得到第二去噪图像。4.根据权利要求2所述的方法，其特征在于，所述第一分支去噪网络包括第一卷积层和第一生成网络；所述第一卷积层用于基于所述基准去噪图像对所述原始样本图像进行卷积处理，得到第一纹理特征；所述第一生成网络用于基于所述第一纹理特征确定第一目标特征，以及基于所述第一目标特征生成所述第一去噪图像。5.根据权利要求4所述的方法，其特征在于，所述第一分支去噪网络还包括第一残差层；所述第一残差层用于基于所述原始样本图像和所述局部擦除图像，生成残差图像；所述第一卷积特征还用于对所述残差图像进行卷积处理，得到第二纹理特征；在基于所述第一纹理特征确定第一目标特征方面，所述第一生成网络具体用于基于所述第一纹理特征与所述第二纹理特征之间的相似度，对所述第一纹理特征和所述第二纹理特征进行融合处理，得到所述第一目标特征。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，确定所述待训练模型的去噪损失，包括：基于所述第一去噪图像和所述基准去噪图像，确定第一去噪损失；基于所述第二去噪图像和所述第一去噪图像，确定第二去噪损失；基于所述第三去噪图像和所述基准去噪图像，确定第三去噪损失；基于所述第一去噪损失、所述第二去噪损失以及所述第三去噪损失，确定所述待训练模型的去噪损失。7.根据权利要求6所述的方法，其特征在于，若所述第一分支去噪网络还包括所述第一残差层，则所述基于所述第一去噪图像、所述第二去噪图像、所述第三去噪图像以及所述基准去噪图像，确定所述待训练模型的去噪损失，还包括：基于所述第一纹理特征与所述第二纹理特征之间的相似度，确定残差损失；所述基于所述第一去噪损失、所述第二去噪损失以及所述第三去噪损失，确定所述待训练模型的去噪损失，具体包括：基于所述第一去噪损失、所述第二去噪损失、所述第三去噪损失以及所述残差损失之间的加权和，确定所述待训练模型的去噪损失。8.根据权利要求4或5所述的方法，其特征在于，所述第一生成网络包括：第三卷积层、第四卷积层、第一融合层、第二融合层以及N个特征提取模块，所述N个特征提取模块、N个中间输出特征以及N个最终输出特征之间一一对应，N为大于1的整数；所述N个特征提取模块中的第1个特征提取模块，用于对所述第一目标特征进行特征提取，得到所述第1个特征提取模块对应的中间输出特征及最终输出特征；所述N个特征提取模块中的第i个特征提取模块，用于对第i
‑
1个特征提取模块对应的最终输出特征进行特征提取，得到所述第i个特征提取模块对应的中间输出特征及最终输出特征，其中，i为整数，且2≤i≤N；所述第三卷积层用于对所述N个特征提取模块中的第N个特征提取模块对应的最终输出特征进行卷积处理，得到第一候选特征；所述第一融合层用于对所述N个中间输出特征进行融合处理，得到融合中间特征；所述第四卷积层用于对所述融合中间特征进行卷积处理，得到第二候选特征；所述第二融合层用于对所述第一候选特征和所述第二候选特征进行融合处理得到第二目标特征，以及基于所述第二目标特征生成所述第一去噪图像。9.根据权利要求8所述的方法，其特...

【专利技术属性】
技术研发人员：陈圣，曾定衡，王洪斌，周迅溢，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：