图像处理网络的训练方法、图像去噪方法及装置制造方法及图纸

本公开提供一种图像处理网络的训练方法、图像去噪方法、图像处理网络的训练装置、图像去噪装置、计算机可读存储介质及电子设备；涉及图像去噪技术领域。该方法包括：根据参考噪声和原始图像生成噪声图像，并对噪声图像进行噪声提取得到预测噪声；根据预测噪声与参考噪声的第一损失函数调整图像处理网络的第一网络参数；将预测噪声与噪声图像进行拼接得到目标噪声图像，并对目标噪声图像进行图像修复，输出预测图像；根据预测图像与原始图像的第二损失函数调整图像处理网络的第二网络参数。本公开中的方法能够在一定程度上克服图像处理网络训练效率较低的问题，通过噪声样本对图像处理网络进行训练，以提升图像处理网络的训练效率。

Training method, image denoising method and device of image processing network

【技术实现步骤摘要】
图像处理网络的训练方法、图像去噪方法及装置
本公开涉及图像去噪
，具体而言，涉及一种图像处理网络的训练方法、图像去噪方法、图像处理网络的训练装置、图像去噪装置、计算机可读存储介质及电子设备。
技术介绍
图像是一种视觉信息载体，人们可以通过图像获取信息。通常情况下，在图像生成以及传输等过程中经常会收到噪声的干扰，这会增加计算机的图像处理难度。基于上述情况，解决方式通常为：通过成对的样本对图像处理网络进行训练，使得图像处理网络学习样本之间的噪声关系，从而能够将样本中的噪声剥离，以便于后续的图像处理。但是，上述训练方式需要输入大量的成对样本，并且经过较长时间的学习才能够使得图像处理网络具备图像去噪的能力，这样会存在训练效率较低的问题。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种图像处理网络的训练方法、图像去噪方法、图像处理网络的训练装置、图像去噪装置、计算机可读存储介质及电子设备，在一定程度上克服图像处理网络训练效率较低的问题，通过噪声样本对图像处理网络进行训练，以提升图像处理网络的训练效率。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的第一方面，提供一种图像处理网络的训练方法，包括：根据参考噪声和原始图像生成噪声图像，并对噪声图像进行噪声提取，得到预测噪声；计算预测噪声与参考噪声的第一损失函数，并根据第一损失函数调整图像处理网络的第一网络参数；将预测噪声与噪声图像进行拼接，得到目标噪声图像，并对目标噪声图像进行图像修复，输出预测图像；计算预测图像与原始图像的第二损失函数，并根据第二损失函数调整图像处理网络的第二网络参数。在本公开的一种示例性实施例中，该图像处理网络的训练方法还可以包括以下步骤：将原始噪声与随机噪声进行重合，得到参考噪声。在本公开的一种示例性实施例中，原始噪声为水印噪声，将原始噪声与随机噪声进行重合，得到参考噪声的方式具体可以为：将水印噪声平均分布于与原始图像尺寸相同的画布中，得到待合成的图像；将待合成的图像与随机噪声进行重合，得到参考噪声。在本公开的一种示例性实施例中，随机噪声包括泊松噪声、乘性的伯努利噪声、随机值的脉冲噪声、图像文本水印噪声、蒙特卡洛噪声以及文本噪声中至少一种。在本公开的一种示例性实施例中，对噪声图像进行噪声提取，得到预测噪声的方式具体可以为：对噪声图像进行图像卷积以及非线性激活，得到第一图像特征；对第一图像特征进行第一预设次数的残差计算，以得到第二图像特征；其中，第一预设次数与预设数量相等；对第二图像特征进行图像卷积以及归一化，得到预测噪声。在本公开的一种示例性实施例中，对第一图像特征进行第一预设次数的残差计算以得到第二图像特征中，对第一图像特征进行一次残差计算的方式具体可以为：将第一图像特征输入当前残差窗口，并通过当前残差窗口中的第一卷积层对第一图像特征进行图像卷积，得到第一卷积结果；对第一卷积结果进行归一化，并对归一化结果进行非线性激活；通过当前残差窗口中的第二卷积层对非线性激活结果进行图像卷积，得到第二卷积结果；对第二卷积结果进行归一化，得到当前残差窗口的输出；将当前残差窗口的输出与前一残差窗口的输出进行组合，作为下一残差窗口的输入。在本公开的一种示例性实施例中，对目标噪声图像进行图像修复，输出预测图像的方式具体可以为：对目标噪声图像进行卷积以及非线性激活，得到第三图像特征；对目标噪声图像进行第二预设次数的残差计算，以得到第四图像特征；其中，第二预设次数大于第一预设次数；对第二图像特征进行图像卷积以及归一化，将得到的归一化结果与第三图像特征进行拼接；将拼接结果进行图像卷积，以输出预测图像。在本公开的一种示例性实施例中，对噪声图像进行噪声提取，得到预测噪声的方式具体可以为：将原始噪声与随机噪声进行重合，得到备用噪声；将噪声图像与备用噪声进行拼接，得到目标噪声图像；对目标噪声图像进行噪声提取，得到预测噪声。在本公开的一种示例性实施例中，根据参考噪声和原始图像生成噪声图像的方式具体可以为：调整参考噪声的透明度参数至预设透明度范围内，根据调整后的参考噪声和原始图像生成噪声图像。在本公开的一种示例性实施例中，第一损失函数为预测噪声与参考噪声的均方误差，第二损失函数为预测图像与原始图像的均方误差。在本公开的一种示例性实施例中，将预测噪声与噪声图像进行拼接，得到目标噪声图像的方式具体可以为：将预测噪声对应的字符串与噪声图像对应的字符串进行拼接，得到目标噪声图像。根据本公开的第二方面，提供一种图像去噪方法，包括：根据参考噪声和样本图像生成噪声图像，并对噪声图像进行噪声提取，得到预测噪声；计算预测噪声与参考噪声的第一损失函数，并根据第一损失函数调整图像处理网络的第一网络参数；将预测噪声与噪声图像进行拼接，得到目标噪声图像，并对目标噪声图像进行图像修复，输出预测图像；计算预测图像与样本图像的第二损失函数，并根据第二损失函数调整图像处理网络的第二网络参数；根据调整后的第一网络参数和第二网络参数的图像处理网络进行图像处理。在本公开的一种示例性实施例中，根据本公开的第三方面，提供一种图像处理网络的训练装置，包括噪声提取单元、参数调整单元以及图像修复单元，其中：噪声提取单元，用于根据参考噪声和原始图像生成噪声图像，并对噪声图像进行噪声提取，得到预测噪声；参数调整单元，用于计算预测噪声与参考噪声的第一损失函数，并根据第一损失函数调整图像处理网络的第一网络参数；图像修复单元，用于将预测噪声与噪声图像进行拼接，得到目标噪声图像，并对目标噪声图像进行图像修复，输出预测图像；参数调整单元，还用于计算预测图像与原始图像的第二损失函数，并根据第二损失函数调整图像处理网络的第二网络参数。在本公开的一种示例性实施例中，该图像处理网络的训练装置还可以包括噪声重合单元，其中：噪声重合单元，用于将原始噪声与随机噪声进行重合，得到参考噪声。在本公开的一种示例性实施例中，原始噪声为水印噪声，噪声重合单元将原始噪声与随机噪声进行重合，得到参考噪声的方式具体可以为：噪声重合单元将水印噪声平均分布于与原始图像尺寸相同的画布中，得到待合成的图像；噪声重合单元将待合成的图像与随机噪声进行重合，得到参考噪声。在本公开的一种示例性实施例中，随机噪声包括泊松噪声、乘性的伯努利噪声、随机值的脉冲噪声、图像文本水印噪声、蒙特卡洛噪声以及文本噪声中至少一种。在本公开的一种示例性实施例中，噪声提取单元对噪声图像进行噪声提取，得到预测噪声的方式具体可以为：<本文档来自技高网...

【技术保护点】
1.一种图像处理网络的训练方法，其特征在于，包括：/n根据参考噪声和原始图像生成噪声图像，并对所述噪声图像进行噪声提取，得到预测噪声；/n计算所述预测噪声与所述参考噪声的第一损失函数，并根据所述第一损失函数调整图像处理网络的第一网络参数；/n将所述预测噪声与所述噪声图像进行拼接，得到目标噪声图像，并对所述目标噪声图像进行图像修复，输出预测图像；/n计算所述预测图像与所述原始图像的第二损失函数，并根据所述第二损失函数调整所述图像处理网络的第二网络参数。/n

【技术特征摘要】
1.一种图像处理网络的训练方法，其特征在于，包括：
根据参考噪声和原始图像生成噪声图像，并对所述噪声图像进行噪声提取，得到预测噪声；
计算所述预测噪声与所述参考噪声的第一损失函数，并根据所述第一损失函数调整图像处理网络的第一网络参数；
将所述预测噪声与所述噪声图像进行拼接，得到目标噪声图像，并对所述目标噪声图像进行图像修复，输出预测图像；
计算所述预测图像与所述原始图像的第二损失函数，并根据所述第二损失函数调整所述图像处理网络的第二网络参数。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将原始噪声与随机噪声进行重合，得到所述参考噪声。


3.根据权利要求2所述的方法，其特征在于，所述原始噪声为水印噪声，将原始噪声与随机噪声进行重合，得到参考噪声，包括：
将所述水印噪声平均分布于与原始图像尺寸相同的画布中，得到待合成的图像；
将所述待合成的图像与随机噪声进行重合，得到参考噪声。


4.根据权利要求2所述的方法，其特征在于，所述随机噪声包括泊松噪声、乘性的伯努利噪声、随机值的脉冲噪声、图像文本水印噪声、蒙特卡洛噪声以及文本噪声中至少一种。


5.根据权利要求1所述的方法，其特征在于，对所述噪声图像进行噪声提取，得到预测噪声，包括：
对所述噪声图像进行图像卷积以及非线性激活，得到第一图像特征；
对所述第一图像特征进行第一预设次数的残差计算，以得到第二图像特征；其中，所述第一预设次数与所述预设数量相等；
对所述第二图像特征进行图像卷积以及归一化，得到预测噪声。


6.根据权利要求5所述的方法，其特征在于，对所述第一图像特征进行第一预设次数的残差计算以得到第二图像特征中，对所述第一图像特征进行一次残差计算的方式为：
将所述第一图像特征输入当前残差窗口，并通过所述当前残差窗口中的第一卷积层对所述第一图像特征进行图像卷积，得到第一卷积结果；
对所述第一卷积结果进行归一化，并对所述归一化结果进行非线性激活；
通过所述当前残差窗口中的第二卷积层对非线性激活结果进行图像卷积，得到第二卷积结果；
对所述第二卷积结果进行归一化，得到所述当前残差窗口的输出；
将所述当前残差窗口的输出与前一残差窗口的输出进行组合，作为下一残差窗口的输入。


7.根据权利要求5所述的方法，其特征在于，对所述目标噪声图像进行图像修复，输出预测图像，包括：
对所述目标噪声图像进行卷积以及非线性激活，得到第三图像特征；
对所述目标噪声图像进行第二预设次数的残差计算，以得到第四图像特征；其中，所述第二预设次数大于所述第一预设次数；
对所述第二图像特征进行图像卷积以及归一化，将得到的归一化结果与所述第三图像特征进行拼接...

【专利技术属性】
技术研发人员：卓志勇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44