噪声图像生成模型训练制造技术

本发明专利技术涉及图像处理领域，提供了一种噪声图像生成模型训练

【技术实现步骤摘要】
噪声图像生成模型训练、去噪模型训练及去噪方法


[0001]本专利技术涉及图像处理领域，尤其涉及一种噪声图像生成模型训练
、
去噪模型训练及去噪方法
。

技术介绍

[0002]近年来，巡检机器人已逐步应用于数据中心巡检任务，有效解决了传统人工巡检效率低
、
成本高等问题，提升了智能运维管理水平
。
然而，数据中心内大量电子设备及高低压输电线路产生电磁干扰，导致机器人成像设备采集的图像受到不同程度噪声影响，引起图像边缘及细节信息缺失
。
此情况会降低后续视觉识别与定位任务的识别率与定位精度
。
因此，为提升机器人视觉系统抗干扰能力，采用图像去噪预处理以提高图像质量显得尤为重要
。
[0003]现有技术中，利用
N2N(Noise2Noise)
模型对噪声图像进行去噪
。
但是在训练过程中，
N2N
模型需要输入成对的巡检物体的噪声图像，这两幅图像需要满足两个要求：来自同一幅干净图像；噪声图像中的噪声独立分布
。
但是在数据中心半导体封装场景下，难以获取干净图像，训练图像很难满足上述两个要求，从而导致训练得到的
N2N
模型去噪效果不佳
。

技术实现思路

[0004]为生成
N2N
模型的训练噪声图像，增强去噪效果，本专利技术提出了一种噪声图像生成模型训练
、
去噪模型训练及去噪方法r/>。
[0005]第一方面，本专利技术提供了一种噪声图像生成模型训练方法，第一噪声图像生成模型包括第一生成器
、
去噪器
、
第一判别器和合成模块，该方法包括：
[0006]获取随机数据和实际噪声图像；
[0007]将随机数据输入至第一生成器中，得到模拟噪声；
[0008]将实际噪声图像输入至去噪器中，得到去噪图像；
[0009]将模拟噪声和去噪图像输入至合成模块，得到合成噪声图像；
[0010]将合成噪声图像和实际噪声图像输入至第一判别器中，得到第一判别结果；
[0011]根据第一判别结果，对第一噪声图像生成模型中的第一生成器
、
去噪器和第一判别器进行训练，得到第二噪声图像生成模型，第二噪声图像生成模型用于合成噪声图像
。
[0012]通过上述方法，第一生成器生成的模拟噪声是根据随机数据生成的，因此，得到的模拟噪声是独立分布的，同时，去噪器得到的去噪图像可以通过同一实际噪声图像生成，相当于来自同一干净图像，因此根据模拟噪声和去噪图像得到的合成噪声图像可以满足
N2N
模型对训练图像的要求
。
[0013]在一种可选的实施方式中，第一噪声图像生成模型还包括第二生成器和第二判别器，根据第一判别结果，对第一噪声图像生成模型中的第一生成器
、
去噪器和第一判别器进行训练，得到第二噪声图像生成模型，包括：
[0014]根据实际噪声图像，获取实际噪声；
[0015]将模拟噪声和实际噪声输入至第二判别器中，得到第二判别结果；
[0016]将去噪图像输入至第二生成器中，得到模拟噪声图像；
[0017]根据第一判别结果
、
第二判别结果
、
模拟噪声图像和实际噪声图像，计算第一损失函数值；
[0018]对第一生成器中的参数
、
去噪器中的参数
、
第二生成器中的参数
、
第一判别器中的参数和第二判别器中的参数进行调整，并重新计算第一损失函数值，直到第一损失函数值不再下降，得到第二噪声图像生成模型
。
[0019]在一种可选的实施方式中，根据第一判别结果
、
第二判别结果
、
模拟噪声图像和实际噪声图像，计算第一损失函数值，包括：
[0020]根据第一判别结果，计算第二损失函数值；
[0021]根据第二判别结果，计算第三损失函数值；
[0022]根据实际噪声图像和模拟噪声图像，计算第四损失函数值；
[0023]根据第二损失函数值
、
第三损失函数值和第四损失函数值，计算第一损失函数值
。
[0024]通过上述实施方式，第二损失函数值是根据第一判别结果计算的，根据第二损失函数值可以对去噪器
、
第二生成器
、
第一判别器进行训练，第三损失函数值是根据第二判别结果计算的，根据第三损失函数值可以对第一生成器和第二判别器进行训练，第四损失函数值是根据实际噪声图像和模拟噪声图像计算得到的，第四损失函数值可以对去噪器和第二生成器进行训练
。
[0025]在一种可选的实施方式中，根据第二损失函数值
、
第三损失函数值和第四损失函数值，计算第一损失函数值，包括：
[0026]将第二损失函数值
、
第三损失函数值和第四损失函数值加权求和，得到第一损失函数值，第二损失函数值的权重值
、
第三损失函数值的权重值
、
第四损失函数值的权重值依次减小
。
[0027]通过上述实施方式，由于根据第二损失函数值训练去噪器
、
第二生成器
、
第一判别器，而去噪器
、
第二生成器
、
第一判别器是噪声图像生成模型的主要网络组成，所以第二损失函数值的权重最大，同时，考虑到第四损失函数值同时训练去噪器和第二生成器，而去噪器和第二生成器相当于编码器和解码器，同时训练去噪器和第二生成器有可能会导致模型的不稳定，因此第四损失函数值的权重最小
。
[0028]在一种可选的实施方式中，根据实际噪声图像，获取实际噪声，包括：
[0029]根据实际噪声图像，得到多个图像块；
[0030]对各图像块进行二维离散小波变换，得到各图像块对应的尺度系数图像和小波系数图像；
[0031]将尺度系数图像和小波系数图像满足预设条件的图像块作为噪声区域；
[0032]将噪声区域中的各像素与噪声区域中的平均像素作差，得到实际噪声
。
[0033]通过上述实施方式，由于二维离散小波变换属于空间
‑
频率变换，对信号做小波变换可以得到时频谱，通过平移和缩放等方式实现图像的多尺度分解，能够准确分离有效信号和噪声，使提取到的实际噪声可以更加准确地反映噪声真实空间分布情况，并且，在处理巡检物体图像中较常见的锐利边缘等突变信号时不会产生吉布斯效应
。
[0034]在一种可选的实施方式中，去噪器包括至少一个反转瓶颈块，反转瓶颈块中包括
可塑卷积层，可塑卷积层包括深度可分离卷积层，将实际噪声图像输入至去噪器中，得到去噪图像，包括：
[0035]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种噪声图像生成模型训练方法，其特征在于，第一噪声图像生成模型包括第一生成器
、
去噪器
、
第一判别器和合成模块，所述方法包括：获取随机数据和实际噪声图像；将所述随机数据输入至所述第一生成器中，得到模拟噪声；将所述实际噪声图像输入至所述去噪器中，得到去噪图像；将所述模拟噪声和所述去噪图像输入至所述合成模块，得到合成噪声图像；将所述合成噪声图像和所述实际噪声图像输入至所述第一判别器中，得到第一判别结果；根据所述第一判别结果，对所述第一噪声图像生成模型中的第一生成器
、
去噪器和第一判别器进行训练，得到第二噪声图像生成模型，所述第二噪声图像生成模型用于合成噪声图像
。2.
根据权利要求1所述的方法，其特征在于，所述第一噪声图像生成模型还包括第二生成器和第二判别器，所述根据所述第一判别结果，对所述第一噪声图像生成模型中的第一生成器
、
去噪器和第一判别器进行训练，得到第二噪声图像生成模型，包括：根据所述实际噪声图像，获取实际噪声；将所述模拟噪声和所述实际噪声输入至所述第二判别器中，得到第二判别结果；将所述去噪图像输入至所述第二生成器中，得到模拟噪声图像；根据所述第一判别结果
、
所述第二判别结果
、
所述模拟噪声图像和所述实际噪声图像，计算第一损失函数值；对所述第一生成器中的参数
、
所述去噪器中的参数
、
所述第二生成器中的参数
、
所述第一判别器中的参数和所述第二判别器中的参数进行调整，并重新计算所述第一损失函数值，直到所述第一损失函数值不再下降，得到第二噪声图像生成模型
。3.
根据权利要求2所述的方法，其特征在于，根据所述第一判别结果
、
所述第二判别结果
、
所述模拟噪声图像和所述实际噪声图像，计算第一损失函数值，包括：根据所述第一判别结果，计算第二损失函数值；根据所述第二判别结果，计算第三损失函数值；根据所述实际噪声图像和所述模拟噪声图像，计算第四损失函数值；根据所述第二损失函数值
、
所述第三损失函数值和所述第四损失函数值，计算所述第一损失函数值
。4.
根据权利要求3所述的方法，其特征在于，根据所述第二损失函数值
、
所述第三损失函数值和所述第四损失函数值，计算所述第一损失函数值，包括：将所述第二损失函数值
、
所述第三损失函数值和所述第四损失函数值加权求和，得到所述第一损失函数值，所述第二损失函数值的权重值
、
所述第三损失函数值的权重值
、
所述第四损失函数值的权重值依次减小
。5.
根据权利要求2所述的方法，其特征在于，根据所述实际噪声图像，获取实际噪声，包括：根据所述实际噪声图像，得到多个图像块；对各所述图像块进行二维离散小波变换，得到各所述图像块对应的尺度系数图像和小波系数图像；
将尺度系数图像和小波系数图像满足预设条件的图像块作为噪声区域；将所述噪声区域中的各像素与所述噪声区域中的平均像素作差，得到所述实际噪声
。6.
根据权利要求1所述的方法，其特征在于，所述去噪器包括至少一个反转瓶颈块，所述反转瓶颈块中包括可塑卷积层，所述可塑卷积层包括深度可分离卷积层，所述将所述实际噪声图像输入至所述去噪器中，得到去噪图像，包括：根据所述实际噪声图像和所述深度可分离卷积层，得到第一特征图；根据所述第一特征图和所述实际噪声图像，得到所述去噪图像
。7.
根据权利要求6所述的方法，其特征在于，所述可塑卷积层中还包括池化层
、
预测器网络
、
上采样层和动态卷积层，所述根据所述实际噪声图像和所述深度可分离卷积层，得到第一特征图，包括：对所述实际噪声图像进行混洗操作，得到操作后的实际噪声图像；将所述操作后的实际噪声图像输入至所述池化层，得到第二特征图；将所述第二特征图输入至所述预测器网络，得到第三特征图；将所述第三特征图输入至所述深度可分离卷积层，得到多个第一滤波器；将各所述第一滤波器输入至所述上采样层，得到多个第二滤波器；将各所述第二滤波器和所述操作后的实际噪声图像输入至所述动态卷积层，得到...

【专利技术属性】
技术研发人员：李德龙，金和平，罗惠恒，吴文杰，王景晗，周超辉，张晓萌，
申请(专利权)人：中国长江三峡集团有限公司，
类型：发明
国别省市：