一种基于深度学习分阶段式训练的图像去雾方法及装置制造方法及图纸

本发明专利技术所提供的一种基于深度学习分阶段式训练的图像去雾方法及装置，方法包括：获取预先训练的图像去雾模型，图像去雾模型是利用仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，利用真实有雾数据集对初始去雾模型进行自监督训练后得到；将待处理的原始图像输入图像去雾模型，得到去雾图像；仿真数据集包括仿真有雾图、有雾深度图、仿真无雾图及无雾深度图。本发明专利技术利用的图像去雾模型在训练时进行两阶段训练，在第一阶段训练时使用仿真图和匹配的深度图，以使本发明专利技术的训练的去雾方法与真实深度有关，在第二阶段训练时采用真实有雾数据的自监督训练，以提高模型在真实场景的泛化能力，进而在对待处理图像进行去雾时，提高了去雾效果。提高了去雾效果。提高了去雾效果。

【技术实现步骤摘要】
一种基于深度学习分阶段式训练的图像去雾方法及装置


[0001]本专利技术涉及计算机视觉领域，尤其涉及的是一种基于深度学习分阶段式训练的图像去雾方法及装置。

技术介绍

[0002]图像去雾是通过消除大气散射效应，从而改善图像质量的图像处理方法。传统的暗通道去雾方法基于局部暗通道近似为0的假设，并通过归一化暗通道求透视率图。但暗通道近似0的假设并不是一直成立的，遇到不成立的场景暗通道去雾容易导致去雾异常。有的方法是通过伪深度评估进行加雾和去雾，但由于深度评估没有真实真值监督，导致评估的深度与真实深度差异较大，进而影响去雾和加雾的质量。有的方法是基于先验条件的自监督学习，同样地，先验的问题也会继承到网络当中，影响去雾质量。
[0003]也就是说，目前主要的去雾算法分为传统去雾算法和基于深度学习的去雾算法。传统去雾算法鲁棒性差，容易导致去雾过度或异常等问题。而深度学习则缺乏真实的端到端数据，导致在真实场景下去雾效果较差，且对算力的要求高，导致去雾的实时性较差。
[0004]因此，现有技术存在缺陷，有待改进与发展。

技术实现思路

[0005]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于深度学习分阶段式训练的图像去雾方法及装置，旨在解决现有技术中对图像去雾处理时的去雾效果较差以及去雾的实时性较差的问题。
[0006]本专利技术解决技术问题所采用的技术方案如下：一种基于深度学习分阶段式训练的图像去雾方法，所述方法包括：获取预先训练的图像去雾模型，所述图像去雾模型是利用预先构建的仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，再利用预先构建的真实有雾数据集对所述初始去雾模型进行自监督训练后得到；将待处理的原始图像输入所述图像去雾模型，得到去雾图像；其中，所述仿真数据集包括：仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图。
[0007]可选地，所述图像去雾模型的训练步骤包括：利用自动驾驶模拟器在不同场景下生成仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图，根据所述仿真有雾图、所述有雾深度图、所述仿真无雾图和所述无雾深度图构建仿真数据集；获取生成网络和辨别网络，所述生成网络包括预先构建的去雾网络和加雾网络，所述辨别网络包括辨别无雾网络和辨别有雾网络；基于所述仿真数据集对所述生成网络和所述辨别网络进行训练，训练结束后，提取所述去雾网络，将已训练的所述去雾网络作为初始去雾模型；
获取真实有雾数据集，利用所述真实有雾数据集对所述初始去雾模型进行自监督训练，得到已训练的图像去雾模型。
[0008]可选地，所述去雾网络的构建步骤包括：构建并加载EfficientNet
‑
lite3的基础模型作为骨干，并用两层步长为2的3
×
3卷积层代替EfficientNet
‑
lite3的conv_stem层；构造4层Unet网络，每层所述Unet网络均包括一层编码器和一层解码器，所述骨干用于输出4组不同尺度特征至所述Unet网络的编码器；构建全局平均池化层，所述全局平均池化层用于将所述骨干输出的4组不同尺度特征进行平均池化得到全局特征；构建第一线性层和第二线性层，所述第一线性层用于根据所述全局特征得到大气光强，所述第二线性层用于根据所述全局特征得到雾浓度因子；构建双反卷积层作为上采样模块，所述上采样模块用于将所述Unet网络的输出特征上采样至输入分辨率；构建双卷积层，所述双卷积层用于接收上采样后的特征与原图拼接后得到的拼接图像，并根据所述拼接图像得到透视率。
[0009]可选地，所述加雾网络利用的是4层Unet网络结构，所述辨别无雾网络和辨别有雾网络利用的均是5层卷积网络加sigmoid激活函数；所述辨别网络的训练步骤包括：将所述生成网络的权重固定，利用所述生成网络得到生成有雾图和生成无雾图；获取所述仿真数据集中的仿真有雾图和仿真无雾图；基于预设的辨别网络损失函数，利用所述仿真有雾图、仿真无雾图、生成有雾图和生成无雾图对所述辨别网络进行训练；所述生成网络的训练步骤为：将所述辨别网络的权重固定，进行无雾图闭环通路训练和有雾图闭环通路训练。
[0010]可选地，所述无雾图闭环通路训练的训练步骤包括：将所述仿真数据集中的仿真无雾图和匹配的无雾深度图输入所述生成网络中；随机生成第一雾浓度因子，利用所述无雾深度图和所述第一雾浓度因子得到第一透视率；随机生成第一大气光强，根据所述第一透视率和所述仿真无雾图得到第一初始合成雾图；所述第一初始合成雾图经所述生成网络处理得到第一最终合成雾图；所述第一最终合成雾图经所述去雾网络处理得到生成无雾图，所述生成无雾图和所述仿真无雾图形成闭环，利用预设的第一损失函数约束所述生成无雾图和所述仿真无雾图；利用所述辨别网络指导所述生成网络更新权重；所述有雾图闭环通路训练的训练步骤包括：将所述仿真有雾图和匹配的有雾深度图输入所述去雾网络中，所述仿真有雾图经所述去雾网络处理，得到第二透视率、第二大气光强和第二雾浓度因子；根据所述仿真有雾图、第二大气光强和第二透视率得到去雾结果，以及根据所述
第二透视率和所述第二雾浓度因子得到生成深度图；利用预设的第二损失函数对所述生成深度图和所述有雾深度图进行平均绝对误差的计算；根据所述有雾深度图和所述第二雾浓度因子合成透视图，并根据所述透视图和所述去雾结果得到第二初始合成雾图；所述第二初始合成雾图经所述生成网络处理，得到第二最终合成雾图，所述第二最终合成雾图和所述仿真有雾图形成闭环，使用预设的第三损失函数约束所述第二最终合成雾图和所述仿真有雾图；根据预设的第四损失函数，利用辨别网络指导生成网络更新权重。
[0011]可选地，所述获取真实有雾数据集，利用所述真实有雾数据集对所述初始去雾模型进行自监督训练，得到已训练的图像去雾模型，包括：采集真实行车场景下的真实有雾图像，并得到与所述真实有雾图像匹配的分割权重图像，根据所述真实有雾图像和所述分割权重图像构建真实有雾数据集；构建去雾教师网络和学生网络，加载所述初始去雾模型的权重并赋给所述去雾教师网络和所述学生网络，其中，所述去雾教师网络的权重固定且进入推理模式，所述学生网络的权重放开且进入训练模式；将所述真实有雾图像和匹配的所述分割权重图像输入所述去雾教师网络和所述学生网络中，进行透视率自监督训练和大气光强自监督训练；完成所述透视率自监督训练和所述大气光强自监督训练后，得到已训练的图像去雾模型。
[0012]可选地，所述透视率自监督训练的训练步骤包括：所述真实有雾图像经所述去雾教师网络处理，得到教师网络透视率和教师网络大气光强，以及所述真实有雾图像经所述学生网络处理，得到学生网络透视率和学生网络大气光强；将所述教师网络透视率和所述学生网络透视率输入预设的自监督模块计算第五损失函数；将所述教师网络大气光强和所述学生网络大气光强保持不变，计算第六损失函数；计算所述学生网络的去雾结果，得到学生网络去雾图像，并利用预设的第七损失函数计算溢出量作为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习分阶段式训练的图像去雾方法，其特征在于，所述方法包括：获取预先训练的图像去雾模型，所述图像去雾模型是利用预先构建的仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，再利用预先构建的真实有雾数据集对所述初始去雾模型进行自监督训练后得到；将待处理的原始图像输入所述图像去雾模型，得到去雾图像；其中，所述仿真数据集包括：仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图。2.根据权利要求1所述的基于深度学习分阶段式训练的图像去雾方法，其特征在于，所述图像去雾模型的训练步骤包括：利用自动驾驶模拟器在不同场景下生成仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图，根据所述仿真有雾图、所述有雾深度图、所述仿真无雾图和所述无雾深度图构建仿真数据集；获取生成网络和辨别网络，所述生成网络包括预先构建的去雾网络和加雾网络，所述辨别网络包括辨别无雾网络和辨别有雾网络；基于所述仿真数据集对所述生成网络和所述辨别网络进行训练，训练结束后，提取所述去雾网络，将已训练的所述去雾网络作为初始去雾模型；获取真实有雾数据集，利用所述真实有雾数据集对所述初始去雾模型进行自监督训练，得到已训练的图像去雾模型。3.根据权利要求2所述的基于深度学习分阶段式训练的图像去雾方法，其特征在于，所述去雾网络的构建步骤包括：构建并加载EfficientNet
‑
lite3的基础模型作为骨干，并用两层步长为2的3
×
3卷积层代替EfficientNet
‑
lite3的conv_stem层；构造4层Unet网络，每层所述Unet网络均包括一层编码器和一层解码器，所述骨干用于输出4组不同尺度特征至所述Unet网络的编码器；构建全局平均池化层，所述全局平均池化层用于将所述骨干输出的4组不同尺度特征进行平均池化得到全局特征；构建第一线性层和第二线性层，所述第一线性层用于根据所述全局特征得到大气光强，所述第二线性层用于根据所述全局特征得到雾浓度因子；构建双反卷积层作为上采样模块，所述上采样模块用于将所述Unet网络的输出特征上采样至输入分辨率；构建双卷积层，所述双卷积层用于接收上采样后的特征与原图拼接后得到的拼接图像，并根据所述拼接图像得到透视率。4.根据权利要求2所述的基于深度学习分阶段式训练的图像去雾方法，其特征在于，所述加雾网络利用的是4层Unet网络结构，所述辨别无雾网络和辨别有雾网络利用的均是5层卷积网络加sigmoid激活函数；所述辨别网络的训练步骤包括：将所述生成网络的权重固定，利用所述生成网络得到生成有雾图和生成无雾图；获取所述仿真数据集中的仿真有雾图和仿真无雾图；基于预设的辨别网络损失函数，利用所述仿真有雾图、仿真无雾图、生成有雾图和生成
无雾图对所述辨别网络进行训练；所述生成网络的训练步骤为：将所述辨别网络的权重固定，进行无雾图闭环通路训练和有雾图闭环通路训练。5.根据权利要求4所述的基于深度学习分阶段式训练的图像去雾方法，其特征在于，所述无雾图闭环通路训练的训练步骤包括：将所述仿真数据集中的仿真无雾图和匹配的无雾深度图输入所述生成网络中；随机生成第一雾浓度因子，利用所述无雾深度图和所述第一雾浓度因子得到第一透视率；随机生成第一大气光强，根据所述第一透视率和所述仿真无雾图得到第一初始合成雾图；所述第一初始合成雾图经所述生成网络处理得到第一最终合成雾图；所述第一最终合成雾图经所述去雾网络处理得到生成无雾图，所述生成无雾图和所述仿真无雾图形成闭环，利用预设的第一损失函数约束所述生成无雾图和所述仿真无雾图；利用所述辨别网络指导所述生成网络更新权重；所述有雾图闭环通路训练的训练步骤包括：将所述仿真有雾图和...

【专利技术属性】
技术研发人员：裴朝科，
申请(专利权)人：深圳市欧冶半导体有限公司，
类型：发明
国别省市：