一种基于监控场景下的城市道路去雾算法制造技术

本发明专利技术公开了一种基于监控场景下的城市道路去雾算法，其特征在于，包括以下步骤：增加数据规模大小提升模型泛化能力，将目前开源数据中的关于去雾数据进行整合；从实际监控的视频场景中，选择不同时间段和天气下的雾天和非雾天数据，制作一批测试集，作为实际场景下的数据测试；采用pytorch作为训练框架，修改构建主干网络；通过训练框架训练时，添加5个多维度的损失函数进行协同训练。本发明专利技术针对目前去雾模型数据不足的难点，首先从数量上扩大训练样本多样性，整合目前开源去雾的室内和室外的数据，以及搜集最新网络数据作为测试评估模型；针对去雾效果不彻底，去雾颜色效果失真问题，添加多维损失函数辅助训练，优化去雾效果。优化去雾效果。优化去雾效果。

【技术实现步骤摘要】
一种基于监控场景下的城市道路去雾算法


[0001]本专利技术涉及图像处理的
，尤其涉及一种基于监控场景下的城市道路去雾算法。

技术介绍

[0002]在大多数智能系统,如:航海、航空、交通监控、车载导航、自动驾驶、城市交通系统等领域需要较为清晰的户外图像进行信息提取，而在下雾恶劣天气下，由于粒子的散射作用导致成像传感器采集的图像信息严重降质，雾天拍摄的图像存在细节模糊、对比度低、色彩失真等问题，限制了计算机视觉领域的发展。为解决此类问题图像去雾算法应运而生。
[0003]目前去雾算法主要有传统算法和深度学习算法两种。传统去雾方法是基于先验知识,主要是大气退化模型的先验，进行去雾处理，代表性算法有主要有何凯明等人提出的暗通道先验算法，这种算法实现简单，也不需要额外的参数，但是其处理速度慢、天空区域过曝、处后的图像色彩变暗、去雾效果不稳定等缺点也较为明显；而深度学习去雾算法主要可以分为两类，第一类仍然是于大气退化模型，利用神经网络对模型中的参数进行估计，早期的方法大多数是基于这种思想。第二类则是利用输入的有雾图像，直接输出去雾后的图像，即深度学习中常说的end2end，相对于传统算法，在公开数据集上表现效果较好，能够在在去雾的同时突出图片细节并增强图片质量，但是在变换场景，或者室内室外的情况下，模型去雾效果仍然会出现去雾不彻底，不稳定的情况。
[0004]目前基于深度学习去雾算法虽然在部分公开去雾数据上表现良好，但是在实际使用中仍然存在去雾不彻底、去雾后不清晰，颜色失真等问题，其主要包括数据问题，跨域问题，以及模型优化问题。其中关于数据问题，由于当前关于去雾真实数据较少，且同时获取图像有雾和无雾数据较为困难，而针对深度学习的方法数据是关键之一，因此缺少多种类型的雾天图片数据输入作为数据统计，模型无法学习到更好的去雾特征参数；而针对跨域问题，不同天气不同地点不同相机拍摄的雾天数据具有不同的特征，目前的去雾算法无法通过在一个数据域上效果较好，迁移到多个场景仍然表现良好。针对模型优化问题，直接的端到端模型，即输入有雾照片直接输出没有雾气的照片，实际去雾效果并不稳定，模型整体泛化能力效果不理想。

技术实现思路

[0005]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0006]鉴于上述现有技术中存在的问题，提出了本专利技术。
[0007]因此，本专利技术目的是提供一种基于监控场景下的城市道路去雾算法，其为了解决现有技术中去雾效果不彻底，去雾颜色效果失真问题。
[0008]为解决上述技术问题，本专利技术提供如下技术方案：一种基于监控场景下的城市道
路去雾算法，包括以下步骤：
[0009]步骤一：增加数据规模大小提升模型泛化能力，将目前开源数据中的关于去雾数据进行整合；
[0010]步骤二：从实际监控的视频场景中，选择不同时间段和天气下的雾天和非雾天数据，制作一批测试集，作为实际场景下的数据测试；
[0011]步骤三：采用pytorch作为训练框架，修改构建主干网络，其中主干网络(backbone)结合两个性能优秀的模型结构修改而成；
[0012]步骤四：通过训练框架训练时，添加5个多维度的损失函数进行协同训练，损失函数包括：暗通道损失、亮通道损失、平滑平均绝对误差损失、不遗忘学习损失、对比度自适应直方均衡化损失，损失函数是在训练过程中辅助模型学习更具有泛化性的特征，在测试过程不需要该函数,训练结束后进行网络输出，得到去雾后的图像图片；
[0013]步骤五：整理实际视频场景测试集，数据测试流程整合到训练代码中；
[0014]步骤六：共训练100轮，5轮测试保存一次，计算测试指标,峰值信噪比(Peak signal
‑
to
‑
noise ratio,PSNR)与基于亮度、对比度和结构三个方面进行衡量的相似性评价指标(Structrual Similarity Index Metric，SSIM)。
[0015]作为本专利技术所述一种基于监控场景下的城市道路去雾算法的一种优选方案，其中：所述测试指标峰值信噪比PSNR的具体方法为：
[0016](1)给定一个大小为m*n的干净图像I和噪声图像K；
[0017](2)计算该干净图像I和噪声图像K的均方误差MSE；
[0018](3)通过均方误差MSE得出测试指标峰值信噪比PSNR。
[0019]作为本专利技术所述一种基于监控场景下的城市道路去雾算法的一种优选方案，其中：所述均方误差的计算公式为，
[0020]所述测试指标峰值信噪比的计算公式为，
[0021]其中，m、n表示图片的长宽，MAX
I
表示图像最大像素值，I为未压缩的原始图像，K是I经过压缩后的图像，i,j表示图像像素位置。
[0022]作为本专利技术所述一种基于监控场景下的城市道路去雾算法的一种优选方案，其中：所述相似性评价指标SSIM的表达公式如下：
[0023][0024]其中x表示图像1，y表示图像2，u
x
是图像x的均值，u
y
是图像y的均值，是x的方差，是y的方差，σ
xy
是xy的协方差，c1＝(k1L)2，c2＝(k2L)2，k1＝0.001，k2＝0.03,L为像素值的范围。
[0025]作为本专利技术所述一种基于监控场景下的城市道路去雾算法的一种优选方案，其中：所述步骤六过程中，保存测试图片中前5张图片去雾效果，并从数值上客观评价，以及图片去雾效果主观评价对模型进行评估。
[0026]作为本专利技术所述一种基于监控场景下的城市道路去雾算法的一种优选方案，其中：所述步骤三过程中，主干网络包括：整图特征融合网络、R分支网络、G分支网络、B分支网络、特征融合网络，所述步骤四过程中，网络输出的过程为：将有雾图片输入到主干网络，由整图特征融合网络学习图片的整体特征，网络R分支网络、G分支网络、B分支网络分别学习图片的局部细节特征，通过特征融合网络将学习到的局部特征和整体特征进行融合，从而输出三个结果：透射图、大气光和去雾图像，并在多维度的损失函数协同训练下，指导网络学习符合物理散射模型的网络参数，最终在测试或实际运用中输出去雾图像的结果。
[0027]本专利技术的有益效果：
[0028]1、本专利技术针对目前去雾模型数据不足的难点，首先从数量上扩大训练样本多样性，整合目前开源去雾的室内和室外的数据，以及搜集最新网络数据作为测试评估模型；针对去雾效果不彻底，去雾颜色效果失真问题，添加多维损失函数辅助训练，优化去雾效果；
[0029]2、本专利技术针对跨域问题去雾效果不理想，训练过程添加不遗忘学习，提升模型跨域性能，综合最新的去雾网络，帮助优化模型参数，提升去雾性能，保证模型去效果的同时，提升了模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于监控场景下的城市道路去雾算法，其特征在于，包括以下步骤：步骤一：增加数据规模大小提升模型泛化能力，将目前开源数据中的关于去雾数据进行整合；步骤二：从实际监控的视频场景中，选择不同时间段和天气下的雾天和非雾天数据，制作一批测试集，作为实际场景下的数据测试；步骤三：采用pytorch作为训练框架，修改构建主干网络，其中主干网络结合两个性能优秀的模型结构修改而成；步骤四：通过训练框架训练时，添加5个多维度的损失函数进行协同训练，损失函数包括：暗通道损失、亮通道损失、平滑平均绝对误差损失、不遗忘学习损失、对比度自适应直方均衡化损失，损失函数是在训练过程中辅助模型学习更具有泛化性的特征，在测试过程不需要该函数,训练结束后进行网络输出，得到去雾后的图像图片；步骤五：整理实际视频场景测试集，数据测试流程整合到训练代码中；步骤六：共训练100轮，5轮测试保存一次，计算测试指标,峰值信噪比与基于亮度、对比度和结构三个方面进行衡量的相似性评价指标。2.根据权利要求1所述的一种基于监控场景下的城市道路去雾算法，其特征在于：所述测试指标峰值信噪比PSNR的具体方法为：(1)给定一个大小为m*n的干净图像I和噪声图像K；(2)计算该干净图像I和噪声图像K的均方误差MSE；(3)通过均方误差MSE得出测试指标峰值信噪比PSNR。3.根据权利要求2所述的一种基于监控场景下的城市道路去雾算法，其特征在于：所述均方误差的计算公式为，所述测试指标峰值信噪比的计算公式为，其中，m、n表示图片的长宽，MA...

【专利技术属性】
技术研发人员：施远银，
申请(专利权)人：南京博雅集智智能技术有限公司，
类型：发明
国别省市：