一种基于PReNet渐进式网络的图像去雨方法及装置制造方法及图纸

本发明专利技术公开了一种基于PReNet渐进式网络的图像去雨方法及装置，包括以下步骤：S1、获取真实渲染的待去雨图像及对应的降水量大小信息；S2、通过逐步增加分辨率的方式，逐渐提取图像的特征信息；S3、采用渐进式残差块为核心模块，提取图像中的特征信息；S4、使用特征融合网络融合不同分辨率的特征信息；S5、完成去雨；S6、输出1～N阶段去雨图像；S7、采用多项式回归算法，训练模型。本发明专利技术采用上述的一种基于PReNet渐进式网络的图像去雨方法及装置，不仅提高雨天交通标志的判别性，而且以提高整个交通目标检测和识别系统的速度和准确性。通目标检测和识别系统的速度和准确性。通目标检测和识别系统的速度和准确性。

【技术实现步骤摘要】
一种基于PReNet渐进式网络的图像去雨方法及装置


[0001]本专利技术涉及车辆自动驾驶及控制
，尤其是涉及一种基于PReNet渐进式网络的图像去雨方法及装置。

技术介绍

[0002]随着人工智能技术的发展，各种应用在车辆自动驾驶领域的公共交通场景下的技术得以快速发展。交通场景下的目标识别是获取交通图像数据有效信息的关键技术，更是助力智能交通相关系统及平台做出正确决策的重要基石。在正常环境光线良好状况下的目标检测和识别已经得到良好的实验及生产场景应用。但是，在极端恶劣条件下，例如雨雪雾以及沙尘特定环境下，通过传统机器视觉获取的图像质量快速退化，色相、饱和度与亮度相较于晴朗环境下偏差大，无法满足自动驾驶领域所要求的检测目标高精度的标准。以最常见的暴雨天气为例，传统摄像机拍摄的图片质量对比度不高，图像模糊。复杂路况下密集雨线会严重影响小目标的提取，从而影响到自动驾驶程序的决策和执行层面，危害了个人驾驶和公共交通的安全。同时，传统计算机视觉方向的图像分割、边缘检测已经无法满足高精度的交通目标的检测和识别任务。
[0003]近几年，国内外学者围绕恶劣天气环境下的目标检测，提出一系列基于深度学习网络的图像复原和目标检测方法。目前，有关于增加恶劣天气的目标检测的算法有以下两种，一种是端到端同时训练图像增强和目标检测两个子网络，这种方法存在难以在图像增强任务和目标检测任务之间取得平衡的问题。另一种是在目标检测前先对图像进行预处理从而减少恶劣天气条件带来的影响。
[0004]利用图像增强的思想，有目的地强调图像地整体或局部特性，改善由雨滴噪声破坏原有的色相，亮度和对比度等，扩大图像中不同物体之间的差距，提高图像的视觉效果。
[0005]对于普遍状况下，PReNet递归优化次数t＝T＝6时，其去雨效果较好。但随着递归次数的增加，单个图像优化的时越长，性能降低。同时考虑到自动驾驶实时检测的需求，在图像去噪之后，还需进行交通标志的检测和识别，其需求极高的实时处理图像的能力。
[0006]故而，考虑到不同环境下降水量对图像质量的影响，利用压电式雨量传感器和Arduino接口获取当前环境下车辆所处位置的降水量并实时更新，并配合PReNet达成根据降水量梯度应用最佳的循环优化次数，在确保图像满足较高精度低损失函数修复的同时，尽可能减少单帧图像去噪时间。
[0007]同时，利用现有的地图天气接口达成辅助传感器传递当前降水量修正参数的功能，以减小传感器在特殊情况被干扰影响的风险，增强整个系统的检测效率。
[0008]因此，本专利技术提供了一种基于渐进式图像去雨网络和雨量传感器共同协作的应用于自动驾驶环境下的图像去雨的方法和装置，以提高雨天交通标志的判别性。

技术实现思路

[0009]本专利技术的目的是提供一种基于PReNet渐进式网络的图像去雨方法及装置，不仅提
高雨天交通标志的判别性，而且以提高整个交通目标检测和识别系统的速度和准确性。
[0010]为实现上述目的，本专利技术提供了一种基于PReNet渐进式网络的图像去雨方法及装置，包括以下步骤：S1、获取真实渲染的待去雨图像及对应的降水量大小信息；S2、通过逐步增加分辨率的方式，逐渐提取图像的特征信息；S3、采用渐进式残差块为核心模块，提取图像中的特征信息；S4、使用特征融合网络融合不同分辨率的特征信息；S5、完成去雨；S6、输出1～N阶段去雨图像；S7、采用多项式回归算法，训练模型。
[0011]优选的，在步骤S1中，首先获取准备数据集和测试集，采用晴朗环境下城市交通专用数据集KITTI，此数据集进行相关算法降雨渲染，待处理图像通过在清晰图像上叠加仿真的雨线和雨滴获得，对于同一张图像，模拟不同降水量情况下真实图像渲染，带雨图像和不带雨的清晰图像一一对应，所有图像按照8：2的比例划分数据集和测试集。
[0012]优选的，在步骤S2中，采用了多个渐进式残差块，每个残差块都包括一个上采样模块和一个残差模块，其中，上采样模块采用双线性插值法将低分辨率的特征图上采样到高分辨率，残差模块则通过学习残差连接来增强特征表达能力，每个残差块的输出特征图将被输入到下一个残差块中，从而逐步增加特征图的分辨率和表达能力。
[0013]优选的，在步骤S3中，使用了渐进式残差块(Progressive Residual Block，PRB)来提取图像的高级特征，PRB结构包含了多个残差块，每个残差块由两个卷积层和一个跳跃连接组成，PRB结构通过多个阶段逐步增加特征的深度和复杂度，从而有效地提取图像中的高级特征，此外，PRB结构中的跳跃连接可以帮助防止梯度消失和加速模型收敛。
[0014]优选的，在步骤S4中，FFN结构包含了多个卷积层和池化层，可以将不同分辨率的特征图进行融合，从而提高模型对不同尺度信息的感知能力，此外，FFN结构中的通道注意力机制可以帮助模型自适应地学习不同特征通道之间的关系。
[0015]优选的，在步骤S5中，Neoprene通过多阶段展开的方式，逐步提高网络的分辨率，从而更好地恢复图像的细节信息，具体地，PReNet分为T个阶段，每个阶段使用不同分辨率的输入图像，并采用不同的残差学习模块，其具体可解释为以下几个部分：张量连接和卷积层处理：将上一个阶段的输出去雨图像和原始雨图像y进行张量连接，然后通过卷积层(Conv)和修正线性单元(Rectified Linear Units，ReLU)对它们进行联合处理；LSTM模块处理：对编码器(Encoder)输出的特征图进行处理，以捕捉序列数据中的长期依赖关系。其输入的是编码器输出的特征图序列，每个特征图表示输入图像在不同尺度下的特征表示；残差块处理：将上一个阶段的输入输出特征图寄到分配权重后的特征图上，以进一步提升网络性能和抗干扰能力；输出卷积层处理：对雨线的特征提取网络进行一个3*3的卷积处理，即3通道处理。在最后阶段通过输出卷积操作将处理完的输出值赋给输出图像相对应的像素点位置，并且加入修正线性单元(ReLU)来加强图像的对比度。
[0016]优选的，在步骤S6中，由于其通过卷积操作得到的去雨图像和原图的像素点相等，故采用下述的两种损失函数(Loss)：
[0017]其一是，均方误差(Mean Squared Error，MSE)：
[0018][0019]式中，m和n表示输出图像的高宽和通道，I[i，j]代表去雨后的图像，K[i，j]则代表原图参数，同时，采用结构相似性指数(SSIM)，其是一种图像质量评价指标，综合考虑了亮
度和对比度，倘若SSIM的数值越倾向于1，则证明两张图片相似程度越高，考虑到图像去雨程度，采用r(SSIM)＝1
‑
L(SSIM)，
[0020]损失函数L(SSIM)的公式如下：
[0021][0022]其相较于传统的PSNR损失函数，SSIM更加体现图像失真前与失真后的结构信息，故而，最终采用L＝λ1L
MSE
+λ2L
r(SSIM)
作为模型的损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于PReNet渐进式网络的图像去雨方法及装置，包括以下步骤：S1、获取真实渲染的待去雨图像及对应的降水量大小信息；S2、通过逐步增加分辨率的方式，逐渐提取图像的特征信息；S3、采用渐进式残差块为核心模块，提取图像中的特征信息；S4、使用特征融合网络融合不同分辨率的特征信息；S5、完成去雨；S6、输出1～N阶段去雨图像；S7、采用多项式回归算法，训练模型。2.根据权利要求1所述的一种基于PReNet渐进式网络的图像去雨方法及装置，其特征在于：在步骤S1中，首先获取准备数据集和测试集，采用晴朗环境下城市交通专用数据集KITTI，此数据集进行相关算法降雨渲染，待处理图像通过在清晰图像上叠加仿真的雨线和雨滴获得，对于同一张图像，模拟不同降水量情况下真实图像渲染，带雨图像和不带雨的清晰图像一一对应，所有图像按照8：2的比例划分数据集和测试集。3.根据权利要求1所述的一种基于PReNet渐进式网络的图像去雨方法及装置，其特征在于：在步骤S2中，采用了多个渐进式残差块，每个残差块都包括一个上采样模块和一个残差模块，其中，上采样模块采用双线性插值法将低分辨率的特征图上采样到高分辨率，残差模块则通过学习残差连接来增强特征表达能力，每个残差块的输出特征图将被输入到下一个残差块中，从而逐步增加特征图的分辨率和表达能力。4.根据权利要求1所述的一种基于PReNet渐进式网络的图像去雨方法及装置，其特征在于：在步骤S3中，使用了渐进式残差块(Progressive Residual Block，PRB)来提取图像的高级特征，PRB结构包含了多个残差块，每个残差块由两个卷积层和一个跳跃连接组成，PRB结构通过多个阶段逐步增加特征的深度和复杂度，从而有效地提取图像中的高级特征，此外，PRB结构中的跳跃连接可以帮助防止梯度消失和加速模型收敛。5.根据权利要求1所述的一种基于PReNet渐进式网络的图像去雨方法及装置，其特征在于：在步骤S4中，FFN结构包含了多个卷积层和池化层，可以将不同分辨率的特征图进行融合，从而提高模型对不同尺度信息的感知能力，此外，FFN结构中的通道注意力机制可以帮助模型自适应地学习不同特征通道之间的关系。6.根据权利要求1所述的一种基于PReNet渐进式网络的图像去雨方法及装置，其特征在于：在步骤S5中，Neoprene通过多阶段展开的方式，逐步提高网络的分辨率，从而更好地恢复图像的细节信息，具体地，PReNet分为T个阶段，每个阶段使用不同分辨率的输入图像，并采用不同的残差学习模块。具体可解释为以下几个部分：张量连接和...

【专利技术属性】
技术研发人员：张云顺，张辉，邹申，周德凯，张正一，苗秋凤，樊宸，刘干，谢锜帅，郜铭磊，郭禹辰，梁军，蔡英凤，
申请(专利权)人：江苏科创车联网产业研究院有限公司，
类型：发明
国别省市：