一种图像中雨雾同步合成、去除的方法和装置制造方法及图纸

本发明专利技术实施例提供了一种图像中雨雾同步合成、去除的方法和装置，合成方法为：选取任一幅不带雨雾的真实图像作参考图像；将参考图像经过有雨图像模型RRM进行融合，合成接近真实场景的有雨雾图像；去除方法为：选取多张合成有雨雾的图像作为训练集；对全卷积神经网络进行训练，获得训练后的全卷积神经网络；获取拍摄的真实有雨图像，将拍摄的真实有雨图像输入训练后的全卷积神经网络，输出去除雨后的图像。该方法实现了图像中雨雾同步合成和去除的问题。

Method and device for synchronous synthesis and removal of rain fog in image

Method and device of the embodiment of the invention provides an image of rain fog removal, synchronous synthesis, synthesis method is: select any picture without the rain and fog of the real image as a reference image; image fusion is the reference after the rain image model RRM, the synthesis of real scene has fog image; removal method: selection a synthesis of fog image as the training set; the training of the convolutional neural network, the neural network was trained convolution; rain image acquisition real shooting, shooting the real full rain image input convolutional neural network after training, after the removal of image output. The method realizes the synchronous synthesis and removal of rain fog in images.

【技术实现步骤摘要】
一种图像中雨雾同步合成、去除的方法和装置
本专利技术属于图像处理
，特别是涉及一种图像中雨雾同步、去除的方法和装置。
技术介绍
以面向室外场景的智能监控系统例，现有的智能监控系统首先通过摄像头采集图像，然后通过各种计算机视觉算法对图像内容进行分析，包括图像中特定目标的识别与跟踪、打架斗殴等异常事件的检测。这类视觉算法通常都需要对图像特征的准确提取，因此对图像质量要求很高。然而，天气因素是监控系统无法控制的，下雨会不可避免地造成图像质量的下降，从而影响图像特征提取的准确性，进而导致视觉算法性能下降甚至完全失效。同时，下雨所造成的图像质量下降意味着图像的可观测性也会下降，这会导致用户难以通过人眼对监控内容进行判断与分析，通过对大量的有雨图像进行观察，发现在真实环境中，由于下雨导致空气的湿度上升，进而环境中的水分蒸发等因素会产生水汽或者雾气(本专利技术中统称为雾)，导致了获取的图像更加模糊。基于此，目前有两种方法对下雨天拍摄的图像进行了成研究，第一种方法提出了一种卷积神经网络，可以同时实现图像中雨的检测和去除，但不能去雾，该方法虽然意识到真实有雨图像中雨雾并存的现象，也对有雨图像先进行去雾、再去雨、最后再去雾的处理，也获得了清晰的图像。但是该方法将雨和雾看做相互独立的两部分，分别对所述两部分进行处理。然而，真实环境中，雨雾并不是相互独立的，雾是由雨产生的，雾的浓度与雨的分布也存在一定的关系。因此，该方法对于真实有雨图像的处理效果不佳。
技术实现思路
本专利技术实施例的目的在于提供一种图像中雨雾同步合成和去除的方法和装置，以实现图像中雨雾同步合成和去除的问题。具体技术方案如下：一种图像中雨雾同步合成方法,该方法包括：选取任一幅不带雨雾的真实图像作参考图像；将参考图像经过有雨图像模型RRM进行处理，合成接近真实场景的有雨雾图像J，其中，RRM模型为：J＝I+R*H，I和R分别为不带雨雾的参考图像和雨线，H为雾的图像模型，*代表卷积。进一步地，所述将参考图像经过有雨图像模型RRM进行处理，合成接近真实场景的有雨图像J，包括：将所述参考图像I由RGB色彩空间转换到亮度色度YCbCr空间，获得YCbCr空间的图像；根据所述YCbCr空间的图像，将雨线R叠加在所述YCbCr空间的Y通道上，合成带有雨线的图像；将所述带有雨线的YCbCr图像转化到RGB空间，获得带有雨线的RGB图像；计算所述参考图像的透射率t(x)，获得雾的图像模型H(x)，其中，x为参考图像中的像素点；将所述带有雨线的图像与雾的图像模型H(x)进行处理，合成带有雨雾的合成图像J。进一步地，所述计算参考图像的透射率t(x)，获得含有雾的图像模型H(x)，包括：计算参考图像的深度信息d(x)；根据参考图像的深度信息d(x)和大气光散射系数β，获得透射率t(x)；利用获取的透射率t(x)，基于大气散射模型，获得含有雾的图像模型H(x)：H(x)＝R(x)·t(x)+A·(1-t(x))其中，A为大气光。一种图像中雨雾同步去除方法，所述方法包括：选取多张合成有雨雾的图像作为训练集；对全卷积神经网络进行训练，获得训练后的全卷积神经网络；获取拍摄的真实有雨图像，将拍摄的真实有雨图像输入训练后的全卷积神经网络，输出去除雨后的图像。进一步地，所述对全卷积神经网络进行训练，获得训练后的全卷积神经网络，包括：构建全卷积神经网络，所述全卷积神经网络为：Ft(X)＝σ(Wt*Ft-1(X)+Bt)其中，X为全卷积神经网络中有雨雾的图像的参数输入，Ft(X)、Ft-1(X)分别为全卷积神经网络的第t层和t-1层特征图的输出，t＝{1,2,……,T}，T为卷积神经网络的层数，T取自然数，Wt和Bt分别为全卷积神经网络的权重和偏置，σ(·)为双曲正切激活函数；选取与有雨雾的图像对应的不带雨雾的真实图像作参考图像；基于构建的全卷积神经网络和参考图像，根据色彩损失函数l和暗通道损失函数lD，获得全卷积神经网络训练的目标函数L，其中，所述全卷积神经网络训练的目标函数L为：λ为用于平衡色彩损失函数l和暗通道损失函数lD的参数，N为训练样本的总数量，y是参考图像的像素值，||·||2是L2范数的平方，d是参考图像的暗通道，是图像的稀疏暗通道函数，表示阿达马乘积，M是一个大小与去雨图像Ft(x)相同的三维掩码矩阵，i、j为图像Ft(x)的像素位置，c为图像通道数；对所述全卷积神经网络训练的目标函数L进行优化，获得全卷积神经网络的权重和偏置，从而获得训练后的全卷积神经网络。一种图像中雨雾同步合成装置,该装置包括：第一选取参考图像模块，用于选取任一幅不带雨雾的真实图像作参考图像；合成图像模块，用于将参考图像经过有雨图像模型RRM进行处理，合成接近真实场景的有雨雾图像J，其中，RRM模型为：J＝I+R*H，I和R分别为不带雨雾的参考图像和雨线，H为雾的图像模型，*代表卷积。进一步地，所述合成图像模块，包括：转换YCbCr空间子模块，用于将所述参考图像I由RGB空间转换到亮度色度YCbCr空间，获得YCbCr空间的图像；合成雨线子模块，用于根据所述YCbCr空间的图像，将雨线R叠加在所述YCbCr图像的Y通道上，合成带有雨线的图像；转换RGB空间子模块，将所述带有雨线的图像转化到RGB空间，获得带有雨线的RGB图像；获得雾图像模型子模块，计算所述参考图像的透射率t(x)，获得雾的图像模型H(x)，其中，x为参考图像中的像素点；合成雨雾的合成图像子模块，用于将所述带有雨线的RGB图像与雾的图像模型H(x)进行处理，合成带有雨雾的合成图像J。进一步地，所述获得雾图像模型子模块，包括：深度信息子单元，用于计算参考图像的深度信息d(x)；透射率子单元，用于根据参考图像的深度信息d(x)和大气光散射系数β，获得透射率t(x)；含雾的图像模型计算子单元，用于利用获取的透射率t(x)，基于大气散射模型，获得含有雾的图像模型H(x)：H(x)＝R(x)·t(x)+A·(1-t(x))其中，A为大气光。一种图像中雨雾同步去除装置，该装置包括：选取有雨雾图像模块，用于选取多张合成的有雨雾图像作为训练集；训练全卷积神经网络模块，用于对全卷积神经网络进行训练，获得训练后的全卷积神经网络；去除雨雾模块，用于获取拍摄的真实有雨图像，将拍摄的真实有雨图像输入训练后的全卷积神经网络，输出去除雨雾后的图像。进一步地，所述训练全卷积神经网络模块，包括：构建全卷积神经网络子模块，用于构建全卷积神经网络，所述全卷积神经网络为：Ft(X)＝σ(Wt*Ft-1(X)+Bt)其中，X为全卷积神经网络中有雨雾的图像的参数输入，Ft(X)、Ft-1(X)分别为全卷积神经网络的第t层和t-1层特征图的输出，t＝{1,2,……,T}，T为卷积神经网络的层数，T取自然数，Wt和Bt分别为全卷积神经网络的权重和偏置，σ(·)为双曲正切激活函数；第二选取参考图像子模块，用于选取与有雨雾的图像对应的不带雨雾的真实图像作参考图像；构建目标函数子模块，用于在构建的全卷积神经网络和参考图像基础上，根据色彩损失函数l和暗通道损失函数lD，获得全卷积神经网络训练的目标函数L，其中，所述全卷积神经网络训练的目标函数L为：λ为用于平衡色彩损失函数l和暗通道损失函数lD的参本文档来自技高网...

【技术保护点】
一种图像中雨雾同步合成方法,其特征在于，所述方法包括：选取任一幅不带雨雾的真实图像作参考图像；将参考图像经过有雨图像模型RRM进行处理，合成接近真实场景的有雨雾图像J，其中，RRM模型为：J＝I+R*H，I和R分别为不带雨雾的参考图像和雨线，H为雾的图像模型，*代表卷积。

【技术特征摘要】
1.一种图像中雨雾同步合成方法,其特征在于，所述方法包括：选取任一幅不带雨雾的真实图像作参考图像；将参考图像经过有雨图像模型RRM进行处理，合成接近真实场景的有雨雾图像J，其中，RRM模型为：J＝I+R*H，I和R分别为不带雨雾的参考图像和雨线，H为雾的图像模型，*代表卷积。2.如权利要求1的方法，其特征在于，所述将参考图像经过有雨图像模型RRM进行处理，合成接近真实场景的有雨图像J，包括：将所述参考图像I由RGB色彩空间转换到亮度色度YCbCr空间，获得YCbCr空间的图像；根据所述YCbCr空间的图像，将雨线R叠加在所述YCbCr空间的Y通道上，合成带有雨线的图像；将所述带有雨线的YCbCr图像转化到RGB空间，获得带有雨线的RGB图像；计算所述参考图像的透射率t(x)，获得雾的图像模型H(x)，其中，x为参考图像中的像素点；将所述带有雨线的RGB图像与雾的图像模型H(x)进行处理，合成带有雨雾的合成图像J。3.如权利要求2所述的方法,其特征在于，所述计算参考图像的透射率t(x)，获得含有雾的图像模型H(x)，包括：计算参考图像的深度信息d(x)；根据参考图像的深度信息d(x)和大气光散射系数β，获得透射率t(x)；利用获取的透射率t(x)，基于大气散射模型，获得含有雾的图像模型H(x)：H(x)＝R(x)·t(x)+A·(1-t(x))其中，A为大气光。4.一种图像中雨雾同步去除方法,其特征在于，所述方法包括：选取多张合成有雨雾的图像作为训练集；对全卷积神经网络进行训练，获得训练后的全卷积神经网络；获取拍摄的真实有雨图像，将拍摄的真实有雨图像输入训练后的全卷积神经网络，输出去除雨后的图像。5.如权利要求4所述的方法,其特征在于，所述对全卷积神经网络进行训练，获得训练后的全卷积神经网络，包括：构建全卷积神经网络，所述全卷积神经网络为：Ft(X)＝σ(Wt*Ft-1(X)+Bt)其中，X为全卷积神经网络中有雨雾的图像的参数输入，Ft(X)、Ft-1(X)分别为全卷积神经网络的第t层和t-1层特征图的输出，t＝{1,2,……,T}，T为卷积神经网络的层数，T取自然数，Wt和Bt分别为全卷积神经网络的权重和偏置，σ(·)为双曲正切激活函数；选取与有雨雾的图像对应的不带雨雾的真实图像作参考图像；基于构建的全卷积神经网络和参考图像，根据色彩损失函数l和暗通道损失函数lD，获得全卷积神经网络训练的目标函数L，其中，所述全卷积神经网络训练的目标函数L为：λ为用于平衡色彩损失函数l和暗通道损失函数lD的参数，N为训练样本的总数量，y是参考图像的像素值，||·||2是L2范数的平方，d是参考图像的暗通道，是图像的稀疏暗通道函数，表示阿达马乘积，M是一个大小与去雨图像Ft(x)相同的三维掩码矩阵，i、j为图像Ft(x)的像素位置，c为图像通道数；对所述全卷积神经网络训练的目标函数L进行优化，获得全卷积神经网络的权重和偏置，从而获得训练后的全卷积神经网络。6.一种图像中雨雾同步合成装置,其特征在于，该装置包括：第一选取参考图像模块，用于选取任一幅不带雨雾的真实图像作参考图像；合成图像模块，用于...

【专利技术属性】
技术研发人员：马华东，刘武，张佂，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11