一种视频图像雨滴去除方法及系统技术方案

本发明专利技术属于图像去雨技术领域，尤其涉及一种视频图像雨滴去除方法及系统。所述视频图像雨滴去除方法包括：步骤a：将视频帧图像从RGB色彩空间转换到YCbCr色彩空间；步骤b：通过基于静态雨滴的光度特性及动态雨滴的光度特性对所述视频帧图像进行雨滴检测，得到雨滴影响图像；步骤c：利用α混合技术将所述雨滴影响图像与无雨背景图像混合进行雨滴消除，得到去雨图像。本发明专利技术大幅缩小了雨滴去除所需的时间，提高去雨效率，有利于提高雨滴检测的准确性，从而提升去雨效果，并有效提升图像输出质量。

【技术实现步骤摘要】

本专利技术属于视频图像雨滴去除
，尤其涉及一种视频图像雨滴去除方法及系统。
技术介绍
由于拥有包括自动性、智能性、高效性等诸多优点，户外计算机视觉系统被广泛使用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其完全失效。所以消除恶劣天气影响的有效方法，对于一个全天候的户外视觉系统来说必不可少。在诸多恶劣天气情况中，雨由于拥有较大粒子(雨滴)半径及其他复杂物理特性，会对视觉系统所摄取的图像质量造成较大程度的影响。视频图像雨滴去除技术通过使用雨的物理、频率等特性，对视频帧图像中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利于图像的进一步处理。因此，视频图像雨滴去除技术已经成为计算机视觉领域不可缺少的关键性技术。近些年来关于视频及图像中雨滴检测与去除的研究已然成为热点。Starik等在2003年最早提出了时域均值的雨滴去除策略，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数几帧中，故可直接对视频帧图像进行平均就可以得到去除了雨的影响的原图像。同时，他们认为雨会对背景产生亮度加强，且造成一定程度上的模糊，最终产生的视觉效果是雨及被覆盖背景的空间混合。对于远处的雨，由于失焦效果，会呈现雾状特征。遗憾的是，他们并没有对方法进行试验验证。Garg和Nayar最早使用了雨的动态及光度特性(K.Garg and S.K.Nayar,“Detection and removal of rain from videos,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2004,vol.1,pp.528–535)，分别建立了两种模型，并基于这两个模型提出了检测和去除雨的方法。对于雨的动态模型，其表明了雨在其下落方向具有时域相关性；对于光度模型，其分为静态雨及动态雨模型。对于静态雨滴，其亮度显著高于其覆盖的背景；对于动态雨滴(雨线)，其亮度由静态雨滴亮度、背景亮度及相机曝光时间决定。之后，作者提出了一种使用帧差法进行雨滴初检，使用两种特性进行误检去除，并最终利用前后帧图像信息进行雨滴去除的方法。虽然此方法性能较好，但其对于严重失焦(远处)的雨、明亮背景上的雨及雨势变化无法处理。2006年Zhang等人(Zhang X P,Li H,Qi Y Y,Leow W K,Ng T K.Rain removal in video by combining temporal and chromatic properties.In:Proceedings of the 2006International Conferenceon Multimedia and Expo.Toronto,Canada:IEEE,2006.461464)使用了雨的时域分布及色彩特性。由于雨的时域分布直方图显示两个峰(分别代表雨滴亮度及背景亮度)，且近似构成高斯混合模型，故非监督学习方法——K-means聚类算法能够有效地对之进行分离。之后，作者发现被雨滴影响像素的帧间RGB值的变化基本相同，故误检能够进一步被去除。此方法实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人(Barnum P C,Narasimhan S G,Kanade T.Analysis of rainand snow in frequency space.Internatio-nal Journal of Computer Vision,2010,86(23):256274)注意到之前的多数方法严重依赖于清晰雨线的提取，而雨线由于会造成重复的模式，在频域中对雨进行分析是合理的。作者建立高斯模型来近似雨的影响，并通过求在三维傅里叶变换中的模型所占比例进行雨滴检测，进而通过迭代去雨，最后反变换至视频图像。实验结果表明此种方法拥有较好的处理性能，但此方法由于算法较为简单，容易出现过多错误检测；同时，由于使用了混合高斯模型，具有较高的时间复杂度，且在存在不显眼的雨(明亮背景下的雨)及雨势变化时，其处理性能会出现显著下降。由于使用雨的频率特性能够在特定情况下显著提升算法去雨性能，且在仅处理单幅图像(即无时域信息)时，频率特性能够发挥更大的作用。Yu-Hsiang Fu等(Fu Y H,Kang L W,Lin C W,et al.Single-frame-based rain removal via imagedecomposition.In:Proceeding of 2011IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP).Prague,Czech:IEEE Press,2011:1453-1456.)首先提出了基于MCA(形态学成分分析)及图像分解的单幅图像去雨算法，作者首先使用双边滤波将图像分为高频及低频部分，之后进行字典学习，并通过将雨部分字典系数设置为0得到去雨图像。由于此方法存在字典选择非自动性的缺点，Li-Wei Kang等(Kang L W,Lin C W,Fu Y H.Automatic single-image-based rain streaks removalvia image decomposition.Image Processing,IEEE Transactions on,2012,21(4):1742-1755.)提出了一种基于自学习的自动改进算法。之后，De-An Huang等(Huang D A,Kang L W,Yang M C,et al.Context-aware single image rain removal.In:Proceeding of 2012IEEE International Conference on Multimedia and Expo(ICME).Melbourne,Australia:IEEEPress,2012:164-169.)提出了基于上下文感知的单幅图像去雨算法，此方法仅需要单幅图像进行学习工作，故可以大幅减少算法所需时间。而Duan-Yu Chen等(Chen D Y,Chen C C,Kang L W.Visual depth guided image rain streaks removal via sparse coding.In:Proceeding of2012International Symposium on Intelligent Signal Processing and Communications Systems.NewTaipei,Taiwan:IEEE,2012:151-156.)引入了DoD(深度差异)的概念，深度差异能够衡量图像的局部相关性信息，故能够为单幅图像去雨提供帮助，同时，他们使用引导滤波替代原先使用的双边滤波，因为其拥有更好的性能。综上所述，现有的图像去雨技术存在的缺点在于：现有的图像去雨技术处理时间较长，不利于实时应用；同时，现有图像去雨技术在雨滴去除时大量使用值简单替换法，会对输本文档来自技高网...

【技术保护点】
一种视频图像雨滴去除方法，其特征在于，包括：步骤a：将视频帧图像从RGB色彩空间转换到YCbCr色彩空间；步骤b：通过基于静态雨滴的光度特性及动态雨滴的光度特性对所述视频帧图像进行雨滴检测，得到雨滴影响图像；步骤c：利用α混合技术将所述雨滴影响图像与无雨背景图像混合进行雨滴消除，得到去雨图像。

【技术特征摘要】
1.一种视频图像雨滴去除方法，其特征在于，包括：步骤a：将视频帧图像从RGB色彩空间转换到YCbCr色彩空间；步骤b：通过基于静态雨滴的光度特性及动态雨滴的光度特性对所述视频帧图像进行雨滴检测，得到雨滴影响图像；步骤c：利用α混合技术将所述雨滴影响图像与无雨背景图像混合进行雨滴消除，得到去雨图像。2.根据权利要求1所述的视频图像雨滴去除方法，其特征在于，在所述步骤b中，所述通过基于静态雨滴的光度特性及动态雨滴的光度特性对所述视频帧图像进行雨滴检测具体包括：步骤b1：通过基于静态雨滴的光度特性对所述视频帧图像进行雨滴初检，得到当前视频帧图像的雨滴初检图像；步骤b2：通过动态雨滴的光度特性对所述视频帧图像的雨滴初检图像进行雨滴误检消除，得到最终的雨滴影响图像。3.根据权利要求1所述的视频图像雨滴去除方法，其特征在于，在所述步骤c中，所述雨滴去除公式为：C＝αCb+(1-α)Cr在上述公式中，C代表输出图像Y通道值，Cb代表无雨背景图像的Y通道值，Cr代表雨滴影响图像的Y通道值。4.根据权利要求3所述的视频图像雨滴去除方法，其特征在于，在所述步骤c后还包括：通过图像亮度调整技术对所述去雨图像的亮度进行调整，得到最终去雨图像。5.根据权利要求4所述的视频图像雨滴去除方法，其特征在于，在所述步骤c后还包括：将所述最终去雨图像由YCbCr色彩空间转换到RGB色彩空间，并输出去雨图像。6.一种视频图像雨滴去除系统，其特征在于，包括第一...

【专利技术属性】
技术研发人员：朱青松，袁杰，王磊，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44