动态图像中去除雨滴影响的方法和系统技术方案

本发明专利技术提供了一种动态图像中去除雨滴影响的方法和系统，其方法包括：提取动态图像数据中表征颜色亮度的灰度图像数据，获得预设帧数的灰度图像；提取所述预设帧数的灰度图像中的其中一帧图像进行频域分析，确定雨线方向；对所述预设帧数的灰度图像进行基于所述雨线方向上的滤波处理，获得背景图；基于双边滤波对所述预设帧数的灰度图像进行滤波去噪处理，获得多帧中间图像；将所述背景图和所述多帧中间图像进行混合，调整图像亮度，获得去雨后的多帧结果图像。本发明专利技术属于一种新的针对动态图像的雨滴去除技术，能够有效的提高运算速度，降低复杂度，并且还能有效的应用于针对视频数据的实时处理中。

【技术实现步骤摘要】
动态图像中去除雨滴影响的方法和系统
本专利技术涉及视频雨滴去除技术，特别是涉及一种动态图像中去除雨滴影响的方法和系统。
技术介绍
由于拥有包括自动性、智能性、高效性等诸多优点，户外计算机视觉系统被广泛使用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其完全失效。所以消除恶劣天气影响的有效方法，对于一个全天候的户外视觉系统来说必不可少。在诸多恶劣天气情况中，雨由于拥有较大粒子(雨滴)半径及其他复杂物理特性，会对视觉系统所摄取的图像的质量造成较大程度的影响。视频雨滴去除技术通过使用雨的物理、频率等特性，对视频帧中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利于图像的进一步处理。因此，视频雨滴去除技术已经成为计算机视觉领域不可缺少的关键性技术。近些年来关于视频及图像中雨滴检测与去除的研究已然成为热点。Starik等在2003年最早提出了时域均值的雨滴去除策略，该方法基于视频图像序列中少数几帧受雨滴对像素的影响的假设，可直接对视频帧进行平均就可以得到去除了雨的影响的原图像。但是，该方法认为雨会对背景产生亮度加强，且造成一定程度上的模糊，最终产生的视觉效果是雨及被覆盖背景的空间混合。后期还逐步有人提出了诸如使用了雨的动态及光度特性分别建立了两种模型、并基于这两个模型提出了检测和去除雨的方法，以及使用了雨的时域分布及色彩特性，基于雨的时域分布直方图显示的两个峰(分别代表雨滴亮度及背景亮度)来构建高斯混合模型，利用非监督学习方法——K-means聚类方法从图像像素中分离雨滴像素，帧差法进行雨滴初检等等。以上方法中虽然能对图像中的雨滴进行去除，但是多数方法严重依赖于清晰雨线的提取，或是需要基于复杂的混合高斯模型，具有较高的时间复杂度，且在存在不显眼的雨(明亮背景下的雨)及雨势变化时，其处理性能会出现显著下降。基于现有技术中基于频率的技术时间复杂度过高，不利于方法的推广，且现有技术在雨滴去除时大量使用值简单替换法，会对输出视频的质量造成降低等问题，还有待进一步的提高目前针对动态图像的除去雨滴影响的技术。
技术实现思路
基于此，有必要针对现有技术中存在的问题，提供一种动态图像中去除雨滴影响的方法和系统，其属于一种新的针对动态图像的雨滴去除技术，能够有效的提高运算速度，降低复杂度，并且还能有效的应用于针对视频数据的实时处理中。一种动态图像中去除雨滴影响的方法，其包括：图像提取步骤：提取动态图像数据中表征颜色亮度的灰度图像数据，获得预设帧数的灰度图像；雨线分析步骤：提取所述预设帧数的灰度图像中的其中一帧图像进行频域分析，确定雨线方向；背景提取步骤：对所述预设帧数的灰度图像进行基于所述雨线方向上的滤波处理，获得背景图；滤波去噪步骤：基于双边滤波对所述预设帧数的灰度图像进行滤波去噪处理，获得多帧中间图像；去雨步骤：将所述背景图和所述多帧中间图像进行混合，调整图像亮度，获得去雨后的多帧结果图像。在其中一个实施例中，所述图像提取步骤之前还包括：获取连续的动态图像数据；每隔所述预设帧数执行一次所述雨线分析步骤，并判断当前获得的雨线方向是否与前一次执行所述雨线分析步骤获得的雨线方向相同，若否，则基于所述当前获得的雨线方向，执行所述背景提取步骤，若是则基于前一次执行所述雨线分析步骤获得的雨线方向执行所述背景提取步骤，或者基于前一次执行所述背景提取步骤提取的背景图像、执行所述去雨步骤。在其中一个实施例中，所述方法还包括：将RGB模式下的视频数据转换到YCbCr色彩空间，获得所述动态图像数据。在其中一个实施例中，所述雨线分析步骤包括：对所述其中一帧图像进行傅里叶变换，获得频谱图；对所述频谱图进行边缘检测，形成第一图像；基于霍夫变换检测所述第一图像中的直线；确定检测到的直线方向，获得所述雨线方向。在其中一个实施例中，所述去雨步骤中包括基于下述公式(1)对图像数据进行处理的步骤：C＝αCb+(1-α)Cr(1)其中，Cb表示所述背景图；C表示所述结果图像；Cr表示所述中间图像；α表示调节系数。在其中一个实施例中，所述去雨步骤中还包括：基于调整图像的像素值函数，构建调节灰度图像亮度的映射曲线；设定所述映射曲线的参数值，获得表征预设范围的映射曲线；利用所述映射曲线对所述结果图像进行亮度调节处理。在其中一个实施例中，所述方法中还包括：每隔预设帧数执行一次所述雨线分析步骤，并基于当前获得的雨线方向执行所述背景提取步骤。在其中一个实施例中，所述方法还包括：将所述多帧结果图像混合所述预设帧数对应的动态图像数据中除颜色亮度以外的图像信息，获得去除雨滴影响后的动态图像数据。一种动态图像中去除雨滴影响的系统，其包括：图像提取模块，用于提取动态图像数据中表征颜色亮度的灰度图像数据，获得预设帧数的灰度图像；雨线分析模块，用于提取所述预设帧数的灰度图像中的其中一帧图像进行频域分析，确定雨线方向；背景提取模块，用于对所述预设帧数的灰度图像进行基于所述雨线方向上的滤波处理，获得背景图；滤波去噪模块，用于基于双边滤波对所述预设帧数的灰度图像进行滤波去噪处理，获得多帧中间图像；及去雨模块，用于将所述背景图和所述多帧中间图像进行混合，调整图像亮度，获得去雨后的多帧结果图像。在其中一个实施例中，所述系统还包括：图像获取模块，用于获取连续的动态图像数据；及判断模块，用于每隔预设帧数执行一次所述雨线分析模块，并判断当前获得的雨线方向是否与前一次执行所述雨线分析模块获得的雨线方向相同，若否，则基于所述当前获得的雨线方向，调用所述背景提取模块；若是，则基于前一次调用所述雨线分析模块获得的雨线方向调用所述背景提取模块，或者基于前一次获得的背景图像调用所述去雨模块。本专利技术不使用复杂的高斯混合模型进行雨线建模，也没有使用形态学成分分析、稀疏编码等技术进行频域去雨，而仅使用了雨的纹理性及其在频域中的体现，处理速度快，降低运算的复杂度。更进一步地，还可仅在YCbCr色彩空间的Y色彩通道上进行图像处理，大幅缩小了雨滴去除所需的时间；本专利技术还克服了基于稀疏编码及雨的频率特性的图像去雨算法的仅可处理灰度图像的缺点，能够对彩色图像进行处理，并能够获得较好的效果；本专利技术还通过间隔性的对雨的频率特性的分析(如每10帧进行再分析，重新确定雨下落方向)，能够实现对变化雨势的处理；本专利技术还在雨滴去除阶段使用了α混合及双边滤波技术，能够获得较好的效果。总之，本专利技术通过使用雨的频率特性、颜色空间转换技术、α混合技术及双边滤波技术等技术，提出了一种新的视频去雨方法。附图说明图1为本专利技术方法的一个实施例流程示意图；图2为本专利技术一个实施例中图像处理过程的效果图，其中(a)为待处理灰度图像，(b)为频谱图，(c)为霍夫变换检测直线的效果图，(d)为背景图；图3为霍夫变换的原理图；图4为本专利技术方法的一个实施例中映射曲线的示意图；图5为本专利技术方法的另一个实施例流程示意图；图6为本专利技术方法的又一个实施例流程示意图；图7为本专利技术系统的一个实施例结构示意图；图8为利用本专利技术的方法和系统处理之后的图像对比图，其中(a)表示原始图像，(b)表示经过本专利技术方法处理之后的图像；图9为本专利技术方法的同一背景下动态图像的处理流程图。具体实施方式基于视频数据的图像处理技术，本专利技术提供了一种动态图像中去除雨滴影本文档来自技高网...

【技术保护点】
一种动态图像中去除雨滴影响的方法，其包括：图像提取步骤：提取动态图像数据中表征颜色亮度的灰度图像数据，获得预设帧数的灰度图像；雨线分析步骤：提取所述预设帧数的灰度图像中的其中一帧图像进行频域分析，确定雨线方向；背景提取步骤：对所述预设帧数的灰度图像进行基于所述雨线方向上的滤波处理，获得背景图；滤波去噪步骤：基于双边滤波对所述预设帧数的灰度图像进行滤波去噪处理，获得多帧中间图像；去雨步骤：将所述背景图和所述多帧中间图像进行混合，调整图像亮度，获得去雨后的多帧结果图像。

【技术特征摘要】
1.一种动态图像中去除雨滴影响的方法，其包括：获取连续的动态图像数据；图像提取步骤：提取动态图像数据中表征颜色亮度的灰度图像数据，获得预设帧数的灰度图像；雨线分析步骤：提取所述预设帧数的灰度图像中的其中一帧图像进行频域分析，确定雨线方向；背景提取步骤：对所述预设帧数的灰度图像进行基于所述雨线方向上的滤波处理，获得背景图；滤波去噪步骤：基于双边滤波对所述预设帧数的灰度图像进行滤波去噪处理，获得多帧中间图像；去雨步骤：将所述背景图和所述多帧中间图像进行混合，调整图像亮度，获得去雨后的多帧结果图像；每隔所述预设帧数执行一次所述雨线分析步骤，并判断当前获得的雨线方向是否与前一次执行所述雨线分析步骤获得的雨线方向相同，若否则基于所述当前获得的雨线方向，执行所述背景提取步骤，若是则基于前一次执行所述雨线分析步骤获得的雨线方向执行所述背景提取步骤，或者基于前一次执行所述背景提取步骤提取的背景图像、执行所述去雨步骤。2.根据权利要求1所述的动态图像中去除雨滴影响的方法，其特征在于，所述方法还包括：将RGB模式下的视频数据转换到YCbCr色彩空间，获得所述动态图像数据。3.根据权利要求1所述的动态图像中去除雨滴影响的方法，其特征在于，所述雨线分析步骤包括：对所述其中一帧图像进行傅里叶变换，获得频谱图；对所述频谱图进行边缘检测，形成第一图像；基于霍夫变换检测所述第一图像中的直线；确定检测到的直线方向，获得所述雨线方向。4.根据权利要求1所述的动态图像中去除雨滴影响的方法，其特征在于，所述去雨步骤中包括基于下述公式(1)对图像数据进行处理的步骤：C＝αCb+(1-α)Cr(1)其中，Cb表示所述背景图；C表示所述结果图像；Cr表示所述中间图像；α表示调节系数。5....

【专利技术属性】
技术研发人员：朱青松，袁杰，王磊，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44