一种基于高斯混合模型的视频雨滴去除方法及其系统技术方案

本发明专利技术提供了一种基于高斯混合模型的视频雨滴去除方法及系统，通过静态雨滴的光度特性进行雨滴初检，并利用雨滴的光度特性进行动态雨滴误检排除，再利用光流法对视频图像进行运动区域估计，利用混合高斯模型对估计结果进行优化，检测出运动物体区域，从而进一步排除运动物体，再根据检测结果获取受污染像素点，最后通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除，从而能够准确有效地去除雨滴，提高了去雨算法的适应性。

【技术实现步骤摘要】

本专利技术涉及图像处理
，尤其涉及一种基于高斯混合模型的视频雨滴去除 方法及其系统。
技术介绍
雨对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视 频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降。对受雨滴污染的 视频图像进行修复处理有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、 分割和监控等技术的性能提高。而且视频图像去雨技术在现代军事、交通以及安全监控等 领域都有广泛的应用前景。 有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注，去雨算法的研究 也从2003年Starik等（Starik S, Werman M. Simulation of rainin videos Proceeding of Texture Workshop, ICCV.Nice,France:2003, 2:406-409)提出的中值法开始得到了迅 速的发展，处理的方法已经不再局限于最初简单的中值计算，偏度计算、K均值聚类、卡尔 曼滤波、字典学习和稀疏编码、引导滤波、帧间亮度差、HSV空间、光流法、运动分割等很多 方法也逐渐开始应用在视频图像中雨滴检测与去除的算法中，雨滴去除的效果也逐渐被提 高。Garg等最先提出利用雨滴带来的帧间亮度差进行雨滴初检，然后利用雨滴的直线性和 方向一致的特点进一步筛选，最后根据前后帧的像素亮度去除雨滴影响，可以较好地满足 雨滴不覆盖连续帧图像情况下的雨滴检测与去除；Zhang等将雨滴给像素带来的色彩影响 考虑在内，从而提高雨滴检测的准确性，改善了基于亮度变化的去雨算法在彩色图像上的 应用效果；Liu等将雨滴的亮度影响和色彩影响同时应用在算法中，用两帧检测雨滴并去 除；Tripathi等先研究雨滴像素亮度变化的概率统计特性，然后利用雨滴像素亮度变化的 对称性实现雨滴检测，仅基于时域和另外考虑空间位置的影响时效果不完全相同；Kang等 首先利用双边滤波将雨图分成高频部分和低频部分，并对高频部分进一步处理得到非雨成 分，结合低频部分得到去雨图；Huang等首先利用上下文约束进行图像分割，并利用上下文 感知进行单幅图像去雨，并在此基础上提出了改进算法，文中首先用到了超完备的字典对 高频部分进行处理。 特别是最近几年，视频图像去雨技术已成为新的研究热点。如何在保证高鲁棒性 的前提下提高去雨的准确率和实时性，是目前视频图像去雨领域的焦点。所以我们在此基 础上提出了一种利用高斯混合模型改进的有效去雨方法。该方案图像去雨算法具有很高的 准确度，更具有鲁棒性。目前存在的算法中，应用于静态场景视频雨滴检测与去除的算法有较为成熟的研 究成果，但是应用在动态场景中的视频上时，算法考虑的是视频中出现运动物体所带来的 干扰，对于与雨滴特性区别度不高的运动物体无法达到理想的检测效果。
技术实现思路
基于此，本专利技术提供了一种基于高斯混合模型的视频雨滴去除方法，以有效解决 现有技术存在的问题。 -方面本专利技术提供了一种基于高斯混合模型的视频雨滴去除方法，包括下述步 骤： 通过静态雨滴的光度特性对视频图像中雨滴进行初检； 利用雨滴的光度特性进行动态雨滴误检排除； 利用光流法对视频图像进行运动区域估计； 采用高斯混合模型对上述估计结果进行优化，检测出运动物体区域； 将上述初检得到的雨滴区域减去运动物体区域得到纯雨滴区域； 在所述纯雨滴区域中提取受雨滴污染的像素点； 通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的 去除。 作为本专利技术较佳的一实施方式中，其中，通过静态雨滴的光度特性对视频图像雨 滴进行初检，包括下述步骤： 从所述视频图像的第二帧开始读取帧及当前帧左右邻居帧； 通过使用雨滴的静态光度学特性，判断当前帧的某个像素是否为受雨影响的像 素，当所述当前帧与前一帧及所述当前帧与后一帧的像素亮度的差值大于设定的阈值时， 则认为当前帧中的某些像素为受雨或者运动物体影响的像素点，所述像素亮度为： IJX，y)表示像素位置（X，y)的像素亮度，T表示雨滴下落经过像素位置（X，y)所 需要的时间，T为相机曝光时间，艮(X，y)表示雨滴经过像素位置（X，y)的辐照度，E b(x，y) 为背景像素的平均辐照度。 作为本专利技术较佳的一实施方式中，其中，利用雨滴的光度特性进行动态雨滴误检 排除，具体为：分析所述视频图像中每个雨线，看其是否与前一帧上的背景亮度呈线性关 系，如果关系成立，则确定其为受雨影响的像素；否则为运动物体上的像素，将其从候选者 中去掉。 作为本专利技术较佳的一实施方式中，其中，利用光流法对视频图像进行运动区域估 计，具体为： 将图像（x，y)位置像素在时间t时的亮度值记为I (x，y，t); 通过构造下述公式计算二进制像素图像Ux, y); 所述构造公式为......., ? 其中411+^+￡1=〇4：!，4和￡1分别是图像亮度1〇^，〇对\7和七的偏导数，1是运动区域f(x，y)亮度的平均强度，p参数根据根据雨势的大小程度 来人工调节，合理范围在0. 01到0. 1之间。 作为本专利技术较佳的一实施方式中，其中，采用高斯混合模型对上述估计结果进行 优化，检测出运动物体区域，具体为： 通过假设K个高斯分布存在于光流区域中，再采用最大期望算法用来计算每个高 斯分布的最优化均值和方差。 作为本专利技术较佳的一实施方式中，其中，在所述纯雨滴区域中提取受雨滴污染的 像素点，具体为： 在所述纯雨滴区域中，根据雨滴的直线性来与其他快速运动物体相区别，最终得 出受雨滴污染的像素点。 作为本专利技术较佳的一实施方式中，通过用雨滴与背景色之间的混合值取代检测到 受雨滴污染的像素点实现雨滴的去除，具体为： 将替代雨滴的像素设为，令 Imix〇IBcenter+(1-a ) I Reenter '其中a是背景色B 中数目占总数目k的权重。另一方面本专利技术还提供了一种基于高斯混合模型的视频雨滴去除系统，包括： 静态雨滴初检单元，通过静态雨滴的光度特性对视频图像中雨滴进行初检； 动态雨滴误检排除单元，利用雨滴的光度特性进行动态雨滴误检排除； 运动区域估计单元，利用光流法对视频图像进行运动区域估计； 运动区域检测单元，采用高斯混合模型对上述估计结果进行优化，检测出运动物 体区域； 纯雨滴区域单元，将上述初检得到的雨滴区域减去运动物体区域得到纯雨滴区 域； 像素点提取单元，在所述纯雨滴区域中提取受雨滴污染的像素点； 雨滴去除单元，通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素 点实现雨滴的去除。 本专利技术采用上述技术方案具有下述有益效果： 本专利技术提供的一种基于高斯混合模型的视频雨滴去除方法及系统，通过静态雨滴 的光度特性进行雨滴初检，并利用雨滴的光度特性进行动态雨滴误检排除，再利用光流法 对视频图像进行运动区域估计，利用混合高斯模型对估计结果进行优化，检测出运动物体 区域，从而进一步排除运动物体，再根据检测结果获取受污染像素点，最后通过用雨滴与背 景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除，从而能够准确有效地 去除雨滴，提高了去雨算法的适应性。另外，本专利技术提供的一种基于高斯混合模型的视频雨滴去除方法及系统，利用光 流法进行运动目标检测，并利用混合高本文档来自技高网...

【技术保护点】
一种基于高斯混合模型的视频雨滴去除方法，其特征在于，包括下述步骤：通过静态雨滴的光度特性对视频图像中雨滴进行初检；利用雨滴的光度特性进行动态雨滴误检排除；利用光流法对视频图像进行运动区域估计；采用高斯混合模型对上述估计结果进行优化，检测出运动物体区域；将上述初检得到的雨滴区域减去运动物体区域得到纯雨滴区域；在所述纯雨滴区域中提取受雨滴污染的像素点；通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除。

【技术特征摘要】

【专利技术属性】
技术研发人员：朱青松，李佳恒，王磊，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44