大雨场景视频数据中雨滴的检测和去除方法及系统技术方案

本发明专利技术提供了一种大雨场景视频数据中雨滴的检测与去除方法和系统，其方法基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入所述预设范围，则将该像素纳入初检结果，并标记此次判断中与当前帧图像作比较的所述连续多帧图像中的帧图像；通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量对所述初检结果进行筛选。本发明专利技术的雨滴检测和去除方法及系统通过在大雨场景中可以利用改进两帧间的亮度差进行雨滴初检，再利用色彩特性进行约束排除非雨成分。

【技术实现步骤摘要】
大雨场景视频数据中雨滴的检测和去除方法及系统
本专利技术涉及图像处理技术，特别是涉及一种大雨场景视频数据中雨滴的检测和去除方法及系统。
技术介绍
由于计算机视觉技术的发展，人们对信息处理有着越来越高的要求，而且如今随着信息高速公路的建设和互联网的广泛使用以及人们获取信息的方式的智能化，图像信息就显得非常重要了。人类获取信息的途径主要是通过图像和语音，其中视觉信息占据了大约70%以上，所以图像的传递和处理技术的发展对智能交通、科学研究、军事国防、安全监控等领域都起着越来越重要的作用。由于计算机视觉系统在户外的日益普及，恶劣天气下雨场对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降，所以，恶劣天气下图像处理的研究就显得越来越重要，成功地消除雨场等恶劣天气对捕获的图像的影响将会带来更大的实用价值。 针对恶劣天气对视频图像造成影响的恢复中比较常见的就是，对受雨滴污染的视频图像进行修复处理的视频图像去雨技术，其有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。而且视频图像去雨技术在现代军事、交通以及安全监控等领域都有广泛的应用前景。 有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注，去雨算法的研究也从 2003 年 Starik 等(Starik S, fferman M.Simulat1n of rain in videos [C]//Proceeding of Texture Workshop, ICCV.Nice, France:2003, 2:406-409)提出的中值法开始得到了迅速的发展，处理的方法已经不再局限于最初简单的中值计算，更多的方法已经应用到视频去雨。 现有技术大部分只利用雨滴的亮度特性或者几何特性检测雨滴，在初检时效果很好，但有些非雨成分去除的不够彻底，会造成误检，如基于引导滤波的视频去雨算法，就会导致图像模糊。 基于上述现有技术中存在的问题，有必要提供一种新的视频图像雨滴检测与去除方法。
技术实现思路
基于此，有必要针对现有技术中只利用雨滴的亮度特性或者几何特性进行雨滴检测和去除时出现误检等情况的问题，提供一种大雨场景视频数据中雨滴的检测与去除方法和系统。 本专利技术提供的一种大雨场景视频数据中雨滴的检测方法，其包括: 抽取初始彩色视频图像中待处理的像素； 基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入所述预设范围，则将该像素纳入初检结果，并标记此次判断中与当前帧图像作比较的所述连续多帧图像中的帧图像； 通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果。 基于上述雨滴检测方法，本专利技术还提供了一种大雨场景视频数据中雨滴的去除方法，其包括: 上述的大雨场景视频数据中雨滴的检测方法，获得标记有雨滴像素的筛选结果； 对所述筛选结果中的像素进行雨滴去除处理，获得恢复后的彩色视频图像。 在其中一个实施例中，所述对所述筛选结果中的像素进行雨滴去除处理的过程中，利用所述标记的帧图像间的像素平均值对雨滴像素进行恢复。 基于上述雨滴检测方法，本专利技术还提供了一种大雨场景视频数据中雨滴的检测系统，其包括: 像素提取模块，用于抽取初始彩色视频图像中待处理的像素； 初检模块，用于基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入所述预设范围，则将该像素纳入初检结果，并标记此次判断中与当前帧图像作比较的所述连续多帧图像中的帧图像； 筛选模块，用于通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果。 基于上述雨滴检测方法与系统，本专利技术还提供了一种大雨场景视频数据中雨滴的去除系统，其包括: [0021 ] 上述的大雨场景视频数据中雨滴的检测系统，用以获得标记有雨滴像素的筛选结果;及 雨滴去除模块，用于对所述筛选结果中的像素进行雨滴去除处理，获得恢复后的彩色视频图像。 在其中一个实施例中，所述雨滴去除模块包括: 图像像素提取单元，用于针对所述筛选结果中的像素，提取所述初检模块标记的两帧图像；及 像素恢复单元，用于将所述当前帧图像中的雨滴像素替换为所述标记的帧图像间的像素平均值。 与现有技术相比，本专利技术提供的雨滴检测和去除方法及系统的方法简洁、系统结构简单，算法的时间和空间复杂度低，处理速度快，实时性好。本专利技术在大雨场景中利用改进的帧间亮度差算法和色彩特性能有效地检测出雨滴，检测的正确率高，误检率低，对视频造成的二次损害小。本专利技术可高效地处理大雨场景，同时适用于静态场景和动态场景，处理范围广，适用性高。 【附图说明】 图1为本专利技术小雨场景视频数据中雨滴的检测方法的流程示意图；图2为选择执行步骤301的本专利技术雨滴检测方法的流程示意图；图3为选择执行步骤302的本专利技术雨滴检测方法的流程示意图；图4为选择执行步骤301和步骤302的组合的本专利技术雨滴检测方法的流程示意图；图5至图6分别为本专利技术雨滴检测方法中细化步骤200后实施例的流程示意图；图7为本专利技术小雨场景视频数据中雨滴的去除方法的流程示意图；图8为本专利技术小雨场景视频数据中雨滴的检测系统700的结构示意图；图9至图10为本专利技术检测系统700中细化初检模块702的实施例的结构示意图；图11为本专利技术小雨场景视频数据中雨滴的去除系统800的结构示意图；图12为图11中细化雨滴去除模块801的实施例结构示意图；图13为视频图像中雨滴对像素亮度影响的变化曲线及)运动物体像素的亮度变化曲线。图14为雨滴覆盖对像素色彩分量的影响直方图。 【具体实施方式】 本专利技术涉及图像信息处理技术，主要是对受雨滴污染的视频图像进行修复处理有利于图像的进一步处理，提高基于图像的目标检测、识别、追踪、分割和监控等技术的性能。以下将结合各个实施例详细说明本专利技术方法和系统的实现方式。 如图1所示，本实施例提供了一种大雨场景视频数据中雨滴的检测方法，其包括: 步骤100，抽取初始彩色视频图像中待处理的像素； 步骤200，基于初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断上述像素在当前帧图像中的亮度值分别与该像素对应于上述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入上述预设范围，则将该像素纳入初检结果，同时标记此次判断中与当前帧图像作比较的上述连续多帧图像中的帧图像，纳入初检结果的像素作为候选雨滴进行下一步步骤300的筛选，而对于不满足判断条件、未落入预设范围的像素判定为背景像素，不纳入初检结果。这里的预设范围的上限表示雨本文档来自技高网...

【技术保护点】
一种大雨场景视频数据中雨滴的检测方法，其特征在于，所述方法包括：抽取初始彩色视频图像中待处理的像素；基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入所述预设范围，则将该像素纳入初检结果，并标记此次判断中与当前帧图像作比较的所述连续多帧图像中的帧图像；通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果。

【技术特征摘要】
1.一种大雨场景视频数据中雨滴的检测方法，其特征在于，所述方法包括: 抽取初始彩色视频图像中待处理的像素； 基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入所述预设范围，则将该像素纳入初检结果，并标记此次判断中与当前帧图像作比较的所述连续多帧图像中的帧图像； 通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果。2.根据权利要求1所述的大雨场景视频数据中雨滴的检测方法，其特征在于，所述基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像、判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围的过程包括: 基于从所述初始彩色视频图像中提取的相邻于当前帧图像的连续多帧图像，将m =η-1和ο = n+1定为迭代的初始值,第η巾贞图像表示当前巾贞图像，η = (I,…，N), N表示从所述初始彩色视频图像中提取的相邻于当前帧图像的连续多帧图像的帧数，执行以下两个判断步骤: 判断所述像素在第η帧图像中的亮度值与该像素在第m帧图像中的亮度值之间的差值是否落入预设范围；及 判断所述像素在第η帧图像中的亮度值与该像素在第ο帧图像中的亮度值之间的差值是否落入预设范围； 将同时满足上述两个判断条件的像素纳入所述初检结果，并标记与当前帧图像作比较的第m帧和/或第ο帧图像； 在不满足上述前一个判断条件时，判断当前m值是否达到预设的迭代约束条件，当未达到所述迭代约束条件时，令当前m值减1，返回迭代的初始步骤； 在不满足上述后一个判断条件时，判断当前ο值是否达到预设的迭代约束条件，当未达到所述迭代约束条件时，令当前ο值加I，返回迭代的初始步骤。3.根据权利要求1所述的大雨场景视频数据中雨滴的检测方法，其特征在于，所述通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小、对所述初检结果进行筛选获得标记有雨滴像素的筛选结果的过程包括: 执行以下两个判断步骤中的任意一个或者两个的组合，对所述初检结果进行筛选:判断所述初检结果中像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量是否大于第一阈值， 判断所述初检结果中像素分别对应在所述当前帧图像和所述标记的帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值； 若选择执行上述两个判断步骤中的任意一个，则将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素； 若选择执行上述两个判断步骤的组合，则将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素。4.根据根据权利要求2所述的大雨场景视频数据中雨滴的检测方法，其特征在于，所述基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像、判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围的过程还包括: 在判断当前m值是否达到预设的迭代约束条件之前，增加判断所述像素在第η帧图像中的亮度值与该像素在第m帧图像中的亮度值是否近似相等的判断步骤，当所述像素在第η帧图像中的亮度值与该像素在第m帧图像中的亮度值近似相等时执行判断当前m值是否达到预设的迭代约束条件的步骤； 在判断当前ο值是否达到预设的迭代约束条件之前增加判断所述像素在第η帧图像中的亮度值与该像素在第ο帧图像中的亮度值是否近似相等的判...

【专利技术属性】
技术研发人员：朱青松，徐波，王磊，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44