一种雨天视频清晰处理方法技术

本发明专利技术公开了一种雨天视频清晰处理方法，包括：对视频序列帧图像的第n‑1帧图像与第n帧图像进行匹配校正，得到对齐校正后图像Ia和In；对Ia和In进行帧差，并对帧差结果进行前景信息提取，得到前景运动区域Ifg；根据雨滴光度学模型和雨线方向分布特性模型分别对Ifg进行约束检测，得到相应的候选雨滴像素概率Pi和Po；对Pi和Po进行决策级融合，得到候选雨滴像素的置信度Bel；根据Bel和背景像素强度不大于雨滴像素强度约束条件，确定相邻帧候选雨滴像素中置信度最小值，并将相邻帧候选雨滴像素中置信度最小值作为背景像素强度Ik；根据Ik、Ifg以及高斯滤波函数G计算得到场景复原图像Inew。

A Clear Processing Method for Rainy Video

【技术实现步骤摘要】
一种雨天视频清晰处理方法
本专利技术涉及图像处理
，尤其涉及一种雨天视频清晰处理方法。
技术介绍
在雨天条件下，由于空中随机分布了大量快速运动的雨滴，造成目标物体与背景之间光线的反射和折射，导致图像对比度降低、成像模糊，细节信息丢失，给交通运输、户外视频监控、军事侦察等领域带来巨大困难。在计算机视觉与图像处理领域,目前主要采用基于成像参数的雨天视频清晰化方法、基于频域特性的雨天视频清晰化方法、基于时域特性的雨天视频清晰化方法。但是，基于成像参数的雨天视频清晰化方法仅仅通过调节相机的曝光时间、光圈级数和景深等参数，来改善视频源的视觉效果。从本质上看，基于成像参数的雨天视频清晰化方法只是衰减了雨滴的可视化效果，并没有对雨滴进行任何处理，因此这类方法虽然操作简单，但对于目标细节信息可能会造成损失；基于频域特性的雨天视频清晰化方法往往会对由细小雨滴所形成的雨线产生漏检测；基于时域特性的雨天视频清晰化方法容易受到外界环境光照条件的影响，从而产生误检测。
技术实现思路
基于
技术介绍
存在的技术问题，本专利技术提出了一种雨天视频清晰处理方法；本专利技术提出的一种雨天视频清晰处理方法，包括：S1、对视频序列帧图像的第n-1帧图像与第n帧图像进行匹配校正，得到对齐校正后图像Ia和In；S2、对Ia和In进行帧差，并对帧差结果进行前景信息提取，得到前景运动区域Ifg；S3、根据雨滴光度学模型和雨线方向分布特性模型分别对Ifg进行约束检测，得到相应的候选雨滴像素概率Pi和Po；S4、对Pi和Po进行决策级融合，得到候选雨滴像素的置信度Bel；S5、根据Bel和背景像素强度不大于雨滴像素强度约束条件，确定相邻帧候选雨滴像素中置信度最小值，并将相邻帧候选雨滴像素中置信度最小值作为背景像素强度Ik；S6、根据Ik、Ifg以及高斯滤波函数G计算得到场景复原图像Inew。优选地，步骤S1，具体包括：第n-1帧图像为I(x,y,n-1)，第n帧图像为I(x,y,n)；基于相位相关性对第n-1帧图像中的每个像素进行匹配校正：Ia(x,y,n-1)＝I(x+d1,y+d2,n-1)，其中，d1和d2为预设的误差值；基于相位相关性对第n帧图像中的每个像素进行匹配校正：In(x,y,n)＝I(x+d1,y+d2,n)，其中，d1和d2为预设的误差值。优选地，步骤S2，具体包括：S21、对Ia和In进行帧差，得到帧差结果ΔI(x,y,n)＝In(x,y,n)-Ia(x,y,n-1)；S22、将In(x,y,n)与Ia(x,y,n-1)进行比较，若In(x,y,n)≤Ia(x,y,n-1)，则令ΔI(x,y,n)＝0；否则，保持ΔI(x,y,n)不变；S23、采用相位一致性特征检测对帧差结果中的前景信息进行提取，得到相位一致检测结果：PC(ΔI)＝E(x)/(ε+∑nAn),其中，E(x)为局部能量，f(x)是信号ΔI(x)中的非直流部分，fH(x)为f(x)经过Hilbert变换的结果，An为第n个傅里叶分量的振幅；S24、在相位一致检测结果中找到大于零的区域，并将该区域作为前景区域Ifg，Ifg＝{(x,y)|PC(x,y)>0}。优选地，步骤S3，具体包括：根据雨滴与背景强度的线性关系和高斯分布模型计算得到符合雨滴光度学模型的候选雨滴像素概率Pi，其中，雨滴与背景强度的线性关系为：ΔI＝αIbg+δ，其中，ΔI为雨滴像素与背景像素的差值，α的取值范围在[-0.039，0]，δ为常数；根据雨线的方向分布特性和高斯分布模型计算得到符合雨线方向分布特性模型的候选雨滴像素概率Po，其中，根据雨线方向分布特性模型可确定同一场景下视频中雨线的方向分布近似一致，即θr＝|θi-θmain|≤T，其中，θmain为雨线的分布方向，由方向统计直方图得出，T为阈值，由雨线方向角分布决定。优选地，步骤S4，具体包括：S41、对Pi和Po进行决策级融合，若Pi＝0或Po＝0，则融合后的置信度Bel＝0，否则，执行步骤S42；S42、若Pi＝1或Po＝1，则融合后的置信度Bel＝1，否则，执行步骤S43；S43、令融合后的置信度Bel＝(Pi+Po)/2。优选地，步骤S6，具体包括：对Ifg进行二值化并对二值化结果进行高斯滤波，得到高斯滤波结果G；根据Ik、Ifg以及G重构复原图像：Inew＝G(Ifg)×Ik+(1-G(Ifg))×In。本专利技术根据雨滴和雨线的时域特性与频域特性具有的互补性，采用雨滴光度学模型和雨线方向分布特性模型分别进行约束检测，得到相应的候选雨滴像素概率，并通过决策级融合来求得候选雨滴像素的置信度，由此确定相邻帧背景像素并替换受雨影响像素，最终获得清晰化后的视频，具有准确、自动处理的特点，能够有效去除雨线的遮挡，改善场景的清晰度。附图说明图1为本专利技术提出的一种雨天视频清晰处理方法的流程示意图。具体实施方式参照图1，本专利技术提出的一种雨天视频清晰处理方法，包括：步骤S1，对视频序列帧图像的第n-1帧图像与第n帧图像进行匹配校正，得到对齐校正后图像Ia和In。本步骤具体包括：第n-1帧图像为I(x,y,n-1)，第n帧图像为I(x,y,n)；基于相位相关性对第n-1帧图像中的每个像素进行匹配校正：Ia(x,y,n-1)＝I(x+d1,y+d2,n-1)，其中，d1和d2为预设的误差值；基于相位相关性对第n帧图像中的每个像素进行匹配校正：In(x,y,n)＝I(x+d1,y+d2,n)，其中，d1和d2为预设的误差值。在具体方案中，当摄像机及视频采集系统不固定或存在轻微抖动时，直接对当前帧前景信息进行提取会产生大量的误检测，因此需要将视频中连续两帧匹配校正，设第n-1帧图像和第n帧图像分别为I(x,y,n-1)和I(x,y,n)，基于相位相关性对第n-1帧图像和第n帧图像中的每个像素进行计算：Ia(x,y,n-1)＝I(x+d1,y+d2,n-1)；In(x,y,n)＝I(x+d1,y+d2,n)，使第n-1帧与第n帧进行匹配，得到匹配后的图像Ia和In。步骤S2，对Ia和In进行帧差，并对帧差结果进行前景信息提取，得到前景运动区域Ifg。本步骤具体包括：S21、对Ia和In进行帧差，得到帧差结果ΔI(x,y,n)＝In(x,y,n)-Ia(x,y,n-1)；S22、将In(x,y,n)与Ia(x,y,n-1)进行比较，若In(x,y,n)≤Ia(x,y,n-1)，则令ΔI(x,y,n)＝0；否则，保持ΔI(x,y,n)不变；S23、采用相位一致性特征检测对帧差结果中的前景信息进行提取，得到相位一致检测结果：PC(ΔI)＝E(x)/(ε+∑nAn),其中，E(x)为局部能量，f(x)是信号ΔI(x)中的非直流部分，fH(x)为f(x)经过Hilbert变换的结果，An为第n个傅里叶分量的振幅；S24、在相位一致检测结果中找到大于零的区域，并将该区域作为前景区域Ifg，Ifg＝{(x,y)|PC(x,y)>0}。在具体方案中，首先匹配后的连续两帧图像Ia和In进行帧差，得到帧差结果ΔI(x,y,n)＝I(x,y,n)-Ia(x,y,n-1)，将In(x,y,n)与Ia(x,y,n-1)进行比较，若In(x,y,n)≤Ia(x,y,n-1)，本文档来自技高网...

【技术保护点】
1.一种雨天视频清晰处理方法，其特征在于，包括：S1、对视频序列帧图像的第n‑1帧图像与第n帧图像进行匹配校正，得到对齐校正后图像Ia和In；S2、对Ia和In进行帧差，并对帧差结果进行前景信息提取，得到前景运动区域Ifg；S3、根据雨滴光度学模型和雨线方向分布特性模型分别对Ifg进行约束检测，得到相应的候选雨滴像素概率Pi和Po；S4、对Pi和Po进行决策级融合，得到候选雨滴像素的置信度Bel；S5、根据Bel和背景像素强度不大于雨滴像素强度约束条件，确定相邻帧候选雨滴像素中置信度最小值，并将相邻帧候选雨滴像素中置信度最小值作为背景像素强度Ik；S6、根据Ik、Ifg以及高斯滤波函数G计算得到场景复原图像Inew。

【技术特征摘要】
1.一种雨天视频清晰处理方法，其特征在于，包括：S1、对视频序列帧图像的第n-1帧图像与第n帧图像进行匹配校正，得到对齐校正后图像Ia和In；S2、对Ia和In进行帧差，并对帧差结果进行前景信息提取，得到前景运动区域Ifg；S3、根据雨滴光度学模型和雨线方向分布特性模型分别对Ifg进行约束检测，得到相应的候选雨滴像素概率Pi和Po；S4、对Pi和Po进行决策级融合，得到候选雨滴像素的置信度Bel；S5、根据Bel和背景像素强度不大于雨滴像素强度约束条件，确定相邻帧候选雨滴像素中置信度最小值，并将相邻帧候选雨滴像素中置信度最小值作为背景像素强度Ik；S6、根据Ik、Ifg以及高斯滤波函数G计算得到场景复原图像Inew。2.根据权利要求1所述的雨天视频清晰处理方法，其特征在于，步骤S1，具体包括：第n-1帧图像为I(x,y,n-1)，第n帧图像为I(x,y,n)；基于相位相关性对第n-1帧图像中的每个像素进行匹配校正：Ia(x,y,n-1)＝I(x+d1,y+d2,n-1)，其中，d1和d2为预设的误差值；基于相位相关性对第n帧图像中的每个像素进行匹配校正：In(x,y,n)＝I(x+d1,y+d2,n)，其中，d1和d2为预设的误差值。3.根据权利要求1所述的雨天视频清晰处理方法，其特征在于，步骤S2，具体包括：S21、对Ia和In进行帧差，得到帧差结果ΔI(x,y,n)＝In(x,y,n)-Ia(x,y,n-1)；S22、将In(x,y,n)与Ia(x,y,n-1)进行比较，若In(x,y,n)≤Ia(x,y,n-1)，则令ΔI(x,y,n)＝0；否则，保持ΔI(x,y,n)不变；S23、采用相位一致性特征检测对帧差结果中的前景信息进行提取，得到相位一致...

【专利技术属性】
技术研发人员：周浦城，周远，王勇，韩裕生，吴令夏，
申请(专利权)人：中国人民解放军陆军炮兵防空兵学院，
类型：发明
国别省市：安徽,34