一种基于事件相机的雨滴检测方法技术

本发明专利技术提供了一种基于事件相机的雨滴检测方法，属于图像处理领域，首先，使用事件相机采集一段降雨场景的数据，对于降雨场景的数据中的每个事件A，设置其初始概率P(A)＝0，搜寻并确定事件A在时间、空间上的所有相邻事件，接着，依据雨滴下落过程中的动力学特征与光学特征，计算每个事件A与所有相邻事件B

【技术实现步骤摘要】
一种基于事件相机的雨滴检测方法


[0001]本专利技术涉及图像处理领域，具体的，涉及一种基于事件相机的雨滴检测方法。

技术介绍

[0002]雨雪天气下，雨滴与雪花的存在会使得能见度大幅降低，严重影响户外的相机，或其他视觉信号采集系统所采集的图像、视频质量。一般情况下，近处的雨滴会严重遮挡后方的物体，远处的雨滴会形成薄雾，密集的雨雪还会带来严重的光线折射，对图像信息的完整性与后续的图像处理带来了严重影响。
[0003]近年来，国内外的研究人员开始致力于研发各种雨滴识别与除雨算法。这些算法按照应用对象大致可分为两大类，分别为针对视频的雨滴识别算法和针对单幅图像的雨滴识别算法。其中，前者相对较为简单，因为数据量更大，且存在时间戳上的信息，可以通过分析同一个像素点在一小段连续帧内的像素值变化，或者寻找视频中的雨条纹，构建出基于传统的时间
‑
空间模型或深度学习模型的雨滴识别与去除算法。
[0004]针对单幅图像的雨滴识别与去除算法可以大致分为三种思路。一种是基于雨滴的光学性质和动力学特征，设计滤波器，通过滤波将有雨图像处理成无雨图像。第二种思路下，先用先验信息给出一个原图像与目标图像之间的约束条件，再通过优化算法求解得到除雨后的目标图像。同样的，近年来深度学习也被广泛应用于构建针对单幅图像的雨滴识别算法。
[0005]公开号为CN107909556的中国专利申请公开了“基于卷积神经网络的视频图像去雨方法”，其使用卷积神经网络处理每帧图像中的高频部分，输出无雨图像并与低频部分综合得到除雨后的视频图像。
[0006]公开号为CN104978718的中国专利申请公开了“一种基于图像熵的视频雨滴去除方法及系统”，其通过计算图像局部熵，结合面积与角度确定图像含雨部分。该方法容易受到视频中高速运动物体的干扰。
[0007]公开号为CN103337061的中国专利申请公开了“一种基于多次引导滤波的图像去雨雪方法”，其以图像的低频部分作为引导图像，对高频部分进行引导滤波后与低频部分叠加得到除雨后的图像，然而，该方法会降低图像的清晰度。
[0008]公开号为CN109886900A的中国专利申请公开了“一种基于字典训练和稀疏表示的合成雨图除雨方法”，其通过构造“有雨
‑
无雨”训练集得到有雨字典和无语字典，将稀疏表示处理后的有雨字典与无雨字典相结合得到除雨后的图像。这一方法暂时只适用于人工合成的降雨图像。
[0009]公开号为CN110111267的中国专利申请公开了“一种基于优化算法结合残差网络的单幅图像除雨方法”，其公开使用交替方向乘子法ADMM求解雨天图像成像模型，并将残差网络和降噪算法嵌入ADMM框架中，将雨天拍摄的图像分成无雨清晰背景部分和雨迹部分，相对而言，该方法在图像除雨效果上弱于其他几例。
[0010]公开号为CN113947538的中国专利申请公开了“一种多尺度高效卷积自注意力单
幅图像除雨方法”，其将有雨图像传入融合了改进型Transformer自注意力模块和多尺度空间特征融合模块的网络模型进行迭代训练，经过混合损失函数优化输出与无雨图像接近的处理图像，这一方法需要一个规模超过大多数现有雨滴数据集的数据集，以实现良好的训练效果。
[0011]然而，目前尚不存在适用于事件相机的雨滴识别算法。事件相机是一种特殊的相机，事件相机(Event Camera)是一种受生物启发的视觉传感器，与传统相机不同，事件相机当且仅当某个像素点的亮度变化累计达到一定阈值时，会输出一个数据，即一个“事件”(t,x,y,p)，其中，t表示该事件发生的时间，(x,y)表示该事件发生的位置，p＝0代表像素点因亮度下降被事件相机记录，p＝1代表像素点因亮度上升被事件相机记录。与传统相机相比，事件相机具有异步响应、低时延、高动态范围、低功耗等特点，在机器视觉、自动驾驶、光流、运动捕捉等领域有着广泛的应用。
[0012]因此，需要专利技术一种基于事件相机的雨滴识别算法。

技术实现思路

[0013]针对现有技术的缺陷，本专利技术的目的在于提供一种基于事件相机的雨滴识别算法，从事件相机所记录下的所有事件中，找到来源于雨滴的事件点。该算法通过对雨滴下落过程中的物理特征进行分析，建立了一个基于上述物理特征的时空相关模型，通过该模型，预测事件相机记录下的每一个事件产生自雨滴的概率，从而实现雨滴识别工作。
[0014]按照本专利技术的一个方面，提供一种基于事件相机的雨滴检测方法，其其包括如下步骤：
[0015]S1：使用事件相机采集一段降雨场景的数据，对于降雨或降雪场景的数据中的每个事件A，设置其初始概率P(A)＝0，搜寻并确定事件A在时间、空间上的所有相邻事件(B1,B2,...,B
i
)，其中，B
i
表示与事件A在时间、空间上相邻的第i个事件；
[0016]S2：依据雨滴下落过程中的动力学特征与光学特征，对每个事件A，计算事件A与所有相邻事件B之间的概率函数score(A,B
i
)，概率函数score(A,B
i
)值越大，代表A事件与相邻事件B之间的时空关系越符合同一雨条纹内两个相邻事件点的时空关系；
[0017]S3：按照时间戳由小到大的顺序，逐步更新每个事件点A的概率；
[0018]S4：根据迭代完成后每个事件点A的概率值，将所有数据点区分为雨滴事件和非雨滴事件，从而完成雨滴识别工作。
[0019]进一步的，步骤S2中所述雨滴下落过程中的光学特征是指，对于RGB相机，一帧图像内，单个雨滴所占据的像素不大于一个像素点，
[0020]当背景被雨滴覆盖时，对应像素点的亮度将会上升，发生一次“一个雨滴出现在镜头上某个位置”这一事件，事件相机会记录下一个事件点(t,x,y,1)，而当发生一次“一个雨滴从镜头上某个位置离开”这一事件时，事件相机会记录下一个事件点(t,x,y,0)，按照时间戳方向将所有事件点(t,x,y,0)或者事件点(t,x,y,1)连接起来，能获得准确的雨滴运动轨迹，
[0021]其中，t表示事件点发生的时刻，x表明事件点发生处对应的横坐标，y表明事件点发生处对应的纵坐标，1表示事件点亮度增大，0表示时间点亮度降低。
[0022]进一步的，步骤S2中所述雨滴下落过程中的动力学特征是指，在镜头视野内，雨滴
将呈匀速直线运动状态，不考虑风的影响，理想情况下竖直方向上雨滴最终速度可近似表示为：
[0023][0024]其中，v为竖直方向上雨滴下落的最终速度，ρ为雨滴密度，g为重力加速度，d为雨滴直径，μ为空气粘滞系数，
[0025]认为雨滴下落过程中做匀速直线运动，且y方向上的速度分量必然会是匀速向下，水平方向上，相机视野内雨滴的运动速度由风速和相机自身在水平方向上的移动所决定，认为雨滴在水平方向上的运动速度u满足高斯分布：
[0026]u～N(0,σ2)
[0027]通过对雨滴条纹的观察，认为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的雨滴检测方法，其特征在于，其包括如下步骤：S1：使用事件相机采集一段降雨场景的数据，对于降雨场景的数据中的每个事件A，设置其初始概率P(A)＝0，搜寻并确定事件A在时间、空间上的所有相邻事件(B1,B2,...,B
i
)，其中，B
i
表示与事件A在时间、空间上相邻的第i个事件；S2：依据雨滴下落过程中的动力学特征与光学特征，对每个事件A，计算事件A与所有相邻事件B之间的概率函数score(A,B
i
)，概率函数score(A,B
i
)值越大，代表A事件与相邻事件B之间的时空关系越符合同一雨条纹内两个相邻事件点的时空关系；S3：按照时间戳由小到大的顺序，逐步更新每个事件点A的概率；S4：根据迭代完成后每个事件点A的概率值，将所有数据点区分为雨滴事件和非雨滴事件，从而完成雨滴识别工作。2.如权利要求1所述的一种基于事件相机的雨滴检测方法，其特征在于，步骤S2中所述雨滴下落过程中的光学特征是指，对于RGB相机，一帧图像内，单个雨滴所占据的像素不大于一个像素点，当背景被雨滴覆盖时，对应像素点的亮度将会上升，发生一次“一个雨滴出现在镜头上某个位置”这一事件，事件相机会记录下一个事件点(t,x,y,1)，而当发生一次“一个雨滴从镜头上某个位置离开”这一事件时，事件相机会记录下一个事件点(t,x,y,0)，按照时间戳方向将所有事件点(t,x,y,0)或者事件点(t,x,y,1)连接起来，能获得准确的雨滴运动轨迹，其中，t表示事件点发生的时刻，x表明事件点发生处对应的横坐标，y表明事件点发生处对应的纵坐标，1表示事件点亮度增大，0表示时间点亮度降低。3.如权利要求1所述的一种基于事件相机的雨滴检测方法，其特征在于，步骤S2中所述雨滴下落过程中的动力学特征是指，在镜头视野内，雨滴将呈匀速直线运动状态，不考虑风的影响，理想情况下竖直方向上雨滴最终速度可近似表示为：其中，v为竖直方向上雨滴下落的最终速度，ρ为雨滴密度，g为重力加速度，d为雨滴直径，μ为空气粘滞系数，认为雨滴下落过程中做匀速直线运动，且y方向上的速度分量是匀速向下，水平方向上，认为雨滴在水平方向上的运动速度u满足高斯分布：u～N(0,σ2)通过对雨滴条纹的观察，认为高斯分布标准差σ满足：σ＝0.2v。4.如权利要求3所述的一种基于事件相机的雨滴检测方法，其特征在于，步骤S1中，如果A、B两个事件所发生的时间差、在空间上的x方向与y方向上的坐标差小于相...

【专利技术属性】
技术研发人员：韩斌，杨君宇，董岩，王硕，龙镇南，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：