【技术实现步骤摘要】
本专利技术属于图像处理，尤其涉及有雨图像的雨线去除，提出了一种基于神经拟态信号辅助的视频去雨方法，通过充分利用神经拟态信号的高时间分辨率和低延迟的特征来高效的完成视频去雨任务。
技术介绍
1、雨天是一种常见的气象条件，而雨纹的存在会改变视频帧中的亮度，并模糊掉画面的前景与背景，进而对后续的图像视频处理任务造成干扰。
2、为了缓解这个问题，人们提出了许多视频去雨方法。目前主流的视频去雨研究方法都是基于强度帧的深度学习方法进行的，这类方法在借助gpu等设备的加速中可以快速的去除雨线。然而大多数现有基于卷积神经网络的方法严重依赖于由cmos传感器捕获的强度帧，而这些传感器的时间分辨率有限，导致传感器不能充分的获取雨水的动态信息，这阻碍了去雨性能的进一步提升。
技术实现思路
1、本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于神经拟态信号辅助的视频去雨方法，以期能达到运行高效、去除效果好、泛化性强的视频去雨目的。
2、本专利技术为解决上述技术问题，采用如下技术方案：
3、本专利技术一种基于神经拟态信号的视频去雨方法的特点在于，是按如下步骤进行：
4、步骤1：获取待处理的有雨图像集合o及其对应的神经拟态信号,并对神经拟态信号进行体素化处理后，得到对应的事件流序列e；
5、步骤2：构建视频去雨网络，包括：预处理残差网络、背景层学习模块、雨纹层学习模块、脉冲交互模块和移动物体层学习模块；
6、步骤2.1：定义当前
7、随机初始化第i-1次迭代时的背景层b(i-1)、雨纹层r(i-1)、移动物体掩码层hm(i-1)；
8、步骤2.2：所述预处理残差网络分别对b(i-1)和r(i-1)进行处理，得到第i-1次迭代时的背景层字典模型和第i-1次迭代时的雨纹层字典模型，从而进一步得到第i-1次迭代时的移动物体层m(i-1)；
9、步骤2.3：分别构建第i次迭代时背景层字典模型、雨纹层字典模型、移动物体层和移动物体掩码层的优化函数；
10、步骤2.4：所述雨纹层学习模块对到第i-1次迭代时的雨纹层字典模型进行处理，得到第i次迭代时的雨纹层字典模型以及第i次迭代后的雨纹层层r(i)；
11、步骤2.5：所述背景层学习模块对到第i-1次迭代时的背景层字典模型进行处理，得到第i次迭代时的背景层字典模型以及第i次迭代后的背景层b(i)；
12、步骤2.6：所述脉冲交互模块对事件流序列e进行处理，得到第i次迭代的整体掩膜层ho(i)，从而进一步得到第i次迭代后的移动物体掩膜层hm(i)；
13、步骤2.7：所述移动物体层学习模块对第i-1次迭代时移动物体层m(i-1)进行处理后，得到第i次迭代时的移动物体层m(i)；
14、步骤2.8：判断i≥tmax是否成立，若成立，则根据式(19)计算第tmax次迭代时干净图像作为最终的无雨图像输出；否则，令i+1赋值给i后，返回步骤2.4顺序执行；
15、
16、式(19)中，表示第tmax次迭代时的移动物体层，表示第tmax次迭代时的背景层；表示第tmax次迭代时的移动物体掩膜层；
17、步骤3：利用adam优化器对所述视频去雨网络进行优化，并计算结构相似性损失函数以更新网络参数直到训练次数达到所设定的阈值为止，从而得到全局最优去雨网络并用于实现对任一视频片段的雨线去除。
18、本专利技术所述的一种基于神经拟态信号的视频去雨方法的特点在于，所述步骤2.2包括：
19、步骤2.2.1：将第i-1次迭代时的雨纹层r(i-1)输入所述预处理残差网络中，得到第i-1次迭代时雨纹层r(i-1)对应的字典和雨纹层r(i-1)对应的稀疏编码从而由和组成第i-1次迭代时雨纹层r(i-1)的字典模型；
20、步骤2.2.2：将第i-1次迭代时的背景层b(i-1)输入所述预处理残差网络中，得到第i-1次迭代时背景层b(i-1)对应的字典和背景层b(i-1)对应的稀疏编码从而由和组成第i-1次迭代时背景层b(i-1)的字典模型；
21、步骤2.2.3：利用式(1)得到第i-1次迭代时的移动物体层m(i-1)：
22、
23、式(1)中，表示卷积操作。
24、所述步骤2.3是利用式(2)、式(3)、式(4)和式(5)分别确定第i次迭代时雨纹层r(i)的字典模型优化函数、第i次迭代时背景层b(i)的背景层字典模型优化函数、第i次迭代时移动物体掩码层hm(i)的模型优化函数和第i次迭代时移动物体层m(i)的优化函数：
25、
26、
27、
28、
29、式(2)中，为第i-1次迭代时雨纹层r(i-1)对应字典的稀疏先验以及稀疏编码的稀疏先验，和为第i-1次迭代时雨纹层r(i-1)字典模型的优化函数的两个拉格朗日乘子；为第i次迭代时雨纹层r(i)对应的字典以及稀疏编码；
30、式(3)中，为第i-1次迭代时背景层b(i-1)对应字典的稀疏先验和稀疏编码的稀疏先验，和为第i-1次迭代时背景层b(i-1)字典模型的优化函数的两个拉格朗日乘子，为第i次迭代时背景层b(i)对应的字典和稀疏编码；
31、式(5)中，γ(m(i-1))为第i-1次迭代时移动物体层m(i-1)的先验，为第i-1次迭代时移动物体层m(i-1)优化函数的拉格朗日乘子；为哈达玛积。
32、所述步骤2.4中的雨纹层学习模块包括：雨纹层稀疏编码神经网络和雨纹层字典神经网络，并按照如下步骤进行：
33、步骤2.4.1：所述雨纹层稀疏编码神经网络利用式(6)对第i-1次迭代时雨纹层r(i-1)对应的稀疏编码进行处理，得到第i次迭代时雨纹层r(i)对应的稀疏编码
34、
35、式(6)中，为的辅助变量，并由式(7)得到；和为第i-1次迭代时的两个惩罚项参数；为的辅助变量，当i＝1时，初始化为一个随机数；
36、
37、式(7)中，表示快速傅里叶变换，表示快速傅里叶变换的逆变换；表示第i-1次迭代时的快速傅里叶变换，表示第i-1次迭代时的快速傅里叶变换；表示第i-1次迭代时雨纹层r(i-1)的快速傅里叶变换；i为单位矩阵；为的共轭转置；
38、步骤2.4.2：所述雨纹层字典神经网络利用式(8)对字典进行处理，得到第i次迭代时雨纹层r(i)的字典
39、
40、式(8)中，为的辅助变量，并由式(9)得到；和为第i-1次迭代时的两个惩罚项参数；为第i-1次迭代时雨纹层r(i-1)对应的字典；为的辅助变量，当i＝1时，初始化为一个随机数；
41、
42、式(9)中，表示第i次迭代时的快速傅里叶变换；为的共轭转置；
43、步骤2.4.本文档来自技高网...
【技术保护点】
1.一种基于神经拟态信号的视频去雨方法，其特征在于，是按如下步骤进行：
2.根据权利要求1所述的一种基于神经拟态信号的视频去雨方法，其特征在于，所述步骤2.2包括：
3.根据权利要求2所述的一种基于神经拟态信号的视频去雨方法，其特征在于，所述步骤2.3是利用式(2)、式(3)、式(4)和式(5)分别确定第i次迭代时雨纹层R(i)的字典模型优化函数、第i次迭代时背景层B(i)的背景层字典模型优化函数、第i次迭代时移动物体掩码层HM(i)的模型优化函数和第i次迭代时移动物体层M(i)的优化函数：
4.根据权利要求3所述的一种基于神经拟态信号的视频去雨方法，其特征在于，所述步骤2.4中的雨纹层学习模块包括：雨纹层稀疏编码神经网络和雨纹层字典神经网络，并按照如下步骤进行：
5.根据权利要求4所述的一种基于神经拟态信号的视频去雨方法，其特征在于，所述步骤2.5中的背景层学习模块包括：背景层稀疏编码神经网络和背景层字典神经网络，并按如下步骤进行：
6.根据权利要求5所述的一种基于神经拟态信号的视频去雨方法，其特征在于，所述脉冲交互模
7.根据权利要求6所述的一种基于神经拟态信号的视频去雨方法，其特征在于，所述移动物体层学习模块是利用式(17)得到第i次迭代时的移动物体层M(i)；
8.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-7任一所述视频去雨方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
9.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-7中任一所述视频去雨方法的步骤。
...【技术特征摘要】
1.一种基于神经拟态信号的视频去雨方法，其特征在于，是按如下步骤进行：
2.根据权利要求1所述的一种基于神经拟态信号的视频去雨方法，其特征在于，所述步骤2.2包括：
3.根据权利要求2所述的一种基于神经拟态信号的视频去雨方法，其特征在于，所述步骤2.3是利用式(2)、式(3)、式(4)和式(5)分别确定第i次迭代时雨纹层r(i)的字典模型优化函数、第i次迭代时背景层b(i)的背景层字典模型优化函数、第i次迭代时移动物体掩码层hm(i)的模型优化函数和第i次迭代时移动物体层m(i)的优化函数：
4.根据权利要求3所述的一种基于神经拟态信号的视频去雨方法，其特征在于，所述步骤2.4中的雨纹层学习模块包括：雨纹层稀疏编码神经网络和雨纹层字典神经网络，并按照如下步骤进行：
5.根据权利要求4所述的一种基于神经拟态信号的视频去雨方法，其特征在于，所述步骤2...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。