【技术实现步骤摘要】
本专利技术涉及一种本专利技术涉及一种基于级联网络和图像模糊处理的图像去雪方法，属于图像处理。
技术介绍
1、恶劣天气条件下，雾霾、雨和雪等大气悬浮颗粒会以噪声的形式对拍摄图像造成污染，从而降低图像像素的能见度，给图像识别、图像分类等计算机视觉任务带来诸多挑战与困难。雪颗粒由于其形状不规则、分布不均匀、像素遮掩程度高等特点，相比于雨、雾霾颗粒更加难以从图像中去除。
2、有鉴于此，确有必要提出一种基于级联网络和图像模糊处理的图像去雪方法，以解决上述问题。
技术实现思路
1、本专利技术目的在于提供一种基于级联网络和图像模糊处理的图像去雪方法，以解决现有技术中去雪模型对于雪颗粒去除不完全、被遮挡内容恢复不精细的问题。
2、为实现上述目的，本专利技术提供了一种基于级联网络和图像模糊处理的图像去雪方法，包括：
3、s1、构件雪生成模型，定义残差掩膜为有雪图像与无雪图像对应位置像素值相减后生成的图像，根据对像素遮掩程度的不同分为不同程度的掩膜，基于所述残差掩膜，所述雪生成模型表示为：
4、
5、其中，o代表有雪图像，f代表无雪图像，mi代表不同程度的残差掩膜，n代表残差掩膜数量；
6、s2、对输入的所述有雪图像进行渐进池化操作得到三级粗略去雪图像i3；
7、s3、对所述三级粗略去雪图像i3进行部分池化操作，针对所述三级粗略去雪图像i3中未被渐进池化模块处理完全的被遮挡像素进行填补得到去雪图像i4；
8
9、s5、通过损失函数对经步骤s4精细修复的所述去雪图像i4进行处理。
10、作为本专利技术进一步的改进，所述步骤s2具体包括：首先利用公式(2)和公式(4)对输入有雪图像进行处理得初级有雪图像i0，然后利用公式(3)和公式(4)对所述初级有雪图像i0进行三次渐进池化操作，依次得到一级粗略去雪图像i1，二级粗略去雪图像i2，三级粗略去雪图像i3；
11、f1(x)＝1-x#(2)
12、f2(x)＝α1maxpooling(x)+α2avgpooling(x)#(3)
13、
14、其中，α1和α2为不同的权重系数。
15、作为本专利技术进一步的改进，所述步骤s3具体包括：将预训练模型提取的二进制雪掩膜作为引导图，引导池化操作只在所述三级粗略去雪图像i3中局部被遮挡像素处生效，减少非关联语义的结合，部分池化操作表示为以下公式：
16、
17、其中，vp′表示当前以像素p为中心的池化窗口经过部分池化操作所得的像素值，⊙代表逐像素相乘操作，v代表i3在当前池化窗口(3×3)的所有像素值,k代表预训练模型所提取的二进制掩膜对应i3中池化窗口位置的所有像素值，β1和β2为调整运算后像素值与其周围像素值的相似度系数，w1与w2为权重矩阵，其取值如下：
18、
19、作为本专利技术进一步的改进，所述步骤s4具体包括4个阶段，每一阶段都包含一个resunet模型，相邻阶段的resunet模型通过拼接中间层特征图来丰富网络传递中的语义信息，除最后第3阶段直接将部分池化模块的输出所述去雪图像i4作为输入，其余第i阶段的输入均由ii与mi在通道维度拼接而成，其中，ii代表第i级的粗略去雪图像，mi为第i+1阶段的输出ri+1与ii逐像素做差得到的结果矩阵，代表不同程度的残差掩膜，ri+1代表级联网络中第i+1阶段的输出结果，将mi与ii拼接作为输入以在卷积过程中使ii获取更加准确的像素修复信息。
20、作为本专利技术进一步的改进，所述步骤s5具体包括，将l1损失函数定义为：
21、
22、其中，p与q代表尺寸相同的两张图像，pu和qu分别代表p的第u个像素与q的第u个像素，u代表p(or u)中的像素数量；
23、将所述雪生成模型的损失函数定义为：
24、
25、其中，λs,λb,λp为损失权重；
26、代表预测的所述无雪图像中被雪颗粒遮挡区域与真实无雪图像对应区域的损失，表示为：
27、
28、其中，s代表精修复模块中的阶段编号，rs与gs分别代表在精修复模块中第s阶段中预测的无雪图像与真实无雪图像；
29、代表预测的无雪图像无雪区域与真实无雪图像对应区域的损失，表示为：
30、
31、代表感知损失函数，表示为：
32、
33、其中代表将*作为预训练模型vgg-16的输入所得到的第l层特征图，为保证被雪颗粒遮挡区域在修复后与相邻无雪区域的平滑过渡性，所述初级有雪图像i0被表示为：
34、i0＝(1-k)⊙r0+k⊙g0#(11)
35、其中(1-k)⊙r0代表预测图像中被精细修复区域，k⊙g0代表真实无雪图像中与预测图像中被精细修复区域对应的互补区域。
36、本专利技术的有益效果是：本专利技术的方法利用预训练模型提取二进制雪掩膜，再利用渐进池化模块与部分卷积模块粗略去雪，最后使用级联网络对粗去雪图像进行精细修复达到去雪目的。结合人类视觉自动补全机制，并受部分卷积启发，在渐进池化模块与部分池化模块中充分利用被雪颗粒遮挡区域相邻像素的语义信息对被遮挡区域像素进行粗略修复，并在精修复模块中通过级联resunet网络传递不同级别的语义信息逐层对粗略修复的像素进行深层次精细化处理，得到最终去雪图像，解决了目前去雪模型对于雪颗粒去除不完全、被遮挡内容恢复不精细的问题。
本文档来自技高网...【技术保护点】
1.一种基于级联网络和图像模糊处理的图像去雪方法，其特征在于，
2.根据权利要求1所述的基于级联网络和图像模糊处理的图像去雪方法，其特征在于，所述步骤S2具体包括：
3.根据权利要求2所述的基于级联网络和图像模糊处理的图像去雪方法，其特征在于，所述步骤S3具体包括：
4.根据权利要求3所述的基于级联网络和图像模糊处理的图像去雪方法，其特征在于，所述步骤S4具体包括4个阶段，每一阶段都包含一个ResUnet模型，相邻阶段的ResUnet模型通过拼接中间层特征图来丰富网络传递中的语义信息，除最后第3阶段直接将部分池化模块的输出所述去雪图像I4作为输入，其余第i阶段的输入均由Ii与Mi在通道维度拼接而成，其中，Ii代表第i级的粗略去雪图像，Mi为第i+1阶段的输出Ri+1与Ii逐像素做差得到的结果矩阵，代表不同程度的残差掩膜，Ri+1代表级联网络中第i+1阶段的输出结果，将Mi与Ii拼接作为输入以在卷积过程中使Ii获取准确的像素修复信息。
5.根据权利要求4所述的基于级联网络和图像模糊处理的图像去雪方法，其特征在于，所述步骤S5具体包括，
...【技术特征摘要】
1.一种基于级联网络和图像模糊处理的图像去雪方法，其特征在于，
2.根据权利要求1所述的基于级联网络和图像模糊处理的图像去雪方法，其特征在于，所述步骤s2具体包括：
3.根据权利要求2所述的基于级联网络和图像模糊处理的图像去雪方法，其特征在于，所述步骤s3具体包括：
4.根据权利要求3所述的基于级联网络和图像模糊处理的图像去雪方法，其特征在于，所述步骤s4具体包括4个阶段，每一阶段都包含一个resunet模型，相邻阶段的resunet模型通过拼接中间层特征图来丰富网络...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。