一种具有可解释性和可控性的雨生成方法技术

一种具有可解释性和可控性的雨生成方法，利用需要添加雨的背景图像和参考的带雨图像，组成训练数据集；根据雨生成机制，构建一个雨生成模型，其中雨的构成要素由雨核刻画，雨的稀疏程度由雨的

【技术实现步骤摘要】
一种具有可解释性和可控性的雨生成方法


[0001]本专利技术属于图像处理
、
数据生成以及深度学习
，特别涉及一种具有可解释性和可控性的雨生成方法
。

技术介绍

[0002]探索和建模雨的生成机制来增广成对数据使雨图像处理模型更容易训练是很有意义的
。
这对于当前基于深度学习的图像雨移除方法尤其重要，因为深度学习方法的有效性高度依赖于成对的带雨的和无雨的图像
。
然而，理想的成对监督数据总是难以收集的，特别是在复杂多样的雨场景中
。
此外，探索和建模雨的生成机制对揭示真实雨背后的底层特征也具有很大的潜在价值，这有助于在严重天气等紧急情况条件下制定合理政策
。
[0003]早期研究雨图像生成主要是基于物理渲染的人工合成方法
。
具体地，这类方法主要包括三个部分：第一部分是雨核模型，用于生成包含雨的方向
、
长度
、
宽度等形状信息的卷积核
。
第二部分是由雨的稀疏度和位置决定的雨
m本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种具有可解释性和可控性的雨生成方法，其特征在于，包括如下步骤：步骤
1)
收集无雨图像和有雨图像，组成训练数据集；步骤
2)
根据雨生成机制，构建一个雨生成模型，其中雨的构成要素由雨核刻画，雨的稀疏程度由雨的
map
刻画；步骤
3)
构建一个可变换卷积框架；步骤
4)
将所述雨生成模型作为主干，结合所述可变换卷积框架，构建一个可变换的雨生成网络；步骤
5)
利用所述训练数据集训练所述雨生成网络；步骤
6)
将需要加雨的背景图像输入到训练好的雨生成网络中，通过网络的前向过程，输出得到生成的带雨图像
。2.
根据权利要求1所述的一种具有可解释性和可控性的雨生成方法，其特征在于，所述步骤
1)
中图像数据预处理方法为：当有收集好的成对训练数据时，分别将成对的需要添加雨的背景图像和参考的带雨图像的像素数值范围归一化到0到1之间；当没有成对的参考的带雨图像时，收集不成对的参考的带雨图像，并将像素数值范围归一化到0到1之间
。3.
根据权利要求1所述的一种具有可解释性和可控性的雨生成方法，其特征在于，所述步骤
2)
构建的雨生成模型表示为：其中和分别是生成的带有雨的方向角度
θ
、
长度参数
s
l
、
宽度参数
s
w
、
密度参数
τ
和形状参数
α
的雨图像和雨层；是需要添加雨的背景图像；和分别是控制雨的方向角度
、
长度
、
宽度和形状的雨核和控制雨的稀疏程度的雨
map
；
MerNet(
·
)
是一个融合雨层和背景图像的深度网络；
H、W、K、p
分别代表图像的高
、
宽
、
雨核的个数和尺寸；所述步骤
3)
构建的可变换卷积框架表示为：其中
F
in
和
F
out
分别是输入和输出的特征图；表示卷积算子；
φ
(
Θ
)
是带有变换参数
Θ
的可变换的卷积核
。4.
根据权利要求3所述的一种具有可解释性和可控性的雨生成方法，其特征在于，所述的可变换的连续的二维卷积核表示为：其中是一个被参数化的带有变换参数
Θ
的二维连续卷积核，
x
＝
[x1,x2]
T
是二维坐标系，是
N
个二维连续基底，
N
表示基底的个数，
w
n
表示相应的系数，
n
＝
1,2,
…
,N
，
T
Θ
是一个带有变换参数
Θ
的逆变换矩阵；对于大小为
p
×
p
的离散卷积核
φ
(
Θ
)
在
第
i
行第
j
列处的取值列处的取值其中表示相应的坐标位置；当只有角度为
θ
旋转变换时，
Θ
＝
θ
，则：当旋转和伸缩同时变换时，
Θ
＝
{
θ
,s
l
,s
w
}
，则：其中
s
l
和
s
w
分别是伸缩的长度和宽度的倒数
。5.
根据权利要求3所述的一种具有可解释性和可控性的雨生成方法，其特征在于，所述步骤
4)
雨生成网络包含一个用于生成雨核的雨核模型，一个用于生成雨的雨
map
模型和一个用于融合雨层和无雨背景图像的融合模型
MerNet(
·
)
；所述雨核模型表示为：其中表示
M
个雨核字典；是用于生成
K
个雨核的
M
维系数，代表雨的形状参数；
⊙
是沿着第四维度的张量乘法；所述雨
map
模型表示为：其中
τ
代表雨的稀疏度因子，
ReLU(
·
)
表示激活函数；是一个是将残差卷积网络中所有的卷积核替换为参数化卷积核的可旋转的残差卷积网络，
w
r
表示其要学...

【专利技术属性】
技术研发人员：谢琦，庞智强，孟德宇，徐宗本，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：