【技术实现步骤摘要】
本专利技术涉及图像降噪以及无人船的智能感知领域，具体是一种水面倒影与反射去除方法及无人船水面可通航区域检测方法。
技术介绍
1、近年来，无人船艇(usv)技术在执行巡逻、监测、安防等任务中发挥着越来越重要的作用。水面可通航区域检测在无人船感知系统和水域测绘等许多应用中发挥着重要作用，通过对水域中水体图像分割的方法来估计水面可通航区域，可以为水面自动导航提供安全行驶范围的判断，并为usv的路径规划、避障和目标检测提供重要参考依据。
2、但是水面可通航区域检测是一项具有挑战性的任务。现有相机在阴天或者夜间与低照度环境下出现阴影导致图像不清晰，此外，水面在晴天的阳光照射下反射光会非常强烈，即使在晴天水面太阳光反射良好的情况下，水面会出现河岸、建筑物、植被等的倒影，会使获取的河道水面图像语义特征信息混乱。对于分割任务来说，这些都是噪声，常见的水面分割算法无法正常工作。总之，在实际应用中，usv直接获取的图像中存在大量噪声干扰，尤其是存在以下情况：
3、(1)水面存在岸上的植被、建筑物等形成的倒影，常规的图像语义分割方法仅根据纹理特征很难判断出水面所在区域；
4、(2)在阳光比较强的情况下，水面上有很多光线和反射；当太阳光从水面入射时在镜面方向形成强烈的反射辐射，形成水体的镜面反射；
5、(3)水岸边缘存在建筑物遮挡，在光照不足时物体会出现阴影，在桥梁处存在桥内和桥外光线骤变等影响，河岸和水面之间的边界不清楚，难以确定水岸边界线所在的位置；
6、以上这些条件都会导致图像处理算法难
技术实现思路
1、本专利技术的目的在于提供一种水面倒影与反射去除方法及无人船水面可通航区域检测方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种水面倒影与反射去除方法，通过图像风格转换的方法对水面倒影和高光反射进行去除或减弱处理；
4、图像风格转换的方法采用rdgan网络，所述rdgan网络的构建包括以下步骤：
5、步骤1、x和y分别是高噪声风格源域图像和低噪声风格目标域图像，通过将基于原始循环一致性生成对抗网络cyclegan模型中的两个生成器gx→y和gy→x改进为只使用单个生成器g附加一个轻量级的adain编码器(adainc)实现；
6、步骤2、在adain编码器中交替使用自适应实例归一化(adain)模块，空间自适应归一化(spade)模块进行归一化；
7、在解码器中交替使用自适应实例归一化(adain)模块，内容与空间自适应归一化(cspade)模块进行归一化；
8、步骤3、通过生成的adain调和插值来控制生成的水面降噪图像质量；
9、步骤4、修改cyclegan模型中训练优化的目标损失函数，添加特征匹配损失和循环语义一致损失。
10、作为本专利技术进一步的方案：所述adain模块中的adain根据输入的样式编码，自适应地生成仿射参数，其归一化的计算公式如下：
11、
12、其中μi(y)和σi(y)是目标样式的均值和方差，每个特征图xi利用样式y对应的仿射参数进行缩放和偏移实现归一化；
13、adain将含有水面高噪声内容图像的归一化通道均值和方差与弱噪声样式图像的均值和方差对齐，以便生成的图片具有与低噪声水域相同的特征分布。
14、作为本专利技术进一步的方案：所述adain模块的adain仿射参数k由adain编码器得到，定义如下：
15、
16、其中f是adain编码生成器，v是输入的随机高斯向量，fm是映射网络由mlp和全连接层组成，x和y分别是高噪声风格源域图像和低噪声风格目标域图像；μi(y)和σi(y)是目标域低噪声水面图像的均值和方差，是adain归一化仿射变换参数；
17、在训练阶段正向转换时，高噪声水面图像x转换为低噪声水面图像y的adain编码器设置为固定的常数向量，具体由均值为0方差为1的向量组成，f(v)＝k0＝(0,1)；
18、而在逆向转换时，低噪声水面图像y转换为高噪声水面图像x的adain编码由映射网络fm生成的向量得到。
19、作为本专利技术进一步的方案：通过对生成的adain编码进行插值来控制生成图像质量，adain编码插值计算方法为：
20、i(θ)＝(1-θ)k0+θfm(v),0≤θ≤1
21、其中i(θ)是介于k0和fm(v)之间adain调和插值，θ是adain调和插值系数；
22、θ较大的值表示更多地过渡到高噪声特征，而较小的值则更多地保留低噪声特征。
23、5.根据权利要求1所述的一种水面倒影与反射去除方法，其特征在于，所述步骤1中两个生成器改进为只使用单个生成器g，通过adain编码器实现，从域x到域y之间的可逆转换生成器定义为
24、gx→y＝g(x,i(0))
25、gy→x＝g(y,i(1))
26、只使用一个生成器g(x)和adain调和插值i(.)实现两个域之间的转换；
27、i(.)是adain调和插值。
28、作为本专利技术进一步的方案：所述步骤1中的cspade模块是通过在spade模块中融合内容特征信息作为输入；
29、仿射参数和是在第i个特征图(n∈n,c∈ci,y∈hi,x∈wi)处联合输入语义分割掩码mx和内容编码ci获取的；
30、具体的仿射变换归一化的定义为：
31、
32、其中，是第i层激活值，缩放值和偏差值分别是语义掩码mx和内容信息ci的加权和，计算公式为：
33、
34、
35、其中，mx是对应层经过尺寸调整过后的语义掩码信息，ci是来自低维空间中对应尺度的内容特征编码，和代表平均值和标准偏差，定义如下：
36、
37、
38、其中n是样本个数，hi和wi分别是i层的高度和宽度；当权重ωγ＝0，cspade将退化为原始的spade，因此在训练时生成器的编码网络中设置为ωγ＝0，而在解码网络的高维空间中，设置ωγ>0，获取高层空间中内容与空间的适应性，该参数值通过训练得到；
39、在训练阶段语义掩码由训练集图片中标注的语义标签提供，而在推理阶段语义掩码由预训练的轻量级fcn网络给出一个初始输入作为估计值；然后通过rdgan网络进行修正和校准语义信息。
40、作为本专利技术进一步的方案：所述adain的残差块包括卷积、adain、leakyrelu和跳跃连接；
41、adain残差模块由adain编码特征fi作为附加输入，对fi通过调整激活值后输出均值和本文档来自技高网...
【技术保护点】
1.一种水面倒影与反射去除方法，其特征在于，通过图像风格转换的方法对水面倒影和高光反射进行去除或减弱处理；
2.根据权利要求1所述的一种水面倒影与反射去除方法，其特征在于，所述AdaIN模块中的AdaIN根据输入的样式编码，自适应地生成仿射参数，其归一化的计算公式如下：
3.根据权利要求3所述的一种水面倒影与反射去除方法，其特征在于，所述AdaIN模块的AdaIN仿射参数K由AdaIN编码器得到，定义如下：
4.根据权利要求1所述的一种水面倒影与反射去除方法，其特征在于，通过对生成的AdaIN编码进行插值来控制生成图像质量，AdaIN编码插值计算方法为：
5.根据权利要求1所述的一种水面倒影与反射去除方法，其特征在于，所述步骤1中两个生成器改进为只使用单个生成器G，通过AdaIN编码器实现，从域X到域Y之间的可逆转换生成器定义为
6.根据权利要求2所述的一种水面倒影与反射去除方法，其特征在于，所述步骤1中的CSPADE模块是通过在SPADE模块中融合内容特征信息作为输入；
7.根据权利要求1所述的一种水面倒影
8.根据权利要求1所述的一种水面倒影与反射去除方法，其特征在于，所述AdaINC是包括多个多层感知机MLP和全连接层组成的映射网络，映射网络的输入为随机采样的1*64大小的10位高斯噪声向量v；映射网络通过MLP从向量v中学习目标域的无噪声或弱噪声样式特征；映射网络包括多个全连接层组成，映射网络最后一层不共享，其余层共享参数；在最后一层中对于仿射参数均值向量的生成，使用线性激活，而对于方差的生成，使用ReLU激活函数来保证非负性。
9.根据权利要求1所述的一种水面倒影与反射去除方法，其特征在于，通过改进CycleGAN模型的损失函数提高训练模型的稳定性，损失函数包括特征匹配损失和循环语义一致损失
10.一种用于无人船水面可通航区域检测方法，使用权利要求1-9任意一项的水面倒影与反射去除方法，其特征在于，包括以下步骤：
...【技术特征摘要】
1.一种水面倒影与反射去除方法，其特征在于，通过图像风格转换的方法对水面倒影和高光反射进行去除或减弱处理；
2.根据权利要求1所述的一种水面倒影与反射去除方法，其特征在于，所述adain模块中的adain根据输入的样式编码，自适应地生成仿射参数，其归一化的计算公式如下：
3.根据权利要求3所述的一种水面倒影与反射去除方法，其特征在于，所述adain模块的adain仿射参数k由adain编码器得到，定义如下：
4.根据权利要求1所述的一种水面倒影与反射去除方法，其特征在于，通过对生成的adain编码进行插值来控制生成图像质量，adain编码插值计算方法为：
5.根据权利要求1所述的一种水面倒影与反射去除方法，其特征在于，所述步骤1中两个生成器改进为只使用单个生成器g，通过adain编码器实现，从域x到域y之间的可逆转换生成器定义为
6.根据权利要求2所述的一种水面倒影与反射去除方法，其特征在于，所述步骤1中的cspade模块是通过在spade模块中融合内容特征...
【专利技术属性】
技术研发人员：张凯，余道洋，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。