基于多模态损失函数制造技术

本发明专利技术公开了一种基于多模态损失函数

【技术实现步骤摘要】
基于多模态损失函数U型编解码网络的图像增强方法


[0001]本专利技术属于暗光彩色图像增强领域，具体为一种基于多模态损失函数
U
型编解码网络的图像增强方法
。

技术介绍

[0002]随着光电技术的发展及相关产业的兴起，光电探测技术在军事探测
、
城市安防
、
环境监测
、
特种监控等领域得到了广泛的应用以及空前的发展
。
传统的光电成像技术使用目标物反射或辐射的电磁波作为信号源，对需要识别的目标进行检测识别与追踪
。
然而，随着人们对成像信息的要求不断升高，传统的光电成像技术已经无法满足日益增长的需求：在实际的使用场景中，周围环境里存在的背景杂波，光照变化，障碍遮挡等可能对传统的光电成像技术造成干扰
。
例如：在军事探测中，若目标辐射与背景辐射相似或背景辐射过强，则很难在背景杂波中准确高效地识别出目标；亦或目标使用了光学遮挡伪装，那么传统的光电成像技术是束手无策的；再或目标处于水中，则水的散射作用会导致极大的误差
。
简单来说，实际探测场景中的干扰会大幅提升识别的复杂度，使得目标与非目标之间的光学特性差异被大大弱化，出现明显的灰度响应混叠现象，进而导致传统光电成像技术的的识别效率出现大幅下降，甚至产生严重错误
。
[0003]偏振是光的重要物理特性之一，地表或大气中的目标在反射
、
散射
、
透射和辐射电磁波时会产生由自身特性所决定的特定偏振信息，且这些偏振信息能用于分析目标的形状
、
表面粗糙度
、
纹理走向和材料的理化特性等
。
通过结合光强成像和偏振成像，可以再一定程度上克服光强的响应混叠效应，解决在暗光条件下光强成像的缺点，提升成像系统的信噪比，提供更多维度的信息
。
[0004]在复杂多变的光学环境下，特别是光子计数极低的暗光条件下，偏振成像往往具有很大的难度，由于偏振图像的生成大多由偏振光光强的计算获得，暗光条件下光强的低信噪比会显著降低偏振图像的清晰程度
。
并且，在暗光环境下偏振片的传输率可能产生下降，进而引起图像退化
。
传统的光学成像器件以及数据处理方法往往无法获得以及处理图像的偏振信息，影响目标检测和识别
[0005]传统的暗光环境成像增强去噪技术如
NLM
，
CBM3D
算法大部分是基于相似块进行增强去噪
。
然而，由于光强
(S0)
，偏振度
(DoLP)
和偏振角
(AoP)
对于不同的场景下的噪声有不同的灵敏度
。
传统的增强方案一般来说只能有效增强
RGB
三通道的色彩强度
。
对于需要同时使用
RGB
成像技术与偏振成像技术的光电探测系统，这些处理方法往往无法兼顾偏振成像的增强，进而会产生大量的欠增强或过增强的问题
。
这让传统的增强方法在日新月异的成像系统面前失去了其固有的优势，以至于在复杂环境下工作时可能产生极为严重的错误
。

技术实现思路

[0006]为了克服上述传统技术的不足，本专利技术提供了一种基于深度学习的偏振图像增强方法，以实现对暗光图像快速且准确的增强还原
。
[0007]实现本专利技术目的的技术解决方案为：一种基于多模态损失函数
U
型编解码网络的图像增强方法，包括以下步骤：
[0008]步骤
1、
构建图像增强网络
PolarUnet
；
[0009]步骤
2、
构建图像增强网络
PolarUnet
的损失函数；
[0010]步骤
3、
初始化图像增强网络
PolarUnet
参数：学习率
lr、
每一批次送入网络的图片裁剪大小
patch
‑
size、
每一批次送入网络的图片数量
batch
‑
size、
最大迭代次数；
[0011]步骤
4、
将训练集原始图像和对应的真值输入到去噪网络
PolarUnet
中，对其进行训练直到损失函数收敛，得到训练好的图像增强网络
PolarUnet
模型；
[0012]步骤
5、
将测试集待增强图像输入到步骤5中训练好的图像增强网络
PolarUnet
进行图像增强处理
。
[0013]优选地，构建图像增强网络
PolarUnet
的具体步骤如下：
[0014]步骤
1.1、
网络的整体结构为对称的特征提取网络和特征融合网络以及底层卷积网络
。
对应层的特征提取网络和特征融合网络中的数据形状一致
。
每一层特征提取网络的通道数是前一层的2倍，高与宽是前一层的每一层特征融合网络的通道数是后一层的2倍，高与宽是后一层的传入数据为三通道
S0
图像与三通道
Dolp
图像在通道维度组合成的六通道图像；
[0015]步骤
1.2、
构建四层特征提取网络，每层特征提取网络由两个3×3的卷积层和一个2×2的最大池化层构成；每一层网络先进行两次3×3卷积，再通过2×2最大池化，前三层网络输出传入下一层特征提取网络
、
最后一层输出传入底层卷积网络；
[0016]步骤
1.3、
构建底层卷积网络由两个3×3的卷积层构成，输出传入第一层特征融合网络；
[0017]步骤
1.4、
构建四层特征融合网络，每层特征融合网络由一个2×2上采样卷积层
、
一个特征拼接层和两个3×3卷积层构成；先进行2×2反卷积，并与对应的特征提取层卷积后的特征图进行特征融合，再进行两次3×3卷积
。
前三层输出传入下一层网络，最后一层输出通过1×1卷积层恢复为6通道输出
。
[0018]步骤
1.5、
卷积层中使用
LRelu
激活函数：
[0019][0020]优选地，步骤2中构建的图像增强网络
PolarUnet
的损失函数具体为：
[0021]Loss
＝
λ
S0
×
Loss
S0
+
λ
Dolp
×
Loss
Dolp
[0022][0023][0024]其中，
Loss
S0
为光强模态的
Loss
值，
Loss
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态损失函数
U
型编解码网络的图像增强方法，其特征在于，包括以下步骤：步骤
1、
根据
U
型编解码网络特点构建图像增强网络
PolarUnet
；步骤
2、
构建图像增强网络
PolarUnet
的损失函数；步骤
3、
初始化图像增强网络
PolarUnet
参数；步骤
4、
对真值图像添加高斯噪声得到训练图像，将训练图像输入到图像增强网络
PolarUnet
中，对图像增强网络
PolarUnet
进行训练直到损失函数收敛，得到训练好的
PolarUnet
网络模型；步骤
5、
将待增强图像输入到步骤5中训练好的
PolarUnet
网络进行图像去噪处理
。2.
根据权利要求1所述的基于多模态损失函数
U
型编解码网络的图像增强方法，其特征在于，构建图像增强网络
PolarUnet
的具体步骤如下：步骤
1.1、
网络的整体结构为对称的特征提取网络和特征融合网络以及底层卷积网络
。
对应层的特征提取网络和特征融合网络中的数据形状一致
。
每一层特征提取网络的通道数是前一层的2倍，高与宽是前一层的每一层特征融合网络的通道数是后一层的2倍，高与宽是后一层的传入数据为三通道
S0
图像与三通道
Dolp
图像在通道维度组合成的六通道图像；步骤
1.2、
构建四层特征提取网络，每层特征提取网络由两个3×3的卷积层和一个2×2的最大池化层构成；每一层网络先进行两次3×3卷积，再通过2×2最大池化，前三层网络输出传入下一层特征提取网络
、
最后一层输出传入底层卷积网络；步骤
1.3、
构建底层卷积网络由两个3×3的卷积层构成，输出传入第一层特征融合网络；步骤
1.4、
构建四层特征融合网络，每层特征融合网络由一个2×2上采样卷积层
、
一个特征拼接层和两个3×3卷积层构成；先进行2×2反卷积，并与对应的特征提取层卷积后的特征图进行特征融合，再进行两次3×3卷积，前三层输出传入下一层特征融合网络，最后一层输出通过1×1卷积层恢复为6通...

【专利技术属性】
技术研发人员：葛骏宇，陈昊，朱兴程，顾国华，万敏杰，徐秀钰，王佳节，韶阿俊，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：