Transformers与CNN结合的低照度图像增强方法技术

本发明专利技术公开了一种Transformers与CNN结合的低照度图像增强方法，步骤包括：步骤1、构建预处理模块，输入为原始低照度图像，输出是特征图I1；步骤2、构建Windown Transformers Block模块，输入数据是步骤1输出的特征图I1，输出是提取后的特征图I2；步骤3、构建特征融合模块，输入数据是步骤2输出的特征图I2，输出为融合后的特征图像I3；步骤4、构建恢复模块，输入数据是步骤3输出的特征图I3，输出是增强后高质量无噪声的输出图像，即成。本发明专利技术的方法，针对低照度图像能够有效的提升了图像亮度，抑制图像噪声效果明显并较好的保持了纹理细节和颜色信息。和颜色信息。和颜色信息。

【技术实现步骤摘要】
Transformers与CNN结合的低照度图像增强方法


[0001]本专利技术属于图像处理
，属于RGB真彩色图像恢复技术，具体涉及一种Transformers与CNN结合的低照度图像增强方法。

技术介绍

[0002]在低照度条件下获取图像，多存在低对比度、噪声大、颜色失真等图像缺陷，导致获取图像的视觉感受质量较差，同时也会降低图像分割、目标识别及视频监控等后续图像处理任务的精度。
[0003]当前低照度图像提升方法主要分为三类，即基于底层图像处理方法、基于视网膜(Retinex)理论算法和深度学习类的图像提升算法。基于底层图像处理方法主要是以利用直方图均衡化(Histogram Equalization，HE)为代表，直方图均衡化方法是以累计分布函数为基础的直方图修改方法，将图像直方图调整为均衡分布以拉伸图像动态范围，从而提高图像对比度；该类方法操作简单、效率高，但生成的图像易受伪影影响、真实感不强。基于Retinex理论的低照度图像增强方法，通过模拟人视觉中的Retinex理论，将低照度图像分解为照明分量和反射分量，通过调整本文档来自技高网...

【技术保护点】

【技术特征摘要】
head
i
＝Attention(QW
iQ
,KW
iK
,VW
iV
)
ꢀꢀꢀꢀꢀꢀ
(2)其中，Q,K,V分别为W
‑
MSA子模块的输入，即查询向量、键向量、值向量；W0为连接多个子空间的系数矩阵；W
iQ
为不同子空间中Q的映射矩阵，W
iK
为不同子空间中K的映射矩阵，W
iV
为不同子空间中V的映射矩阵，head
h
为第h个子空间内注意力向量的计算；在一个单独子空间上的注意力向量的计算过程为：先将查询向量Q和键向量K点乘，再除以键向量K的维度的平方根得到查询向量Q的分数矩阵，最后通过softmax函数将分数矩阵归一化得到权重矩阵，再乘以值向量V即得到一个子空间的注意力向量，表达式见式(3)：5.根据权利要求1所述的Transformers与CNN结合的低照度图像增强方法，其特征在于：所述的特征融合模块的作用是将步骤2提出的特征信息进行不同窗口位置的融合，保证窗口之间的信息交流，特征融合模块的流程结构依次为：特征融合模块的流程结构依次为：特征融合模块的流程结构依次为：其中，Conv层为卷积运算，卷积核大小均为3*3，卷积步长均为1，特征映射总数分别为96个；1，特征映射总数分别为96个；主要作用是解决梯度消失和权重矩阵退化问题；主要作用是解决梯度消失和权重矩阵退化问题；其他各层均与步骤2相同。6.根据权利要求1所述的Transformers与CNN结合的低照度图像增强方法，其特征在于：所述的恢复模块的作用是将特征融合模块融合得到的图像特征恢复至原始输入的微光图像尺寸，输出增强后高质量无噪声的彩色图像；恢复模块的流程结构依次为：步骤3输出的特征图I3作为输入
→
Patch Expanding层
→
Linear层
→
输出图像，其中，Patch Expanding层用于进行rearrange operation运算，将输入特征的分辨率扩大到输入分辨率的4倍，将特征维数降低到输入维数的1/16；Linear层为线性运算进行特征映射，卷积核大小为H*W，特征映射总数为3个。7.根据权利要求6所述的Transformers与CN...

【专利技术属性】
技术研发人员：孙帮勇，赵兴运，高晓梅，王宇通，杨宗辉，陈金岭，蔺昊祺，匡璐璐，吴晓波，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：