基于CNN-Transformer混合建模及双边交互的低照度图像增强方法技术

本发明专利技术涉及一种基于CNN

【技术实现步骤摘要】
基于CNN
‑
Transformer混合建模及双边交互的低照度图像增强方法


[0001]本专利技术涉及图像和视频处理以及计算机视觉
，特别是基于CNN
‑
Transformer混合建模及双边交互的低照度图像增强方法。

技术介绍

[0002]随着科技的不断进步和相机技术的迅猛发展，低照度图像正以惊人的速度在日常生活和各个行业中广泛普及。在夜晚、室内或其他光线较暗的场景下，我们面临着越来越多需要在光线不足的环境中捕捉照片或录制视频的需求。然而，由于环境中可用光线的不足，相机传感器无法准确捕捉细节并生成清晰的图像，导致图像变得模糊、噪点过多、色彩失真等问题。因此，低照度图像增强成为一个备受关注的重要课题。低照度图像增强的目标是通过特定的技术和算法来改善在低光条件下拍摄的图像质量，主要包括硬件改进和软件算法两个方面。在硬件方面，相机制造商通过提升传感器的灵敏度、增加像素大小和改进镜头质量等方式来增强低光条件下的成像能力。这些硬件改进使得相机能够更好地捕捉光线，并提供更高质量的图像素材。而软件算法则在后期处理中发挥关键作用，通过降噪算法减少噪点、增强对比度算法提高图像可见度以及图像复原算法恢复丢失的细节来实现图像的增强。
[0003]低照度图像增强技术在各个领域都具有广泛的应用前景。首先，在安防监控领域，该技术可以提高夜间监控图像的质量，帮助警方或安保人员更好地识别和分析潜在威胁。在过去，由于光线不足，监控摄像头往往无法清晰地捕捉到重要细节，从而影响了安全监控的效果。借助低照度图像增强技术，监控图像可以得到明显改善，细微的动作和行为可以更加清晰地呈现，有效提升安全防范能力。其次，在医学影像领域，低照度图像增强技术也具有巨大的潜力。医学影像对于准确诊断和治疗至关重要，而在某些情况下，如术中操作或特定病例的检查，光线可能会受到限制。低照度图像增强技术提供了一种可行的解决方案，使医生能够观察微小病变、组织结构等重要细节，从而实现更准确的诊断和治疗方案。例如，在肿瘤手术中，低照度图像增强技术可以帮助医生更清晰地辨别癌组织与健康组织的边界，降低手术风险，并提高手术的成功率和患者的生存机会。此外，在自动驾驶领域，低照度图像增强对车辆感知和决策具有至关重要的作用。自动驾驶技术正在成为未来交通的重要组成部分，而在光线条件较差的情况下，车辆感知系统需要可靠的图像数据来准确识别道路、障碍物和其他交通参与者。低照度图像增强技术可以帮助提升车辆感知系统的性能，使其能够更好地适应不同光照条件下的驾驶环境。通过降低图像中的噪点、增强细节，并改善图像的对比度，这项技术能够提高驾驶决策的准确性，从而增加行驶安全性并降低事故风险。
[0004]近期，深度学习模型在低照度图像增强领域取得了令人瞩目的进展，其能够从大规模数据集中学习到强大且可推广的先验知识，因此成为该领域的主导方法。目前，已有两种常见的卷积神经网络架构设计被广泛采用：编码解码器和高分辨率(单尺度)特征处理。
编码解码器模型通过逐步映射图像到低分辨率表示，并逆向映射恢复到原始分辨率。然而，这种方法会导致精细空间细节的损失，使后续阶段的恢复变得困难。另一方面，高分辨率(单尺度)网络避免了降采样操作，但其接受域有限且编码上下文信息效率较低。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于CNN
‑
Transformer混合建模及双边交互的低照度图像增强方法，该方法结合局部感知和全局感知增强，能够充分考虑图像的局部细节和全局结构，使得增强后的图像更加自然、细致；通过局部
‑
全局和全局
‑
局部交互，局部感知模块可以向全局感知模块提供细节信息，帮助其更好地理解图像的上下文关系，全局感知模块可以向局部感知模块提供整体亮度信息，帮助其进行细节增强，这样的双边交互策略在增强低照度图像时不仅增强了重建细节，还有效促进了全局一致性的表示。
[0006]为实现上述目的，本专利技术采用如下技术方案：基于CNN
‑
Transformer混合建模及双边交互的低照度图像增强方法，包括如下步骤：
[0007]步骤A、对输入图像进行预处理，包括图像配对、裁剪和数据增强处理，以得到训练数据集；
[0008]步骤B、设计一个基于CNN
‑
Transformer的低照度图像交互增强网络，基于CNN
‑
Transformer的低照度图像交互增强网络由输入映射模块、L个交互增强块和输出映射模块组成；
[0009]步骤C、设计用于训练步骤B中所设计网络的损失函数；
[0010]步骤D、使用训练数据集训练基于CNN
‑
Transformer的低照度图像交互增强网络；
[0011]步骤E、将待测图像输入到该网络中，利用训练好的网络生成正常照度图像。
[0012]在一较佳的实施例中，所述步骤A具体实现步骤如下：
[0013]步骤A1、将正常照度图像与低照度图像进行配对，其中正常照度图像作为标签图像；
[0014]步骤A2、将每一张大小为H
×
W
×
3的低照度图像随机裁切为P
×
P
×
3大小的图像，同时对其对应的正常照度图像采用相同的随机裁切方式，以确保它们具有相同的大小和位置，其中，H、W是低照度图像与正常照度图像的高度和宽度，P是裁切出图像的高度和宽度；
[0015]步骤A3、对于每个训练配对图像，随机应用以下8种数据增强方式之一：保持原始图像、垂直翻转、旋转90度、旋转90度后垂直翻转、旋转180度、旋转180度后垂直翻转、旋转270度、旋转270度后垂直翻转。
[0016]在一较佳的实施例中，所述步骤B具体实现步骤如下：
[0017]步骤B1、设计输入映射模块，核心包含两个卷积单元，每个单元由一个卷积核大小为3
×
3、步长为1的卷积层、一个ReLu激活函数和一个双线性下采样层依次构成，实现对低照度输入图像的特征提取，提取的特征表示为其中H和W分别为低照度图像的高和宽，D表示为总的下采样倍率，C表示为提取特征的通道数；
[0018]步骤B2、设计交互增强块，由局部感知增强模块、全局感知增强模块、局部至全局的交互操作以及全局至局部的交互融合模块构成，通过混合建模及双边交互的方式对低照度图像进行增强；对于步骤B1提取的特征X
in
，经过L个交互增强块得到增强后的特征表示为
可用公式描述为：
[0019][0020]其中，IEB表示交互增强块，表示交互增强块的堆叠处理；
[0021]步骤B3、设计输出映射模块，核心包含两个卷积单元，每个单元由一个双线性上采样层、一个卷积核大小为3
×
3、步长为1的卷积层和一个ReLu激活函数依次构成；对于步骤B1提取的特征X
in
，通过残差连接的方式与步骤B2的输出特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于CNN
‑
Transformer混合建模及双边交互的低照度图像增强方法，其特征在于，包括如下步骤：步骤A、对输入图像进行预处理，包括图像配对、裁剪和数据增强处理，以得到训练数据集；步骤B、设计一个基于CNN
‑
Transformer的低照度图像交互增强网络，基于CNN
‑
Transformer的低照度图像交互增强网络由输入映射模块、L个交互增强块和输出映射模块组成；步骤C、设计用于训练步骤B中所设计网络的损失函数；步骤D、使用训练数据集训练基于CNN
‑
Transformer的低照度图像交互增强网络；步骤E、将待测图像输入到该网络中，利用训练好的网络生成正常照度图像。2.根据权利要求1所述的基于CNN
‑
Transformer混合建模及双边交互的低照度图像增强方法，其特征在于，所述步骤A具体实现步骤如下：步骤A1、将正常照度图像与低照度图像进行配对，其中正常照度图像作为标签图像；步骤A2、将每一张大小为H
×
W
×
3的低照度图像随机裁切为P
×
P
×
3大小的图像，同时对其对应的正常照度图像采用相同的随机裁切方式，以确保它们具有相同的大小和位置，其中，H、W是低照度图像与正常照度图像的高度和宽度，P是裁切出图像的高度和宽度；步骤A3、对于每个训练配对图像，随机应用以下8种数据增强方式之一：保持原始图像、垂直翻转、旋转90度、旋转90度后垂直翻转、旋转180度、旋转180度后垂直翻转、旋转270度、旋转270度后垂直翻转。3.根据权利要求1所述的基于CNN
‑
Transformer混合建模及双边交互的低照度图像增强方法，其特征在于，所述步骤B具体实现步骤如下：步骤B1、设计输入映射模块，核心包含两个卷积单元，每个单元由一个卷积核大小为3
×
3、步长为1的卷积层、一个ReLu激活函数和一个双线性下采样层依次构成，实现对低照度输入图像的特征提取，提取的特征表示为其中H和W分别为低照度图像的高和宽，D表示为总的下采样倍率，C表示为提取特征的通道数；步骤B2、设计交互增强块，由局部感知增强模块、全局感知增强模块、局部至全局的交互操作以及全局至局部的交互融合模块构成，通过混合建模及双边交互的方式对低照度图像进行增强；对于步骤B1提取的特征X
in
，经过L个交互增强块得到增强后的特征表示为可用公式描述为：其中，IEB表示交互增强块，表示交互增强块的堆叠处理；步骤B3、设计输出映射模块，核心包含两个卷积单元，每个单元由一个双线性上采样层、一个卷积核大小为3
×
3、步长为1的卷积层和一个ReLu激活函数依次构成；对于步骤B1提取的特征X
in
，通过残差连接的方式与步骤B2的输出特征X
out
相加作为该模块的输入，重建为3通道图像步骤B4、对于步骤B3重建的特征与输入特征I
in
通过残差连接的方式相加，得到增强
后的3通道图像，表示为4.根据权利要求3所述的基于CNN
‑
Transformer混合建模及双边交互的低照度图像增强方法，其特征在于，所述步骤B2具体实现步骤如下：步骤B21、对于步骤B1输入映射模块提取的特征X
in
，在送入交互增强块前，先拷贝两份分别作为局部感知增强模块和全局感知增强模块的输入；这里将第I个交互增强块中局部感知增强模块的输入表示为全局感知增强模块的输入表示为步骤B22、设计局部感知增强模块，主要由通道上下文建模、通道变换、空间上下文建模以及空间变换等单元组成；对于输入特征D
l
‑1，由通道上下文建模和通道变换得到通道修正因子Z
l
；由空间上下文建模以及空间变换得到空间修正因子S
l
；然后，分别将通道修正因子Z
l
和空间修正因子S
l
作用于输入特征D
l
‑1，以获得局部感知增强模块的输出特征D
l
；该过程用公式表示为：其中，表示按位相乘，表示按位相加；步骤B23、设计局部至全局的交互操作，对于局部感知增强模块的输出D
l
，将其作为搜索域特征输入全局感知增强模块；步骤B24、设计全局感知增强模块，主要由空间交叉注意力层、归一化层、通道自注意力层以及前馈网络组成；对于输入特征G
l
‑1，将其作为查询域特征，连同步骤B23中的搜索域特征D
l
一起先依次送入空间交叉注意力和归一化层，得到的特征再与G
l
‑1残差连接，输出中间特征然后，再将依次送入通道自注意力层和归一化层，得到的特征再与残差连接，输出中间特征最后，再将送入前馈网络，得到全局感知增强模块的输出特征G
l
；该过程用公式表示为：用公式表示为：用公式表示为：其中，LN(
·
)表示层归一化操作，SMCA表示空间交叉注意力，CMSA表示通道自注意力，FFN表示前馈网络；步骤B25、设计全局至局部的交互融合模块，该模块复用全局感知增强模块结构；对于局部感知增强模块的输出特征D
l
以及全局感知增强模块的输出模块G
l
，分别将两者作为查询域和搜索域，先依次送入空间交叉注意力和归一化层，得到的特征再与D
l
残差连接，输出中间特征然后，再将依次送入通道自注意力层和归一化层，得到的特征再与残差连接，输出中间特征最后，再将送入前馈网络，得到最终输出特征X
l
，即为第l个交互增强块的输出特征；该过程用公式表示为：块的输出特征；该过程用公式表示为：
5.根据权利要求4所述的基于CNN
‑
Transformer混合建模及双边交互的低照度图像增强方法，其特征在于，所述步骤B22具体实现步骤如下：步骤B221、对于输入特征先经过通道上下文建模单元处理；具体地，首先通过全局平均池化对特征进行压缩，得到通道修正因子接着，将该修正因子与历史的l
‑
1个通道修正因子进行拼接，得到总的修正因子表示1个通道修正因子进行拼接，得到总的修正因子表示可以用公式表示为：式表示为：其中，AvgPool(
·
)表示全局平均池化，[
·
；
·
]表示拼接操作；步骤B222、对于步骤B221得到总的修正因子由通道变换单元继续处理；其依次经过一个1
×
1卷积层、ReLu激活函数、1
×
1卷积层以及Sigmoid函数，得到当前通道修正因子该过程用公式表示为：其中，Conv1(
·
)表示1
×
1卷积层，ReLu(
·
)表示ReLu激活函数，Sigmoid(
·
)表示Sigmoid函数；步骤B223、对于输入特征还由空间上下文建模单元处理；具体地，对于D
l
‑1，首先分别由沿着通道维度的全局平均池化和全局最大池化操作，得到大小为的全局平均特征图和全局最大特征图，并将两个特征图沿通道维度拼接；该过程用公式表示为：其中，Avgpool(
·
)和MaxPool(
·
)分别表示全局平均池化和全局最大池化操作，表示经过拼接后的特征图；步骤B224、对于步骤B223的特征图继续由空间变换单元处理；其依次经过一个1
×
1的组卷积层、3
×
3的卷积层以及Tanh函数，得到空间修正因子用公式表示为：其中，GroupConv(
·
)表示1
×
1的组卷积层，conv3(
·
)表示3
×
3的卷积层，Tanh(
·
)表示Tanh函数；步骤B225、对于输入特征先与步骤B222得到的通道修正因子先与步骤B222得到的通道修正因子相乘，接着与步骤B224得到的空间修正因子相加，得到局部感知增强模块的输出D
l
。6.根据权利要求4所述的基于CNN
‑
Transformer混合建模及双边交互的低照度图像增
强方法，其特征在于，所述步骤B24具体实现步骤如下：步骤B241、设计空间交叉注意力层，对于输入的特...

【专利技术属性】
技术研发人员：牛玉贞，许瑞，李悦洲，林晓锋，
申请(专利权)人：福州大学，
类型：发明
国别省市：