一种并行混合注意力渐进融合的低照度图像增强方法及系统技术方案

本发明专利技术公开了一种并行混合注意力渐进融合的低照度图像增强方法及系统，具体步骤如下：构建并行混合注意力的渐进融合图像增强网络，所述网络包括多尺度加权聚合模块MWA、衔接在多尺度加权聚合模块MWA后的渐进特征融合模块PFM和嵌入在渐进特征融合模块PFM中的多个并行混合注意力模块PHA；对并行混合注意力的渐进融合图像增强网络进行训练，得到并行混合注意力的渐进融合图像增强网络模型；将待检测数据集输入并行混合注意力的渐进融合图像增强网络模型，得到图像增强后的低照度图像。本发明专利技术方法能有效增强图像整体亮度，调整图像颜色失衡并去除噪声避免细节信息丢失，方便后续需要的任务和工作的开展。需要的任务和工作的开展。需要的任务和工作的开展。

【技术实现步骤摘要】
一种并行混合注意力渐进融合的低照度图像增强方法及系统


[0001]本专利技术属于低照度图像增强
，具体属于一种并行混合注意力渐进融合的低照度图像增强方法及系统。

技术介绍

[0002]在实际生活中的多个场景里，采集高质量图像是目标检测、图像分割、自动驾驶、医疗手术等工作可以达到较高准确率的关键因素之一，然而电子设备采集到的图像和视频极易受到光照不佳等各种环境因素影响，从而出现图像亮度低，颜色失真，噪声较多，有效细节纹理信息丢失等问题，给后续需要开展的任务和工作带来了诸多困难。
[0003]低照度图像的增强一般通过常用的基于背景融合、基于自适应映射函数等方法增加亮度、去除噪声、图像色彩恢复来还原图像清晰度，为实际工作的多个场景提供高质量图像。近年来，由于深度神经网络所拥有的强大非线性拟合能力，其在低照度增强等领域取得了较好的效果，但在一些场合也会出现提高图像亮度和对比度时会出现颜色失衡现象，并且容易忽略一些噪声带来的影响，给后续需要开展的任务和工作带来了诸多困难。
[0004]对于图像增强后出现的细节信息丢失问题，通过提取图像多尺度特征信息并进行融合的相关方法，可以有效增加低照度图像亮度提升后的细节表现力。但其过程使得要融合的每个特征都同等重要，容易忽略多尺度特征的复杂特性，不同程度上导致融合后的图像出现颜色不饱和，伪影和颜色失等缺点的出现。注意力机制可以在原有的低光照图像数据中找到图像语义之间的关联性，不仅突出关注对象的某些重要特征，还能够忽略图像的无关信息。但随着网络深入大部分模型仅在网络部分位置执行聚合，不仅导致融合后的多层次特征语义信息无法有效利用造成了多层次特征的冗余，而且彼此信息间存在较大语义差使得网络增加了不必要的计算资源消耗。但多分支各融合模块间只是简单的信息流向关系，且非相邻模块间不存在有效的特征相关，因此在图像增强初期出现良好的亮度改善效果，但随着网络深入和时间推移图像在不同程度上出现亮度不均匀和细节信息丢失等问题。

技术实现思路

[0005]为了解决现有技术中存在的问题，本专利技术提供一种并行混合注意力渐进融合的低照度图像增强方法及系统，能有效增强图像整体亮度，调整图像颜色失衡并去除噪声避免细节信息丢失，方便后续需要的任务和工作的开展。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种并行混合注意力渐进融合的低照度图像增强方法，具体步骤如下：
[0007]S1构建并行混合注意力的渐进融合图像增强网络，所述网络包括多尺度加权聚合模块MWA、衔接在多尺度加权聚合模块MWA后的渐进特征融合模块PFM和嵌入在渐进特征融合模块PFM中的多个并行混合注意力模块PHA；
[0008]S2对并行混合注意力的渐进融合图像增强网络进行训练，得到并行混合注意力的
渐进融合图像增强网络模型；
[0009]S3将待检测数据集输入并行混合注意力的渐进融合图像增强网络模型，得到图像增强后的低照度图像。
[0010]进一步的，所述多尺度加权聚合模块MWA包括三个branch并行分支、concat函数、3
×
3卷积和sigmoid函数，其中，三个branch并行分支用于提取原始低照度图像中浅层颜色局部多尺度特征信息，concat函数用于将不同branch分支提取到的浅层颜色局部多尺度特征信息进行堆叠汇聚；
[0011]3×
3卷积和sigmoid函数用于对不同branch分支提取到的浅层颜色局部多尺度特征信息赋予不同权重，使得浅层颜色局部多尺度特征信息在不同权重引导下的实现浅层颜色局部多尺度特征信息的有效融合，得到包含浅层颜色局部多尺度特征的全域化表征信息。
[0012]进一步的，所述每个branch并行分支由不同数量的3
×
3卷积组成，从branch1到branch3，各分支3
×
3卷积数量分别为1、3、5。
[0013]进一步的，所述渐进特征融合模块PMF包括三个stage阶段，第stage1阶段的输入为多尺度加权聚合模块MWA输出的包含浅层颜色局部多尺度特征的全域化表征信息和branch1分支输出的包含浅层颜色局部多尺度特征；
[0014]第stage2阶段的输入为第stage1阶段的输出和branch2分支输出的包含浅层颜色局部多尺度特征；第stage3阶段的输入为第stage2阶段的输出和branch3分支输出的包含浅层颜色局部多尺度特征。
[0015]进一步的，每一stage阶段均包含一全局平均池化模块GAP与一并行混合注意力模块PHA，全局平均池化模块GAP用于对输入通道特征图的所有像素计算平均值得到汇集的空间信息；并行混合注意力模块PHA用于对输入通道特征图进行细化，得到注意力细化特征；
[0016]在每一stage阶段中，将对应阶段的空间信息和注意力细化特征相乘后与对应branch分支的包含浅层颜色局部多尺度特征融合，得到全域化注意力特征。
[0017]进一步的，并行混合注意力模块PHA包括两个并行的混合注意力分支，每一分支中均包括一通道注意力模块CAM和一像素注意力模块PAM，两个分支中通道注意力模块CAM和像素注意力模块PAM的排列顺序不同，且两个分支中的注意力模块前后并联交替连接。
[0018]进一步的，两个分支中的注意力模块前后并联交替连接后，使第一混合注意力分支与第二混合注意力分支的输入处理汇聚后输入第一分支通道注意力模块CAM，使第一分支通道注意力模块CAM输出的细化后特征流向第二分支像素注意力模块PAM，使第二分支像素注意力模块PAM输出的细化后特征流向第一分支像素注意力模块PAM。
[0019]本专利技术还提供一种并行混合注意力渐进融合增强低照度图像的系统，包括：
[0020]网络构建模块，用于构建并行混合注意力的渐进融合图像增强网络，所述网络包括多尺度加权聚合模块MWA、衔接在多尺度加权聚合模块MWA后的渐进特征融合模块PFM和嵌入在渐进特征融合模块PFM中的多个并行混合注意力模块PHA；
[0021]网络模型训练模块，用于对并行混合注意力的渐进融合图像增强网络进行训练，得到并行混合注意力的渐进融合图像增强网络模型；
[0022]图像增强模块，用于将待检测数据集输入并行混合注意力的渐进融合图像增强网络模型，得到图像增强后的低照度图像。
[0023]本专利技术还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0024]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其所述计算机程序被处理器执行时实现上述方法的步骤。
[0025]与现有技术相比，本专利技术至少具有以下有益效果：
[0026]本专利技术提出一种并行混合注意力渐进融合的低照度图像增强方法，构建并行混合注意力的渐进融合图像增强网络，借助多尺度加权聚合模块MWA加权不同多尺度分支提取到的局部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种并行混合注意力渐进融合的低照度图像增强方法，其特征在于，具体步骤如下：S1构建并行混合注意力的渐进融合图像增强网络，所述网络包括多尺度加权聚合模块MWA、衔接在多尺度加权聚合模块MWA后的渐进特征融合模块PFM和嵌入在渐进特征融合模块PFM中的多个并行混合注意力模块PHA；S2对并行混合注意力的渐进融合图像增强网络进行训练，得到并行混合注意力的渐进融合图像增强网络模型；S3将待检测数据集输入并行混合注意力的渐进融合图像增强网络模型，得到图像增强后的低照度图像。2.根据权利要求1所述的一种并行混合注意力渐进融合的低照度图像增强方法，其特征在于，所述多尺度加权聚合模块MWA包括三个branch并行分支、concat函数、3
×
3卷积和sigmoid函数，其中，三个branch并行分支用于提取原始低照度图像中浅层颜色局部多尺度特征信息，concat函数用于将不同branch分支提取到的浅层颜色局部多尺度特征信息进行堆叠汇聚；3
×
3卷积和sigmoid函数用于对不同branch分支提取到的浅层颜色局部多尺度特征信息赋予不同权重，使得浅层颜色局部多尺度特征信息在不同权重引导下的实现浅层颜色局部多尺度特征信息的有效融合，得到包含浅层颜色局部多尺度特征的全域化表征信息。3.根据权利要求2所述的一种并行混合注意力渐进融合的低照度图像增强方法，其特征在于，所述每个branch并行分支由不同数量的3
×
3卷积组成，从branch1到branch3，各分支3
×
3卷积数量分别为1、3、5。4.根据权利要求1所述的一种并行混合注意力渐进融合的低照度图像增强方法，其特征在于，所述渐进特征融合模块PMF包括三个stage阶段，第stage1阶段的输入为多尺度加权聚合模块MWA输出的包含浅层颜色局部多尺度特征的全域化表征信息和branch1分支输出的包含浅层颜色局部多尺度特征；第stage2阶段的输入为第stage1阶段的输出和branch2分支输出的包含浅层颜色局部多尺度特征；第stage3阶段的输入为第stage2阶段的输出和branch3分支输出的包含浅层颜色局部多尺度特征。5.根据权利要求4所述的一种并行混合注意力渐进融合的低照度图像增强方法，其特征在于，每一...

【专利技术属性】
技术研发人员：刘光辉，杨琦，孟月波，赵敏华，
申请(专利权)人：西安建筑科技大学，
类型：发明
国别省市：