【技术实现步骤摘要】
本专利技术水下机器视觉，尤其涉及一种面向水下弱光场景的图像质量增强方法及装置。
技术介绍
1、长期以来，弱光条件下的照明场景一直对计算机视觉提出了巨大的挑战。以往的水下图像增强方法主要包括图像增光、对比度调整和滤波等技术。图像增光方法往往依赖于传感器的灵敏度提高或者外部照明设备的使用，然而，这些方法容易引入图像噪声，尤其在弱光条件下。对比度调整通常采用线性拉伸等传统方法，但这些方法在复杂水下场景中的效果有限。滤波方法虽然能够减少一些噪声，但也会损失图像的细节和清晰度。在水下环境中，光线传播和颜色衰减与陆地环境存在显著不同，导致传统图像增强技术在此处难以发挥最大效果。水的吸收和散射对图像的质量造成了严重影响，加之水下光学系统的特殊性，使得现有技术无法满足对于高质量水下图像的迫切需求。
2、近年来，随着计算机视觉和深度学习技术的迅猛发展，基于深度学习的方法在弱光成像方面给出了令人兴奋的结果。在水下弱光场景中，传统的图像增强方法难以捕捉复杂的光学特性，而基于深度学习的方法通过学习大量数据和模式，能够更好地理解并处理水下环境中的图像。这些方法采用卷积神经网络来学习从低光域到正常光域的表示和映射。然而，低光的复杂性，如曝光不足和细节丢失，可能会给这些方法带来挑战。此外，用于监督学习的各种弱光视觉数据集的可用性有限，进一步阻碍了这种数据驱动方法的性能。这种情况对于水下勘探、海洋生物学研究等领域构成了严峻的挑战。
3、因此，如何提供一种面向水下弱光场景的图像质量增强方法，对水下图像进行清晰的重建，成为本领域亟待解决的技
技术实现思路
1、为了解决上述技术问题，本专利技术提供了一种面向水下弱光场景的图像质量增强方法及装置，实现了对水下弱光场景的图像的外观信息和细节信息的高效提取和有效融合，并在水下弱光场景重建清晰的图像，为水下的检测、追踪和深度估计等任务提供了真实有效的视觉信息。
2、基于同一专利技术构思，本专利技术具有四个独立的技术方案：
3、1、一种面向水下弱光场景的图像质量增强方法，包括：
4、采集水下弱光场景数据；
5、基于restormer模型对所述弱光场景数据集进行特征提取，得到外观特征信息；
6、基于带有条件信息的扩散模型对所述弱光场景数据进行特征提取，得到细节特征信息；
7、基于resnet模型将所述外观特征信息和所述细节特征信息在语义空间中合并，并将融合特征在通道维度结合，通过所述resnet模型的解码器在像素空间中重建并输出增强图像。
8、进一步地，采集水下弱光场景数据，包括：
9、采集正常光照的水下弱光场景数据作为真实图像；
10、采集低照度的水下弱光场景数据作为低照度图像，并与所述真实图像保持视角对齐；
11、基于所述真实图像和所述低照度图像构建训练集和测试集，所述训练集和所述测试集中包含图像数量比为9:1。
12、进一步地，基于restormer模型对所述弱光场景数据集进行特征提取，包括：
13、基于restormer模型的编码器模块在多个尺度上压缩和重建场景信息，得到多尺度通道特征；
14、基于通道转换器ctrans对所述多尺度通道特征进行交叉融合，再基于restormer模型的解码器模块解码得到所述外观特征信息。
15、进一步地，基于带有条件信息的扩散模型对所述弱光场景数据进行特征提取，包括：
16、将低照度图像作为条件向量指导所述扩散模型，并采用u-net模型作为去噪器进行去噪，得到所述细节特征信息。
17、进一步地，去噪过程包括计算优化数据分布，计算公式如下：
18、；
19、其中，表示条件向量，和分别表示均值和方差，表示给定当前状态和控制变量的条件下，上一个时间步的状态的概率密度函数，表示时刻的状态，表示正态分布，表示单位矩阵。
20、进一步地，所述resnet模型采用两个具有相似编码器结构的分支作为融合模块，第一分支用于融合上下文内容，第二分支用于压缩全局样式特征向量。
21、进一步地，采用有监督方式训练所述restormer模型、所述扩散模型以及所述resnet模型，并使用逐像素的损失函数约束训练。
22、2、一种面向水下弱光场景的图像质量增强装置，包括：
23、采集模块，用于采集水下弱光场景数据；
24、外观建模模块，用于基于restormer模型对所述弱光场景数据集进行特征提取，得到外观特征信息；
25、细节增强模块，用于基于带有条件信息的扩散模型对所述弱光场景数据进行特征提取，得到细节特征信息；
26、语义融合模块，用于基于resnet模型将所述外观特征信息和所述细节特征信息在语义空间中合并，并将融合特征在通道维度结合，通过所述resnet模型的解码器在像素空间中重建并输出增强图像。
27、3、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
28、4、一种电子设备，包括处理器和存储装置，所述存储装置中存有多条指令，所述处理器用于读取所述存储装置中的多条指令并执行上述方法。
29、本专利技术提供的面向水下弱光场景的图像质量增强方法及装置，至少包括如下有益效果：
30、（1）通过使用各种设备采集真实水下弱光场景数据，构建基准图像质量增强数据集。进而，通过本申请提出的一种面向水下弱光场景的图像质量增强方法，针对弱光场景的局限性，对rgb数据以端到端的方式进行水下弱光重建，获得清晰鲁棒的场景图像，为水下其他视觉任务，如水下的目标检测、追踪、深度估计等，提供更好的视觉表达，能够有效提升上述任务的准确率；
31、（2）采用分层优化策略来训练我们的双流融合网络，首先，我们分别训练两个流网络，然后在训练语义融合网络之前冻结它们的权值。最后，我们执行端到端的关节微调。这种方法在单独的训练期间优化单个网络功能，然后在潜在语义空间内微调整个网络，以最小化局部最优的风险。
本文档来自技高网...【技术保护点】
1.一种面向水下弱光场景的图像质量增强方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，采集水下弱光场景数据，包括：
3.根据权利要求1所述的方法，其特征在于，基于Restormer模型对所述弱光场景数据集进行特征提取，包括：
4.根据权利要求2所述的方法，其特征在于，基于带有条件信息的扩散模型对所述弱光场景数据进行特征提取，包括：
5.根据权利要求4所述的方法，其特征在于，去噪过程包括计算优化数据分布，计算公式如下：
6.根据权利要求1所述的方法，其特征在于，所述ResNet模型采用两个具有相似编码器结构的分支作为融合模块，第一分支用于融合上下文内容，第二分支用于压缩全局样式特征向量。
7.根据权利要求1所述的方法，其特征在于，采用有监督方式训练所述Restormer模型、所述扩散模型以及所述ResNet模型，并使用逐像素的损失函数约束训练。
8.一种面向水下弱光场景的图像质量增强装置，其特征在于，包括：
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算
10.一种电子设备，包括处理器和存储装置，其特征在于，所述存储装置中存有多条指令，所述处理器用于读取所述存储装置中的多条指令并执行如权利要求1-7任一所述的方法。
...【技术特征摘要】
1.一种面向水下弱光场景的图像质量增强方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，采集水下弱光场景数据，包括：
3.根据权利要求1所述的方法，其特征在于，基于restormer模型对所述弱光场景数据集进行特征提取，包括：
4.根据权利要求2所述的方法，其特征在于，基于带有条件信息的扩散模型对所述弱光场景数据进行特征提取，包括：
5.根据权利要求4所述的方法，其特征在于，去噪过程包括计算优化数据分布，计算公式如下：
6.根据权利要求1所述的方法，其特征在于，所述resnet模型采用两个具有相似编码器结构的分支作为融合模块，第一分支用于融合上...
【专利技术属性】
技术研发人员：姜宇，王跃航，赵明浩，齐红，魏枫林，王凯，张永霁，初琦，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。