【技术实现步骤摘要】
本专利技术属于图像处理，更为具体地讲，涉及一种基于扩散模型和物理模型的低光照图像增强方法。
技术介绍
1、低光照图像增强是指将在弱照明或不均匀照明条件下获取的图像增强为在正常光照条件下获取的图像的一种技术。低光照图像增强技术作为图像处理领域的一种关键技术，被广泛地应用于手机摄影和视频监控等领域，提高拍摄图像的视觉效果。并且也可以用于提高后续的感知任务的性能，图像被增强后其中的物体和场景更加明显，有利于目标检测和语义分割等下游任务。
2、低光照图像增强技术发展到今天已经产生了许多不同的技术。常见的低光照图像增强技术主要有：单尺度/多尺度retinex方法、直方图均衡化方法、基于retinex模型的深度学习方法、基于端到端网络的深度学习方法、基于扩散模型的深度学习方法。
3、单尺度/多尺度retinex方法假设物体的颜色是由物体对rgb光线的反射能力来决定的，而不是由反射光强度的绝对值来决定的，物体的色彩不受光照非均匀性的影响，具有一致性，因此图像是由照度图像和反射图像组成的。单尺度retinex方法将原始rgb图像作为输入，首先通过高斯滤波得到照度图，再在原图中减去照度图，就得到反射图，即理想状态下不受光照影响的图像。但是理想模型存在偏差，并且需要设置合适的高斯滤波半径，增强结果不够理想。
4、直方图均衡化方法利用图像的整体直方图特征，在统计图像的直方图之后，将不平衡的灰度分布向平衡的分布变换，即将低灰度值的像素统一向高灰度值调整，从而得到更加均衡的直方图，原始图像的对比度也因此增强。但是直方图
5、基于retinex模型的深度学习方法引入retinex模型的可解释性，在理想模型的基础上进行改进，不仅利用反射图像，也利用照度图像，大大提高了retinex模型的实用性和有效性。大部分方法将输入图像分解为照度图像和反射图像，再利用神经网络对这两个部分分别进行处理之后，获得增强后的照度图像和反射图像，再将这两个部分进行融合获得最终的增强图像。然而，这类方法基本都受制于retinex模型本身的分解-增强-合成三阶段流程，使得神经网络需要分阶段训练，训练设置复杂，整体网络的性能也会被某一阶段的训练效果影响。
6、基于端到端网络的深度学习方法通过设计不同的端到端主干网络，直接在低光照图像增强数据集上进行训练来实现图像增强的能力。在这类方法中，监督学习、无监督学习、半监督学习、零次学习策略都被用来提高网络对于图像增强映射关系的理解能力。但是在低光照情况下，很多图像的细节不够清晰，特征提取程度不足，网络学习能力有限。
7、基于扩散模型的深度学习方法利用能力强大的生成扩散模型，通过端到端训练得到细节色彩都更加生动真实的增强图像。条件扩散模型将低光照图像作为条件输入，通过扩散迭代过程，将随机噪声逐步恢复为和物理基先验信息对应的正常光照图像。目前大多方法采用的方式为直接将扩散模型应用过来，没有考虑低光照增强任务本身的特性以及对应于任务特性的其他物理基先验信息，虽然有方法结合了retinex模型进行网络设计，但是多阶段网络带来的训练复杂度和模型复杂度都限制了模型的实用性和推理速度，因此这类方法的性能尽管很强，但是还有提升的空间。
8、从以上分析可以看出，现有的低光照图像增强技术在增强效果和处理速度上仍不够理想，不能兼顾，影响了实际应用。因此，对低光照图像增强技术进行深入研究是很有必要的。
技术实现思路
1、本专利技术的目的在于克服现有技术的不足，提供一种基于扩散模型和物理模型的低光照图像增强方法，使城域网与接入网得到有效融合，同时具有可扩展、高灵活以及低成本的性能。
2、为实现上述专利技术目的，本专利技术一种基于扩散模型和物理模型的低光照图像增强方法，其特征在于，包括以下步骤：
3、(1)、图像采集；
4、下载n组训练图像，每组训练图像包含一张低光照情况下拍摄的图像ilow和一张正常光情况下拍摄的图像ihigh，且在每一组训练图像中ilow与ihigh的拍摄场景相同；
5、(2)、搭建基于扩散模型和物理模型的图像增强网络；
6、基于扩散模型和物理模型的图像增强网络包括分解网络fd、调整网络fa、去噪u-net网络εθ和后处理优化网络fr；
7、所述分解网络fd以传统的u-net网络为基础网络，在u-net网络的输出端新增两层卷积层，卷积核大小均为3*3，通道数分别为1和3；分解网络对输入的低光照图像进行分解，得到照度图像l和反射图像r；
8、所述调整网络fa在分解网络fd的基础上，在最前端添加两层卷积层，每层卷积层的卷积核为3*3，通道数为32；调整网络对照度图像和反射图像先进行光照补偿处理，再进行去噪处理，得到调整后的照度图像l'和反射图像r'；
9、所述去噪u-net网络εθ由多层卷积层组成，卷积层的层数为偶数层，所有卷积层呈对称结构排布；低光照图像拼接随机噪声后与调整后的照度图像l'和反射图像r'一同输入至去噪u-net网络，去噪u-net网络先对输入的图像进行拼接，然后依次通过各卷积层进行迭代卷积处理，去除随机噪声，得到初始光照图像i0；
10、所述后处理优化网络fr包括前置特征处理模块和基于retinex条件的优化模块；前置特征处理模块由三层卷积层组成，每层卷积层的卷积核大小为3*3、通道数为32，使用relu作为激活函数；初始光照图像i0通过前置特征处理模块后得到图像特征
11、基于retinex条件的优化模块中，将l'、r'和i0分别通过一层通道数为32、卷积核大小为3*3的卷积层，然后将l'和i0的卷积结果先进行元素相乘，再将其结果与i0的卷积结果进行元素相加，相加后的结果记为特征将r'的卷积结果先与特征进行元素相乘，再将其结果与r'的卷积结果进行元素相加，得到的特征记为
12、将初始光照图像i0再次通过连续的两层卷积层，两层卷积层的卷积核大小为3*3、通道数为32；然后将卷积结果与进行元素相乘，其结果再次与相加，相加的结果与相加后得到单元输出结果iout；
13、(3)、训练基于扩散模型和物理模型的图像增强网络；
14、(3.1)、随机选取一组训练图像ilow与ihigh，将低光照图像ilow、正常光图像ihigh和噪声图像x一起输入至基于扩散模型和物理模型的图像增强网络，然后通过迭代循环方式训练图像增强网络；
15、(3.2)、在分解网络中，分解网络将低光照图像ilow分解成低光照的照度图像llow和反射图像rlow，将正常光图像ihigh分解成正常光照的照度图像lhigh和反射图像rhigh；
16、计算反射图像的一致性损失：
17、lossr＝||rlow-rhigh||1
18、其中，||·||1表示计算平均绝对误差；
19、计算照度图像的平滑损失：
2本文档来自技高网...
【技术保护点】
1.一种基于扩散模型和物理模型的低光照图像增强方法，其特征在于，包括以下步骤：
【技术特征摘要】
1.一种基于扩散模型和物理模型的低光照图...
【专利技术属性】
技术研发人员：王国庆，吴煜辉，李天宇，王智文，杨阳，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。