一种暗光图像增强方法技术

本发明专利技术提供的一种暗光图像增强方法，其包括以下步骤：采集数据集，所述数据集的数据单元包含在具有同一场景设定下的多张短曝光图像和相应的长曝光图像；对所述数据集中的短曝光图像和长曝光图像进行预处理；构建CNN网络模型；对于所述模型进行迭代训练，并在所述迭代训练中更新网络参数使其达到一定的收敛条件完成训练；使用经过训练的所述模型对暗光图像进行增强。能够经过训练得到的模型应用于暗光图像上得到增强图像的方法来对暗光环境的图像进行增强。

A dark image enhancement method

【技术实现步骤摘要】
一种暗光图像增强方法
本专利技术属于图像处理
，尤其涉及一种暗光图像增强方法。
技术介绍
现在，随着多媒体技术和人工智能的飞速发展和广泛应用，人们在日常生活中大量使用图像信息。然而目前的成像技术，暗光条件下，受到低信噪比和低亮度的影响，图像的质量会受到很大的影响，需要进行图像提亮，图像修复和图像增强，改善图像的视觉效果。较之目前的图像增强方法对暗光图像的处理存在的欠曝，过曝，边缘变化生硬，不连续，噪声严重，颜色偏差严重等问题，综上，现亟需一种能够解决上述技术问题，能够经过训练得到的模型应用于暗光图像上得到增强图像的方法来对暗光环境的图像进行增强。
技术实现思路
鉴于上述现有技术的不足之处，本专利技术的目的在于提供一种暗光图像增强方法，旨在解决现有技术欠曝，过曝，边缘变化生硬，不连续，噪声严重，颜色偏差严重的问题。为了达到上述目的，本专利技术采取了以下技术方案：一种暗光图像增强方法，其特征在于，包括以下步骤：采集数据集，所述数据集的数据单元包含在具有同一场景设定下的多张短曝光图像和相应的长曝光图像；对所述数据集中的短曝光图像和长曝光图像进行预处理；构建CNN网络模型；对于所述模型进行迭代训练，并在所述迭代训练中更新网络参数使其达到一定的收敛条件完成训练；使用经过训练的所述模型对暗光图像进行增强。优选的，在所述采集数据集的过程中，根据环境亮度拍摄多张短曝光图像，对所述长曝光图像采集多帧数据。优选的，所述预处理包括：<br>去除所述短曝光图像坏点，并在有多张短曝光图像时进行合并和对齐；对所述长曝光图像进行边缘增强、曝光融合、降噪融合及人工图像增强处理。优选的，所述CNN网络包括：输入层：引入注意力机制；编码过程：采用卷积和下采样相结合的方法进行特征提取；解码过程：采用反卷积和上采样相结合的方法进行重建；图像信息恢复：在所述编码过程和所述解码过程的对称层之间引入用于图像信息恢复的连接结构，所述结构包含卷积过程和可学习参数；输出层：预设输出层的通道数，所述通道数为单一通道或三通道。优选的，所述迭代训练为根据设定的loss函数计算所述模型输出与目标数据之间的差异，在所述模型的参数上以一定的学习率进行参数更新，实现所述模型对任务地学习。优选的，所述达到一定的收敛条件完成训练包括：将loss收敛作为训练过程的收敛条件；验证输出效果；量化衡量所述模型性能。优选的，所述使用经过训练的所述模型对暗光图像进行增强包括：使用基于直方图的亮度增益方法得到对应的长曝光图像的估计结果，然后以估计结果的亮度平均值与输入数据的亮度平均值的比值作为ratio；计算每个像素的增强比map。优选的，所述方法还包括衡量模型中同一层卷积核之间的相似度，去除和同层其它结点有高相似度的部分结点，相应调整每一层的输入输出channel，量化、微调进行进一步的适应性训练。与现有技术相比，本专利技术的有益效果：本专利技术提供的一种暗光图像增强方法，其包括以下步骤：采集数据集，所述数据集的数据单元包含在具有同一场景设定下的多张短曝光图像和相应的长曝光图像；对所述数据集中的短曝光图像和长曝光图像进行预处理；构建CNN网络模型；对于所述模型进行迭代训练，并在所述迭代训练中更新网络参数使其达到一定的收敛条件完成训练；使用经过训练的所述模型对暗光图像进行增强。能够经过训练得到的模型应用于暗光图像上得到增强图像的方法来对暗光环境的图像进行增强。附图说明图1为本专利技术的暗光图像增强方法的流程框图；图2为本专利技术的暗光图像增强方法的处理步骤效果图；图3为本专利技术的暗光图像增强方法的输入层的示意框图。具体实施方式为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。如附图1-3所示，本专利技术提供的一种暗光图像增强方法，其特征在于，包括以下步骤：采集数据集，所述数据集的数据单元包含在具有同一场景设定下的多张短曝光图像和相应的长曝光图像。其中场景设定具体是指：室内外多种景观景像；室内场景的多种亮度设定；室内场景根据不同亮度的短曝光时间和长曝光时间具体的不同设定；室外场景的不同照明条件的选择(如月光或街道灯光)；室外场景根据不同亮度的短曝光时间和长曝光时间具体的不同设定。特别地，为了使得同一组数据拍摄到的信息最大可能相似，避免拍照过程中的抖动，使用蓝牙连接遥控采集设备、三角架固定的方式进行拍摄。对所述数据集中的短曝光图像和长曝光图像进行预处理，使用短曝光图像作为暗光图像，预处理后作为模型的训练输入数据；长时曝光图像作为参考图像，预处理后模型的训练目标数据(groundtruth,gt)。得到训练数据集，和不相交的验证数据集。在光线不足条件下获得的图像，不管是短曝光图像还是长曝光图像都会存在很多的噪声，坏像素，模糊等问题，首先对这些图像进行一定的预处理，能够有效的提高图像的感知质量，为后续进一步的增强处理提供前提。构建CNN网络模型；对于所述模型进行迭代训练，并在所述迭代训练中更新网络参数使其达到一定的收敛条件完成训练。其中在对模型进行训练时需准备数据，包括：加载数据：训练集中的数据为电子设备采集到的原始数据格式dng格式。模型训练的输入采用RAW数据，将读取拍摄信息和图像数据，其中，为了方便处理，还可以将后续使用的图像数据和iso等信息单独保存为npy格式。网络输入时以batch的方式一次输入多张图，也可以根据效果和运算环境调整，例如4张图为1个batch。对训练数据(短曝光图像)进行提亮：对于短曝光的暗光图像的初步提亮采用数字增益的方法，分别读取短曝光图像和同组长曝光图像的曝光时间和ISO计算得到差异比例，作为对短曝光图像的数字增益，将短曝光图像提亮至和同组长曝光图像的相当亮度水平。增益A＝(expt_long/expt_short)*(ISO_long/ISO_short)。crop：在训练过程中将训练输入数据分割为多个训练输入图像块，切割大小为512像素x512像素。相应的，目标数据进行相同位置上的分割作为输出的参考。使用经过训练的所述模型对暗光图像进行增强。在一些实施例中，在所述采集数据集的过程中，根据环境亮度拍摄多张短曝光图像，对所述长曝光图像采集多帧数据。其中对长曝光图像的感知质量要求比较高，在光线不足的条件下，为了获得更好的感知图像，会对长曝光图像采集多帧数据。对于短曝光图像，可以根据环境亮度拍摄多数，目的是便于后续对短曝光图片进行对齐和合并。在一些实施例中，所述预处理包括：去除所述短曝光图像坏点，并在有多张短曝光图像时进行合并和对齐。具体为，短曝光数据去除坏点，对于一组中有多张短曝光图像的进行对齐和合并。也可以是单张的短曝光数据，则只用去除坏点，不需要本文档来自技高网...

【技术保护点】
1.一种暗光图像增强方法，其特征在于，包括以下步骤：/n采集数据集，所述数据集的数据单元包含在具有同一场景设定下的多张短曝光图像和相应的长曝光图像；/n对所述数据集中的短曝光图像和长曝光图像进行预处理；/n构建CNN网络模型；/n对于所述模型进行迭代训练，并在所述迭代训练中更新网络参数使其达到一定的收敛条件完成训练；/n使用经过训练的所述模型对暗光图像进行增强。/n

【技术特征摘要】
1.一种暗光图像增强方法，其特征在于，包括以下步骤：
采集数据集，所述数据集的数据单元包含在具有同一场景设定下的多张短曝光图像和相应的长曝光图像；
对所述数据集中的短曝光图像和长曝光图像进行预处理；
构建CNN网络模型；
对于所述模型进行迭代训练，并在所述迭代训练中更新网络参数使其达到一定的收敛条件完成训练；
使用经过训练的所述模型对暗光图像进行增强。


2.根据权利要求1所述的暗光图像增强方法，其特征在于，在所述采集数据集的过程中，根据环境亮度拍摄多张短曝光图像，对所述长曝光图像采集多帧数据。


3.根据权利要求1所述的暗光图像增强方法，其特征在于，所述预处理包括：
去除所述短曝光图像坏点，并在有多张短曝光图像时进行合并和对齐；
对所述长曝光图像进行边缘增强、曝光融合、降噪融合及人工图像增强处理。


4.根据权利要求1所述的暗光图像增强方法，其特征在于，所述CNN网络包括：
输入层：引入注意力机制；
编码过程：采用卷积和下采样相结合的方法进行特征提取；
解码过程：采用反卷积和上采样相结合的方法进行重建；
图像信息恢复：在所述编码过程和所述解码过程的对称层之间引入用...

【专利技术属性】
技术研发人员：王保耀，常坚，郭奇锋，张齐宁，翟培芳，
申请(专利权)人：深圳深知未来智能有限公司，
类型：发明
国别省市：广东;44