一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质技术

本发明专利技术提出了一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质，方法包括如下步骤：步骤1、采集多组RAW格式数据样本；步骤2、设计超级夜景网络模型；步骤3、对步骤2中的超级夜景网络模型进行训练；步骤4、输出结果。本发明专利技术通过建立超级夜景网络模型并对该模型进行训练，首先依据需求建立基础数据集，并以此训练上述SNN网络，根据性能测试结果。若模型预测结果不理想，则根据场景需求，对数据集进行扩充或重构。仅需从相机CMOS取出RAW数据，即可得到观感极佳的超级夜景图片，避免传统的夜景功能长时间曝光导致图像抖动、残影的问题出现，也进一步避免了采用AI技术合成图像时受图像抖动、残影的影响。

【技术实现步骤摘要】
一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
本专利技术涉及一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质，涉及G06T：一般的图像数据处理或产生领域，尤其涉及G06T5/00：图像的增强或复原领域。
技术介绍
由于手机相机传感器面积较小，感光能力差，在光线不足的情况下无法捕捉到更多的自然光线，所以导致画面噪点多、亮度不够、解析力弱。但启用手持长曝光超级夜景功能够，照片的亮度大幅提升，明暗细节突出，即使画面亮度飙升，高光区域也不会出现过曝现象。目前超级夜景功能在越来越多的手机上出现。其原理是通过长曝光，拍摄很多张不同曝光不同ISO照片，然后进行合成。但由于超级夜景功能比较“贪心”，曝光时间往往在数秒钟以上，所以对手机硬件和软件算法的要求非常高。此外，超级夜景模式很难在长时间曝光中挑选高质量图片，因为在长时间的曝光中，人手一定会出现无法控制的轻微抖动，如果不采用算法进行整理的话，那么手机会将这些抖动的照片合并进去，导致画面出现问题。
技术实现思路
专利技术目的：一个目的是提出一种基于卷积神经网络的图像夜景处理方法，以解决现有技术存在的上述问题。进一步目的是提出一种可运行上述方法的计算模块以及可被该计算模块读取的存储介质。技术方案：一种基于卷积神经网络的图像夜景处理方法，包括以下步骤：步骤1、采集多组RAW格式数据样本；步骤2、设计超级夜景网络模型；步骤3、对步骤2中的超级夜景网络模型进行训练；<br>步骤4、输出结果。在进一步的实施例中，所述步骤1进一步为：步骤1-1、通过预定的多个不同型号的图像采集设备拍摄不同场景得出多张RAW格式数据样本，将同一场景中不同型号的图像采集设备采集得到的RAW格式数据样本作为一组母样本，所述母样本中根据图像采集设备的型号区分为不同子样本，对每份样本进行标记；步骤1-2、完成数据样本采集后，对图像进行对齐操作，去除二者不重叠的部分；步骤1-3、在经过步骤1-2的图像对齐操作后，将数据样本进一步划分为训练集、验证集以及测试集。在进一步的实施例中，所述步骤1-2中对图像进行对齐操作进一步包括匹配图像的关键点，并在此基础上反复迭代多次随机子集；其中匹配图像的关键点进一步如下：步骤1-2a、搜索预定尺度空间上的所有图像位置，通过卷积运算提取出包括角点、边缘点、暗区域的亮点以及亮区域的暗点在内的关键点；其中尺度空间L(x,y,σ)的计算方法如下：L(x,y,σ)＝G(x,y,σ)·C(x,y)式中，C(x,y)表示关键点的中点坐标，G(x,y,σ)表示高斯核函数，σ为尺度空间因子，取定值；其中，高斯核函数表示如下：式中各符号含义同上；步骤1-2b、采集关键点的梯度模值：步骤1-2c、采集关键点的方向分布：式中，各符号含义同上；步骤1-2d、计算关键点k的领域点ki：式中，(xk,yk)表示关键点的方位，其余各符号含义同上。在进一步的实施例中，所述步骤2进一步包括：步骤2-1、建立SNN超级夜景网络模型，包括至少一个Encoder网络和至少一个Decoder网络，每个网络都包括多层；Encoder网络存在多次降采样，在每一层中有至少两个3x3卷积，每个卷积后连接一个激活函数和SwitchableNormalization层，最后加上一个2x2max_pooling运算，即步长为2用于下采样；整个Encoder网络重复三次；Decoder网络中的每个步骤都包括对特征图进行上采样，将特征通道数量减半的3x3卷积，与来自Encoder网络的相应的特征图的串联拼接，接着将拼接后的特征图通过两个3x3卷积，每个卷积后跟一个激活函数和SwitchableNormalization层；在最后一层使用一个3*3卷积层，再通过pixel_shuffle，最终输出处理后的图像；步骤2-2、提出ResidualDenseblock，将其置于skip-connection上，ResidualDenseblock由3个Denseblock构成，每个Denseblock内部有5层卷积，每层卷积后面连接一个激活函数和SwitchableNormalization层，同时每一层都接受来自前面所有卷积层的输出特征图。在进一步的实施例中，步骤3对超级夜景网络模型进行训练的过程中训练样本集中分为低分辨率训练集和高分辨率图像块；其中低分辨率训练集的获取方式是：首先对高分辨率图像进行N倍的下采样，得到不同的低分辨率图像；接着对获得的低分辨率图像进行扩张，对获得的每张低分辨率图像进行重叠采样，得到一组重叠的低分辨率图像块，并将此作为低分辨率训练集；其中所述高分辨图像块获取方式是：对与进行N倍下采样操作相对应的高分辨率图像进行重叠采样，然后将获得的一组相对应重叠的高分辨率图像块，作为高分辨率的标签图像；N为正整数；其中所述对获得的低分辨率图像进行扩张的扩张方式为对其进行90度、180度和270度的旋转变换，以此得到不同角度的低分辨率图像；接着构造训练卷积网络：首先，将低分辨率图像LR作为输入，通过一个卷积层提取出浅层特征，然后通过堆叠的若干个CACB模块学习到图像的深层特征，最后将提取出的浅层和深层特征融合，通过亚像素卷积的方式上采样得到高分辨率图像；其中所述CACB模块由四个融合卷积层构成，将每个融合卷积层的四分之一的特征保留下来，用于最后的特征融合；模块中涉及的融合卷积层的结构细节分为训练阶段和部署阶段；在训练过程中所采用的损失函数为：Ltotal＝0.5*L1+0.05*LSSIM+0.1*LVGG+Ladv其中，L1为平均绝对误差，LSSIM为结构相似性，LVGG为感知损失，Ladv表示对抗损失；其中，F(·)为在ImageNet上预训练的VGG19网络的第34层输出的特征图，G(I)i,j,k为生成器生成的图片，Ci,j,k为对应的原始带有散景效果的图片，D(·)为判别器的输出。在进一步的实施例中，步骤4进一步包括由图像采集传感器采集到图像并经由步骤3中训练得到的超级夜景网络模型，最终修饰图像后输出夜景图像；在输出夜景图像前进行散景渲染，带有散景渲染效果图片的模型具体可以构建为：其中，Ibokeh表示最终获得的图像，Iorg表示原始图像，表示矩阵逐元素相乘，Bi(·)是第i级模糊函数，Wi表示第i层数据图像的特征权重矩阵值，涉及的第i级模糊函数Bi(·)为浅层模糊神经网络迭代i次获得的，其表示为：其中，损失函数l采用重构函数和结构相似性SSIM的结合，通过误差值的反向传播优化模型；其中l1具体为：其中，Ibokeh表示模型生成带有散景效果的图像，表示实际带有散景效果的图像的原始图像，表示产本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的图像夜景处理方法，其特征是包括以下步骤：/n步骤1、采集多组RAW格式数据样本；/n步骤2、设计超级夜景网络模型；/n步骤3、对步骤2中的超级夜景网络模型进行训练；/n步骤4、输出结果。/n

【技术特征摘要】
1.一种基于卷积神经网络的图像夜景处理方法，其特征是包括以下步骤：
步骤1、采集多组RAW格式数据样本；
步骤2、设计超级夜景网络模型；
步骤3、对步骤2中的超级夜景网络模型进行训练；
步骤4、输出结果。


2.根据权利要求1所述的一种基于卷积神经网络的图像夜景处理方法，其特征在于，所述步骤1进一步为：
步骤1-1、通过预定的多个不同型号的图像采集设备拍摄不同场景得出多张RAW格式数据样本，将同一场景中不同型号的图像采集设备采集得到的RAW格式数据样本作为一组母样本，所述母样本中根据图像采集设备的型号区分为不同子样本，对每份样本进行标记；
步骤1-2、完成数据样本采集后，对图像进行对齐操作，去除二者不重叠的部分；
步骤1-3、在经过步骤1-2的图像对齐操作后，将数据样本进一步划分为训练集、验证集以及测试集。


3.根据权利要求2所述的一种基于卷积神经网络的图像夜景处理方法，其特征在于，所述步骤1-2中对图像进行对齐操作进一步包括匹配图像的关键点，并在此基础上反复迭代多次随机子集；
其中匹配图像的关键点进一步如下：
步骤1-2a、搜索预定尺度空间上的所有图像位置，通过卷积运算提取出包括角点、边缘点、暗区域的亮点以及亮区域的暗点在内的关键点；其中尺度空间L(x,y,σ)的计算方法如下：
L(x,y,σ)＝G(x,y,σ)·C(x,y)
式中，C(x,y)表示关键点的中点坐标，G(x,y,σ)表示高斯核函数，σ为尺度空间因子，取定值；
其中，高斯核函数表示如下：



式中各符号含义同上；
步骤1-2b、采集关键点的梯度模值：



步骤1-2c、采集关键点的方向分布：



式中，各符号含义同上；
步骤1-2d、计算关键点k的领域点ki：



式中，(xk,yk)表示关键点的方位，其余各符号含义同上。


4.根据权利要求1所述的一种基于卷积神经网络的图像夜景处理方法，其特征在于，所述步骤2进一步包括：
步骤2-1、建立SNN超级夜景网络模型，包括至少一个Encoder网络和至少一个Decoder网络，每个网络都包括多层；Encoder网络存在多次降采样，在每一层中有至少两个3x3卷积，每个卷积后连接一个激活函数和SwitchableNormalization层，最后加上一个2x2max_pooling运算，即步长为2用于下采样；整个Encoder网络重复三次；
Decoder网络中的每个步骤都包括对特征图进行上采样，将特征通道数量减半的3x3卷积，与来自Encoder网络的相应的特征图的串联拼接，接着将拼接后的特征图通过两个3x3卷积，每个卷积后跟一个激活函数和SwitchableNormalization层；在最后一层使用一个3*3卷积层，再通过pixel_shuffle，最终输出处理后的图像；
步骤2-2、提出ResidualDenseblock，将其置于skip-connection上，ResidualDenseblock由3个Denseblock构成，每个Denseblock内部有5层卷积，每层卷积后面连接一个激活函数和SwitchableNormalization层，同时每一层都接受来自前面所有卷积层的输出特征图。


5.根据权利要求1所述的一种基于卷积神经网络的图像夜景处理方法，其特征在于，步骤3对超级夜景网络模型进行训练的过程中训练样本集中分为低分辨率训练集和高分辨率图像块；
其中低分辨率训练集的获取方式是：首先对高分辨率图像进行N倍的下采样，得到不同的低分辨率图像；接着对获得的低分辨率图像进行扩张，对获得的每张低分辨率图像进行重叠采样，得到一组重叠的低分辨率图像块，并将此作为低分辨率训练集；
其中所述高分辨图像块获取方式是：
对与进行N倍下采样操作相对应的高分辨率图像进行重叠采样，然后将获得的一组相对应重叠的高分辨率图像块，作为高分辨率的标签图像；N为正整数；
其中所述对获得的低分辨率图像进行扩张的扩张方式为对其进行90度、180度和270度的旋转变换，以此得到不同角度的低分辨率图像；
接着构造训练卷积网络：
首先，将低分辨率图像LR作为输入，通过一个卷积层提取出浅层特征，然后通过堆叠的若干个CACB模块学习到图像的深层特征，最后将提取出的浅层和深层特征融合，通过亚像素卷积的方式上采样得到高分辨率图像；
其中所述CACB模块由四个融合卷积层构成，将每个融合卷积层的四分之一的特征保留下来，用于最后的特征融合；模块中涉及的融合卷积层的结构细节分为训练阶段和部署阶段；
在训练过程中所采用的损失函数为：
Ltotal＝0.5*L1+0.05*LSSIM+0.1*LVGG+Ladv
其中，L1为平均绝对误差，LSSIM为结构相似性，LVGG为感知损失，Ladv表示对抗损失；






其中，F(·)为在ImageNet上预训练的VGG19网络的第34层输出的特征图，G(I)i,j,k为生成器生成的图片，Ci,j,k为对应的原始带有散景效果的图片，D(·)为判别器的输出。


6.根据权利要求1所述的一种基于卷积神经网络的图像夜景处理方法，其特征在于，步骤4进一步包括由图像采集传感器采集到图像并经由步骤3中训练得到的超级夜景网络模型，最终修饰图像后输出夜景图像；在输出夜景图像前进行散景渲染，带有散景渲染效果图片的模型具体可以构建为：



其中，Ibokeh表示最终获得的图像，Iorg表示原始图像，表示矩阵逐元素相乘，Bi(·)是第i级模糊函数，Wi表示第i层数据图像的特征权重矩阵值，涉及的第i级模糊函数Bi(·)为浅层模糊神经网络迭代i次获得的，其表示为：



其中，损失函数l采用重构函数和结构相似性SSIM的结合，通过误差值的反向传播优化模型；其中l1具体为：



其中，Ibokeh表示模型生成带有散景效果的图像，表示实际带有散景效果的图像的原始图像，表示产生的图像Ibokeh与实际图像之间的结构相似性，具体如下：



其中，α、β、γ为预设定的常数，表示产生的图像Ib...

【专利技术属性】
技术研发人员：冷聪，李成华，朱宇，程健，
申请(专利权)人：中科方寸知微南京科技有限公司，中国科学院自动化研究所南京人工智能芯片创新研究院，
类型：发明
国别省市：江苏;32