一种基于图像属性融合增强的低光照多视角优质成像方法技术

本发明专利技术公开了一种基于图像属性融合增强的低光照多视角优质成像方法。该方法利用混合传感器成像系统在低光照条件下获取多视角的低分辨率欠曝光的彩色图像和高分辨率优曝光的灰度图像序列，通过属性(照度、色度、空间结构)融合增强机制，生成多视角高分辨率优曝光彩色图像，具体步骤为：(1)根据混合传感器成像系统性质，生成仿真多视角图像块对；(2)为增强各视角图像块质量，利用多视角图像进行属性融合增强，分别构建相应网络模型并级联；(3)根据待增强的属性特征构建损失函数，使用优化器依次单独训练各网络，然后端到端优化级联网络；(4)将优化后的网络应用于采集到的真实低光照图像序列，获得多视角高分辨率优曝光彩色图像。像。像。

【技术实现步骤摘要】
一种基于图像属性融合增强的低光照多视角优质成像方法


[0001]本专利技术涉及计算摄像领域及图像处理
，具体涉及一种基于图像属性融合增强的低光照多视角优质成像方法。

技术介绍

[0002]随着自动驾驶、安防监控以及专业摄影需求的进一步增长，低光照条件下的高质量成像技术称为这些领域的迫切需要。在曝光时长过短或者环境光过弱等引起的低光照拍摄条件下，单个传感器捕获的图像信噪比低，视觉感知质量差。而现有利用单帧源图像进行低光照图像质量增强的方法，侧重于视觉感知质量的提升，对不同拍摄条件下增强图像的亮度水平和颜色真实性无法有较为完善的约束，这使得不同拍摄条件下的低光照图像质量增强效果各异，会导致部分条件下重建图像中出现亮度水平欠缺、颜色表征不真实、纹理模糊等现象。
[0003]而当下多相机采集系统可充分利用多个传感器的采样特性，大大提升整个成像系统的多维信息采集容量，在亿级像素采集、高帧率视频采集、多维光谱采集等光学系统中获得了大量应用。并随着信号处理算法的进步，在移动端成像设备中逐渐普及了多相机系统进行单反画质级别的图像生成。这其中，单通道黑白传感器凭借其较高的光电转换效率、更好地保留场景结构信息，成为辅助彩色传感器最普遍的选择，譬如华为P10、P20及P50系列。但目前主要是仅利用同尺度或者更大尺度的黑白传感器采集得到的纹理细节来增强彩色传感器的细节成像，未完全发挥黑白传感器成像提供的额外视场纹理的最大效用，降低了多相机成像系统的利用率。
[0004]因此，如何在有限的传感器空间内，通过紧凑的多相机成像系统在光线受限情况下进行多视角高质量成像是值得深入探究的问题，这对消费级相机系统市场有重要意义。

技术实现思路

[0005]针对以上现有低光照图像质量增强方法的缺陷以及多相机系统成像方面的不足，本专利技术的目的在于提出一种基于图像属性融合增强的低光照多视角优质成像方法。
[0006]为达上述目的，本专利技术采用的技术方案如下：
[0007]一种基于图像属性融合增强的低光照多视角优质成像方法，该方法通过对低光照多视角下获得的低分辨率欠曝光的彩色图像序列和高分辨率优曝光的灰度图像序列进行图像属性分治，利用不同视角下的图像内容进行属性融合，最后实现各路视角下的多维属性增强，从而生成高分辨率优曝光的多视角高质彩色图像；其中，所述属性包括照度、色度和空间结构。
[0008]进一步地，所述成像方法具体包括如下步骤：
[0009]步骤1，根据混合传感器成像系统性质，生成仿真多视角图像块对；所述混合传感器成像系统是由低分辨率的彩色相机和高分辨率的灰度相机组成，分别用于采集低分辨率欠曝光的彩色图像序列和高分辨率优曝光的灰度图像序列。
[0010]步骤2，为增强步骤1获得的多视角图像块对的质量，利用其他视角的图像进行图像属性的融合增强，分别构建有参考的照度增强网络、有参考的属性迁移网络、有参考的结构增强网络并级联；
[0011]步骤3，根据步骤2中待增强的图像属性特征，构建步骤2中三个网络的损失函数，使用优化器依次单独训练所述有参考的照度增强网络、有参考的属性迁移网络、有参考的结构增强网络，并基于此对整个级联网络进行端到端优化；
[0012]步骤4，使用步骤3中端到端优化后的网络，对真实混合传感器成像系统在低光照下采集到的图像序列进行质量增强：对于低分辨率欠曝光的彩色图像序列，通过所述有参考的照度增强网络恢复低分辨率优曝光色度信息，再通过所述有参考的属性迁移网络恢复该视角下的高分辨率优曝光空间结构信息，而后通过所述有参考的结构增强网络将该视角下的低分辨率优曝光色度信息和高分辨率优曝光空间结构信息进行融合生成该视角下高分辨率优曝光的彩色图像；对于高分辨率优曝光的单通道灰度图像，通过下采样至低分辨率以及所述有参考的属性迁移网络恢复该视角下低分辨率优曝光色度信息，再通过所述有参考的结构增强网络将该视角下的低分辨率优曝光色度信息和高分辨率优曝光空间结构信息进行融合生成该视角下的高分辨率优曝光的彩色图像；最终实现各路视角下的多维属性增强，从而生成低光照场景中高分辨率优曝光的多视角高质彩色图像。
[0013]进一步地，所述步骤2中，构建网络的具体步骤包括：
[0014]步骤21，构建所述有参考的照度增强网络：首先利用堆叠的多尺度块特征提取模块对输入的源图片和参考图片进行不同尺度下的特征理解，生成基于参考图片照度的源图片照度增强系数矩阵；而后利用源图片和照度增强系数矩阵进行局部自适应残差增强，获得基于参考图片照度水平的增强彩色源图片；
[0015]步骤22，构建所述有参考的属性迁移网络：通过光流估计模块获取不同视角间属性的相关性，获得视角间的属性映射关系，接着对映射后的图片以及输入的多路图像进行特征融合加权生成；
[0016]步骤23，构建所述有参考的结构增强网络：利用同一视角下低分辨率色度信息和高分辨率空间结构信息进行色度属性的结构增强，最终获得各路视角下的高分辨率优曝光的高质量彩色图像；
[0017]步骤24，将所述有参考的照度增强网络、有参考的属性迁移网络以及有参考的结构增强网络依次级联，有参考的属性迁移网络和有参考的结构增强网络分别以前一个网络的输出为输入进行后续的图像质量增强，级联网络的最终输出即有参考的结构增强网络的输出，为网络处理后的多视角优质高分辨率彩色图像。
[0018]进一步地，所述步骤21中，构建所述有参考的照度增强网络具体为：通过大尺度的卷积核以及平均池化层、最大值池化层构建块特征提取模块对图像进行块邻域范围的特征提取，而后将不同尺度上提取到的块特征通过残差连接、上采样和卷积处理获得YUV三通道的源图片照度系数矩阵；接着，将源图片和照度增强系数矩阵相乘得到初级增强源图片；最后利用级联的大卷积核、分组卷积核以及小卷积核对所述初级增强源图片进行局部自适应残差增强。
[0019]进一步地，所述步骤23中，构建所述有参考的结构增强网络具体为：通过步长大于1的卷积核对不同尺度上对低分辨率色度信息进行特征提取，而后通过自适应池化层和局
部卷积分别获取全局特征、局部特征后融合得到色彩信息特征系数，而后进行空间结构的重组，形成低分辨率三维色彩表征空间；此外，利用输入的高分辨率空间结构信息通过卷积层映射到亮度特征空间作为引导，结合平面空间网格，获得三维空间内低分辨色彩信息与相应高分辨率色彩信息的映射关系，然后利用此映射关系对低分辨率色彩信息特征系数进行插值，获得高分辨率三维色彩表征空间；最后通过高分辨率空间结构信息和色彩表征空间的仿射组合与低分辨率色度信息的双线性上采样插值残差相连，获得各路视角下的高分辨率优质彩色图像。
[0020]进一步地，所述步骤3的具体步骤包括：
[0021]步骤31，针对各路视角获得图像待增强的属性特征，构建色彩成分损失函数、平滑损失函数以及余弦损失函数，用来对各网络及端到端网络进行监督训练；
[0022]步骤32，训练所述有参考的照度增强网络：将不同视点的低分辨率欠曝光彩色图像和下采样后得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像属性融合增强的低光照多视角优质成像方法，其特征在于，该方法通过对低光照多视角下获得的低分辨率欠曝光的彩色图像序列和高分辨率优曝光的灰度图像序列进行图像属性分治，利用不同视角下的图像内容进行属性融合，最后实现各路视角下的多维属性增强，从而生成高分辨率优曝光的多视角高质彩色图像；其中，所述属性包括照度、色度和空间结构。2.根据权利要求1所述的一种基于图像属性融合增强的低光照多视角优质成像方法，其特征在于，所述成像方法具体包括如下步骤：步骤1，根据混合传感器成像系统性质，生成仿真多视角图像块对；所述混合传感器成像系统是由低分辨率的彩色相机和高分辨率的灰度相机组成，分别用于采集低分辨率欠曝光的彩色图像序列和高分辨率优曝光的灰度图像序列。步骤2，为增强步骤1获得的多视角图像块对的质量，利用其他视角的图像进行图像属性的融合增强，分别构建有参考的照度增强网络、有参考的属性迁移网络、有参考的结构增强网络并级联；步骤3，根据步骤2中待增强的图像属性特征，构建步骤2中三个网络的损失函数，使用优化器依次单独训练所述有参考的照度增强网络、有参考的属性迁移网络、有参考的结构增强网络，并基于此对整个级联网络进行端到端优化；步骤4，使用步骤3中端到端优化后的网络，对真实混合传感器成像系统在低光照下采集到的图像序列进行质量增强：对于低分辨率欠曝光的彩色图像序列，通过所述有参考的照度增强网络恢复低分辨率优曝光色度信息，再通过所述有参考的属性迁移网络恢复该视角下的高分辨率优曝光空间结构信息，而后通过所述有参考的结构增强网络将该视角下的低分辨率优曝光色度信息和高分辨率优曝光空间结构信息进行融合生成该视角下高分辨率优曝光的彩色图像；对于高分辨率优曝光的单通道灰度图像，通过下采样至低分辨率以及所述有参考的属性迁移网络恢复该视角下低分辨率优曝光色度信息，再通过所述有参考的结构增强网络将该视角下的低分辨率优曝光色度信息和高分辨率优曝光空间结构信息进行融合生成该视角下的高分辨率优曝光的彩色图像；最终实现各路视角下的多维属性增强，从而生成低光照场景中高分辨率优曝光的多视角高质彩色图像。3.根据权利要求2所述的一种基于图像属性融合增强的低光照多视角优质成像方法，其特征在于，所述步骤2中，构建网络的具体步骤包括：步骤21，构建所述有参考的照度增强网络：首先利用堆叠的多尺度块特征提取模块对输入的源图片和参考图片进行不同尺度下的特征理解，生成基于参考图片照度的源图片照度增强系数矩阵；而后利用源图片和照度增强系数矩阵进行局部自适应残差增强，获得基于参考图片照度水平的增强彩色源图片；步骤22，构建所述有参考的属性迁移网络：通过光流估计模块获取不同视角间属性的相关性，获得视角间的属性映射关系，接着对映射后的图片以及输入的多路图像进行特征融合加权生成；步骤23，构建所述有参考的结构增强网络：利用同一视角下低分辨率色度信息和高分辨率空间结构信息进行色度属性的结构增强，最终获得各路视角下的高分辨率优曝光的高质量彩色图像；步骤24，将所述有参考的照度增强网络、有参考的属性迁移网络以及有参考的结构增
强网络依次级联，有参考的属性迁移网络和有参考的结构增强网络分别以前一个网络的输出为输入进行后续的图像质量增强，级联网络的最终输出即有参考的结构增强网络的输出，为网络处理后的多视角优质高分辨率彩色图像。4.根据权利要求3所述的一种基于图像属性融合增强的低光照多视角优质成像方法，其特征在于，所述步骤21中，构建所述有参考的照度增强网络具体为：通过大尺度的卷积核以及平均池化层、...

【专利技术属性】
技术研发人员：郭珮瑶，马展，
申请(专利权)人：南京大学，
类型：发明
国别省市：